Apache Hadoop Windows için

Apache Hadoop, büyük veriler üzerinde dağıtılmış bilgi işlem için açık kaynaklı bir çözümdür

Büyük veri, arama motorları, puan kartlarıyla izlenen bakkal satın alma modelleri vb. gibi kaynaklardan veri madenciliği fikrinin tamamını kapsayan bir pazarlama terimidir. Modern dünyada, internetin çok fazla verisi vardır. Terazinin çoğu zaman onu işlenmeden ve işlemeden kullanılamaz hale getiren veri kaynakları, herhangi bir sunucu tarafından inanılmaz miktarda zaman alacaktır. Apache Hadoop'a girin

Veri işleme için daha az zaman

işleme görevlerini bir ağ üzerindeki birden çok makineye dağıtmak için Hadoop mimarisinden yararlanılarak, işlem süreleri astronomik ölçüde azaltılır ve cevaplar makul miktarlarda belirlenebilir zamanın. Apache Hadoop iki farklı bileşene ayrılmıştır: bir depolama bileşeni ve bir işleme bileşeni. En basit ifadeyle, Hapodbirden çok fiziksel makineden bir sanal sunucu yapar. Gerçekte, Hadoop, birden çok makine arasındaki iletişimi, hesaplamalar üzerinde çalışan yalnızca bir makine varmış gibi görünecek kadar yakın çalışacak şekilde yönetir. Veriler, depolanmak üzere birden çok makineye dağıtılır ve işleme görevleri, Hadoop mimarisi tarafından tahsis edilir ve koordine edilir. Bu tür bir sistem, ham verileri Büyük Veri girdileri ölçeğinde faydalı bilgilere dönüştürmek için bir gerekliliktir. Arama istekleri giren kullanıcılardan her saniye Google tarafından alınan veri miktarını düşünün. Toplam veri yığını olarak nereden başlayacağınızı bilemezsiniz, ancak Hadoop veri kümesini otomatik olarak daha küçük, düzenli veri alt kümelerine indirger ve bu yönetilebilir alt kümeyi belirli kaynaklara atar. Tüm sonuçlar daha sonra raporlanır ve kullanılabilir bilgiler halinde birleştirilir.

Ayarlanması kolay bir sunucu

Sistem karmaşık görünse de, hareketli parçaların çoğu soyutlamanın arkasında gizlenmiştir. Hadoop sunucusunun kurulumu oldukça basittir, sunucu bileşenlerini sistem gereksinimlerini karşılayan donanıma kurmanız yeterlidir. Daha zor kısım, Hadoop sunucusunun kullanacağı bilgisayar ağını planlamaktır depolama ve işleme rollerini dağıtmak için kullanacaktır. Bu, bir yerel alan ağı kurmayı veya İnternet üzerinden birden çok ağı birbirine bağlamayı içerebilir. Ayrıca, Microsoft Azure ve Amazon EC2 gibi popüler bulut platformlarında mevcut bulut hizmetlerini kullanabilir ve bir Hadoop kümesi için ödeme yapabilirsiniz. Bunları geçici olarak döndürebileceğiniz ve ardından artık ihtiyacınız olmadığında kümeleri devre dışı bırakabileceğiniz için bunları yapılandırmak daha da kolaydır. Bu tür kümeler, yalnızca Hadoop kümesinin etkin olduğu süre için ödeme yaptığınız için test için idealdir.

İhtiyacınız olan bilgiyi elde etmek için verilerinizi işleyin

Büyük veri son derece güçlü bir kaynaktır, ancak veriler düzgün bir şekilde sınıflandırılmadıkça ve bilgiye dönüştürülemedikçe işe yaramaz. Şu anda, Hadoop kümeleri, bu veri koleksiyonlarını bilgiye dönüştürmek için son derece uygun maliyetli bir yöntem sunuyor.