Hadoop Combiner Úvod, pracovní & výhody

udržet si aktualizován s nejnovějšími technologickými trendy, připojit TechVidvan na telegramu

cíl

v tomto Hadoop tutoriálu, budeme vám podrobný popis Hadoop slučovač. Nejprve uvidíme, co je MapReduce Combiner, jaká je klíčová role slučovače v MapReduce. Pak budeme diskutovat o příkladu programu MapReduce s kombinátorem a bez něj v Hadoopu. Nakonec uvidíme také některé výhody a nevýhody kombinátoru v MapReduce.

Hadoop Combiner

2. Co je Hadoop Combiner?

Combiner je také známý jako „Mini-reduktor“, který shrnuje výstupní záznam mapovače se stejným klíčem před předáním reduktoru.

na velkém datovém souboru při spuštění úlohy MapReduce. Takže Mapper generuje velké kusy mezilehlých dat. Pak rámec předá tato mezilehlá data na reduktoru pro další zpracování. To vede k obrovskému přetížení sítě. Rámec Hadoop poskytuje funkci známou jako slučovač, která hraje klíčovou roli při snižování přetížení sítě.

primárním úkolem kombinátoru a “ Mini-reduktoru je zpracování výstupních dat z mapovače před jeho předáním do reduktoru. Běží za mapovačem a před reduktorem. Jeho použití je volitelné.

jak funguje kombinátor v Hadoop?

nyní se naučíme, jak se věci mění, když používáme kombinátor v MapReduce?

MapReduce program bez slučovače

jak vidíme ve výše uvedeném diagramu, neexistuje žádný slučovač. Vstup je rozdělen na dva mapovače. Framework generuje 9 klíčů z mapperů.

takže nyní máme (9 klíč/hodnota) mezilehlá data. Dále mapper odešle tuto hodnotu klíče přímo do reduktoru. Při odesílání dat do reduktoru spotřebovává určitou šířku pásma sítě. Přenos dat do reduktoru trvá déle, pokud je velikost dat velká.

MapReduce Program se Slučovačem

nyní z výše uvedeného diagramu, pokud použijeme slučovač mezi mapovačem a reduktorem. Pak combiner bude zamíchat 9 klíč / hodnota před odesláním do reduktoru. A pak generuje 4 klíč/hodnota pár jako výstup.

nyní musí reduktor zpracovávat pouze 4 Data párů klíčů/hodnot, která jsou generována ze 2 kombinátorů. Proto se reduktor provádí pouze 4krát, aby se vytvořil konečný výstup. Tím se zvyšuje celkový výkon.

výhody kombinátoru v MapReduce

pojďme nyní diskutovat o výhodách Hadoop Combiner v MapReduce.

  • použití slučovače zkracuje čas potřebný pro přenos dat mezi mapovačem a reduktorem.
  • kombinátor zlepšuje celkový výkon reduktoru.
  • snižuje množství dat, která reduktor musí zpracovat.

nevýhody kombinátoru v MapReduce

existují také některé nevýhody kombinátoru Hadoop. Pojďme nyní diskutovat o tom samém.

  • v lokálním souborovém systému, když Hadoop uloží dvojice klíč-hodnota a spustí kombinátor později to způsobí drahé disk IO.
  • úlohy MapReduce nemohou záviset na provedení kombinátoru, protože při jeho provedení neexistuje žádná záruka.

závěr

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna.