Hadoop Combiner Bevezetés, munka & előnyök

tartsa meg frissíteni a legújabb technológiai trendek, csatlakozzon TechVidvan távirat

célkitűzés

ebben Hadoop bemutató, mi lesz az Ön részletes leírása Hadoop kombináló. Először is, látni fogjuk, mi a MapReduce Combiner, mi a kulcsszerepe Combiner MapReduce. Ezután megvitatjuk a MapReduce program példáját kombinátorral vagy anélkül a Hadoop-ban. Végül azt is látni néhány előnye és hátránya kombináló MapReduce.

 Hadoop Kombináló

2. Mi az a Hadoop Combiner?

a Kombinátor “Mini-reduktor” néven is ismert, amely ugyanazzal a kulccsal foglalja össze a leképező kimeneti rekordját, mielőtt átadná a Reduktornak.

egy nagy adatkészleten, amikor a MapReduce munkát futtatjuk. Tehát a Mapper nagy mennyiségű köztes adatot generál. Ezután a keret továbbítja ezeket a közbenső adatokat a reduktoron további feldolgozás céljából. Ez óriási hálózati torlódásokhoz vezet. A Hadoop keretrendszer Kombinátor néven ismert funkciót biztosít, amely kulcsszerepet játszik a hálózati torlódások csökkentésében.

a “Mini-reduktor” Kombinátor elsődleges feladata a leképező kimeneti adatainak feldolgozása, mielőtt átadná a Reduktornak. A leképező után és a reduktor előtt fut. Használata opcionális.

hogyan működik a Combiner a Hadoop-ban?

most tanuljuk meg, hogyan változnak a dolgok, amikor a kombinátort használjuk a MapReduce-ban?

MapReduce program nélkül kombináló

mint látjuk a fenti ábrán nincs kombináló van. A bemenet két térképre oszlik. A keret 9 kulcsot generál a leképezőkből.

tehát most van (9 kulcs/érték) közbenső adat. A további leképező ezt a kulcsértéket közvetlenül a reduktornak küldi. Miközben adatokat küld a szűkítőnek, bizonyos hálózati sávszélességet fogyaszt. Több időt vesz igénybe az adatok átvitele a reduktorhoz, ha az adatok mérete nagy.

MapReduce Program kombinátorral

most a fenti diagramból, ha kombinátort használunk a leképező és a reduktor között. Ezután kombináló shuffle 9 kulcs / érték elküldése előtt, hogy a szűkítő. Ezután 4 kulcs/érték párt generál kimenetként.

most a Reduktornak csak 4 kulcs/érték pár adatot kell feldolgoznia, amelyeket 2 kombinátorból generálnak. Ezért a reduktor csak 4-szer kerül végrehajtásra a végső kimenet előállításához. Így ez növeli az általános teljesítményt.

a kombináló előnyei a MapReduce-ban

most beszéljük meg a Hadoop Kombinátor előnyeit a MapReduce-ban.

  • a kombináló használata csökkenti a leképező és a reduktor közötti adatátvitel idejét.
  • a kombináló javítja a reduktor általános teljesítményét.
  • csökkenti a reduktornak feldolgozandó adatok mennyiségét.

hátrányai kombináló a MapReduce

vannak még néhány hátránya Hadoop kombináló. Most beszéljük meg ugyanezt.

  • a helyi fájlrendszerben, amikor a Hadoop tárolja a kulcs-érték párokat, és később futtatja a kombinátort, ez drága lemez IO-t okoz.
  • a MapReduce feladatok nem függhetnek a kombináló végrehajtásától, mivel a végrehajtásában nincs garancia.

következtetés

Vélemény, hozzászólás?

Az e-mail-címet nem tesszük közzé.