Hadoop Combiner Introduksjon, Arbeid Og Fordeler

Holde deg oppdatert med nyeste teknologi trender, Bli TechVidvan På Telegram

Mål

i Denne Hadoop opplæringen, vil vi gi deg en detaljert beskrivelse Av Hadoop Combiner. Først av alt, vil vi se hva Som Er MapReduce Combiner, hva er Nøkkelrollen Til Combiner I MapReduce. Da vil vi diskutere eksemplet På MapReduce-programmet med Og uten combiner I Hadoop. Til slutt vil vi også se noen fordeler og ulemper Ved Combiner I MapReduce.

Hadoop Combiner

2. Hva Er Hadoop Combiner?

Combiner er også kjent som «Mini-Redusering»som oppsummerer Mapper utgang posten med samme Nøkkel før du går til Redusering.

På et stort datasett når Vi kjører MapReduce jobb. Så Mapper genererer store biter av mellomliggende data. Deretter sender rammen disse mellomdataene på Reduksjonsmidlet for videre behandling. Dette fører til enorme nettverk overbelastning. Hadoop framework gir en funksjon kjent som Combiner som spiller en nøkkelrolle i å redusere nettverksbelastning.

den primære jobben Med Combiner a «Mini-Redusering er å behandle utdataene fra Mapper, før du sender Den Til Redusering. Den løper etter mapperen og før Reduksjonsmidlet. Bruken er valgfri.

Hvordan Fungerer Combiner i Hadoop?

la Oss nå lære hvordan ting endres når vi bruker kombinatoren I MapReduce?

MapReduce program uten Combiner

som vi ser i diagrammet ovenfor, er det ingen combiner der. Input er delt inn i to mapper. Rammen genererer 9 nøkler fra mapperne.

så nå har vi (9 nøkkel/verdi) mellomdata. Videre mapper sender denne nøkkelverdien direkte til reduksjonsmidlet. Mens du sender data til reduksjonsmaskinen, bruker den litt nettverksbåndbredde. Det tar mer tid å overføre data for å redusere hvis størrelsen på dataene er stor.

MapReduce Program Med Combiner

Nå fra diagrammet ovenfor, hvis vi bruker en combiner mellom mapper og redusering. Da combiner vil shuffle 9 nøkkel / verdi før du sender den til redusering. Og deretter genererer 4 nøkkel / verdi par som en utgang.

Nå Må Reducer bare behandle 4 nøkkel / verdi par data som genereres fra 2 kombinatorer. Derfor reducer blir utført bare 4 ganger for å produsere den endelige produksjonen. Dermed øker dette den generelle ytelsen.

Fordeler Med Combiner I MapReduce

La oss nå diskutere fordelene Med Hadoop Combiner I MapReduce.

  • Bruk av combiner reduserer tiden det tar for dataoverføring mellom mapper og redusering.
  • Combiner forbedrer den generelle ytelsen til reduksjonsmidlet.
  • det reduserer mengden data som redusering må behandle.

Ulemper Med Combiner I MapReduce

Det er også noen ulemper Med Hadoop Combiner. La oss nå diskutere det samme.

  • I det lokale filsystemet, Når Hadoop lagrer nøkkelverdiparene og kjører kombinatoren senere, vil dette føre til dyr DISK IO.
  • MapReduce-jobber kan ikke stole på kombinasjonsutførelsen, da det ikke er noen garanti for utførelsen.

Konklusjon

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert.