Hadoop Combiner Johdanto, työskentely & edut

Pidä sinut ajan tasalla viimeisimmistä teknologiasuuntauksista, liity Techvidvaniin Telegramissa

tavoite

tässä Hadoop-opetusohjelmassa, annamme sinulle yksityiskohtaisen kuvauksen Hadoop-Yhdistimestä. Ensinnäkin näemme, mikä on MapReduce Combiner, mikä on keskeinen rooli Combiner MapReduce. Sitten keskustelemme esimerkki MapReduce ohjelman kanssa ja ilman combiner Hadoop. Vihdoinkin näemme myös joitakin etuja ja haittoja Combiner MapReduce.

 Hadoop Kombinaattori

2. Mikä on Hadoop Combiner?

Combiner tunnetaan myös nimellä ”Mini-Reducer”, joka tiivistää Kartoittimen ulostuloennätyksen samalla avaimella ennen siirtymistään Pelkistimelle.

Isolla aineistolla, kun suoritamme MapReduce-työtä. Joten Mapper tuottaa suuria palasia välitietoa. Sitten kehys siirtää tämän välitiedon Pelkistimeen jatkokäsittelyä varten. Tämä johtaa valtavaan verkon ruuhkautumiseen. Hadoop-kehys tarjoaa Combineriksi kutsutun toiminnon, jolla on keskeinen rooli verkon ruuhkautumisen vähentämisessä.

Combiner a ”Mini-Reducerin ensisijainen tehtävä on käsitellä lähtötiedot Kartoittimesta ennen sen siirtämistä Reducerille. Se kulkee kartoittimen jälkeen ja ennen Vähennintä. Sen käyttö on vapaaehtoista.

miten Combiner toimii Hadoopissa?

nyt oppikaamme, miten asiat muuttuvat, kun käytämme combineria Mapreducessa?

Mapreduceohjelma ilman Yhdistintä

kuten yllä olevasta kaaviosta näkyy, yhdistintä ei ole. Tulo on jaettu kahteen kartoittajaan. Kehys tuottaa 9 avaimet kartoittajat.

niin, nyt meillä on (9 avain/arvo) välitiedot. Edelleen mapper lähettää tämän avainarvon suoraan pelkistimelle. Lähettäessään dataa pelkistimeen se kuluttaa jonkin verran verkon kaistanleveyttä. Tiedon siirtäminen reduktioon vie enemmän aikaa, jos datan koko on iso.

MapReduce-ohjelma Kombinaattorilla

nyt yllä olevasta kaaviosta, jos käytämme kombinaattoria Mapperin ja reducerin välissä. Sitten combiner shuffle 9 avain / arvo ennen sen lähettämistä reducer. Ja sitten tuottaa 4 avain / arvo pari lähtö.

nyt Pelkistäjän tarvitsee käsitellä vain 4 avain/arvo-paritietoa, jotka syntyvät 2 kombinaattorista. Siksi reducer saa suoritetaan vain 4 kertaa tuottaa lopullisen tuotoksen. Näin ollen tämä lisää yleistä suorituskykyä.

Kombinerin edut Mapreducessa

nyt keskustellaan Hadoop-Kombinerin eduista Mapreducessa.

  • kombinaattorin käyttö lyhentää tietojen siirtoon kuluvaa aikaa Mapperin ja reducerin välillä.
  • Combiner parantaa pelkistimen yleistä suorituskykyä.
  • se vähentää tiedon määrää, jota reducerin on käsiteltävä.

yhdistimen haitat Mapredukessa

myös Hadoop-Yhdistimessä on joitakin haittoja. Puhutaan nyt samasta asiasta.

  • paikallisessa tiedostojärjestelmässä, kun Hadoop tallentaa avainarvoparit ja suorittaa combinerin myöhemmin, tämä aiheuttaa kalliin levyn IO: n.
  • Mapreducejoukot eivät voi riippua combinerin toteutuksesta, koska sen toteutuksesta ei ole takeita.

johtopäätös

Vastaa

Sähköpostiosoitettasi ei julkaista.