Hadoop Combiner introductie, werken & voordelen

houd u op de hoogte van de laatste technologische trends, Join TechVidvan on Telegram

Objective

in deze Hadoop tutorial, zullen wij u een gedetailleerde beschrijving van Hadoop Combiner. Allereerst zullen we zien wat MapReduce Combiner is, wat de sleutelrol is van Combiner in MapReduce. Daarna bespreken we het voorbeeld van het MapReduce programma met en zonder combiner in Hadoop. Eindelijk zullen we ook enkele voor-en nadelen van Combiner in MapReduce zien.

Hadoop Combiner

2. Wat is Hadoop Combiner?

Combiner is ook bekend als” Mini-Reducer ” dat het Mapper-uitvoerrecord samenvat met dezelfde sleutel voordat het wordt doorgegeven aan het Reducer.

op een grote dataset wanneer we MapReduce-taak uitvoeren. Dus Mapper genereert grote brokken tussenliggende data. Vervolgens geeft het framework deze tussengegevens over het Reductiemiddel door voor verdere verwerking. Dit leidt tot enorme netwerkcongestie. Het Hadoop framework biedt een functie die bekend staat als Combiner die een belangrijke rol speelt bij het verminderen van netwerkcongestie.

de primaire taak van Combiner a “Mini-Reducer is het verwerken van de outputgegevens van de Mapper, alvorens deze door te geven aan Reducer. Het loopt na de mapper en voor de reductor. Het gebruik ervan is optioneel.

Hoe werkt Combiner in Hadoop?

laten we nu leren hoe dingen veranderen als we de combiner gebruiken in MapReduce?

MapReduce-programma zonder Combiner

zoals we in het bovenstaande diagram zien is er geen combiner. Input is opgesplitst in twee mappers. Het kader genereert 9 sleutels van de mappers.

dus, nu hebben we (9 sleutel/waarde) tussengegevens. Verder mapper stuurt deze key-waarde direct naar de reducer. Tijdens het verzenden van gegevens naar het reductiemiddel, verbruikt het wat netwerkbandbreedte. Het kost meer tijd om gegevens over te dragen om te verkleinen als de grootte van de gegevens groot is.

MapReduce programma met Combiner

nu uit het bovenstaande diagram, als we een combiner gebruiken tussen mapper en reducer. Dan zal combiner 9 sleutel/waarde schudden alvorens het naar het reductiemiddel te verzenden. En genereert dan 4 sleutel / waarde paar als een output.

nu hoeft Reducer slechts 4 Sleutel – / waardepaargegevens te verwerken die worden gegenereerd uit 2 combiners. Daarom wordt reducer slechts 4 keer uitgevoerd om de uiteindelijke output te produceren. Dit verhoogt dus de algehele prestaties.

voordelen van Combiner in MapReduce

laten we nu de voordelen van Hadoop Combiner in MapReduce bespreken.

  • het gebruik van combiner vermindert de tijd die nodig is voor gegevensoverdracht tussen mapper en reducer.
  • Combiner verbetert de algehele prestaties van het reductiemiddel.
  • Het vermindert de hoeveelheid gegevens die reducer moet verwerken.

nadelen van Combiner in MapReduce

zijn er ook enkele nadelen van Hadoop Combiner. Laten we nu hetzelfde bespreken.

  • in het lokale bestandssysteem, wanneer Hadoop de sleutelwaardeparen opslaat en de combiner later uitvoert, zal dit dure schijf IO veroorzaken.
  • MapReduce-taken kunnen niet afhankelijk zijn van de uitvoering van de combiner omdat er geen garantie is voor de uitvoering ervan.

conclusie

Geef een antwoord

Het e-mailadres wordt niet gepubliceerd.