Mantendo-o atualizado com as últimas tendências de tecnologia, Juntar TechVidvan no Telegrama
Objetivo
neste Hadoop tutorial, iremos fornecer-lhe uma descrição detalhada do Hadoop Combinador. Em primeiro lugar, veremos o que é MapReduce Combiner, Qual é o papel fundamental do Combiner no MapReduce. Em seguida, discutiremos o exemplo do programa MapReduce com e sem combinador no Hadoop. Por fim, também veremos algumas vantagens e desvantagens do combinador no MapReduce.
2. O que é Hadoop Combiner?
Combinador também é conhecido como” mini-redutor ” que resume o registro de saída Mapeador com a mesma chave antes de passar para o redutor.
em um grande conjunto de dados quando executamos MapReduce job. Então Mapper gera grandes pedaços de dados intermediários. Em seguida, a estrutura passa esses dados intermediários no redutor para processamento posterior. Isso leva a um enorme congestionamento de rede. O Hadoop framework fornece uma função conhecida como Combinador que desempenha um papel fundamental na redução do congestionamento da rede.
o trabalho principal do combinador a “mini-redutor é processar os dados de saída do Mapeador, antes de passá-lo para o redutor. Ele corre atrás do mapeador e antes do redutor. Seu uso é opcional.
como funciona o Combiner no Hadoop?
agora vamos aprender como as coisas mudam quando usamos o combinador em MapReduce?
como vemos no diagrama acima, nenhum combinador está lá. A entrada é dividida em dois mapeadores. A estrutura gera 9 chaves dos mapeadores.
então, agora temos (9 chave/valor) dados intermediários. Além disso mapeador envia este valor-chave diretamente para o redutor. Ao enviar dados para o redutor, ele consome alguma largura de banda da rede. Leva mais tempo para transferir dados para o redutor se o tamanho dos dados for grande.
agora a partir do diagrama acima, se usarmos um combinador entre mapper e redutor. Em seguida, combinador irá embaralhar 9 chave / valor antes de enviá-lo para o redutor. E então gera 4 par chave/valor como uma saída.
agora, o redutor precisa processar apenas 4 Dados de pares de chave / valor que são gerados a partir de 2 combinadores. Consequentemente o redutor obtém executado somente 4 vezes para produzir a saída final. Assim, isso aumenta o desempenho geral.
> Vantagens do Combinador no MapReduce
Vamos agora discutir os benefícios do Hadoop Combinador no MapReduce.
- O uso do combinador reduz o tempo necessário para a transferência de dados entre o mapeador e o redutor.
- Combinador melhora o desempenho geral do redutor.
- diminui a quantidade de dados que o redutor tem que processar.
desvantagens do combinador no MapReduce
existem também algumas desvantagens do combinador Hadoop. Vamos agora discutir o mesmo.
- no sistema de arquivos local, quando o Hadoop armazena os pares de valor-chave e executa o combinador mais tarde, isso causará IO de disco caro.
- Os trabalhos MapReduce não podem depender da execução do combinador, pois não há garantia em sua execução.