Hadoop Combinador Introdução, Trabalho & Vantagens

Mantendo-o atualizado com as últimas tendências de tecnologia, Juntar TechVidvan no Telegrama

Objetivo

neste Hadoop tutorial, iremos fornecer-lhe uma descrição detalhada do Hadoop Combinador. Em primeiro lugar, veremos o que é MapReduce Combiner, Qual é o papel fundamental do Combiner no MapReduce. Em seguida, discutiremos o exemplo do programa MapReduce com e sem combinador no Hadoop. Por fim, também veremos algumas vantagens e desvantagens do combinador no MapReduce.

Hadoop Combiner

2. O que é Hadoop Combiner?

Combinador também é conhecido como” mini-redutor ” que resume o registro de saída Mapeador com a mesma chave antes de passar para o redutor.

em um grande conjunto de dados quando executamos MapReduce job. Então Mapper gera grandes pedaços de dados intermediários. Em seguida, a estrutura passa esses dados intermediários no redutor para processamento posterior. Isso leva a um enorme congestionamento de rede. O Hadoop framework fornece uma função conhecida como Combinador que desempenha um papel fundamental na redução do congestionamento da rede.

o trabalho principal do combinador a “mini-redutor é processar os dados de saída do Mapeador, antes de passá-lo para o redutor. Ele corre atrás do mapeador e antes do redutor. Seu uso é opcional.

como funciona o Combiner no Hadoop?

agora vamos aprender como as coisas mudam quando usamos o combinador em MapReduce?

 programa MapReduce sem Combinador

como vemos no diagrama acima, nenhum combinador está lá. A entrada é dividida em dois mapeadores. A estrutura gera 9 chaves dos mapeadores.

então, agora temos (9 chave/valor) dados intermediários. Além disso mapeador envia este valor-chave diretamente para o redutor. Ao enviar dados para o redutor, ele consome alguma largura de banda da rede. Leva mais tempo para transferir dados para o redutor se o tamanho dos dados for grande.

 programa MapReduce com Combinador

agora a partir do diagrama acima, se usarmos um combinador entre mapper e redutor. Em seguida, combinador irá embaralhar 9 chave / valor antes de enviá-lo para o redutor. E então gera 4 par chave/valor como uma saída.

agora, o redutor precisa processar apenas 4 Dados de pares de chave / valor que são gerados a partir de 2 combinadores. Consequentemente o redutor obtém executado somente 4 vezes para produzir a saída final. Assim, isso aumenta o desempenho geral.

> Vantagens do Combinador no MapReduce

Vamos agora discutir os benefícios do Hadoop Combinador no MapReduce.

  • O uso do combinador reduz o tempo necessário para a transferência de dados entre o mapeador e o redutor.
  • Combinador melhora o desempenho geral do redutor.
  • diminui a quantidade de dados que o redutor tem que processar.

desvantagens do combinador no MapReduce

existem também algumas desvantagens do combinador Hadoop. Vamos agora discutir o mesmo.

  • no sistema de arquivos local, quando o Hadoop armazena os pares de valor-chave e executa o combinador mais tarde, isso causará IO de disco caro.
  • Os trabalhos MapReduce não podem depender da execução do combinador, pois não há garantia em sua execução.

conclusão

Deixe uma resposta

O seu endereço de email não será publicado.