하둡 결합기 소개,작업 및 장점

목표

이 하둡 튜토리얼에서,우리는 당신에게 하둡 결합기에 대한 자세한 설명을 제공 할 것입니다. 우선,우리는 맵리 듀스에서 결합기의 핵심 역할이 무엇인지,맵리 듀스 결합기 무엇인지 볼 수 있습니다. 그 다음 우리는 하둡에 결합기없이 맵리 듀스 프로그램의 예를 논의 할 것이다. 마지막으로,우리는 또한 몇 가지 장점과 맵리 듀스에서 결합기의 단점을 볼 수 있습니다.

하둡 결합기

2. 하둡 결합기 란 무엇입니까?

결합기는 감속기로 전달하기 전에 동일한 키로 매퍼 출력 레코드를 요약하는”미니 감속기”라고도합니다.

우리는 맵리 듀스 작업을 실행할 때 큰 데이터 세트에. 그래서 매퍼는 중간 데이터의 큰 덩어리를 생성합니다. 그런 다음 프레임 워크는이 중간 데이터를 추가 처리를 위해 감속기에 전달합니다. 이것은 엄청난 네트워크 혼잡으로 이어집니다. 하둡 프레임워크는 네트워크 혼잡을 줄이는 데 핵심적인 역할을 하는 결합기라는 기능을 제공합니다.

결합기의 주요 작업은”미니 감속기는 감속기에 전달하기 전에,매퍼에서 출력 데이터를 처리하는 것입니다. 그것은 매퍼 후 감속기 전에 실행됩니다. 그것의 사용은 선택 사항입니다.

하둡에서 결합기는 어떻게 작동합니까?

이제 우리는 우리가 맵리 듀스에서 결합기를 사용할 때 상황이 어떻게 변하는지 알아 보자?

결합기가없는 맵리 듀스 프로그램

위의 다이어그램에서 볼 수 있듯이 결합기가 없습니다. 입력은 두 개의 매퍼로 분할됩니다. 이 프레임 워크는 매퍼에서 9 개의 키를 생성합니다.

이제(9 키/값)중간 데이터가 있습니다. 또한 매퍼는이 키-값을 감속기로 직접 보냅니다. 감속기로 데이터를 전송하는 동안 일부 네트워크 대역폭을 소비합니다. 데이터의 크기가 큰 경우 감속기로 데이터를 전송하는 데 더 많은 시간이 걸립니다.

결합기와 맵리 듀스 프로그램

이제 위의 그림에서,우리는 매퍼와 감속기 사이에 결합기를 사용하는 경우. 그런 다음 결합기는 감속기로 보내기 전에 9 키/값을 셔플합니다. 그런 다음 4 개의 키/값 쌍을 출력으로 생성합니다.

이제 감속기는 2 개의 결합기에서 생성 된 4 개의 키/값 쌍 데이터 만 처리해야합니다. 따라서 감속기는 최종 출력을 생성하기 위해 4 번만 실행됩니다. 따라서 이는 전반적인 성능을 향상시킵니다.

맵리 듀스에서 결합기의 장점

이제 맵리 듀스에서 하둡 결합기의 장점을 살펴 보자.

  • 결합기를 사용하면 매퍼와 감속기 간의 데이터 전송 시간이 단축됩니다.
  • 결합기는 흡진기의 전반적인 성과를 개량합니다.
  • 감속기가 처리해야하는 데이터의 양을 줄입니다.

맵리 듀스

에서 결합기의 단점 하둡 결합기의 몇 가지 단점도 있습니다. 이제 같은 것을 논의합시다.

  • 로컬 파일 시스템에서 하둡이 키-값 쌍을 저장하고 나중에 결합기를 실행하면 비용이 많이 드는 디스크 입출력이 발생합니다.
  • 맵리 듀스 작업은 실행에 보장이 없기 때문에 결합기 실행에 의존 할 수 없습니다.

결론

답글 남기기

이메일 주소는 공개되지 않습니다.