38. [MapReduce] 맵리듀스 프로그래밍 시작하기

wordcount 예제를 통해 맵리듀스를 어떻게 구성해야 하는지를 알아본다. wordcount 소스는 이전 포스팅에 있는 소스를 봐도 되고, 여기에서 직접 소스 전문을 확인할 수도 있다. 대부분의 경우에는 wordcount 예제를 조금씩 변형하는 식으로 문제를 해결할 수 있다. wordcount 예제를 변형해서 문제를 해결할 수 없는 경우 (예를들어 처리할 입력이 이미지라든지, 잡 체인을 건다든지 등), 구글링으로 직접 알아가면서 해결하는것이 좋다. + 참고로, 맵리듀스 API를 호출하는 것에는 두 가지 종류가 있다.

예전 방식과 최근 방식이 있는데, 버전업되면서 새로운 형식으로 바뀐것이다. 무엇이 다른지 확인하고 싶다면 여기 를 클릭해 확인하기 바란다.

맵리듀스 프로그래밍에서 사용자가 직접 구현해야 할 클래스(또는 함수)는 크게 두 가지 단계가 있다. 말 그대로 맵, 리듀스 두 개의 과정이다.

물론, 중간에 컴바이너, 파티셔너, Writable 객체를 직접 정의하는 일, 다양한 디...