26. [Docker] 도커 컨테이너 기반의 하둡 클러스터 실행 - hadoop on docker

이 포스트는 http://tashan10.com/yong-dockerda-jian-hadoopwei-fen-bu-shi-ji-qun/ 에 기반해 작성되었습니다. 그러나 저 포스트의 내용대로 하면 되지 않기에, 새로운 내용을 추가해 포스팅합니다. 1.

소개 - Hadoop on Docker 도커 기반으로 하둡 컨테이너를 실행하는 분산처리 구조는 기존의 방법과 비교했을 때 몇몇 이점을 가져다 준다. 필자가 예전에 하둡을 실행했을 때에는 VM이 아닌 실제 머신을 여러 대를 slave로 만들어서 맵리듀스를 실행했었다.

이 때의 단점은 간단하다. 각 slave 머신들마다 하둡에 대한 설정을 일일히 해줘야 하는데다가, 그 slave들을 총괄적으로 관리하기 번거로웠다는 점이다.

그러나 리눅스 컨테이너를 기반으로 하둡 클러스터를 생성한다면, 그것도 도커를 사용한다면 이야기는 달라진다. 완성된 이미지 하나만 있으면 slave를 원하는 만큼 간편하게 복제해낼 수 있다.

하둡이나 자바 소스에서 변경된 ...