49. [HBase] HBase 프로그래밍(맵리듀스) 에서 주의해야 할 것.

필자가 HBase 클러스터를 구성하면서, 그리고 맵리듀스 관련 프로그래밍을 하면서 겪었던 문제점에 대해서 이야기해보고자 한다. 일단 필자가 구성한 HBase 클러스터의 구성도는 아래와 같다.

Hadoop Master 노드 하나와 HMaster 노드 하나, 그리고 slave 4개이다. quorum은 HMaster와 slave 2개로 구성하였다. quorum이 반드시 모든 regionServer가 될 필요는 없으나, - 실무에서 뛰고 있는 사람의 이야기를 들어보면 - 일반적으로는 3개의 quorum을 사용한다고 한다. 각 quorum에서 zkServer를 구동시켜주면 zookeeper가 작동하게 된다.

필자는 HBase에 맵리듀스로 데이터를 입력하는 작업을 하고 있었는데, 그 맵리듀스를 runnable jar로 만든 다음 hadoop jar에 제출하니 map 작업이 100%에서 더이상 진행되지 않았었다. 그리고 그 Map 작업이 수행되고 있는 regionServer(또는 datanode...