33. [Celebration] 100번째 포스팅 기념, 최근 작업에 대한 고찰

필자는 도커 컨테이너(리눅스 컨테이너, 혹은 lib-container) 를 이용해서 클러스터를 구축하는 일을 심심풀이로 하고 있다. 클러스터가 실제 작업에 쓰이게 된다면 stand-alone이 아닌 multi-node 모드로 실행하게 될 것이므로 stand-alone뿐만 아니라 multi-node를 중심으로 테스트하고 있다.

시도해본 하둡 에코시스템으로는 HBase, Hive(사실 Hive는 REST-ful API 사용을 위한 webcat을 설정하다가 실패했다), spark, zookeeper 등이 있고, 각각의 버전이 하둡과 버전이 맞지 않아 어느 버전이 어느 버전과 호환되는지를 일일히 확인해 보기도 했으며, CreateHBaseCluster(10) 이라는 함수를 호출하면 9개의 RegionServer를 가진 HBase 클러스터를 하나부터 열까지 40초 안에 구축해주는 시스템도 만들어 보았다. 그렇지만 요즘 회의감에 빠지고 있다..

그 이유인 즉슨, 3개의 worker 노드로 Sp...