32. [Spark] Application report for application_ (state: ACCEPTED) 가 끝나지 않을 떄

최근, spark로 클러스터를 구축해야 할 일이 생겨서 사내 서버 내에서 리눅스 컨테이너를 이용한 VM으로 slave와 master를 만든 적이 있었다. namenode와 n개의 datanode 노드로 구성된 하둡 위에 master와 worker를 올려서 사용했다. 리눅스 컨테이너를 사용해 함수 하나만 부르면 단 30초만에 n개의 slave들로 클러스터를 구축하도록 on-demand 식으로 만들었기 때문에 hadoop 그 자체는 그다지 어렵지 않았었지만, spark를 그 위에 올리려니 이상한 오류가 있었다.

바로 Application report for application_ (state: ACCEPTED) 가 끝나지 않는 현상이였다. Job submit 시 발생했었다.

이유를 구글의 도움을 받아서 찾아보니, yarn에서 해당 job에 리소스를 할당해주지 못해 발생하는 문제라고 했었다. 간단한 spark-pi 예제를 돌렸기 때문에 그렇게 메모리를 많이 잡아먹지도 않을 뿐더러 사내 서...