스파크 매니저 비교 (Mesos VS YARN)

스파크 매니저의 역할 매니저는 작업 요청이 들어오면 리소스가 사용가능한지 결정하고 스케쥴러를 구동한다. standalone 매니저와의 차이점 standalone은 워커 노드 마다 하나의 excutor 만 실행할 수 있다. 이 때 excutor는 워커노드에서 작업을 수행하는 프로세스이다.

반면에 Mesos나 Yarn을 사용하면 하나의 워커 노드에서 여러 excutor를 사용할 수 있다고 한다. Mesos 와 YARN 스케쥴링 비교 Mesos Yarn monolithic model non-monolithic model non-하둡 잡 관리 하둡 잡 관리 데이터 센터 운영에는 Mesos와 yarn 모두 필요함 참고 https://m.blog.naver.com/PostView.nhn?

blogId=juner84&logNo=220502203246&proxyReferer=https%3A%2F%2Fwww.google.com%2F [devopts][cluster manager] mesos vs ya...