how to create cluster for apache spark ( 아파치 스파크 클러스터 구성 방법)

이전 포스트에서 apache spark 설치를 완료하였습니다. 추가적으로 모니터링 설정을 더 하여 관리를 쉽게 해보도록 하죠 !

다시 한번 적지만, 본 환경설정은 YARN 등을 이용하는게 아니라 단일모드(standalone)용 환경구성입니다. 우선 spark 로그 파일이 생성되도록 아래와 같이 logs 디렉토리 생성 및 spark config 파일을 생성합니다.

친절하게도 spark 에서는 config 파일 템플릿 파일이 존재하며, 그것을 복사한 후 vi 로 열어서 log설정을 합니다. $ mkdir /opt/spark/logs $ cd /opt/spark/conf $ spark-defaults.conf.template spark-defaults.conf $ vi spark-defaults.conf 파일을 열면 모두 # 으로 주석처리 되어 있는데 아래 2부분만 주석 해제를 합니다. 그리고 spark.eventLog.dir 부분에는 아까 생성한 로그용 디렉토리 full path를 적어...

요청 처리 중입니다...

how to create cluster for apache spark ( 아파치 스파크 클러스터 구성 방법) - standalone

등록된 다른 글