구성 마스터 노드 1대 슬래이브 노드 1대를 구성하기로 함 버전 java version "1.8.0_241 spark-2.4.5-bin-hadoop2.7 요약 마스터 노드랑 슬래이브 노드에 단일모드 스파크를 설치한 후에 ssh 연동하면 된다. 마스터에 단일모드 스파크 설치 쭉 수행한 뒤에 슬래이브에 똑같이 하는 방법추천.
스파크가 JVM을 사용해서 자바 먼저 깐다. 1. 자바 설치 아래 링크 보고 따라함 https://osc131.tistory.com/78 [Linux] 계정 별 JDK 설정 [Linux] 계정 별 JDK 설정 작성일자 : 2018년 08월 23일 환경 : CentOS 6.6 / JDK 1.8.0_181 / JDK 1.7.0_80 시나리오 : Root 계정을 제외한 사용자 계정 별 다른 버전의 JDK 설정 jdk17 : jdk1.7 사용 계정 jdk18.. osc131.tistory.com 사용자 계정에 자바 설치함 smyu@atc13:/usr/java$ java ...
#
spark
#
데이터
#
분석
#
빅데이터
#
스파크
#
연동
#
클러스터
원문 링크 : 스파크 클러스터 구축하기
![[DFS]백준 2667 단지번호붙이기](http://blogimgs.pstatic.net/nblog/mylog/post/og_default_image_160610.png)
![[virtualbox] 게스트간 통신, 게스트와 외부 통신 동시 설정](https://mblogthumb-phinf.pstatic.net/MjAyMTAyMTBfMzUg/MDAxNjEyOTU2NzMyODUz.DqXtMbW_2yydiECT2ppxF2wo8HDNvat9KyYiQzVO-dMg.jMGfnCm05EvQmtsg7WZRsXu0NGsxVQfyKdGtg_Kp0Oog.PNG.6134aon/nat_%B3%D7%C6%AE%BF%F6%C5%A9_%BC%B3%C1%A4.PNG?type=w2)