하둡이란 ?

하둡을 시작하면서 큰 그림에서 어떤 개념인지 가볍게 조사함. 하둡 하둡은 분산 파일 시스템인 HDFS(Hadoop Distributed File System)와 분산 처리 프레임워크인 MapReduce로 구성되어 시작했다.

지금은 하둡 에코시스템으로 발전되었다. 분산 파일 시스템 HDFS 분산처리 프레임워크 맵리듀스 하둡의 시작 - 구글에서 검색시스템을 개발하기 위한 연구를 논문으로 발표함.

아파치에서 구현함. 프로그래밍 언어 : 자바 최초 출시일 : 2006년 4월 하둡이 분산 처리 하는 이유 - 디스크 드라이브로 부터 데이터를 읽어오는 속도를 줄이기 위해 -> 한 번에 여러 디스크에서 데이터를 읽도록 병렬 처리 -> "코드(가벼움)를 데이터(무거움)가 있는 곳으로 보낸다"는 핵심 아이디어 -> 대용량 파일 시스템(NAS, DAS, SAN 등)에 비해 비교적 저사양의 서버를 이용해서 스토리지를 구성할 수 있음 하둡과 스파크 - 언어 : 스칼라, R, 파이썬, 자바 - 성능: 배치 ...