이번 포스팅에서는 HDFS가 파일 저장 요청을 받은 뒤 어떻게 데이터 전송을 하는지에 대해 정리했습니다. [HDFS 파일 저장] - 클라이언트에서 먼저 네임노드와 통신 과정을 통해 스트림(DFSOutputStream)을 생성한다. - 생성된 스트림을 통해 클라이언트에서 파일을 각 데이터 노드에 전송한다.
이 때 저장한 파일은 패킷단위로 나누어서 저장한다. - 파일 전송이 완료되면 클라이언트에서는 네임노드에서 얻은 스트림을 close하고, 남은 모든 패킷이 flush 된다. - 클라이언트에서 네임노드의 complete 메소드를 호출해서 정상적으로 저장되었다면 true 반환, 파일 저장 완료 지난번에는 스트림 생성 과정에 대해 알아보았다면 이번엔 생성된 스트림을 바탕으로 데이터 노드에 어떻게 데이터를 전송하는지 설명해보겠습니다. 그림이 복잡한 편이지만 번호를 매겨놨으니 번호를 잘 따라서 설명을 보시면 도움이 되실겁니다. 1.
클라이언트에서 저장 요청을 합니다. > 클라이언트에서 DFSO...
![HDFS 구조[3] 데이터 전송(하둡)](https://mblogthumb-phinf.pstatic.net/MjAxOTEyMDNfMTcx/MDAxNTc1MzM0ODYzMTg3.a5SxqeJOBPcuUo-YngXoDkUQrtjfagvF2KZh62mfAyMg.1DYRQQ3jnvSkXmEe0hCMwZnd9zyIl5qmL4Yg-UeFtTsg.PNG.h0609zxc/%C1%A6%B8%F1_%BE%F8%C0%BD.png?type=w2)
#
analysis
#
분산처리시스템
#
분산파일
#
블록
#
블록구조
#
스트리머
#
요청
#
저장
#
전송
#
클라이언트
#
파일
#
파일저장
#
패킷
#
하둡
#
분산처리
#
데이터전송
#
data
#
dataanalysis
#
file
#
hadoop
#
HDFS
#
JVM
#
node
#
객체
#
네임노드
#
노드
#
데이터노드
#
데이터분석
#
데이터엔지니어
#
하둡에코시스템
원문 링크 : HDFS 구조[3] 데이터 전송(하둡)
