HDFS 성능 최적화 kt넥스알 2021년 상반기 테크리포트 by 기술블로그 1. 서론 DataOps 팀에서 대용량의 클러스터를 운영하면서 HDFS에 적용하였던 성능 최적화 방법에 대해서 서술합니다. 2.
Namenode구조 알아보기 관련 기술연구, 선행작업 HDFS의 성능 최적화 방법에 대해 알아보기전에 Namenode의 구조와 데이터 처리 방식에 대하여 알아보려 합니다. HDFS의 NameNode는 아래의 구조를 가집니다.
크게 블록 처리를 위한 Service 그리고 요청 처리를 위한 RPC Server로 나뉘어집니다. RPC Server는 Client의 요청을 처리합니다.
사용자가 hdfs 명령어를 통해 디렉토리를 조회하고 삭제하고 적재하는 모든 명령어들은 RPC Server에서 처리됩니다..........
