(1) 데이터 적재 데이터 적재 도구 - 수집한 데이터는 빅데이터 분석을 위한 저장시스템인 관계형DB, HDFS를 비롯한 분산파일시스템, NoSQL 저장시스템에 적재 가능 ① 데이터 수집 도구를 이용한 데이터 적재 - 플루언티드(Fluentd) : 트레저 데이터에서 개발된 크로스 플랫폼 오픈 소스 데이터 수집 소프트웨어. 사용자의 로그를 입력받아 JSON 포맷으로 변한한 뒤 다양한 형태로 출력 - 플럼(Flume) : 많은 로그데이터의 효율적 수집,취합,이동을 위한 분산형 소프트웨어.
로그데이터 수집과 네트워크 트래픽 데이터, 소셜 미디어 데이터, 이메일 메시지 데이터 등 대량의 이벤트 데이터 전송을 위해 사용 - 스크라이브(Scribe) : 많은 서버로부터 실시간 스트리밍되는 로그 데이터를 집약시키기 위한 서버. 클라이언트 사이드 수정 없이 스케일링 및 확장이 가능 - 로그스태시(Logstash) : 다양한 소스에서 데이터를 수집 및 변환한 후 자주 사용하는 저장소 ② NoSQL...
#
GFS
#
플루언티드
#
플럼
#
스크라이브
#
빅분기필기
#
빅분기
#
빅데이터자격증
#
빅데이터분석기사
#
빅데이터
#
로그스태시
#
데이터적재
#
구글파일시스템
#
HDFS
#
하둡분산파일
원문 링크 : 빅데이터분석기사 필기 공부 day-15
