개발자 용어 정리 [ 프로그래밍 용어 ] 빅데이터 기술 용어정리 [스크레이핑, 크롤링] _(개발 면접 질문) 사진찍는 개발자 2018. 2. 21. 12:00 이웃추가 본문 기타 기능 빅데이터 : 대규모의 데이터의 집합. 빅데이터 분석이란 수많은 데이터에서 규칙성을 찾아서 데이터에 포함된 요소 중에서 중요한 것을 추출하고, 이를 분류해서 규칙성을 찾는 것.
스크레이핑 : 웹 사이트에 있는 특정 정보를 추출하는 기술을 의미. 웹에서 데이터를 추출하는 것뿐만이 아닌 구조를 분석하는 것도 포함 크롤링 프로그램이 웹 사이트를 정기적으로 돌며 정보를 추출하는 기술. ( 정기적으로 데이터를 최신화한다.)
머신 러닝에 사용할 수 있는 데이터의 구조 쉼표로 구분하는 CSV 계층을 통해 구조화할 수 있는 JSON , XML , YAML...
#
개발면접질문
#
빅데이터
#
스크레이핑
#
용어정리
#
크롤링