데이터 수집 방법 (Web Scraping; 웹 크롤링)

텍스트 마이닝의 첫 단계는 바로 데이터 수집이다. 때문에, 분석 목적에 맞는 텍스트 데이터를 인터넷에서 직접 수집해야 한다.

이때 사용되는 방법이 웹 크롤링 방법이다.웹 크롤링(Web Crawling) 이란?크롤링은 정확히 말해 크롤러가 동작하는 것을 뜻하며, 크롤러(Crawler)란, 사람처럼 웹에 접속해서 테이터를 받아오는 프로그램을 의미한다.즉, 크롤링은 알고리즘에 의해 인터넷을 탐색하는 프로그램을 말한다.이외에도 크롤링(crawling)을 부르는 용어가 많다.

스크래핑(scraping), 스파이더(spyder), 봇(bot) 등이 있다.페이지를 돌아다니는 행위는 크롤링(Crawling),특정 페이지의 데이터를 수집하는 행위는 스크래핑(Scraping)으로 의..........