[파이썬 스터디] 네이버 검색결과 스크래핑하기 (맥북)

파이썬 활용 중에 가장 범용적으로 사용되고 있는 뉴스 스크래핑을 알아보자, 일단 스크래핑을 하기 전에 알고 가야 하는 기초 정보들을 공부하자. 크롤링/스크래핑/파싱 웹 크롤링이란?

웹상의 정보들을 탐색하고 수집하는 작업을 의미한다. 인터넷에 존재하는 방대한 양의 정보를 규칙에 따라 자동으로 탐색하는 것을 의미한다.

웹 스크래핑이란? 특정 웹사이트나 페이지에서 필요한 데이터를 자동으로 추출해내는 것을 의미한다.

웹 크롤링과 웹 스크래핑의 차이점 웹 크롤링은 웹상을 돌아다니면서 방대한 양의 정보를 수집하기 때문에, 특정 키워드에 대한 심층 분석이 필요할 때 유용하다. 웹 스크래핑은 특정 사이트나 페이지에 대한 정보를 찾는데 집중하므로 데이터 포인트를 정확히 잡고 확실한 정보만을 수집할 수 있다는 점에서 유용하다.

파싱이란? 프로그램에서 텍스트 데이터를 읽어들이고, 그것을 의미있는 정보로 분해하는 작업이다.

HTML태그를 해석하여 웹 페이지내의 데이터를 추출하는 것도 파싱의 일종이다. 정...