[Python] 파이썬을 활용한 웹 크롤러 만들기

이번 포스팅에서는, 파이썬을 활용해 크롤러를 만들때 사용되는 파이썬 라이브러리에 대해 알아보려고 한다.먼저 크롤러(Crawler)라는 것은, 사람처럼 웹에 접속해서 데이터를 받아오는 프로그램이다. 이를 만들기 위해서는 두가지 모듈이 필요하다.1.

요청 모듈 (request module) : 웹 페이지를 요청하는, HTML 코드 요청 라이브러리. 2. 파싱 모듈 (parsing module) : 요청 결과를 파이썬에서 사용할 수 있는 타입으로 변환하는 라이브러리.다음은 파이썬에서 사용되는 대표적인 두가지 모듈이다.1. "requests" 모듈 : API를 이용할때 주로 사용하는 모듈로, 파이썬에서 웹 데이터를 요청할 수 있는 라이브러리이다. ⇒ HTML 코..........