[파이썬] 네이버 카페 게시글 댓글 크롤링

오늘은 특정 카페의 게시글과 댓글을 크롤링해보려고 한다. 해당 코드들은 작년에 내가 중소기업에서 일할 때 작성했던 코드이다.

마케팅 회사 입장에서 카페 게시글 댓글 크롤링은 크게 2가지로 사용 가능하다. 특정 카페에서의 키워드 검색결과에 대한 카페 유저 반응 브랜드 서포터즈들 성과 확인 이 2가지에 크게 사용할 수 있다.

첫번째는 특정 카페에 원하는 키워드를 검색하고 검색 결과로 나온 게시글과 댓글을 모두 크롤링하고 해당 데이터들을 전처리해서 워드클라우드 및 토픽모델링을 통해 카페 유저들의 반응을 살펴보았다. 두번째는 댓글 활동하시는 서포터즈들의 성과를 확인하기 위해서 하나하나 카페에 들어가서 해당 게시글에 댓글이 달렸는지 확인하는 것은 낭비라고 판단해서 해당 코드를 이용해 간단하게 트래킹하였다.

코드 작성에 앞서서 제일 중요한 준비물이 하나 있다. 바로 크롤링을 원하는 카페에 가입된 네이버 ID와 비밀번호다.

크게 크롤링 과정은 다음과 같이 나눌 수 있다. 네이버 세션 로그인 ->...