최근 AI 기술이 급속하게 발전하면서, AI 및 빅데이터 분야에 활용하기 위한 데이터의 중요성이 날로 높아지고 있습니다. 특히 네이버 블로그와 같이 다양한 주제로 활발하게 텍스트가 생성되는 서비스의 경우 고가치의 텍스트를 제공하기 때문에 연구등의 목적으로 문장 데이터를 사용하기에 좋습니다.
그렇지만 연구용 텍스트를 수집하기 위해서 직접 하나하나 블로그를 방문하기는 어려운데요, 이럴때 사용할 수 있는 프로그램이 바로 크롤링 프로그램 입니다. 크롤링 프로그램의 경우 주제어를 지정하면 해당 주제어로 네이버 블로그 검색한 뒤에 이를 txt 텍스트 형태로 추출해 줍니다.
특히 제목, 링크, 닉네임, 본문 네가지 옵션을 각각 선택해서 추출하는 것도 가능합니다. 또한 | 문자로 주제어를 나눌 경우 복수개의 단어에 대해서도 크롤링 수행이 되며, 최대 수집 개수 지정도 가능합니다.
실제 사용 화면인데요, 다양한 방식의 크롤링 뿐만 아니라 크롤링된 문장을 필터링 할 수도 있기 때문에 활용도가 매우 높...
#
AI
#
네이버블로그크롤러
#
데이터수집
#
블로그크롤러
#
빅데이터
#
웹크롤링
#
크롤러
#
크롤링봇
#
텍스트수집
![[데이타 복구 (1)] 외장 하드, HDD, USB 복구 방법 전반 스스로 해본 후기 (포렌식, Raw, 셀프, 배드섹터, 인식오류, 삭제 데이터, bad sector)](https://mblogthumb-phinf.pstatic.net/MjAxOTA1MTJfMTA4/MDAxNTU3NjYxOTQ2MDk2.O6hCTUuEqiIBYjmSBi2Q8H5D_47uwOroiBxmMytQ8TYg.uvTgOYFOBG0a_vc9OZ7pgNH2Uff7APOpsNeidsoxr8Ag.PNG.k1303/image.png?type=w2)
