Naver Blog

API 사용 없이 humanin 직업 스크래퍼를 만들어보자(3) - 完

https://blog.naver.com/helloworldeveloper/222903227866 API 사용 없이 humanin 직업 스크래퍼를 만들어보자(2) https://blog.naver.com/helloworldeveloper/222895465636 첫번째 글에서는 지역 코드를 찾고, 이를 반환하... blog.naver.com 이제 모든 페이지를 스크래핑 해오는 코드를 작성할 차례이다. 단순히 스크래핑 한 결과를 출력해서 보는 것만으로는 의미가 없기 때문에(어차피 1000자 넘어가면 잘리고) 결과를 csv파일로 생성하는 함수까지 만들어보자. 7. find_pages() 함수 만들기 지난번에 pagination에 직접적으로 접근할 수 없기 때문에 다른 방법을 사용한다고 하였다. 바로 채용정보 옆에 나온 공고의 건수를 활용하는 방법이다. 클래스명이 있기 때문에 find를 통해 곧바로 span 태그에 접근할 수 있다. 총 2,160건에서 2160 만을 추출하고, 한 페이지당

Naver Blog

API 사용 없이 humanin 직업 스크래퍼를 만들어보자(2)

https://blog.naver.com/helloworldeveloper/222895465636 API 사용 없이 humanin 직업 스크래퍼를 만들어보자(1) 개발 툴로는 아무거나 사용해도 상관 없다. 필자는 visual studio code를 사용하였다. 0~2번은 사용하는 개... blog.naver.com 첫번째 글에서는 지역 코드를 찾고, 이를 반환하는 함수를 만들었다. 본격적으로 스크래퍼를 제작해보자. 6. saramin_extract_jobs() 함수 만들기 이 함수는 지역과 검색어를 매개변수로 받아서 검색 결과를 긁어오는 작업을 할 것이다. search와 region은 입력 값으로 받는다. region은 saramin_search_region() 함수로 넘겨서 지역 코드로 변환 시킨다. saramin_extract_jobs(search, region) from urllib.parse import quote # 전체 코드에서 맨 윗줄에 추가하자 def saramin_e

Naver Blog

API 사용 없이 humanin 직업 스크래퍼를 만들어보자(1)

개발 툴로는 아무거나 사용해도 상관 없다. 필자는 visual studio code를 사용하였다. 0~2번은 사용하는 개발툴이 이미 있거나 가상환경 설정 방법을 안다면 그냥 건너뛰어도 된다. python3과 BeautifulSoup4 라이브러리를 사용하여 사람인 검색 결과를 스크래핑 하는 코드를 작성해볼 것이다. 그리고 스크랩한 결과를 csv 파일로 저장하여 엑셀로 확인할 수 있게끔 해보자. 0. 비주얼 스튜디오 코드 설치 https://code.visualstudio.com/ Visual Studio Code - Code Editing. Redefined Visual Studio Code is a code editor redefined and optimized for building and debugging modern web and cloud applications. Visual Studio Code is free and available on your favorite platf