[Node] Crawling puppeteer를 활용하여 웹 페이지의 데이터를 Crawling하기

원하는 페이지에서 html 소스를 가져와 파일 시스템을 이용하여 실제 파일로 출력하는 로직이다. 각 라인에 대한 설명은 주석에 있다.

예시 소스 const puppeteer = require('puppeteer'); const fs = require('fs'); // 파일시스템을 이용하여 실제 파일을 출력하는 로직을 작성 // puppeteer를 활용한 코드는 모두 비동기 코드로 이루어진다. const main = async () => { // puppeteer 실행 const browser = await puppeteer.launch(); // 새로운 페이지를 만듦 const page = await browser.newPage(); // 파싱할 데이터가 있는 페이지로 이동 / waitUntil을 사용하여 언제까지 기다릴 것인지 명시 await page.goto('https://example.com', {waitUntil : 'networkidle2'}); // 로드 타임이 오래걸릴...

요청 처리 중입니다...

[Node] Crawling puppeteer를 활용하여 웹 페이지의 데이터를 Crawling하기

등록된 다른 글