[팁] 웹로봇 수집막기

웹로복의 수집규약(?)상 robots.txt라는 파일에 수집대상을 제한하도록 되어있다고 한다.

(처음알았음) http://도메인/robots.txt User-agent: * Disallow: /spn/site/data/ Disallow: /priv/ Disallow: /svc/ Dis.....