[use robots.txt] 1. 모두 차단 User-agent:* Disallow:/ 2.
모두 허용 User-agent:* Allow:/ 3. /admin/ 이하 차단 User-agent: * Disallow: /admin/ 4. googlebot 만 차단 User-agent: googlebot Disallow: / 5......
검색로봇 배제에 대한 요약내용입니다.
자세한 내용은 아래에 원문링크를 확인해주시기 바랍니다.