robots.txt 확인 문제해결 방법 (네이버 웹마스터도구) 안녕하세요. 하루 3분, 인생을 바꾸는 3분 재테크입니다.
티스토리 블로그를 운영하다보면 구글서치콘솔 및 네이버 웹마스터도구에서 예상치 못하는 오류를 발견할 때가 있는데요. 어떤 오류들은 그냥 둬도 무방하지만 최적화를 위해 가급적 오류를 해결하는 것이 좋겠습니다.
오늘은 크롤링 중 서버에 문제가 생길 때 이를 robots.txt로 해결하는 방법을 알아보고자 합니다. 오늘 알아볼 내용 robots.txt란?
로봇텍스트 유무 확인방법 로봇텍스트 생성 문제해결 방법 robots.txt란? 이는 웹사이트에서 크롤링을 할 때 어떤 페이지를 정보수집을 해도 되는지 알려주는 역할을 하는 텍스트 파일입니다.
동시에 크롤러가 정보수집을 할 때 요.....
