마지막을 장식할 robots.txt와 웹 페이지 최적화. 이제 드디어 네이버 서치 어드바이저의 마지막 편이다.
검증에는 robots.txt 와 웹페이지 최적화가 있다. robots.txt Yeti 구글 -> Googlebot 다음 -> Daumoa MS -> Bingbot 각자 다른 로봇들이 존재한다. 이 녀석들을 robots.txt 파일에 허용해야지 검색을 하는데...
문제는 아예 robots.txt 파일이 없어도 검색을 하긴 한다. 가지고 가지 말라고 한 것까지 가지고 가는 게 문제지...
곰 세끼 같은 경우는 네이버,구글,MS,JUM 4개를 등록했다. 다음은 티스토리니까 당연하게 등록이 되니까 PASS~ 모든 검색 로봇으로 바꾸고 다운로드를 받는다.
그러면 robots.txt 파일이 다운로드가 될 .....