[구글 서치 콘솔 초보자를 위한 설정하기(6)] 사이트맵과 rss의 갱신과 티스토리가 robots.txt를 만져서 돌려줬다.

카카오에 문의를 넣어서 보냈더니 카카오가 만져서 다시 제대로 돌아온 robots.txt https://본인의 블로그 URL/robots.txt를 치면 티스토리가 설정한 robots가 나온다. 이 녀석의 쓰임새는 각종 포털의 로봇들이 내 티스토리의 블로그의 내용들을 가져간다.

그런데 robots.txt의 설정으로 필요한 부분만 가져가게 만들 수 있는 것이다. 이것을 카카오가 Ftext/plain이라는 제대로 되지 않는 용어를 넣음으로써 구글 봇이 내용을 가져가다가 robots.txt에게 차단을 당해서 모바일 사용 편의성 등 여러 가지 오류가 난 것이다.

한마디로 문지기(robots.txt)에게 cut 당한 구글봇인것이다. 그놈의 Ftext/plain이 robots.txt에 들어간 지 3일째이고, 드디어 카.....