이 글에서 얻을 수 있는 정보는,robots txt 란?우리가 홈페이지를 만들면 자동으로 구글, 네이버, 빙 등에서 내 홈페이지를 발견해서 노출시켜주지 않습니다.
우리가 홈페이지를 만들었다고 각각의 사이트에 가서 말을 해주어야 합니다.홈페이지가 생겼다는 말을 해주면, 검색사이트에서 보고를 받은 'AI 검색 엔진'이 수집하는 AI를 보내서 사이트를 수집하러 옵니다. 이 사이트를 수집하러 오는 AI가 웹 크롤러(검색엔진 크롤러)입니다.이 '웹 크롤러'가 우리 홈페이지에 방문해서 홈페이지 안에 있는 링크들을 타고 다니면서 우리 홈페이지가 어떻게 생겼는지 파악하게 되는데, 이 파악을 더 쉽게 하도록 하는 것이 '사이트 맵'(sitemap.xml)입니다.
(사이트맵에 관해 궁금하신분은 여기를 클릭해서 확인해주세요.....
원문 링크 : robots txt 파일 총정리 가이드
