robots.txt은 검색엔진에 유출되지 않도록 제어하고, 로봇이 접근을 하는 것을 방지하기 위해 만든어진 표준, 로봇 배제 프로토콜입니다robot.txt는 웹사이트의 최상위의 경로에 존재한다. 따라서 확인을 하고 싶으면 도메인 주소/robots.txt를 입력하면 확인할 수 있다.
없는 경우도 존재하니 주의합니다.액세스 표시 User-agent는 제어할 봇의 이름입니다.Allow는 허락할 문서를 설정합니다.Disallow는 허락하지 않는 문서를 설정합니다.*, / 이것은 모든 봇과 모든 문서를 막겠다는 표시이다.모든 문서와 모든 봇에 대해서 허락한다는 표시모든 문서와 모든 봇에 대해서 차단한다는 표시간혹가다가 Allow : /$ 이렇게 되어있..........
robot.txt 이란?에 대한 요약내용입니다.
자세한 내용은 아래에 원문링크를 확인해주시기 바랍니다.
