크롤링 접근 차단 robots.txt

프로젝트를 시작하기에 앞서 크롤링에 대한 정보와 지식을 얻으려 서칭을 했습니다. 크롤링이 법적 문제가 자주 일어나고 이를 침해하지않고 사용하는것이 중요다는것을 알게 되었다.

그래서 크롤링을 하기전에 알.....