Robots.txt에 대하여

크롤링이라.... 심란한 분야이다.

전 세계 트래픽의 절반 이상이 Bots으로 이루어져 있다는 사실은 이미 유명할 것이다.(어라 조금 더 있었던 거 같은데?)  

사실 이러한 크롤링이 순기능만을 가지고 있는 것은.....