[Python] 파이썬 크롤링 "403 Forbidden" 오류 해결 방법/ 크롤링 접근 차단 방지

파이썬으로 크롤링을 하다보면 이유를 알수없는 예상치 못한 오류들이 발생하기도 한다.이때 그 오류가 웹 페이지에서 크롤링을 하지 못하도록 접근 차단을 했기 때문인지 확인하는 방법은 다음과 같다.코드 실행 결과가 다음과 같다면, 해당 웹페이지는 접근 권한이 없기 때문에 크롤링 오류가 발생하는 것이다.* 또한 응답코드가 403인것을 보아, 무언가 금지되어 오류가 난 것임을 알 수 있다.이런 경우에는 일반적인 크롤러 함수를 사용하면 안되고, 몇가지 옵션이나 우회하는 방법을 시도해야 된다. 이때 사용되는 대표적인 오류 해결방법은 headers 옵션을 사용하는 것이다. headers={"User-Agent" : "Mozilla..........