[TIL] 웹크롤링 에러 해결 (Enable Javascript and Cookies to Continue)

AWS 환경에서 Requests 활용하여 크롤링 수행

 

에러 

Enable Javascript and Cookies to Continue

 

해결 방안

헤더에 User_agent 설정해주기 

header = {"User-Agent": "MY User-Agent"} 
response = requests.get(url, headers=header)

https://www.whatismybrowser.com/detect/what-is-my-user-agent/

What is my user agent?

위의 사이트에서 MY User-Agent 확인하여 붙여넣기