AWS 환경에서 Requests 활용하여 크롤링 수행
에러
Enable Javascript and Cookies to Continue
해결 방안
헤더에 User_agent 설정해주기
header = {"User-Agent": "MY User-Agent"}
response = requests.get(url, headers=header)https://www.whatismybrowser.com/detect/what-is-my-user-agent/
What is my user agent?
Every request your web browser makes includes your User Agent; find out what your browser is sending and what this identifies your system as.
www.whatismybrowser.com
위의 사이트에서 MY User-Agent 확인하여 붙여넣기
'TIL' 카테고리의 다른 글
| [MacOS] Shell 명령어 / Zsh 이해하기 (4) | 2024.03.16 |
|---|---|
| [MAC / Ubuntu] ssh 원격접속 오류 해결 방법 / MAC 터미널 / WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! (0) | 2023.10.12 |
| [Python]Python visualization tool (파이썬 시각화 툴 종류) (0) | 2023.05.23 |
| anaconda 명령어 정리 (0) | 2022.10.18 |
| [Mac] 맥북에 주피터 랩 (Jupyter lab) 설치하기 / 실행 화면 (0) | 2022.06.02 |