【爬虫】 使用urllib下的 urlretrieve 下载图片时报urllib.error.HTTPError: HTTP Error 403: Forbidden
文章目录
解决办法: 对请求进行伪装
import urllib.request
import random
url = 'http://pic.monidai.com/img/202210052042294253562s.jpg'
filename = './1.jpg'
# 1. 构建请求头列表
ua_list = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:102.0) Gecko/20100101 Firefox/102.0',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.114 Safari/537.36 Edg/103.0.1264.62',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0',
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.81 Safari/537.36 SE 2.X MetaSr 1.0'
]
# 2. 构建IP代理池
IP_list = [{'http': 'http://123.123.0.246'},
{'http': 'http://123.36.207.153'},
{'http': 'http://123.230.210.218'},
{'http': 'http://123.237.245.38'}]
# 3.创建handler对象
handler = urllib.request.ProxyHandler(random.choice(IP_list))
# 4. 创建opener对象
opener = urllib.request.build_opener(handler)
# 5. opener对象 添加请求头信息
opener.addheaders = [('User-Agent', random.choice(ua_list))]
# 6. opener设置为全局安装
urllib.request.install_opener(opener)
# 7.接着去下载就发现不会报 urllib.error.HTTPError: HTTP Error 403: Forbidden
urllib.request.urlretrieve(url=url, filename=filename)```
总结
以上就是今天要讲的内容，希望对大家有所帮助！！！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/82814.html
