目录
1、这次博文主要讲selenium来实现
1.1 直接上代码,注释在代码中写的比较清楚
import time
from random import random
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
#可使用的代理IP集合
proxy_list = [
'--proxy-server=http://27.29.45.84:9999',
'--proxy-server=http://116.209.57.19:9999',
'--proxy-server=http://112.85.164.97:9999'
]
chrome_options = Options()
# 随机访问100次
for i in range(100):
# 随机选择一个代理
proxy = random.choice(proxy_list)
# 如果某个代理访问失败,可从proxy_list中去除
print(proxy)
# 添加代理
chrome_options.add_argument(proxy)
browser = webdriver.Chrome(options=chrome_options)
browser.get("https://www.baidu.com")
print(browser.page_source)
time.sleep(60)
1.2 运行的时候发现报错:
1.3 通过查找资料发现是应该直接import random,解决办法
import random
1.4 另外proxy_list 中代理IP地址,可以参考
http://www.hnhxlc.com/tool/agentip/
2、最后完整代码如下:
import time
import random
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
#可使用的代理IP集合
proxy_list = [
'--proxy-server=http://27.29.45.84:9999',
'--proxy-server=http://116.209.57.19:9999',
'--proxy-server=http://112.85.164.97:9999'
]
chrome_options = Options()
# 随机访问100次
for i in range(100):
# 随机选择一个代理
proxy = random.choice(proxy_list)
# 如果某个代理访问失败,可从proxy_list中去除
print(proxy)
# 添加代理
chrome_options.add_argument(proxy)
browser = webdriver.Chrome(options=chrome_options)
browser.get("https://www.baidu.com")
print(browser.page_source)
#每一分钟执行一次
time.sleep(60)
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/164002.html