粘吧粘吧,改两个配置路径就能用:
- executable_path
- user-data-dir (这里的 Data 1 该路径下原本没有,随便写个什么都行,只要和该路径下已有的不重复就行,会自动创建)
def spider(url):
# 浏览器驱动地址,高版本的浏览器驱动必须指定路径才好使
executable_path = r"C:\Users\JHC\Desktop\paint_cv\Boss_Spider\chromedriver.exe"
os.environ["webdriver.chrome.driver"] = executable_path
# 定义配置对象
options = webdriver.ChromeOptions()
# 指定用户的配置地址,并加载至配置对象中。直接复制不好使,每台电脑都不一样,参照路径自己写
options.add_argument("--user-data-dir="+r"C:\Users\JHC\AppData\Local\Google\Chrome\User Data 1")
# 无头模式
options.add_argument('--headless')
options.add_argument('--disable-gpu')
try:
browser = webdriver.Chrome(executable_path,options=options)
browser.get(url)
# 这个位置可以插入 个随机时间休眠的函数,休眠几秒,更好的模拟人工
# 窗口最小化
browser.minimize_window()
# page_info:页面源码
page_info = browser.page_source
# 调用处理数据或者存页面信息函数,后续省略
except Exception as e:
#打印错误信息
print(e)
# 打印错误的具体行数
print(e.__traceback__.tb_lineno)
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/156928.html