基于 python 的网页自动化工具。既能控制浏览器,也能收发数据包。可兼顾浏览器自动化的便利性和 requests 的高效率。
特性
强大的自研内核,本库采用全自研的内核,内置了 N 多实用功能,对常用功能作了整合和优化,对比 selenium,有以下优点:
-
无 webdriver 特征 -
无需为不同版本的浏览器下载不同的驱动 -
运行速度更快 -
可以跨 iframe 查找元素,无需切入切出 -
把 iframe 看作普通元素,获取后可直接在其中查找元素,逻辑更清晰 -
可以同时操作浏览器中的多个标签页,即使标签页为非激活状态,无需切换 -
可以直接读取浏览器缓存来保存图片,无需用 GUI 点击另存 -
可以对整个网页截图,包括视口外的部分(90 以上版本浏览器支持) -
可处理非 open 状态的 shadow-root
亮点功能
-
极简的语法规则。集成大量常用功能,代码更优雅 -
定位元素更加容易,功能更强大稳定 -
无处不在的等待和自动重试功能。使不稳定的网络变得易于控制,程序更稳定,编写更省心 -
提供强大的下载工具。操作浏览器时也能享受快捷可靠的下载功能 -
允许反复使用已经打开的浏览器。无须每次运行从头启动浏览器,调试超方便 -
使用 ini 文件保存常用配置,自动调用,提供便捷的设置,远离繁杂的配置项 -
内置 lxml 作为解析引擎,解析速度成几个数量级提升 -
使用 POM 模式封装,可直接用于测试,便于扩展 -
高度集成的便利功能,从每个细节中体现
创建页面对象
直接创建
这种方式代码最简洁,程序会从配置文件中读取配置,自动生成页面对象。
from DrissionPage import SessionPage
page = SessionPage()
通过配置信息创建
如果须要在使用前进行一些配置,可使用 SessionOptions。它是专门用于设置 Session 对象初始状态的类,内置了常用的配置。详细使用方法见“启动配置”一节。
# 导入 SessionOptions
from DrissionPage import SessionPage, SessionOptions
proxies = {'http': 'http://127.0.0.1:1080',
'https': 'http://127.0.0.1:1080'}
# 创建配置对象,并设置代理信息
so = SessionOptions().set_proxies(proxies)
# 用该配置创建页面对象
page = SessionPage(session_or_options=so)
从指定 ini 文件创建
以上方法是使用默认 ini 文件中保存的配置信息创建对象,你可以保存一个 ini 文件到别的地方,并在创建对象时指定使用它。
from DrissionPage import SessionPage, SessionOptinos
# 创建配置对象时指定要读取的ini文件路径
so = SessionOptinos(ini_path=r'./config1.ini')
# 使用该配置对象创建页面
page = SessionPage(session_or_options=so)
获取网页信息
成功访问网页后,可使用 SessionPage 自身属性和方法获取页面信息。
from DrissionPage import SessionPage
page = SessionPage()
page.get('http://www.baidu.com')
# 获取页面标题
print(page.title)
# 获取页面html
print(page.html)
启动配置
创建对象
-
导入
from DrissionPage import SessionOptions
-
创建配置对象:
from DrissionPage import SessionOptions
so = SessionOptions()
使用方法
创建配置对象后,可调整配置内容,然后在页面对象创建时以参数形式把配置对象传递进去。
from DrissionPage import SessionPage, SessionOptions
# 创建配置对象(默认从 ini 文件中读取配置)
so = SessionOptions()
# 设置代理
so.set_proxies('http://localhost:1080')
# 设置 cookies
cookies = ['key1=val1; domain=xxxx', 'key2=val2; domain=xxxx']
so.set_cookies(cookies)
# 以该配置创建页面对象
page = SessionPage(session_or_options=so)
传送门
开源协议:BSD-3-Clause
开源地址:https://github.com/g1879/DrissionPage
项目合集:https://github.com/RepositorySheet
-END-
原文始发于微信公众号(开源技术专栏):DrissionPage-基于 python 的网页自动化工具
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/166699.html