DrissionPage-基于 python 的网页自动化工具

基于 python 的网页自动化工具。既能控制浏览器,也能收发数据包。可兼顾浏览器自动化的便利性和 requests 的高效率。DrissionPage-基于 python 的网页自动化工具

特性

强大的自研内核,本库采用全自研的内核,内置了 N 多实用功能,对常用功能作了整合和优化,对比 selenium,有以下优点:

  • 无 webdriver 特征
  • 无需为不同版本的浏览器下载不同的驱动
  • 运行速度更快
  • 可以跨 iframe 查找元素,无需切入切出
  • 把 iframe 看作普通元素,获取后可直接在其中查找元素,逻辑更清晰
  • 可以同时操作浏览器中的多个标签页,即使标签页为非激活状态,无需切换
  • 可以直接读取浏览器缓存来保存图片,无需用 GUI 点击另存
  • 可以对整个网页截图,包括视口外的部分(90 以上版本浏览器支持)
  • 可处理非 open 状态的 shadow-root

亮点功能

  • 极简的语法规则。集成大量常用功能,代码更优雅
  • 定位元素更加容易,功能更强大稳定
  • 无处不在的等待和自动重试功能。使不稳定的网络变得易于控制,程序更稳定,编写更省心
  • 提供强大的下载工具。操作浏览器时也能享受快捷可靠的下载功能
  • 允许反复使用已经打开的浏览器。无须每次运行从头启动浏览器,调试超方便
  • 使用 ini 文件保存常用配置,自动调用,提供便捷的设置,远离繁杂的配置项
  • 内置 lxml 作为解析引擎,解析速度成几个数量级提升
  • 使用 POM 模式封装,可直接用于测试,便于扩展
  • 高度集成的便利功能,从每个细节中体现

创建页面对象

直接创建

这种方式代码最简洁,程序会从配置文件中读取配置,自动生成页面对象。

from DrissionPage import SessionPage

page = SessionPage()

通过配置信息创建

如果须要在使用前进行一些配置,可使用 SessionOptions。它是专门用于设置 Session 对象初始状态的类,内置了常用的配置。详细使用方法见“启动配置”一节。

# 导入 SessionOptions
from DrissionPage import SessionPage, SessionOptions

proxies = {'http''http://127.0.0.1:1080',
           'https''http://127.0.0.1:1080'}

# 创建配置对象,并设置代理信息
so = SessionOptions().set_proxies(proxies)
# 用该配置创建页面对象
page = SessionPage(session_or_options=so)

从指定 ini 文件创建

以上方法是使用默认 ini 文件中保存的配置信息创建对象,你可以保存一个 ini 文件到别的地方,并在创建对象时指定使用它。

from DrissionPage import SessionPage, SessionOptinos

# 创建配置对象时指定要读取的ini文件路径
so = SessionOptinos(ini_path=r'./config1.ini')
# 使用该配置对象创建页面
page = SessionPage(session_or_options=so)

获取网页信息

成功访问网页后,可使用 SessionPage 自身属性和方法获取页面信息。

from DrissionPage import SessionPage

page = SessionPage()
page.get('http://www.baidu.com')
# 获取页面标题
print(page.title)
# 获取页面html
print(page.html)

启动配置

创建对象

  • 导入
from DrissionPage import SessionOptions
  • 创建配置对象:
from DrissionPage import SessionOptions

so = SessionOptions()

使用方法

创建配置对象后,可调整配置内容,然后在页面对象创建时以参数形式把配置对象传递进去。

from DrissionPage import SessionPage, SessionOptions

# 创建配置对象(默认从 ini 文件中读取配置)
so = SessionOptions()
# 设置代理
so.set_proxies('http://localhost:1080')
# 设置 cookies
cookies = ['key1=val1; domain=xxxx''key2=val2; domain=xxxx']
so.set_cookies(cookies)

# 以该配置创建页面对象
page = SessionPage(session_or_options=so)

传送门

开源协议:BSD-3-Clause

开源地址:https://github.com/g1879/DrissionPage

项目合集:https://github.com/RepositorySheet

-END-


原文始发于微信公众号(开源技术专栏):DrissionPage-基于 python 的网页自动化工具

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/166699.html

(2)
小半的头像小半

相关推荐

发表回复

登录后才能评论
极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!