DrissionPage既可以实现网页的自动化操作#xff0c;也能够实现收发数据包#xff0c;也可以把两者的功能合二为一。

前面我们已经大致了解了selenium的用法DerssionPage同selenium一样也是一个基于Python的网页自动化工具。

DrissionPage既可以实现网页的自动化操作也能够实现收发数据包也可以把两者的功能合二为一。

DressionPage的有点在于既可以兼顾selenium自动操作网页的便捷性还不需要像selenium那样配置chromedriver也不需要过一段时间更新chrome浏览器和chromedriver。

同时DrissionPage可以同requests一样高效不需要担心js逆向等问题。

简单的来说DressionPage能够高效的实现所见即所爬语法简洁优雅代码量少对新手友好。

DrissionPage最大的优势在于它是最新新出的网页自动化测试工具现阶段针对他的反爬虫措施几乎没有。

安装DrissionPage

和安装requests模块一样在pycharm终端中输入如下的pip命令在网络正常的情况下就可以正常使用该模块的相关功能。

pip

看到这里相信大家也是很懵圈。

不要着急接下来慢慢分析我也是第一次使用DrissionPage模块。

浏览器类

Chromium是浏览器类浏览器类主要用于连接浏览器管理标签页及其他浏览器有关的操作。

Chromium相当于总管可以作为浏览器入口使用它产生的Tab对象去操作每一个标签页。

页面类

1ChromiumPage是将浏览器对象和第一个标签页对象封装在一起用于控制浏览器。

ChromiumPage简化了操作使用效果与直接使用Chromium对象基本一致。

不同之处在于ChromiumPage生成的标签页对象是ChromiumTab不能切换模式。

from

2WebPage与ChromiumPage类似不同之处在于WebPage产生的Tab对象是可以切换模式的即既可以控制浏览器也可以收发数据包。

from

3SessionPage用于收发数据包是对requests和lxml进行封装实现的。

SessionPage将网络连接和结果解析封装成页面操作逻辑和其他页面保持一致。

配置工具

1ChromiumOptions类用于设置浏览器的启动参数这些参数只有在启动浏览器有用接管已经存在的浏览器是不起作用的。

from

2SessionOptions类用于设置Session对象启动参数用于配置Session

from

wait_until可等待传入的方法结果为真make_session_ele从

html

文本生成ChromiumElement对象configs_to_here把配置文件复制到当前路径get_blob获取指定的

blob

资源tree用于打印页面对象或元素对象结构from_selenium用于对接

selenium

等被其它对象生成的对象开发过程中需要类型判断时需要导入这些类型。

设置语言

DrissionPage的报错信息及提示支持中文和英文设置中文提示的方法如下

from

SettingsSettings.set_language(zh_cn)

设置为中文时填入zh_cnSettings.set_language(en)

准备工作

测试是否能够通过DrissionPage启动浏览器我们这里采用的Chrome。

对应的代码如下

from

tab.get(https://DrissionPage.cn)

在pycharm中运行上述代码发现Chrome能够自动打开并且能够访问官网说明我们的配置没有问题。

如果在程序运行的过程中报错说明我们的Chrome路径设置有问题

查找路径

打开自己饿Chrome浏览器在地址栏中输入chrome://version回车。

在加载中的页面中看“执行性文件”一栏其后面就是我们需要的Chrome路径。

设置路径

创建一个Chromium对象用于连接浏览器并用latest_tab获取一个标签页对象

跳转到登录页面

tab.get(https://gitee.com/login)

get()方法用于访问参数中的网址。

它会等待页面完全加载再继续执行后面的代码。

默认是等待10秒

定位到账号文本框获取文本框元素

tab.ele(#user_password).input(1234567)

点击登录按钮

基本使用逻辑如下无论是控制浏览器还是收发数据操作逻辑基本一致。

创建页面对象从页面对象中获取元素对象对元素对象读取或操作实现数据获取和页面控制

主要对象

Chromium浏览器对象用于连接浏览器管理标签页以及其他浏览器有关的操作MixTab浏览器标签页对象由Chromium对象产生一个对象控制一个实际的标签页ChromiumTab也是标签页对象由ChromiumPage对象产生不可切换收发数据包模式

元素对象

ChromiumElement浏览器元素对象SessionElement静态元素对象ChromiumFrameiframe元素对象兼有标签页对象和元素特性ShadowRootshadow-root

元素对象

ChromiumPage能管理浏览器本身的标签页对象可用作程序入口WebPage类似于ChromiumPage整合浏览器控制和收发数据包于一体的页面对象SessionPage单纯用于收发数据包的页面对象可单独使用不会启动新浏览器窗口

Tab

对象ChromiumPage、WebPage和SessionPage统称为

Page

MixTab和WebPage既可以控制浏览器对象也可以用数据包的方式访问网络。

通俗的讲前者就是如同selenium的工作模式后者就是requests的工作模式也就是前面所说的网页自动化的两种形式。

在DrissionPage中者两种工作模式分为d模式和s模式页面对象可以在这两种工作模式之间切换但任一时间只能是一种工作模式。

d模式用于控制浏览器对象不仅可以读取浏览器获取到的信息还能对页面进行操作如点击、填写、开关标签页、改变元素属性、执行

模式功能强大但运行速度受浏览器制约非常缓慢而且需要占用大量内存。

模式切换

当登录验证很严格难以解构如有验证码的时候用浏览器处理登录然后转换成

js又能享受

以上模式转换的思想非常重要。

比如说一个网站需要requests携带cookie信息才可以请求到数据倒是该网站的cookie获取非常困难数据加密或者验证码登录等这时我们应该能够想到利用selenium完成网站的登录获取cookie信息然后再使用requests携带cookie信息完成数据请求。