。

娶了红玫瑰#xff0c;久而久之#xff0c;红的变了墙上的一抹蚊子血#xff0c;白的还是床前明月光#xff1b;娶了白玫瑰#xff0c;白的便是衣服上沾的一粒饭黏子#xff0c;红的却是心口上一颗朱砂痣。

–…

也许每一个男子全都有过这样的两个女人至少两个。

娶了红玫瑰久而久之红的变了墙上的一抹蚊子血白的还是床前明月光娶了白玫瑰白的便是衣服上沾的一粒饭黏子红的却是心口上一颗朱砂痣。

–张爱玲《红玫瑰与白玫瑰》

Selenium一直都是Python开源自动化浏览器工具的王者但这两年微软开源的PlayWright异军突起后来者居上隐隐然有撼动Selenium江湖地位之势本次我们来对比PlayWright与Selenium之间的差异看看曾经的玫瑰花Selenium是否会变成蚊子血。

PlayWright是由业界大佬微软(Microsoft)开源的端到端

Web

测试和自动化库可谓是大厂背书功能满格虽然作为无头浏览器该框架的主要作用是测试

Web

https://playwright.azureedge.net/builds/chromium/1045/chromium-mac-arm64.zip

123.8

/Users/liuyue/Library/Caches/ms-playwright/chromium-1045

Downloading

https://playwright.azureedge.net/builds/ffmpeg/1008/ffmpeg-mac-arm64.zip

100%

/Users/liuyue/Library/Caches/ms-playwright/ffmpeg-1008

Downloading

https://playwright.azureedge.net/builds/firefox/1372/firefox-mac-11-arm64.zip

69.8

/Users/liuyue/Library/Caches/ms-playwright/firefox-1372

Downloading

https://playwright.azureedge.net/builds/webkit/1767/webkit-mac-12-arm64.zip

56.9

/Users/liuyue/Library/Caches/ms-playwright/webkit-1767默认会下载Chromium内核、Firefox以及Webkit驱动。

其中使用最广泛的就是基于Chromium内核的浏览器最负盛名的就是Google的Chrome和微软自家的Edge。

from

p.chromium.launch(channelmsedge,

headlessTrue)

page.screenshot(pathf./example-v3u.png)time.sleep(5)browser.close()这里导入sync_playwright模块顾名思义同步执行通过上下文管理器开启浏览器进程。

我们也可以指定headless参数为True让浏览器再后台运行

from

p.chromium.launch(channelmsedge,

headlessTrue)

page.screenshot(pathf./example-v3u.png)

browser.close()除了同步模式PlayWright也支持异步非阻塞模式

import

p.chromium.launch(channelmsedge,

headlessFalse)

asyncio.run(main())可以通过原生协程库asyncio进行调用PlayWright内置函数只需要添加await关键字即可非常方便与之相比Selenium原生库并不支持异步模式必须安装三方扩展才可以。

最炫酷的是PlayWright可以对用户的浏览器操作进行录制并且可以转换为相应的代码在终端执行以下命令

python

--channelmsedge这里通过codegen命令进行录制指定浏览器为edge将所有操作写入edge.py的文件中

与此同时PlayWright也支持移动端的浏览器模拟比如苹果手机

from

page.screenshot(path./v3u-iphone.png)

browser.close()这里模拟Iphone13pro的浏览器访问情况。

当然了除了UI功能测试我们当然还需要PlayWright帮我们干点脏活累活那就是爬虫

from

entry.locator(h3).inner_text().strip(\n).strip()

capital

entry.locator(span.country-capital).inner_text()

population

entry.locator(span.country-population).inner_text()

area

entry.locator(span.country-area).inner_text()

return

page.goto(https://www.scrapethissite.com/pages/simple/)

get

browser.close()这里data变量就是抓取的数据内容

{name:

]基本上该有的功能基本都有更多功能请参见官方文档https://playwright.dev/python/docs/library

Selenium

Selenium曾经是用于网络抓取和网络自动化的最流行的开源无头浏览器工具之一。

在使用

Selenium

关于Selenium的一些基本操作请移玉步至python3.7爬虫:使用Selenium带Cookie登录并且模拟进行表单上传文件这里不作过多赘述。

如同前文提到的与Playwright相比Selenium需要第三方库来实现异步并发执行同时如果需要录制动作视频也需要使用外部的解决方案。

就像Playwright那样让我们使用

实例并且通过设置确保无头模式处于活动状态option.headless

True

selenium.webdriver.chrome.service

import

https://github.com/SergeyPirogov/webdriver_manager

will

row.find_element(By.CSS_SELECTOR,

population

row.find_element(By.CSS_SELECTOR,

area

row.find_element(By.CSS_SELECTOR,

return

ChromeDriverManager().install()

define

webdriver.Chrome(servicechrome_service,

optionsoptions)

https://www.scrapethissite.com/pages/simple

driver.get(url)

driver.find_elements(By.CSS_SELECTOR,

div.country)

在数据抓取量一样的前提下我们当然需要知道到底谁的性能更好是PlayWright还是Selenium?

这里我们使用Python3.10内置的time模块来统计爬虫脚本的执行速度。

PlayWright:

entry.locator(h3).inner_text().strip(\n).strip()

capital

entry.locator(span.country-capital).inner_text()

population

entry.locator(span.country-population).inner_text()

area

entry.locator(span.country-area).inner_text()

return

page.goto(https://www.scrapethissite.com/pages/)

click

page.locator(a[href/pages/simple/]).click()

get

selenium.webdriver.chrome.service

import

https://github.com/SergeyPirogov/webdriver_manager

will

row.find_element(By.CSS_SELECTOR,

population

row.find_element(By.CSS_SELECTOR,

area

row.find_element(By.CSS_SELECTOR,

return

ChromeDriverManager().install()

define

webdriver.Chrome(servicechrome_service,

optionsoptions)

https://www.scrapethissite.com/pages/

driver.get(url)

driver.find_element(By.CSS_SELECTOR,

h3.page-title

driver.find_element(By.CSS_SELECTOR,

section#countries

driver.find_elements(By.CSS_SELECTOR,

div.country)

Y轴是执行时间一望而知Selenium比PlayWright差了大概五倍左右。

不得不承认Playwright

都是出色的自动化无头浏览器工具都可以完成爬虫任务。

我们还不能断定那个更好一点所以选择那个取决于你的网络抓取需求、你想要抓取的数据类型、浏览器支持和其他考虑因素

Playwright

如果您看完了本篇文章那么到底谁是最好的无头浏览器工具答案早已在心间所谓强中强而立强只有弱者才害怕竞争相信PlayWright的出现会让Selenium变为更好的自己再接再厉再创辉煌。