网站分析#xff1a;

点击一个具体的冰箱型号#xff0c;点击了解更多#xff0c;会打开此型号电器的详情页面。

爬取松产品中心网站下的家电说明书。

这里以冰箱为例松下电器-冰箱网址

网站分析

点击一个具体的冰箱型号点击了解更多会打开此型号电器的详情页面。

第三步点击说明书下载将下载此说明书

由以上操作我们知道了模拟用户点击的具体步骤大致得到了一个整体思路。

主要难点

如何在整个页面中定位到某一个具体的电器型号如何遍历依次得到此页面所有型号打开新页面如何切换到新打开的窗口如何定位到新打开窗口的说明书下载按钮下载完成后如何切换回到原始的页面进行下一个电器的点击多个页面如何进行翻页

2.1

1.按F12打开开发者模式点击如图所示的1检查点击了解详情2会自动定位显示如图3所示。

发现3标识的href就是此型号的详情页面。

所以可以编写函数得到此链接。

这里也有两种方式

方式一使用Selenium模拟用户点击使用xpath定位得到此href

方式二使用requests直接得到此页面中的所有href链接发现具体型号的链接时带有product依据此进行筛选。

本文使用方式二

get_allurl(url):得到url下所有以.html结尾的href标签下的链接:param

[]html_content

由开发者模式下可以看出我们需要的href标签时a且时以.html为结尾link_nodes

soup.find_all(a,

link_nodes:tem_urlnode.get(href)result_link.append(tem_url)return

result_link2.2

进入此页面发现此网站下的链接并不是直接以.pdf为结尾的链接而是有封装了一层所以只能通过模拟用户点击的方式。

同时需要点击两次首先第一次时说明书下载出来具体型号我们这里只选第一个NR-ZE391LG-W这个位置。

代码实现如下

为了防止有的型号不包含说明书不存在对应的xpath路径出现错误终止程序#

excepttry:#

/html/body/div[5]/div/div[2]/div[1]/div/div[1]click_element

5).until(EC.element_to_be_clickable((By.XPATH,

/html/body/div[5]/div/div[2]/div[1]/div/div[1])))#

页面加载完成后会出现具体型号比如图中的NR-ZE391LG-W找到此位置resWebDriverWait(driver,

5).until(EC.visibility_of_element_located((By.XPATH,

/html/body/div[5]/div/div[2]/div[1]/div/div[2]/ul/li/a)))#

此位置包含了一个以.pdf为结尾的href链接是我们需要找的。

if

res:new_urlres.get_attribute(href)#

get_pdf(new_url)print(new_url)time.sleep(2)driver.quit()return

new_urlelse:print(none)time.sleep(2)driver.quit()return

Noneexcept:time.sleep(2)driver.quit()pass此函数返回了pdf的具体链接由此链接就可以直接获取到pdf文件

2.3

https://home.panasonic.cn/support/attachments/auld/manual/NR-ZE391LG-W.pdf

def

get_pdf(url,output_dir):url是一个后缀为.pdf的链接点击就可以下载pdf文件此函数保存pdf到output_dir路径:param

url::param

os.path.exists(output_dir):os.makedirs(output_dir)#

下载文件try:response

streamTrue)response.raise_for_status()except:return#

提取文件名这里需要根据你的URL结构或链接的href属性来提取#

os.path.basename(urlparse(url).path)#

将文件保存到本地with

response.iter_content(1024):f.write(chunk)print(fDownloaded:

{filename})3.

get_allurl(url):······如上所示······return

result_linkdef

get_pdf(url,output_dir):······如上所示······def

clik_url(url):······如上所示······return

new_url#

page_res(page_url,output_dir):#

1.点击到电饭煲的主页面返回这个页面下所有的以.html结尾的网址prod_urls

2.遍历网址进行pdf下载for

range(len(prod_urls)):print(prod_urls[i])#

有一些.html的网页也不含pdf发现含的都带有product字样所以进行过滤if

product

output_dir)print(本页下载已完成)如果想要获取更多页面的冰箱型号可以观察到不同页面的url是由规律的直接for循环遍历页面就行了。

4.总结

1.使用获取所有链接再进行筛选的方式代替了模拟用户点击以此定位具体位置进行点击

2.在新打开的页面中没有直接暴露pdf链接需要点击说明书下载按钮才能得到pdf链接点击一次显示pdf链接之后并没有继续采用用户点击的方式而是直接获取这与网站有关有点还是不会显示出来只有点击才会出现

因为没用采用点击也不存在页面切换的问题。

相比于全部Selenium模拟用户点击少了许多步骤。