二、获取并解析数据1.

学习视频【Python爬虫可视化采集分析各大招聘网站信息数据BOSS直聘、前程无忧、智联招聘、猎聘网】

一、安装

Files\Google\Chrome\Application\chrome.exe

ChromiumOptions().set_browser_path(path).save()运行成功后会出现以下结果。

配置已保存到文件:

D:\anaconda3\envs\python312\Lib\site-packages\DrissionPage\_configs\configs.ini

DrissionPage官网】

google.get(rhttps://www.zhipin.com/web/geek/jobs?query%E7%88%AC%E8%99%ABcity101260100)运行上述代码会弹出网站页面右键选择

“检查”

如果过滤出只有一条说明刚刚复制的网址是一个唯一特征将该网址粘贴进

listen.start()

然后从返回值中选择需要获取响应数据的那一条进行操作例如data_response

导入自动化模块

google.listen.start(rwapi/zpgeek/search/joblist.json)

google.get(rhttps://www.zhipin.com/web/geek/jobs?query%E7%88%AC%E8%99%ABcity101260100)

获取数据包加载

----------------pprint(index)print(-

50)部分结果展示

google.listen.start(rwapi/zpgeek/search/joblist.json)

google.get(rhttps://www.zhipin.com/web/geek/jobs?query%E7%88%AC%E8%99%ABcity101260100)

获取数据包加载

temporarily_dict.items():print(f{key}

{value})print(-

google.listen.start(rwapi/zpgeek/search/joblist.json)

google.get(rhttps://www.zhipin.com/web/geek/jobs?query%E7%88%AC%E8%99%ABcity101260100)

获取数据包加载

data_response[zpData][jobList]#

创建文件对象

open(recruitment_information.csv,

modew,

fieldnames[公司区域,招聘领域,公司名称,公司规模,学历要求,工作经验,职位名称,薪资范围,所需技能,公司福利

cd.writeheader()#

.join(index[welfareList])}cd.writerow(temporarily_dict)用

Excel

google.listen.start(rwapi/zpgeek/search/joblist.json)

google.get(rhttps://www.zhipin.com/web/geek/jobs?query%E7%88%AC%E8%99%ABcity101260100)

获取数据包加载

.join(index[welfareList])}job_info.append(temporarily_dict)#

转换数据

df.to_excel(recruitment_information.xlsx,

indexFalse)注如果不想在第一次运行时弹出浏览器可设置无头模式【无头模式

DrissionPage官网】

面板在执行动作之前监听数据包的特征获取相应的响应数据需要实现翻页和保存至

CSV

cd_p.writerow(temporarily_pre_dict)for

key,

temporarily_pre_dict.items():print(f{key}

{value})print(-

cd_i.writerow(temporarily_intent_dict)for

key,

temporarily_intent_dict.items():print(f{key}

{value})print(-

.join(index[thisProjectContact])temporarily_dict

{标题:

cd_o.writerow(temporarily_dict)for

key,

temporarily_dict.items():print(f{key}

{value})print(-

监听数据包google.listen.start(rapi/search/bidInfoSearchV232)#

访问指定网站的页面google.get(rhttps://bidradar.com.cn/pc/homeSearch?searchTypeprojectkeyword%E7%8E%AF%E5%A2%83%E7%9B%91%E6%B5%8B)num

构建循环加载下一页for

处理数据deal_with_data(data_response)#

cd_predict,

下滑页面到底部google.scroll.to_bottom()if

page

google(点击加载更多)button.run_js(this.click();)#

f_predict.close()#

参考【DrissionPage中处理无位置元素点击问题的解决方案】

五、其他示例

google.get(rhttps://we.51job.com/pc/search?jobArea260200keyword%E7%88%AC%E8%99%ABsearchType2keywordType)#

创建文件对象

5):print(f正在采集第{page}页的数据内容……)#

div

google.eles(css:.joblist-item)#

print(divs)#

div.ele(css:.joblist-item-job).attr(sensorsdata)#

json.loads(info)#

div.ele(css:.cname).text.strip()#

公司详情页c_link

div.ele(css:.cname).attr(href)#

提取公司信息c_info

json_data[jobArea].split(·)city

country_list[0]if

json_data[jobSalary].split(·)salary

salary_list[0]if

salary_list[1]else:salary_system

未知#

滑到页面底部google.scroll.to_bottom()#

定位下一页按钮并点击google.ele(css:.el-icon-arrow-right).click()部分结果展示