析和beautifulsoup标签解析所以今天的博客将围绕另外一种数据解析方法它就是xpath模块解析话不多说进入内容

一、简介

Language它是一种用来确定XML文档中某部分位置的语言。

xpath是最常用且最便捷高效的一种解析方式通用型强其不仅可以用于python语言中还可以用于其他语言中数据解析建议首先xpath。

二、安装

实例化一个etree的对象且需要将被解析的页面源代码数据加载到该对象中

调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获

from

#从本地加载源码实例化一个etree对象。

必须是本地的文件不能是字符串

tree

tree.xpath(//div[classtang]//a)

tree.xpath(//div[classtang]//a/text())

#获取标签中属性值

从下面的结果来看我们打印机html其实就是一个python对象etree.tostring(html)则是补全html的基本写法补全了缺胳膊少腿的标签。

Element

3、获取某个标签的内容(基本使用)注意获取a标签的所有内容a后面就不用再加正斜杠否则报错。

写法一

html.xpath(/html/body/div/ul/li/a)

print(html)

html.xpath(/html/body/div/ul/li/a/text())

print(html)

etree.tostring(html,pretty_printTrue)

res

5、打印指定路径下a标签的属性可以通过遍历拿到某个属性的值查找标签的内容

html

html.xpath(/html/body/div/ul/li/a/href)

for

6、我们知道我们使用xpath拿到得都是一个个的ElementTree对象所以如果需要查找内容的话还需要遍历拿到数据的列表。

html

html.xpath(/html/body/div/ul/li/a[hreflink2.html]/text())

print(html_data)

7、上面我们找到全部都是绝对路径每一个都是从根开始查找下面我们查找相对路径例如查找所有li标签下的a标签内容。

html

8、上面我们使用绝对路径查找了所有a标签的属性等于href属性值利用的是/—绝对路径下面我们使用相对路径查找一下l相对路径下li标签下的a标签下的href属性的值注意a标签后面需要双//。

html

html.xpath(//li/a[hreflink2.html])

print(html_data)

html.xpath(//li[last()]/a/text())

print(html_data)

html.xpath(//li[last()-1]/a/text())

print(html_data)

https://bj.58.com/ershoufang/p1/

(Linux;

requests.get(url,headersheaders,timeout3).text

#实例化一个etree对象

tree.xpath(//span[classcontent-title]/text())

#获取所有//span标签为content-title的文本内容,列表形式

with

open(58房价.txt,modew,encodingutf-8)

fp:for

r:fp.writelines(str(r_list))print(r_list)案例2获取豆瓣top榜电影信息这个是老生常谈的话题了

import

fhttps://movie.douban.com/top250?start{page*25}filterheaders

{User-Agent:

requests.get(url,headersheaders)tree

tree.xpath(//*[idcontent]/div/div[1]/ol/li/div/div[1]/a/href)#

获取电影名称列表name_list

tree.xpath(//*[idcontent]/div/div[1]/ol/li/div/div[2]/div[1]/a/span[1]/text())for

url,name

zip(href_list,name_list):f.flush()

random.random())

requests.get(url,headersheaders)html

resp.texttree

tree.xpath(//*[idinfo]/span[1]/span[2]/a/text())[0]#

电影类型type_

re.findall(rpropertyv:genre(.*?)/span,html)type_

/.join(type_)#

tree.xpath(//*[idcontent]/h1/span[2]/text())[0]time

time[1:5]#

tree.xpath(//*[idinterest_sectl]/div[1]/div[2]/strong/text())[0]#

评论人数people

tree.xpath(//*[idinterest_sectl]/div[1]/div[2]/div/div[2]/a/span/text())[0]print(name,dir,type_,country,time,rate,people)

打印结果csvwriter.writerow((name,dir,type_,country,time,rate,people))

保存到文件中if

open(03-movie-xpath.csv,a,encodingutf-8,newline)as

f:csvwriter

写入表头标题csvwriter.writerow((电影名称,导演,电影类型,国家,上映年份,评分,评论人数))for

range(10):