3.xpath解析示例代码1示例代码2

re.findall(正则表达式字符串):匹配字符串中所有的符合正则的内容返回的结果是一个列表

print(findall():)

finditer()匹配字符串中所有的内容【返回的是选代器】从迭代器中拿到内容需要group()效率更高

print(finditer():)

search()找到一个结果就返回返回的是match对象拿数据需要.group()

print(search():)

obj.finditer(我的电话号是10085小明的电话是10000)

for

(?P分组名字正则)可以单独从正则匹配的内容中进一步提取内容re.S的作用是让.能匹配换行符

obj

id(?Pnum\d)′(?Pname.*?)/span/div,

re.S)result

id1′郭某某/span/divprint(it.group(name))#

12.BeautifulSoup解析

BeautifulSoup-对象的实例化-1.将本地的htmL文档中的数据加载到该对象中fpopen(./test.html,r,encodingutf-8)soupBeautifulSoup(fp,lxml)2.将互联所网上获取的页面源码加载到该对象中page_textresponse.textsoupBeautifulSoup(page_text,lxml)-提供的用于数据解析的方法和属性-soup.tagName:返回的是文档中第一次出现的tagName对应的标签-soup.find():-find(tagName):等同于soup.div-属性定位-soup.find(div,class_/id/attrsong)-soup.find_all(tagName):返回符合要求的所有标签(列表)-select:-select(某种选择器(id,class,标签……选择器))返回的是一个列表。

-层级选择器-soup.select(.tangullia):表示的是一个层级-soup.select(.tangul

a):空格表示的多个层级-获取标签之间的文本数据-soup.a.text/string/get_text()-text/get_text()可以获取某一个标签中所有的文本内容-string只可以获取该标签下面直系的文本内容·-获取标签中属性值-soup.a[href]用法举例

import

hrefwwww.baidu.com百度/a中的href链接文本

方法1

bookid1/idname野花遍地香/nameprice1.23/pricenick臭豆腐/nickauthornick

id10086周大强/nicknick

classjolin蔡依林/nickdivnick惹了1/nick/divspannick惹了2/nickdivnick惹了3/nick/div/span/authorpartnernick

idppc胖胖陈/nicknick

idppbc胖胖不陈/nick/partner/booktree

etree.XML(xml)

-/text()取的是标签中直系的文本内容;//text()标签中非直系的文本内容所有的文本内容result

tree.xpath(/book/author/nick/text())

[周大强,

tree.xpath(/book/author/div/nick/text())

result

tree.xpath(/book/author//nick/text())

[周大强,

tree.xpath(/book/author/*/nick/text())

[臭豆腐,

hrefhttp://www.baidu.com百度/a/lilia

hrefhttp://www.google.com谷歌/a/lilia

hrefhttp://www.sogou.com搜狗/a/li

/ul

tree.xpath(/html/body/ul/li/a/text())

[百度,

注意这里的xpath的索引是从1开始的li[1]代表取第一个[]中数字代表索引

result2

tree.xpath(/html/body/ul/li[1]/a/text())

[百度]

tree.xpath(/html/body/ol/li/a[hrefdapao]/text())

[大炮]

tree.xpath(/html/body/ol/li)for

ol_li_list:#

在li中继续去寻找相对查找注意用./print(result)#

拿到属性值属性值result2

在li中继续去寻找获取到属性href的值print(result2)print(tree.xpath(/html/body/ul/li/a/href))

http://www.sogou.com]print(tree.xpath(/html/body/div/text()))

[李嘉诚,