urllib3

默认提供了urllib库可以爬取网页信息但其中确实有不方便的地方如处理网页验证和Cookies以及Hander头信息处理。

urllib3

urllib3网址https://pypi.org/project/urllib3/requests网址http://www.python-requests.org/en/master/1.

install

print(re.findall(title(.*?)/title,data))其他设置:

import

http.request(GET,url,#headers{#

User-Agent:Mozilla/5.0(WindowsNT6.1;rv:2.0.1)Gecko/20100101Firefox/4.0.1,#},fields{id:100,name:lisi},

res.status)data

res.data.decode(utf-8)print(re.findall(title(.*?)/title,data))requests库的使用

pip

res.content.decode(utf-8)#解析出结果

print(re.findall(title(.*?)/title,data))图片

XPath(XML

Language)是一门在XML文档中查找信息的语言。

XPath

W3C

官方文档http://lxml.de/api/index.html注XQuery

XML

由统一资源定位地址URL中#号之后的描述组成类似于HTML中的锚点链接python中如何安装使用XPath:①:

lxml

hrefhttp://www.baidu.com百度/a/lili

classitem-1

hrefhttp://www.sohu.com搜狐/a/lili

classitem-3a

hrefhttp://www.sina.com新浪/a/lili

classitem-4

hrefhttp://www.taobao.com淘宝/a/li/ul/body

/html使用XPath解析说明

open(./my.html,r,encodingutf-8)

content

html.xpath(//li/a[class]/text())

#获取所有li下所有直接含有class属性子a节点内的文本内容

print(result)

新浪]#获取所有li下所有直接含有class属性值为aa的子a节点内的文本内容

result

html.xpath(//li/a[classaa]/text())

print(result)

新浪]#获取class属性值中含有shop的li节点下所有直接a子节点内的文本内容

result

html.xpath(//li[contains(class,shop)]/a/text())

print(result)

html.xpath(//li[last()]/a/text())

result

html.xpath(//li[position()3]/a/text())

result

html.xpath(//li[last()-2]/a/text())

result

html.xpath(//li[1]/ancestor::*)

result

html.xpath(//li[1]/ancestor::ul)

result

html.xpath(//li[1]/a/attribute::*)

result

html.xpath(//li/child::a[hrefhttp://www.sohu.com])

result

html.xpath(//body/descendant::a)

print(result)result

html.xpath(//li[3]/following::li)

#获取第三个li节点之后所有li节点

html.xpath(//li[3]/following-sibling::*)

#获取第三个li节点之后所有同级li节点

print(html.xpath(//h3[idhid]/text()))

result

通过xapth()二次解析结果#print(t.xpath(text())[0],

t.xpath(href)[0])#

http://www.taobao.comHTML元素的属性tag元素标签名text标签中间的文本

defaultNone)

获取指定属性值items获取元素属性作为序列返回keys获取属性名称列表value是将元素属性值作为字符串序列