HT…1.

BeautifulSoup是用来从HTML、XML文档中提取数据的一个python库安装如下:

pip

XML解析器、html5lib等。

结合稳定性和速度这里推荐使用lxml

pip

如果lxml不能正确解析内容这是可以使用html5lib。

安装

pip

在实例化对象的时候要传入两个参数一个是待解析的html或xml字符串(markup)另一个是选择的解析器(features)。

如果未指定解析器会调用默认解析器。

from

要定位到指定的地方提取想要的数据就需要借助选择器进行定位。

beautifulsoup有三种选择器节点选择器、方法选择器、css选择器。

选取标签节点选择器是通过HTML标签进行定位的使用方法是实例化soup对象后直接加.tagtag就是html标签名。

import

这样选取的缺点是如果有多个相同标签只会提取第一个标签其他的被忽略。

获取标签信息在获取到的标签的基础上还可以进一步获取标签名、属性、值

print(soup.a)

嵌套选择如果一个标签里还包含一个子标签我们还可以通过嵌套选择的方法取出子标签

out:

有两种方式包括contents(返回列表)、children(返回可迭代对象)。

该方法会把所有子标签取出这样我们就可以拿到指定位置的子标签。

from

trthIP/ththPORT/thth匿名度/thth类型/thth位置/thth响应速度/thth录取时间divtest/div/th/tr

soup

enumerate(soup.tr.children):print(f({index}):{child})

out:

父标签列举.parent会列出标签的父标签.parents会列出所有的祖先元素并整合在可迭代对象里。

from

trthIP/ththPORT/thth匿名度/thth类型/thth位置/thth响应速度/thth录取时间divtest/div/th/tr

soup

enumerate(soup.tr.parents):print(f({index}):{parents})

out

next_sibling获取下一个兄弟节点next_siblings获取后续所有兄弟节点previous_sibling获取前一个兄弟节点previous_siblings获取前面所有兄弟节点。

from

trthIP/ththPORT/thth匿名度/thth类型/thth位置/thth响应速度/thth录取时间divtest/div/th/tr

soup

print(list(soup.th.next_siblings)[1].previous_sibling)

print(soup.th.previous_siblings)

out

使用CSS选择器只需要调用select()方法结合CSS语法即可定位到元素。

在css语法中我们可以使用类选择器、id选择器、标签选择器、以及混合使用来定位。

from

trthIP/ththPORT/thth匿名度/thth类型/thth位置/thth响应速度/thth录取时间divtest/div/th/tr

soup

使用方法选择器主要使用其中的find()和findALL()方法finaALL方法需要传入的参数有nameattrstextkwargs。

name为定位条件可以为标签名如a也可以是多个标签名组成的列表还可以是正则表达式。

from

trthIP/ththPORT/thth匿名度/thth类型/thth位置/thth响应速度/thth录取时间divtest/div/th/tr

soup

trthIP/ththPORT/thth匿名度/thth类型/thth位置/thth响应速度/thth录取时间div

idtetest/div/th/tr

print(soup.findAll(attrs{id:te}))#

out:

string为文本可以搜索文本信息常与其他name或attr混用来获取标签。

from

trthIP/ththPORT/thth匿名度/thth类型/thth位置/thth响应速度/thth录取时间div

idtetest/div/th/tr

kwargs为关键字参数比attr使用更方便传入指定关键字参数以定位标签。

class与python中的关键字冲突了所以需要加下划线避免冲突。

from

trthIP/ththPORT/thth匿名度/thth类型/thth位置/thth响应速度/thth录取时间div

soup

trthIP/ththPORT/thth匿名度/thth类型/thth位置/thth响应速度/thth录取时间div

soup

相比于find_all()方法除了limit参数不能用,其他参数均与find_all()方法相同不过find方法只会返回一个值而不是像find_all返回所有值。