BeautifulSoup4.

常用正则爬虫将数据爬取到后并不是全部的数据都能用我们只需要截取里面的一些数据来用这也就是解析爬取到的信息在解析方面我们常用的手段有三个Xpathjsonpath以及BeautifulSoup接下来我将对其分别进行介绍。

Xpath

Chrome有Xpath的插件可以在应用商店里面下载一个而Python中使用Xpath解析的话需要安装

lxml

语句含义//查找所有子孙结点忽略层级/只查找子结点选取属性..选取当前节点的父节点*通配符[]选取子元素如

[1]

tree.xpath(//a[title编程帮]/text())

print(find2

tree.xpath(//a[starts-with(title,

C)]/text())

找到ul下所有的a标签中title淘宝或id1的标签的爷爷结点的id

find7

tree.xpath(//a[starts-with(title,

C)]/../../id)

接下来我们讲讲最开始安装的Xpath的插件有什么作用。

在这里我们以百度首页为例按下

CtrlShiftx

字样那我们就可以在黑框中输入我们的Xpath查询语句黑框右边就会出现语句查询得到的结果非常实用。

当然如果你不想这样看得眼花缭乱的去写Xpath也行只需要在F12开发者模式下右击你想要查询的元素选择复制Xpath即可如下图所示实际上我们一般选择的是这种方法虽然有的时候复制的并不是最简的Xpath语法但是这确实有效。

jsonpath

jsonpath使用前必须安装jsonpath的包jsonpath

是参照xpath表达式来解析xml文档的方式jsonpath的入门可以参考这篇文章在这里我将主要的点进行一下说明。

学会了Xpath的语法那么jsonpath的语法其实可以对照着进行学习。

[]子元素…父元素//…递归下降JSONPath是从E4X借鉴的。

**通配符表示所有的元素属性访问字符[][]子元素操作符|[,]逻辑或。

jsonpath允许name或者

[start:end:step]

}XPathJSONPath结果/store/book/author$.store.book[*].author书点所有书的作者//author$..author所有的作者/store/*$.store.*store的所有元素。

所有的bookst和bicycle/store//price$.store..pricestore里面所有东西的price//book[3]$..book[2]第三个书//book[last()]$..book[(.length-1)]最后一本书//book[position()

3]$..book[0,1]

$..book[:2]前面的两本书。

//book[isbn]$..book[?(.isbn)]过滤出所有的包含isbn的书。

//book[price10]$..book[?(.price10)]过滤出价格低于10的书。

//*$..*所有元素。

BeautifulSoup

相对来说更慢一些但是使用方法简单了不少。

这里将BeautifulSoup

方法含义soup.a找到第一个

标签并将标签属性以字典列出soup.a.get_text()找到第一个

标签并输出其内容soup.find(a,

的标签soup.select(a[class])找到全部的拥有

class

标签soup.select(a[classname1])找到全部的

classname1

最后我们来讲一讲正则表达式。

爬虫解析数据中最出名的当属正则表达式了但是正则表达式并不是仅仅在爬虫中才有使用很多的搜索功能或者筛选功能都支持正则表达式。

聊到Python正则表达式的支持首先肯定会想到re库这是一个Python处理文本的标准库下面我就来详细讲讲re库的使用。

4.1

正则表达式中存在这一些特殊符号这些符号的使用能够带来不同的匹配作用介绍如下

模式描述.匹配除换行符

\?。

^匹配输入字符串的开始位置在方括号表达式中使用时表示不接受该字符集合。

要匹配

字符本身请使用

\$。

\转义字符。

将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。

|关系符号“或”。

指明两项之间的一个选择。

要匹配

|请使用

正则表达式中还存在一些以转义字符开头的特殊字符这些符号也能表示一些匹配的规则。

模式描述\d匹配数字:[0-9]\D匹配非数字\s匹配任何空白字符\S匹配非空白字符\w匹配字母数字及下划线\W匹配非字母数字及下划线\A仅匹配字符串开头同^\Z仅匹配字符串结尾同$\b匹配一个单词边界也就是指单词和空格间的位置。

例如

‘er\b’

的开始和结束位置。

子表达式可以获取供以后使用。

要匹配这些字符请使用

]标记一个

尝试从字符串的起始位置匹配一个模式如果不是起始位置匹配成功的话match()

就返回

print(re.search结果{}.format(re.search(pattern,

s).group()))

print(re.match结果{}.format(re.match(pattern,

s)))输出结果为

函数用于编译正则表达式生成一个正则表达式(Pattern)对象供

match()

print(匹配结果{}.format(m.group()))

print(替换结果{}.format(re.sub(香克斯,

路飞,

在字符串中找到正则表达式所匹配的所有子串并返回一个列表如果有多个匹配模式则返回元组列表如果没有找到匹配的则返回空列表。

findall(string[,

print(切分结果{}.format(re.split(香克斯.,

s)))最后对于

…])获得一个或多个分组匹配的字符串当要获得整个匹配的子串时可直接使用

group()

group(0)start([group])获取分组匹配的子串在整个字符串中的起始位置end([group])获取分组匹配的子串在整个字符串中的结束位置span([group])方法返回

(start(group),

正则表达式中常用的匹配策略有四种可以在各函数的flag中进行模式指定。

IGNORECASE

print(默认情况{}.format(pattern1.findall(s)))

print(改变后为{}.format(pattern2.findall(s)))输出结果为

默认情况[]

print(默认情况{}.format(pattern1.findall(s)))

print(改变后为{}.format(pattern2.findall(s)))输出结果为

‘香克斯牛皮’]

匹配所有包括换行符\n。

默认模式下.是不能匹配行符\n的。

示例如下

import

print(默认情况{}.format(pattern1.findall(s)))

print(改变后为{}.format(pattern2.findall(s)))输出结果为

‘香克斯牛皮’]

标志。

多行模式当某字符串中有换行符\n默认模式下是不支持换行符特性的影响

import

print(默认情况{}.format(pattern1.findall(s)))

print(改变后为{}.format(pattern2.findall(s)))输出结果为

默认情况[‘香克斯’]

标志。

详细模式可以在正则表达式中加注解会忽略正则表达式中的空格和

import

print(默认情况{}.format(pattern1.findall(s)))

print(改变后为{}.format(pattern2.findall(s)))输出结果为

默认情况[]