Python3

urlurllib.request.urlopen(https://www.baidu.com)

#打开读取baidu信息

print(url.read().decode(utf-8))

#read获取所有信息并decode()命令将网页的信息进行解码运行结果

!DOCTYPE

contenttext/html;charsetutf-8meta

contentalways

html{color:#000;overflow-y:scroll;overflow:-moz-scrollbars}

body,button,input,select,textarea{font-size:12px;font-family:Arial,sans-serif}

h1,h2,h3,h4,h5,h6{font-size:100%}

a:hover{text-decoration:underline}

legend{color:#000}

button,input,select,textarea{font-size:100%}

HTTPResponse类型主要包含

read、readinto、getheader、getheaders、fileno

msg、version、status、reason、debuglevel、closed

常用方法

read()是读取整个网页内容也可以指定读取的长度如read(300)。

获取到的是二进制的乱码所以需要用到decode()命令将网页的信息进行解码。

readline()

info()返回HTTPMessage对象表示远程服务器返回的头信息。

getcode()返回Http状态码。

如果是http请求200请求成功完成;404网址未找到。

2、Request类

headers网页头信息进行模拟否则网页很容易判定程序为爬虫从而禁止访问。

这时候需要使用到

class

unverifiable很少用整个参数用于设置网页是否需要验证默认是False。

。

method请求方法

urllib.request.Request(urlurl,headersheaders)

#模拟浏览器发送访问网页

print(response.read().decode(utf-8))三、urllib.error模块

urllib.error

的一个子类用于处理程序在遇到问题时会引发此异常或其派生的异常包含的属性

reason

URLError封装的错误信息一般是由网络引起的包括url错误。

HTTPError封装的错误信息一般是服务器返回了错误状态码。

URLError是OSERROR的子类HTTPError是URLError的子类。

1.URLError

request.Request(url)try:response

response.read().decode(utf-8)print(html)except

error.URLError

http://www.baidu.com/no.htmlreq

request.Request(url)try:response

response.read().decode(utf-8)print(html)except

error.HTTPError

http.server.BaseHTTPRequestHandler.responses

reason

注意由于HTTPError是URLError的子类所以捕获的时候HTTPError要放在URLError的上面。

from

http://www.baidu.com/no.htmlreq

request.Request(url)try:response

html

response.read().decode(utf-8)except

error.HTTPError

e:print(e.code)如果不用上面的方法可以直接用判断的形式。

from

http://www.baidu.com/no.htmlreq

request.Request(url)try:response

html

response.read().decode(utf-8)except

error.URLError

code):print(HTTPError)print(e.code)elif

hasattr(e,

reason):print(URLError)print(e.reason)执行结果

HTTPError

urllib.parse.urlparse(urlstring,

scheme,

false则无法识别片段标识符。

相反它们被解析为路径参数或查询组件的一部分并

fragment

scheme://netloc/path;params?query#fragment对象中包含了六个元素分别为协议scheme、域名netloc、路径path、路径参数params、查询参数query、片段fragment。

from

urlparse(https://docs.python.org/zh-cn/3/library/urllib.parse.html#module-urllib.parse)print(scheme

o.scheme)

/zh-cn/3/library/urllib.parse.html

params

urlunparse()接收一个是一个长度为6的可迭代对象将URL的多个部分组合为一个URL。

若可迭代对象长度不等于6则抛出异常。

from

[http,www.baidu.com,index.html,user

test,a6,comment]

print(urlunparse(url_compos))结果

http://www.baidu.com/index.html;user

test?a6#comment4.1.3

urlunparse()类似构造URL传入对象必须是可迭代对象且长度必须是5。

from

[http,www.baidu.com,index.html,user

test,a

print(urlunsplit(url_compos))urlunsplit()结果

http://www.baidu.com/index.html?user

test#a

传递一个基础链接,根据基础链接可以将某一个不完整的链接拼接为一个完整链接.

将第二个参数中缺的部分用第一个参数的补齐,如果第二个有完整的路径则以第二个为主。

4.2

python中提供urllib.parse模块用来编码和解码分别是urlencode()与unquote()。

4.2.1

转码函数的功能是接收程序数据并通过对特殊字符进行转码并正确编码非

ASCII

http://www.baidu.com/s?wd%E7%88%AC%E8%99%AB4.2.2

编码urlencode()

quote()只能对字符串编码而urlencode()可以对查询字符串进行编码。

导入parse模块

parse#调用parse模块的urlencode()进行编码

query_string

http://www.baidu.com/s?{}.format(result)

print(url)结果

http://www.baidu.com/s?wd%E7%88%AC%E8%99%AB4.2.3

解码unquote(string)

Robots协议也称作爬虫协议机器人协议网络爬虫排除协议用来告诉爬虫哪些页面是可以爬取的哪些页面是不可爬取的。

它通常是一个robots.txt的文本文件一般放在网站的根目录上。

当爬虫访问一个站点的时候会首先检查这个站点目录是否存在robots.txt文件如果存在搜索爬虫会根据其中定义的爬取范围进行爬取。

如果没有找到这个文件搜索爬虫会访问所有可直接访问的页面。

urllib.robotparser

urllib.robotparser.RobotFileParser(url)这个类提供了一些可以读取、解析

robots.txt