。

是一个快速、简单、并且可扩展的方法。

Scrapy使用了异步网络框架来处理网络通讯…scrapy项目模板地址https://github.com/w-x-x-w/Spider-Project

Scrapy简介

Scrapy是一个健壮的爬虫框架可以从网站中提取需要的数据。

是一个快速、简单、并且可扩展的方法。

Scrapy使用了异步网络框架来处理网络通讯可以获得较快的下载速度因此我们不需要去自己实现异步框架。

并且Scrapy包含了各种中间件接口可以灵活的完成各种需求。

所以我们只需要定制开发几个模块就可以轻松的实现一个爬虫用来抓取网页上的各种内容。

Scrapy并不是一个爬虫它只是一个“解决方案”也就是说如果它访问到一个“一无所知”的网站是什么也做不了的。

Scrapy是用于提取结构化信息的工具即需要人工的介入来配置合适的XPath或者CSS表达式。

Scrapy也不是数据库它并不会储存数据也不会索引数据它只能从一堆网页中抽取数据但是我们却可以将抽取的数据插入到数据库中。

Scrapy架构

是框架的核心负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯信号、数据传递等。

并在发生相应的动作时触发事件。

**Scheduler

**它负责接受引擎发送过来的Request请求并按照一定的方式进行整理排列入队当引擎需要时提供给引擎。

**Downloader

(下载器)**负责下载引擎发送的所有Requests请求并将其获取到的Responses交还给引擎。

**Spider

(爬虫**负责处理由下载器返回的Responses并且从中分析提取数据获取Item字段需要的数据并将需要跟进的URL提交给Scrapy

**Item

(项目管道)**它负责处理Spider中获取到的Item并进行进行后期处理清理、验证、持久化存储的地方.

**Downloader

(下载中间件)**引擎与下载器间的特定钩子一个可以自定义扩展下载功能的组件。

处理下载器传递给引擎的Response。

**Spider

Middlewares爬虫中间件)**引擎和Spider间的特定钩子处理进入Spider的Responses和从Spider出去的Requests

快速开始-项目实战

我们这里以某新闻网站新闻推送为例编写项目仅用于学习请勿恶意使用

Scrapy

项目名HuxiuSpider/scrapy.cfgHuxiuSpider/__init__.pyitems.pypipelines.pysettings.pyspiders/__init__.py...这些文件分别是:

scrapy.cfg:

该项目的python模块。

之后您将在此加入代码。

HuxiuSpider/items.py:

项目中的item文件.HuxiuSpider/pipelines.py:

项目中的pipelines文件.HuxiuSpider/settings.py:

更改设置

https://docs.scrapy.org/en/latest/topics/settings.html#download-delay

See

https://docs.scrapy.org/en/latest/topics/item-pipeline.html

ITEM_PIPELINES

{HuxiuSpider.pipelines.HuxiuspiderPipeline:

300,

api-article.huxiu.comSpider是用户编写用于从单个网站(或者一些网站)爬取数据的类。

其包含了一个用于下载的初始URL如何跟进网页中的链接以及如何分析页面中的内容

提取生成

该名字必须是唯一的您不可以为不同的Spider设定相同的名字。

start_urls:

后续的URL则从初始的URL获取到的数据中提取。

也可以删除此变量但要重写start_requests方法parse()

Response

data)提取数据(生成item)以及生成需要进一步处理的URL的

Request

向一个url发送post请求发送一个时间戳可以获取这个时间戳以后的新闻推送然后就是推送数据关于数据提取等操作可以点开链接页自行观察太过简单。

爬虫程序模板

HuxiuArticleSpider(scrapy.Spider):def

__init__(self):#

https://www.huxiu.com/article/self.url

https://api-article.huxiu.com/web/article/articleListname

{platform:

scrapy.FormRequest(urlself.url,

formdataform_data,

data[is_have_next_page]last_dateline

data[dataList]for

data_obj[user_info][username]item[allinfo]

json.dumps(data_obj,

ensure_asciiFalse)item[visited]

Falseyield

scrapy.FormRequest(urlself.url,

formdataform_data,

不用担心您会发现这个步骤非常简单)ORM其实就是使用类的方式与数据库进行交互

首先根据需要从huxiu.com获取到的数据对item进行建模。

HuxiuSpider

HuxiuspiderItem(scrapy.Item):url

scrapy.Field()title

存储尽量多的信息是必要的以应对需求变更allinfoscrapy.Field()visitedscrapy.Field()一开始这看起来可能有点复杂但是通过定义item

您可以很方便的使用Scrapy的其他方法。

而这些方法需要知道您的item的定义。

piplines模板

__init__(self):self.clientMongoClient(localhost,usernamespiderdb,passwordpassword,authSourcespiderdb,authMechanismSCRAM-SHA-1)self.db

self.client[spiderdb]self.collection

self.db[huxiu_links]self.collection.create_index(url,

uniqueTrue)def

dict(item)try:self.collection.insert_one(item)except

DuplicateKeyError

spider):self.client.close()运行爬虫

scrapy

callbackself.detail_parse)https://blog.csdn.net/ygc123189/article/details/79160146

注意事项

也可以是查询数据库的结果但要注意数据统一性因为scrapy是异步爬取

自定义item类型与有无

spider爬取的结果封装到item对象中再提交给pipeline持久化那么当然也可以忽略item对象传递你想要的数据格式直接到pipeline。

item与pipeline对应关系

item的意思是数据实例一个item提交后会经过所有的pipelinepipeline的意思是管道就是对数据的一系列操作设置中的管道优先级就是管道处理数据的顺序比如日志操作等。

如果要让某一个pipeline只处理某些类型的item可以在item进入pipelne的时候判断一下是否是你想要处理的item类型。

示例如下

class

isinstance(item,doubanTextItem):#

操作itemreturn

CrawlerProcess(settings)crawler.crawl(exercise)

crawler.crawl(ua)crawler.start()

crawler.start()post表单数据传输需要是字符串

自定义请求头

AddHeadersSpider(scrapy.Spider):name

[sina.com]start_urls

[https://www.sina.com.cn]headers

{User-Agent:

text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8,Accept-Language:

zh-CN,zh;q0.9,en-US;q0.5,en;q0.3,Accept-Encoding:

gzip,

parse(self,response):print(---------------------------------------------------------)print(response

headers:

response.request.headers)print(---------------------------------------------------------)scrapy的FormRequest发送的是表单数据类型如果要发送json类型需要使用Request

round(time.time()

scrapy.Request(urlself.url,methodPOST,headersself.headers,bodyjson.dumps(form_data),

callbackself.parse,meta{id_str:

id_str})