结构性数据而编写的应用框架我们只需实现少量的代码就能实现数据的快速抓取scrapy使用了Twisted异步网络架构可以加快下载速度

pip

Engine(引擎)负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯信号、数据传递等Scheduler(调度器)它负责接受引擎发送过来的Request请求并按照一定的方式进行整理排列入队当引擎需要时交还给引擎Downloader(下载器)负责下载(引擎)发送的所有Requests请求并将其获取到的Responses交还给Scrapy

Engine(引擎)由引擎交给Spider来处理。

Spider(爬虫)它负责处理所有Responses,从中分析提取数据获取Item字段需要的数据并将需要跟进的URL提交给引擎再次进入SchedulerItem

Pipeline(管道)它负责处理Spider中获取到的Item并进行进行后期处理详细分析、过滤、存储等的地方Downloader

Middlewares下载中间件一个可以自定义扩展下载功能的组件。

Spider

Middlewares(Spider中间件)一个可以自定扩展和操作引擎和Spider中间通信的功能组件运行流程引擎HiSpider,

你要处理哪一个网站Spider老大要我处理xxxx.com。

引擎你把第一个需要处理的URL给我吧。

Spider给你第一个URL是xxxxxxx.com。

引擎Hi调度器我这有request请求你帮我排序入队一下。

调度器好的正在处理你等一下。

引擎Hi调度器把你处理好的request请求给我。

调度器给你这是我处理好的request引擎Hi下载器你按照老大的下载中间件的设置帮我下载一下这个request请求下载器好的给你这是下载好的东西。

如果失败sorry这个request下载失败了。

然后引擎告诉调度器这个request下载失败了你记录一下我们待会儿再下载引擎HiSpider这是下载好的东西并且已经按照老大的下载中间件处理过了你自己处理一下注意这儿responses默认是交给**def

parse()**这个函数处理的Spider处理完毕数据之后对于需要跟进的URLHi引擎我这里有两个结果这个是我需要跟进的URL还有这个是我获取到的Item数据。

引擎Hi

我这儿有个item你帮我处理一下调度器这是需要跟进URL你帮我处理下。

然后从第四步开始循环直到获取完老大需要全部信息。

管道调度器好的现在就做快速入门创建一个scrapy项目scrapy

startproject

spider_name为爬虫名url为要抓取的目标网站scrapy

crawl

BdSpiderSpider(scrapy.Spider):name

parse(self,

response,**kwargs):pass**name**标识spider。

它在一个项目中必须是唯一的即不能为不同的爬行器设置相同的名称**allowed_domains**允许爬取url的域名**start_urls**一个url列表spider从这些网页开始抓取**parse():**一个方法当start_urls里面的网页抓取下来之后需要调用这个方法解析网页内容items定义抓取的字段名import

scrapyclass

scrapy.Field()passpipeline数据存储的位置from

itemadapter

https://docs.scrapy.org/en/latest/topics/settings.html

https://docs.scrapy.org/en/latest/topics/downloader-middleware.html

https://docs.scrapy.org/en/latest/topics/spider-middleware.htmlBOT_NAME

[my_spider.spiders]

https://docs.scrapy.org/en/latest/topics/settings.html#download-delay

See

#CONCURRENT_REQUESTS_PER_DOMAIN

16#

text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8,

Accept-Language:

https://docs.scrapy.org/en/latest/topics/spider-middleware.html

#SPIDER_MIDDLEWARES

my_spider.middlewares.MySpiderSpiderMiddleware:

543,

https://docs.scrapy.org/en/latest/topics/downloader-middleware.html

my_spider.middlewares.MySpiderDownloaderMiddleware:

543,

https://docs.scrapy.org/en/latest/topics/extensions.html

#EXTENSIONS

scrapy.extensions.telnet.TelnetConsole:

None,

https://docs.scrapy.org/en/latest/topics/item-pipeline.html

ITEM_PIPELINES

数字越小越靠近管道my_spider.pipelines.MySpiderPipeline:

300,

https://docs.scrapy.org/en/latest/topics/autothrottle.html

True

#AUTOTHROTTLE_TARGET_CONCURRENCY

1.0

https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings

#HTTPCACHE_ENABLED

scrapy.extensions.httpcache.FilesystemCacheStorage