一、搜索引擎

、啥叫搜索引擎

依据特定策略，用计算机程序从网上搜集信息，再对信息进行整理，提供给用户检索服务，把相关信息展示给用户的一种系统。

、搜索引擎发展史

分类目录时代→整合分析时代→生态圈搜做时代

、百度算法更新：大家自个儿搜一搜吧

二、百度蜘蛛抓取策略

、抓取友好性

蜘蛛最喜懽文字，所以网站文章发布不能光图不文，这样文章蜘蛛不太待见。

、常用抓取返回码解释

：网站能打开

：提权

：暂时挑战

：网速太慢

：访问路径错误

：网站自身问题

、识别多种URL重定向

：meta 、js

、抓取优先级

、深度优先遍历策略，网站所有链接都会爬取

、广度优先遍历策略

、PR优先遍历策略

、反链优先策略

、社会化分享指导策略

、重复URL过滤

用户进入网站首页后，域名后那串码，但搜索一级域名也能进入网站首页，页面一样，URL却不断变化，蜘蛛为减少工作量，会自动屏蔽重复页面，不再抓取信息。

、获取暗网数据

互联网有大量搜索引擎暂时无法抓取的数据，这就是暗网数据。

邀请大家共同学习，提高网站在搜索引擎中的排名，让更多人看到你的内容。