搜索引擎抓取的挑战

对于搜索引擎 要抓取互联网上所有的网页几乎是不可能的，从目前公布的数据来看，容量大的搜索引擎也不过是抓取了整个网页数量的百分之四十左右。

这其中的原因一方面是抓取技术的瓶颈， 无法遍历所有的网页，有许多网页无法从其它网页的链接中找到；另一个原因是存储技术和处理技术的问题，如果按照每个页面的平均大小为20K计算，100亿网页的容量是100×2000G字节，即使能够存储，下载也存在问题。一边，由于数据量太大，在提供搜索时也会有效率方面的影响。

网络蜘蛛的权限问题

网络蜘蛛在访问网站网页的时候， 经常会遇到加密数据和网页权限的问题，有些网页是需要会员权限才能访问。

当然 网站的所有者可以通过协议让网络蜘蛛不去抓取，但对于一些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全免费的让搜索者查看，这样就需要给网络蜘蛛提供相应的用户名和密码。

网络蜘蛛的抓取策略

在抓取网页的时候，网络蜘蛛一般有两种策略：广度优先和深度优先。

广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页， 然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。

这是常用的方式，主要原因是这个方法可以让网络蜘蛛并行处理，提高其抓取速度。

深度优先是指网络蜘蛛会从起始页开始， 一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。

这个方法有个优点是网络蜘蛛在设计的时候比较容易。

网络蜘蛛的工作原理

网络蜘蛛即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。

网络蜘蛛是通过网页的链接地址来寻找网页， 从网站某一个页面开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。

网络蜘蛛的访问层数限制

由于不可能抓取所有的网页， 有些网络蜘蛛对一些不太重要的网站，设置了访问的层数。

比方说 在上图中，A为起始网页，属于0层，B、C、D、E、F属于第1层，G、H属于第2层，I属于第3层。

如果网络蜘蛛设置的访问层数为2的话，网页I是不会被访问到的。

这也让有些网站上一部分网页能够在搜索引擎上搜索到，再说一个一部分不能被搜索到。

网站结构对抓取的影响

对于网站设计者扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。

---