一、 明白爬虫是怎么想的

想象一下爬虫就像一群小虫子，它们爬来爬去，就是为了找到我们网站的好东西那个。suo以我们要给它们搭个舒服的家，让它们Neng快点找到我们想要展示的内容。

二、 超级简单的链接结构

就像我们喜欢直线跑道一样，爬虫也喜欢简单的路径。suo以 提到这个... 我们的链接也要简单明了Zui好是一路到底，不要拐弯抹角。

三、 统一链接唯一性，让爬虫不迷茫

躺赢。 就像我们的名字不Neng有两个一样的，每个页面也要有一个独一无二的地址，这样爬虫就不会混淆了。

四、 面包屑导航，就像回家的路标

面包屑导航就像回家时的路标，告诉用户和爬虫我们目前在哪个位置，最后强调一点。。

五、 快速的页面加载速度，让爬虫跑得快

至于吗？ 页面加载得越快，爬虫就越喜欢，就像我们喜欢快车一样。

六、 使用Sitemap，给爬虫开个清单

Sitemap就像给爬虫开个清单，告诉它们哪些页面是重要的，哪些页面是可忽略的。

七、 合理的内部链接，就像蜘蛛网的结点

坦白说... 内部链接就像蜘蛛网的结点，让爬虫可yi从一个页面跳到另一个页面不会迷路。

八、 避免使用JavaScript或Flash导航，爬虫不喜欢绕弯

爬虫不喜欢绕弯子，suo以我们要避免使用那些让它们绕弯的导航方式，深得我心。。

九、 使用HTML语义化标签，让爬虫kan懂

HTML语义化标签就像给爬虫写了一封信，告诉它们哪些是标题，哪些是正文。

十、 CSS和JavaScript的外部引用，让爬虫只kan内容

没法说。 将CSS和JavaScript放在外部文件里这样爬虫就可yi只关注内容，不用管那些装饰。

十一、 避免重复内容，爬虫不喜欢重复的糖果

搞起来。 重复的内容就像重复的糖果，爬虫不喜欢，我们要尽量避免。

十二、 优化，让爬虫吃得开心

优化就像给爬虫准备好了一桌丰盛的宴席，让它吃得开心，才会常来。

十三、 搭建爬虫友好的网站就是让爬虫开心

搭建一个爬虫友好的网站，就是要让爬虫开心，这 我坚信... 样它们才会帮你把好东西带到geng多人面前。