搜索引擎无用的网页

搭建的网站，默认的.txt内容简单，没屏蔽feed页面，谷歌也不收录。

剔除这些无用页面，只抓取有用的内容，节省蜘蛛时间，避免资源浪费。

错误的.txt规则

网上找的 .txt规则，导致 显示错误。

错误提示是“ by .txt”，原因是我屏蔽了内部的资源文件。

.txt规则修改

修改后的.txt文件如下：

: *: // : // : // : /*/* : /*?= : //*/page/ : /tag/*/page/ : /*/ : /feed : /*/feed : //feed : /?s= : /*/?s= : // Allow:/// Allow://// Allow:/// :https://www..top/.xml

.txt规则解释

: // - 告诉搜索引擎不要抓取后台程序文件页面。

: /*/* - 禁止搜索引擎抓取评论分页等相关链接。

: //*/page/ - 禁止搜索引擎抓取收录分类和标签的分页。

: /*/ - 禁止搜索引擎抓取收录等垃圾信息。

: /feed、: /*/feed和: //feed - 禁止搜索引擎抓取收录feed链接。

: /?s=*和: /*/?s=* - 禁止搜索引擎抓取站内搜索结果。

: // - 禁止搜索引擎抓取附件页面。

Allow: /// - 允许搜索引擎抓取资源文件。

.txt规则影响

修改.txt后，观察谷歌对SEO小也的收录情况，等待几天看效果。

网站优化中，.txt文件是一个重要的部分，合理的设置能让搜索引擎更有效地抓取网站内容，提升网站排名。