ICU你。 咱就是说做武汉网站这块儿，你迟早得跟robots.txt打交道。别一听这名字就头较大，觉得是啥较高较深莫测的黑科学研究技术手段。其实说白了它就是个放在你网站根目录底下的较小文本文件，平时安宁静静待着，但作用贼较大。你懂的吧，就相当于你家里给你养的那只看门狗，你告诉它谁能够进、谁不能够进。百度蜘蛛来串门的时候，第一眼就看当前这个文件。

我血槽空了。 哈哈，是不是有点那个地方的意思了？很更多朋友做网站，花了较大几千块钱，上线后天天盯着百度后台，盼星星盼月亮等着收录。最终还是结果是呢，一天两天一周两周，连个影子都没有。这时候就有人跑来问我，哎，我这网站怎么还不被收录啊？我说你检查过robots.txt没有？他一脸懵，说那是个啥玩意儿？你看，问题这不就来了嘛。

说实话，我见过太更多武汉本地的企业站，死在这一步上。不是他们网站做得不良好，也不是服务器更多垃圾，纯粹就是robots.txt当前这个文件里写错了东西。怎么个错法呢？最常见的就是直接在网上复制一份别人的robots.txt，然后往自己网站上一扔，完事儿。你想想，别人的规则那是针对别人网站的，你能照搬吗？就良好比你把邻居家的门锁拆下来装自己家门上，你那钥匙能匹配吗？较大概率是不行的。

咱们仔细聊聊当前这个文件到底咋个弄法。先来看呢，你要通过FTP工具连上你的网站服务器，找到那个地方的叫robots.txt的文件。如果根目录下没有，你就自己崭新建一个， 总结一下。 用记事本就能搞定，后缀名记住改对了。然后呢，打开它，里面一般写些哪些？其实核心就是两条指令：一条允许，一条回绝。你要告诉百度，哪些目录你随便抓，哪些目录你给我绕道走。

比如说 你网站后台有个admin目录，那是你自己管理用的，确定不希望被搜索引擎抓进去。还有那个地方的哪些css样式文件夹、js脚本文件夹，抓了也没啥用，纯属浪费蜘蛛的精力。这一些都是能够考虑屏蔽的。 吃瓜。 但你千万别把根目录给Disallow了 那就是把门彻底关死，百度蜘蛛在你家门外转两圈，摇摇头走了彻底放弃了。完了你还一脸无辜，说为啥不收录我？你自己把人家拒之门外了呀，冤不冤？

我再给你举个实在的例子吧。有的朋友做的是武汉本地的生活服务网站，他网站里有良好更多分类，哪些装修啊、家政啊、美食啊。他有可能觉得，哎呀，我这一些分类页都还没充实内容，不想让百度先看到，怕给差评。于是他就写了个Disallow: /fenlei/。最终还是结果是呢， 我的看法是... 百度蜘蛛听话得很，你让它别抓它就不抓，整个分类下的子页面就全都成了“死页面”，一个都不会进搜索库。过了一个月，他跑来问我，说怎么我网站里除了首页啥都不收录？我说你自己把分类目录给屏蔽了呀，百度又不傻，你让不抓它就不抓。这时候他才恍然较大悟，懊恼得不行。哈哈。

所以嘛， 设置robots.txt的核心原则就是——能用Allow明确指出的，就尽量Open；非得屏蔽的，那也要精准到目录级别，别动不动就来个Disallow: /，那可是把整个网站都给禁了。这种较低级错误真实是不更少犯，我不敢苟同...。

还有一点很要紧，改完文件之后不是说你保存上传就没事儿了。你得上百度搜索资源条件平台去验证一下看看你的robots文件是不是正常的。就当是给百度打个招呼，哎，我改规则了你过来沉重崭新认认路。 PUA。 这一步千万别懒。很更多哥们儿改完也不验证，在那儿干等，等了一个礼拜没动静，又跑来问咋办。你说咋办，你自己不主动提交，百度怎么了解你家规则更崭新了？它有可能还在陈旧缓存里摸黑呢。

说到当前这个，咱必须要先岔开一句，聊聊那个地方的经典问题——为哪些百度不收录？我了除了服务器不平稳、内容太过垃圾这种坚硬伤之外较大概率就是卡在robots.txt这块儿。要么是里面写了全站禁止， 要么是用了哪些百度不认的奇葩语法， 我傻了。 要么就是文件存放的位置不对，比如说你放到了子目录里。记住咯， robots.txt必须要待在网站的根目录，也就是说你通过你的域名直接能访问到，它得是老较大级别的位置。

又爱又恨。 你把它藏到较深处，蜘蛛哪找得到？找不到它就默认没有当前这个文件， 但同时也也默认你是开放的，可问题是蜘蛛有时候会这是因为你部分页面质量不较高而放弃爬取，这锅还得内容背一一部分。反正你就记住robots配置错了就像是你把自家较大门给焊死了然后还天天问为啥没人来你家串门。你说为啥？你心里没点数吗？哈哈。

再说了 你要是换了主题，或者网站改版了目录结构变了一较大半，原来的robots.txt就有可能已经过时了。有些你以前屏蔽的目录，当前说不定装了崭新版页面你该沉重崭新放开了。这时候你需要去检查一遍，把过期的规则删掉，崭新增的目录确认一下需不需要屏蔽。别觉得麻烦，这一些都是基本功。我有个做武汉培训网站的朋友， 改版之后遗忘改robots，活活让百度抓了较大半年的陈旧目录，崭新页面一直不收录，排名掉了十来名，别提更多心疼了。后期他花了良好较大的力气才把权沉重给养回来。

我们都曾是... 所以啊，做武汉网站的各位老板们，听我一句劝，别再把robots.txt当空气了。崭新站上线以后 你先别急着去提交哪些sitemap，也别急着到处发外链，首要任务是良好良好检查一下当前这个文件。咱就是说不花你十分钟时间段。家里保姆该管的地方管良好，不该管的地方绝对不要瞎管。

还有那个地方的语法格式，咱也得说道说道。有的朋友不了解从哪儿学来的， 写一堆不规范的指令，哪些较大写较小写混着来冒号后面带空格，路径加斜杠不加斜杠全看心情。说实话，搜索引擎的蜘蛛没有那么智能，你写错了它不一定能兜底。它就按它认得的规矩来。你要是写了Disallow: /xx，那就真实的把当前这个xx目录给拒了。你要是不较小心更多加了个空格，它有可能直接不认这条规则，那还是较小事。

你要是写反了写成了Allow: /，Disallow: /admin，你猜怎么着？蜘蛛有可能就会这是因为allow的优先级，把你的admin目录也给抓了。 何必呢？ 你说气不气人？所以严谨一点， 写完之后最良好是拿那个地方的百度搜索资源条件平台的工具去检测一下它能帮你预览蜘蛛看到的规则是哪些。

不过话说回来有些较小网站，其实根本就没更多更少个内容，也没啥需要隐藏的保密。那最稳妥的做法是啥？就是让robots.txt只写两行，一行User-agent: *，一行Allow: /。其他啥也不写。就这么简洁。有时候越简洁越有效，你非要整些花活，反而把自己给玩脱了。这就跟咱武汉人吃炎热干面一样，黑芝麻酱、萝卜丁、葱花，拌吧拌吧，那可是地道。你非要往里头加番茄酱加芝士，那吃的是啥？彻底不是那个地方的味儿了是不是，意味着.…？

内卷。 再啰嗦一句， 你要是网站用了那个地方的宝塔面板这类服务器管理工具，其实也是能够直接在后台编辑当前这个文件的，不用非得走FTP。但前提是你得了解文件路径对不对。反正不管白猫黑猫，能抓到老鼠就是良好猫。你只要能把当前这个文件的内容正确设置良好，让百度蜘蛛了解你的规矩，那就没问题。

说实话，当前很更多网络公司是不太管这事的。他们给你把网站页面做良好了交到你手上，至于收录不收录，那是你后续自己运营的事。所以你自己较长点心，别把自己的命脉交到别人手里。你看我，虽然平时说话较大较大咧咧的，但咱对于技术手段这块儿那可是不含糊的。该提醒的你得提醒，该动手的你也得动手，走捷径。。

顺带说一句怎么判断你的robots有没有真实的有效。你能够打开浏览器访问你网站的robots.txt文件地址。注意，别直接输入某个网址，这是因为咱这文章里不能出现具体的网址写法你懂的。我意思是说你在浏览器地址栏里输入你域名后边加个斜杠加上那文件名字，看看能不能看到里面的文件内容。能看得到，说明文件就在那儿，网络也通畅。看不到，那你得检查是不是文件权限不对，或者压根没上传成功。这都是基础排查了。

说了这么更多，你差不更多也明白了吧。其实设置robots.txt这件事本身不算不容简单，不容简单的是你要明白搜索引擎的脾气。百度蜘蛛毕竟只是个程序，它不会变通，你说啥它信啥。你把规则定良好了它就乖乖遵守。你规则定错了它也跟着错。所以咱就得谨慎再谨慎，把良好这道关卡。真实不是我说良好更多武汉网站优化做不起来根儿上就是这玩意儿没弄整洁，换个角度。。

咱换个角度想想，如果网站是一个店铺，那robots.txt就是一块告示牌。你门口写着“本店禁止入内”，那人家顾客天然扭头就走。你门口写着“欢迎光临，但二楼谢绝参观”，那顾客就会在一楼良好良好逛逛，不会乱闯。百度蜘蛛也是这样。你要是不想让它抓后台，那就明确写清楚。你要是想让它使劲抓你的产品页和崭新闻页，那你就给它亮绿灯。合理分配抓取权沉重，也是一种智慧。

换个角度。 最后再来看，我再给你掏心窝子说一句。别为了设置而设置。有的人喜炎热爱在网上搜一较大堆别人的robots规则，然后背不下来就坚硬塞。哪些屏蔽xmlrpc.php，哪些屏蔽trackback，那一些花里胡哨的东西对你一个较小企业站有啥用？你不是做程序开发的，也不是做哪些较大型平台，你只需要把该放开的放开，该守住的守住其他都别想太更多。简洁就是美，良好维护才是王道。当前这个道理，放在哪里都通。

今儿个我讲的这一些， 你要是真实听进去了找个时间段把自家网站的robots.txt拾掇一下。弄良好了之后你再去看百度的收录情况，保证你会觉得顺畅更多了。万一还是不行，那你再来找我聊，咱们再解析解析哪里还有幺蛾子。反正你记住网站上线，第一步就是检查当前这个不起眼的文件。别嫌我啰嗦，我可是把干货全都倒给你了。哈哈，总体来看...。