什么是robots.txt文件？

嘿嘿， 你们知道不网站的robots.txt文件就像是我们家的小门卫，它告诉那些搜索引擎的小家伙们哪些地方Ke以去逛逛，哪些地方是禁止入内的哦！

创建robots.txt文件

创建这个文件超级简单， 就像写日记一样，你只需要在网站的根目录下新建一个叫Zuorobots.txt的文本文件，然后就Ke以开始写你的小规则啦！

比如 你Ke以这样写：

Disallow: /admin/
Disallow: /private/
    

这样写就告诉搜索引擎，admin和private这两个地方是不欢迎的哦！

使用Allow指令

但是 有时候你可Neng会想，虽然我不希望搜索引擎访问admin和private，但是public这个目录是Ke以kankan的嘛！ 我们都经历过... 那怎么办呢？这时候， 你就需要用到Allow指令啦：

User-agent: *
Allow: /admin/public/
    

这样写就告诉搜索引擎，虽然admin是禁止的，但是public这个目录是Ke以去的哦！

设置特定搜索引擎的行为

哎呀， Ru果你只想对某个搜索引擎的小家伙们说这些话，那怎么办呢？没关系， 你只需要指定一下User-agent就Ke以了：

User-agent: Googlebot
Disallow: /admin/
    

这样写就只告诉Googlebot，admin这个地方是不Ke以去的哦！

使用验证工具进行检测

写完之后你还得检查一下有没有写错哦！你Ke以用谷歌管理员工具或者百度管理员工具来测试一下kankan有没有错误，然后按照提示去修改一下就好了。

好了今天的分享就到这里啦！希望你们Neng通过优化robots.txt文件，让你们的网站在搜索引擎里geng加受欢迎哦！记得，Zuo好小门卫，保护你的网站平安，一边也要让那些小家伙们Nenggeng好地了解你的网站哦！