这里是大仙的seo优化教程中的robots文件讲解，本文主要介绍robots协议文件是什么？robots.txt写法和检测方法！
本文目录：
1.robots文件是什么意思
2.robots协议写法
3.robots文件检测
4.robots文件注意事项
4.1.如何查看网站的robots文件
4.2.如何知道robots文件生效
4.3.网站地图是否有必要放入robots文件
一、robots文件是什么意思？
“robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。”——百度百科
robots是一个协议文件，格式是txt，主要面对的是搜索引擎爬虫和网站之间，爬虫通过robots文件可以知道，网站哪些文件禁止抓取，哪些文件可以抓取。
并且爬虫在抓取网站的时候，第一个访问的就是robots.txt文件。
二、robots协议写法
在robots文件中，主要是了解3个单词含义，分别是： User-Agent（代理）、Disallow（不允许）、Allow（允许）。
robots协议标准写法如下：
User-agent: *
Disallow: /CSS/
Disallow: /js/如果你想禁止所有css和js文件被抓取，就使用 “*” 表示。
如果你是想要特意允许抓取某个文件，可以这样写：
User-agent: *
Disallow: /css/
Disallow: /js/
Allow:/news/这样就是允许抓取news栏目文件。
只允许百度蜘蛛抓取，禁止Google蜘蛛抓取：
User-agent: baiduspider
Allow: /
User-agent: googlebot
Disallow: /常用的robots文件协议写法以上这些就够用了，还想了解可以自己百度学习。
三、robots文件检测
进入百度站长工具，在左侧导航栏里找到robots，点击检测更新，如图：
检测robots文件无误， 说明robots文件协议生效。
四、robots文件注意事项
4.1、robots文件的格式和位置
在编辑好robots文件之后，应该保存为txt格式，命名为robots.txt；并将它上传到网站的根目录，不要放在任何其他的二级目录里。
4.2、如何查看网站的robots文件
在网站后面输入/robots.txt就可以看到了，如图：
4.3、网站地图是否有必要放入robots文件
很多人都在纠结网站地图是否有必要放入robots文件里，这里大仙认为，当然是有必要的。
上面说了，搜索引擎爬虫在抓取网站的时候，最先看的就是robots文件，那么我们将网站地图也放在这里面，不就可以优先抓取了嘛。
具体做法是在最底部添加以下代码：
sitemap:http://www.daxianseo.cn/sitemap.xml
//改为你的地图链接4.4、如何知道robots文件生效
上面有提到，可以使用百度站长工具检测robots文件是否生效，会有提示的。
赞赏
微信赞赏
支付宝赞赏
