当前位置:厦门SEO > 网站优化 > 正文

robots文件常用的三种基本语法与用法

龙腾SEO 2019-04-03 784 0

在网站优化的过程中,有时我们会有一些重要及私密的内容,并不希望这些页面被搜索引擎蜘蛛抓取,比如后台的数据、测试阶段的网站,还有一种很常见的情况,搜索引擎抓取了大量没有意义的页面,如电子商务网站按照各种条件过滤、筛选的页面等,那么要确保页面不被抓取需要使用robots文件。

robots

robots.txt是一个纯文本文件,我们用来告诉各个搜索引擎网站中不想被蜘蛛抓取或访问的部分,当蜘蛛访问一个站点时,它会先检查该站点是否有robots. txt文件,一般我们放在根目录下,如果找到,蜘蛛就会根据文件中的内容来确定要抓取的范围,如果这个文件不存在,那么蜘蛛就会继续沿着链接去抓取,也就是只有要禁止抓取某些内容时,写robots文件才有意义。

robots.txt通常我们放在站点的根目录,我们应该都知道根目录是什么意思,这里不多做解释,文件名要全部小写,如果你想查看网站的robots协议,直接在域名后面加上robots.txt回车即可,下面介绍robots的语法。

robots文件的常用语法有3种,分别是 User-agent、Alow、Disallow,下面是具体用法。

(1) User-agent
指定robots.txt中的规则针对哪个搜索引擎蜘蛛,如果针对所有搜索引擎蜘蛛的写法是 User-agent:*,通配符*代表所有搜索引擎。如果只是百度蜘蛛,那么正确写法是 User-agent::Baiduspider,不同的搜索引擎蜘蛛的名称也不相同。

(2) Allow
允许蜘蛛抓取某些文件,比如允许蜘蛛访问网站中的news目录,正确写法是:Allow:/news/。
$:表示匹配URL结尾的字符,比如允许蜘蛛抓取以.html为后缀的URL,写法是:Allow:html$。

(3) Disallow
告诉搜索引擎蜘蛛不要抓取这些文件或目录,比如禁止蜘蛛抓取/admin/目录的写法是:Disallow:/admin/。
而禁止的目录或文件也要分开写,每个单独一行,比如禁止所有的搜索引擎蜘蛛抓取a、b、c目录,正确的写法如下:
User-agent:*
Disallow:/a/
Disallow:/b/
Disallow:/c/

作为一名合格的SEO人员,我们还是要熟练掌握robots.txt的基本语法,现在站长工具也很方便,直接在线通过选项生成robots文件,再传上根目录即可。

转载请注明来自龙腾SEO,本文标题:robots文件常用的三种基本语法与用法
本文地址:http://www.fjxmseo.cn/content/212.html

标签:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

关于我

欢迎加我的微信号交流

文章代更新
热门文章
随机tag
网站搬家SEO工具DEDECMS搬家新闻营销免费网盘wap推广反向链接HTTPScdn加速网络推广方法百度快照外链建设网站优化电商推广seo基础长尾关键词网站死链搭建云服务器mysql命令301重定向百度负面更换服务器网站诊断网站不收录