当前位置:网站首页 > 网站优化 > 正文

青岛seo培训:robots与robots meta标签的应用

龙腾SEO龙腾SEO 2019-04-11 76 0

robots文件是搜索引擎蜘蛛来到网站后访问的第一个文件,我们在编写时有很多需要注意的地方,如果不注意语法的正确使用,有些语句可能发挥不了应有的作用,会影响搜索引擎对网站的访问,今天青岛seo培训分享下robots与robots meta标签的应用。

robots

robots文件可以指定sitemap的位置,写法是 sitemap:域名/sitemap.xml,这样就告诉搜索引擎蜘蛛这个地址是网站地图,如果我们有一些隐私文件要屏蔽搜索引擎蜘蛛不让其抓取时,可以在robots中设置屏蔽蜘蛛抓取这些隐私文件,相反网站中没有要屏蔽的内容时,可以不添加robots文件。

如果有个页面不想让搜索引擎收录但却已经收录了,我们可以通过robots meta标签来解决。robots.txt文件主要是限制整个站点或者目录的蜘蛛访问,而 robots meta标签则主要是针对某个具体的页面,此标签放在页面中,专门用来告诉搜索引擎蜘蛛如何抓取该页的内容。

robots meta标签的基本写法是:<meta name="robots" conten="index,follow">,可以说是SEO基础知识,以下是几项需要特别注意的地方:

1、在 robots meta标签中,name="robots"表示所有的搜索引擎,也可以针对某个具体的搜索引擎,如针对百度可以写为 name="Baiduspider"。
2、content部分有4个指令选项,以英文逗号“,”隔开,分别是:index、follow、noindex、nofollow

index 指令告诉搜索引擎蜘蛛可以抓取该页面。
noindex 指令与index指令相反,表示搜索引擎蜘蛛不可以抓取该页面。
follow 指令表示搜索引擎蜘蛛可以爬行该页面上的链接。
notollow 指令与 follow指令相反,表示搜索引擎蜘蛛不可以爬行该页面上的链接。

综上所述,robots meta标签有以下4种组合:
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">

当robots meta标签的content值为"index,follow"时,表示这个页面可以被抓取,此页面上的链接也可以被继续爬行,robots meta标签可以简写成< meta name="robots" content="all">。

当robots meta标签的content值为"noindex,nofollow"时,表示这个页面不可以被抓取,此页面上的链接也不可以被继续爬行,robots meta标签可以简写成<meta name="robots" content="none">。

今天青岛seo培训讲的是一些标签用法,robots meta标签的是限制某个具体页面的蜘蛛访问情况,因此当发现网站中某个页面需要屏蔽蜘蛛抓取时,可以在该页面的源代码的<head>和</head>之间添加robots meta标签。

转载请注明来自厦门SEO,本文标题:青岛seo培训:robots与robots meta标签的应用
本文地址:http://www.fjxmseo.cn/content/217.html

标签:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

关于我

欢迎加我的微信号交流

热门文章
随机tag
关键词优化UGC百度蜘蛛HTTPS301重定向wap推广百度恶意点击cdn加速404 not found网络营销营销方案网络推广方法url地址免费网盘百度网站收录新闻营销更换服务器建立博客mysql命令DEDECMS搬家企业SEOSEO工具网站优化网站搬家
最新评论