网站robots协议如何设置(Robots中Meta标签用法详解)
小武-网站专员 2022-06-10 12:25:50 352
爬虫是目前最常见的网络程序,曾经有过统计,说是目前的网络流量有一半以上是爬虫使用的。
虽然爬虫程序随处可见,但是并不代表这种做法就是合理合法的。
在抓取网页时,我们要让自己的爬虫遵守Robot.txt协议。
一般网站有两种方式声明不想被爬虫爬取按:第一种是在站点的根目录下增加一个纯文本文件,例如
http://www.aaa.com/robots.txt。第二种是直接在页面中使用robots的meta标签。
接下来,详细介绍一下robots的meta标签。
标签有四类:index、noindex、follow、nofollow。
使用时以逗号分隔。
index指令:表示Robot可以索引本页;
follow指令:表示Robot可以跟踪本页链接;
noindex指令:表示拒绝Robot索引本页,但可跟踪该页上的链接;
nofollow指令:表示拒绝Robot跟踪本页链接,但可索引本页
根据以上的命令,我们就有了一下的四种组合:
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">:可以抓取本页,而且可以顺着本页继续索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">:不许抓取本页,但是可以顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">:可以抓取本页,但是不许顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">:不许抓取本页,也不许顺着本页抓取索引别的链接。
这里需要注意的是,不要把两个对立的反义词写到一起,例如
<META NAME="ROBOTS" CONTENT="INDEX,NOINDEX">
还有一点,禁止搜索引擎建立快照。
<meta name="robots" content="noarchive">
以上的一段代码限制了所有的搜索引擎建立你的网页快照。
如果我们需要仅仅限制一个搜索引擎建立快照的话,就可以像如下这样去写
<meta name="Googlebot" content="noarchive">
这样的标记是禁止搜索引擎为你的网站建立快照。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 3561739510@qq.com 举报,一经查实,本站将立刻删除。
转载请注明来自 专注SEO技术,教程,推广 - 8848SEO,本文标题: 《网站robots协议如何设置(Robots中Meta标签用法详解)》
标签:
- 上一篇: seo的主要内容及优化要求(附SEO技术规范文档分享)
- 下一篇: 网站改版seo需要做什么(网站改版该怎么做SEO优化?)
猜你喜欢
-
如何建设高端专业网站?探究高端专业网站建设的关键要素
-
SEO优化技巧(学会这些技巧)
-
如何通过优化提升文章内容质量(掌握策略)
-
SEO优化核心的方法(打造搜索引擎友好的网站)
- 关于我
-
关注微信送SEO教程
-
QQ
-
微博
-
邮箱
-
- 搜索
- 最新文章
-
- 抖音账号等级是什么(了解账号等级的好处和提升方法)
- 抖音账号代运营类目服务商管理规范(建立透明)
- 抖音账号永久封,如何注销(教你如何避免抖音账号被封)
- 了解封禁的程度和影响,保护自己的账号(了解封禁的程度和影响)
- 抖音账号封禁解封全攻略(从多久开始到如何申诉)
- 抖音账号封禁,你知道多久(从封禁原因到解封流程全面解析)
- 抖音账号封禁实名制,还能注册吗(探究抖音账号封禁实名制的影响及解决方法)
- 抖音账号封禁和注销了是一样吗(了解抖音账号管理)
- 如何在抖音账号上绑定多个小店(教你如何一站式管理多个小店)
- 抖音账号封禁,如何处理(小心抖音账号被封禁的坑)
- 热门文章
-
- 提高网站SEO排名的方法(15个有效的SEO优化策略)
- 抖音账号被重置,该如何恢复?重置后的抖音账号如何重新找回?
- 提高网站排名的四大内部链接建立技巧(通过巧妙设置内部链接提高网站SEO排名)
- SEO排名对网站的影响和优化方法
- SEO优化图片技巧全解析(如何让图片成为网站SEO的有效工具)
- 如何利用高级搜索技巧提升SEO效果(掌握这些搜索技巧)
- SEO的有效期限是多久(探讨SEO的持续性以及对网站排名的影响)
- SEO和SEM的区别及应用场景(从搜索引擎营销的两大分支入手)
- 如何通过SEO优化实现更好的效果(掌握关键技巧)
- SEO入门基础知识详解(掌握技术性SEO基础)
- 抖音直播间转化率正常值是多少?了解直播间转化率对于抖音营销至关重要!
- 如何写出最火的抖音视频文案?让你的视频爆红无限!
- 如何在抖音被处罚限流的情况下继续发作品?抖音限流解决方案,应对处罚方法一览
- SEO查询优化方法详解(打造高效的SEO查询优化策略)
- SEO人员优化网站的12个必备技巧(提高网站排名和流量的有效方法)
- SEO外链攻略(从建立链接到优化外链策略)
- 如何用SEO优化文案推广(15个技巧帮助你提升推广效果)
- SEO高质量文章优化必备技巧(15个段落带你了解如何优化高质量文章)
- 揭秘SEO优化的6个误区(避免这些错误)
- SEO基础内容优化攻略(打造内容优化的关键技术)
- 热门tag
-
抖音 优化 提升网站排名 百度SEO优化 网站优化 提高网站排名 抖音小店 SEO优化技巧 SEO优化 网站排名 网站SEO优化 seo优化 seo网站优化 关键词优化 百度SEO排名 小红书 seo SEO优化排名 关键词排名 搜索引擎优化
- 友情链接
-
- 知文社
- 番茄宠物网
- 狗猫街
- 花之卉