2022 最新Robots.txt文件教程

最新推荐文章于 2024-08-14 16:31:41 发布
桜丸子 最新推荐文章于 2024-08-14 16:31:41 发布
阅读量3.5k 收藏 9
点赞数 4
文章标签： wordpress
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接： https://blog.csdn.net/penny_cheng/article/details/124778079
版权
本文详细介绍了Robots.txt文件的作用、运作机制，以及如何在WordPress上创建和管理Robots.txt文件，包括编写指令规则、上传至根目录和测试文件。同时解答了常见问题，如Robots.txt的必要性和是否禁止抓取资源类文件。
摘要由CSDN通过智能技术生成

什么是Robots.txt文件？它有什么作用？

Robots.txt 是网站里的一个文件，它告诉搜索引擎抓取工具（蜘蛛）禁止或允许抓取网站的哪些内容。主流搜索引擎（包括 Google、Bing 和 Yahoo）都能够识别并尊重 Robots.txt的要求。

如需查看网站是否有Robots文件，请访问网址：域名/robots.txt，譬如https://xxx.com/robots.txt, 下图的示例，是一个 WordPress网站安装完Rank math SEO插件自动生成的robots文件及其内容。

what is robots

本文原文出自专注于外贸建站的LOYSEO： https://loyseo.com/robots-txt/

Robots.txt 是怎么运作的？

要想知道Robots.txt文件是如何发挥作用的，就要了解搜索引擎的工作机制：①爬行②抓取③索引（也可以叫做收录）。

  • 爬行：搜索引擎的蜘蛛在爬网的过程中，通过从其他网站中获取到了你的网址，那么它就会记录下这个网址。还有，你也可以通过搜索引擎的站长工具，譬如 在Google Search Console中提交你的网站地图（Sitemap），告知搜索引擎你的网站网址。google search console submit sitemap

  • 抓取：蜘蛛通过访问之前爬行获取的网址，抓取你网页里的内容并存档。爬行就像记录商店门牌号，抓取就是进店拍照。那是否你提交的网址一定都会被抓取呢？不一定，因为搜索引擎分配给你的抓取份额是有限的，如果你的站点很小，那基本不用担心，那如果你的站点规模庞大，那么，对于使用Robots.txt文件，禁止某些不必要的内容被抓取，就很用必要了，这能让抓取份额用在有意义的地方，而不是被无意义的内容消耗。

  • 索引：也被称为收录，英文叫做index，也就是搜索引擎将之前抓取到的内容，呈现到用户搜索的相关搜索引擎结果中了。你可以通过在搜索引擎的搜索框中输入命令，

最低0.47元/天 解锁文章
桜丸子
关注 关注
  • 4
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
robots.txt文件详解
weixin_38313819的博客
09-22 1867
robots.txt是一个用于告诉网络爬虫（也称为搜索引擎蜘蛛）哪些页面可以抓取，哪些页面不可以抓取的文本文件。它通常放置在网站的根目录下，命名为"robots.txt"。这个文件可以限制搜索引擎蜘蛛访问网站的部分或全部内容，以保护网站的隐私和安全。robots.txt文件的起源可以追溯到早期的网络爬虫，这些爬虫在访问网站时会遵循一定的规则。为了阻止不受欢迎的爬虫访问，网站管理员会在网站的根目录下创建一个名为"robots.txt"的文件，并在其中列出不希望被爬取的目录和文件。
zblog系统博客的robots.txt文件的写法教程
a1286236628的博客
08-11 397
写robots.txt规则之前，要先了解zblog 所包含的文件，文件夹以及它们的作用是什么。以下图片所展示的内容，为全新的zblog博客安装包，所包含的文件夹以及文件。zb_users 文件夹：为 zblog 为用户文件夹，里面包含了主题文件夹，插件文件夹，以及附件存放文件夹。robots.txt 文件应该放在网站根目录下，并且该文件是可以通过互联网进行访问的，否则是没有什么作用的。zb_system 文件夹：为 zblog 框架的主要文件，需要屏蔽搜索蜘蛛去它以及它所包含的内容抓取。
Robots.txt指南
eygle's life
10-07 1805
当搜索引擎访问一个网站时，它首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。Robots.txt文件用于限定搜索引擎对其网站的访问范围，即告诉搜索引擎网站中哪些文件是允许它进行检索(下载)的。这就是大家在网络上常看到的“拒绝Robots访问标准”(Robots Exclusion Standard)。下面我们简称RES。 Robots.txt文件的格式：Robots.txt
8 个常见的 robots.txt 问题及修复方法
最新发布
TOPSTIP的博客
08-14 1372
Robots.txt 是一个放在网站根目录的纯文本文件，必须放在顶层目录，如果你将其放在子目录中，搜索引擎会忽略它。尽管功能强大，但它通常是一个简单的文档，使用像Notepad这样的编辑器在几秒钟内就可以创建一个基本的 robots.txt 文件，你也可以添加一些额外的信息供用户发现。实现 robots.txt 通常用途的其他方法包括：wp:list网页代码中的 robots 元标签X-Robots-Tag HTTP 标头来影响内容在搜索结果中的显示方式和是否显示/wp:list。
禁止搜索引擎收录的方法
Amion的专栏
10-05 766
一．什么是robots.txt文件? 　　搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。 　　您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。 二. robots.txt文件放在哪里?
什么是robots.txt文件
06-08 9248
一、什么是robots文件 Robots.txt文件是网站跟爬虫间的协议，对于专业SEO并不陌生，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 如您的网站未设置robots协议，搜索引擎对网.
robots.txt
赤道与北极
04-09 1299
什么是robots.txt？robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。　　当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。　　
robots.txt 文件详解
热门推荐
passport_daizi的博客
08-29 1万+
robots.txt      robots.txt写法 　　robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 　　当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中
wordpress robots.txt优化你的博客
01-20
WordPress博客的robots.txt文件写法得根据自身网站情况来定，当然我们可以借鉴一些知名网站的robots.txt写法，比如可以看wordpress教程网的robots.txt,可以通过访问：http://www.shouce.ren/robots.txt 获取 ...
Nop.Plugin.Misc.CustomRobotsTxt:nopCommerce 插件来管理 robots.txt 文件
06-28
nopCommerce 插件来管理 robots.txt 文件。 安装 从下载最新的 nopCommerce 源代码，如果您已有 nopCommerce 源代码，则跳过此步骤。 下载插件源代码。 将 Nop.Plugin.Misc.CustomRobotsTxt 文件夹复制到 ...
宝塔站长助手插件-智能防爬虫,批量生成robots.txt
maoguan121的博客
11-27 1664
github5站长助手 介绍 基于lua开发的开源站长助手, 实现常见的站长功能: 智能防爬虫 批量添加站长统 批量替换网页内容 智能管理网站有效链接 批量生成robots.txt 批量屏蔽网站错误信息 自动推送到百度 更多功能开发中,欢迎联系我们反馈您的需求，QQ群 功能界面 功能详情 反爬防护 对网站进行安全防护,防止网络爬虫恶意请求 主要功能 浏览器验证 智能验证请求客户端是否为浏览器 返回内容编码 在不影响用户使用的情况下，对网站返回的html进行编码输出 屏蔽错误信息 禁止返回错
robots.txt是什么？
qq_44062110的博客
03-06 796
Sitemap（网站地图）是一个XML文件，用于向搜索引擎提供网站的结构化信息，以帮助搜索引擎更有效地抓取和索引网站的页面。它是一个包含了网站中重要页面URL的列表，通常还包括这些页面的相关信息，例如最后修改时间、更新频率和优先级等。通过提交 Sitemap，网站管理员可以更主动地引导搜索引擎抓取和索引网站的内容，提高网站在搜索结果中的可见性和排名。这个示例文件告诉网络爬虫不要访问 private 和 admin 目录，等待10秒后再发送下一个请求，并指定了网站的 XML Sitemap 文件的位置。
robots.txt文本文件
缘 源 园
03-11 529
Robots.txt的定义： Robots.txt是一个纯文本文件，用于声明该网站中不想被Robots访问的部分，或者指定搜索引擎蜘蛛只抓取指定的内容。 Robots.txt不是规定，而是约定俗成需要搜索引擎蜘蛛自觉遵守的一种道德习俗。 当搜索引擎蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt 如果找到，搜索引擎蜘蛛就会按照该文件中的内容来确定抓取的范围。 如果该文件不存在，那么搜索引擎机器人就沿着链接抓取。 作用一： 防止私密或重要内容被搜索引擎抓取。 例：.
robots.txt文件
saltor
08-08 4287
1. 什么是robots.txt文件？   搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信 息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot 访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜 索引擎只收录指定的内容。   2. robots.txt文件放在哪里？  
如何使用robots.txt及其详解
weixin_34059951的博客
04-24 991
在国内，网站管理者似乎对robots.txt并没有引起多大重视，应一些朋友之请求，今天想通过这篇文章来简单谈一下robots.txt的写作。robots.txt基本介绍robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根...
【CTF知识库】robots.txt
国服可爱玩家的BLOG
06-13 670
【CTF知识库】robots.txt。
SEO两百个秘密：robots.txt文件的秘密
DOTA工作室专栏
06-28 1067
网站能不能被搜索引擎索引到，除了看有没有向搜索引擎入口提交、有否与其他站点交换链接等之外，还得看根目录底下的robots.txt文件有没有禁止搜索引擎的收录。熟练书写robots.txt语法，是每个SEOer所必须掌握的基本技能。SEO研究院曾经写过一篇《SEO七十二案例：Z-Blog优化完全攻略》的具体案例，阐述过如何通过robots.txt来优化Z-blog，大家可以先参考下。以下robots
写文章

热门文章

  • 如何用Astra主题免费版建外贸网站 9312
  • WordPress教程 – WordPress新手指南（2021） 5803
  • 2022 最新Robots.txt文件教程 3577
  • Gmail：如何跟踪邮件阅读状态 3042
  • 如何用Elementor制作Woocommerce产品列表 2886

分类专栏

  • wordpress教程 14篇
  • Elementor教程 2篇
  • B2B外贸建站教程 10篇
  • wordpress主机 4篇

最新评论

  • 如何用Astra主题免费版建外贸网站

    m0_63369456: 谢谢老师的分享！

最新文章

  • Gmail：如何快速将邮件全部已读
  • GeneratePress：全局颜色设置教程
  • Gmail：如何跟踪邮件阅读状态
2022年8篇
2021年3篇
2020年26篇

目录

目录

评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值

深圳坪山网站建设公司摄影网站优化广告南通营销型网站优化方案网站优化的好处都有哪些长安网站优化与优化价格做网站优化需要注意哪些事项如何判断网站是否适合优化网站优化核心高质量文章是关键中新网站关键词优化焦作网站关键词推广优化宝安网站优化排名电话交通设备网站seo优化效果女装电子商务网站优化的报告手机网站排行榜怎么优化昆山网站优化公司工作室奉贤区360网站优化机构株洲行者网站优化怎么收费上海网站优化排名外包服务滨州网站推广优化公司河南百度seo网站优化哪家好怎么分析网站优化浦东新区360网站优化定制诠网科技网站排名优化的原则优化网站标识图黄冈网站优化宜丰网站seo优化武昌网站快照优化哪家服务好怎样优化网站地址南沙如何优化网站网站推广优化咨询金手指霸屏贵阳市百度网站优化香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声卫健委通报少年有偿捐血浆16次猝死汪小菲曝离婚始末何赛飞追着代拍打雅江山火三名扑火人员牺牲系谣言男子被猫抓伤后确诊“猫抓病”周杰伦一审败诉网易中国拥有亿元资产的家庭达13.3万户315晚会后胖东来又人满为患了高校汽车撞人致3死16伤 司机系学生张家界的山上“长”满了韩国人？张立群任西安交通大学校长手机成瘾是影响睡眠质量重要因素网友洛杉矶偶遇贾玲“重生之我在北大当嫡校长”单亲妈妈陷入热恋 14岁儿子报警倪萍分享减重40斤方法杨倩无缘巴黎奥运考生莫言也上北大硕士复试名单了许家印被限制高消费奥巴马现身唐宁街 黑色着装引猜测专访95后高颜值猪保姆男孩8年未见母亲被告知被遗忘七年后宇文玥被薅头发捞上岸郑州一火锅店爆改成麻辣烫店西双版纳热带植物园回应蜉蝣大爆发沉迷短剧的人就像掉进了杀猪盘当地回应沈阳致3死车祸车主疑毒驾开除党籍5年后 原水城县长再被查凯特王妃现身！外出购物视频曝光初中生遭15人围殴自卫刺伤3人判无罪事业单位女子向同事水杯投不明物质男子被流浪猫绊倒 投喂者赔24万外国人感慨凌晨的中国很安全路边卖淀粉肠阿姨主动出示声明书胖东来员工每周单休无小长假王树国卸任西安交大校长 师生送别小米汽车超级工厂正式揭幕黑马情侣提车了妈妈回应孩子在校撞护栏坠楼校方回应护栏损坏小学生课间坠楼房客欠租失踪 房东直发愁专家建议不必谈骨泥色变老人退休金被冒领16年 金额超20万西藏招商引资投资者子女可当地高考特朗普无法缴纳4.54亿美元罚金浙江一高校内汽车冲撞行人 多人受伤

深圳坪山网站建设公司 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化