robots.txt的作用是什么,看完了我默默加在了自己网站上

news/2024/10/31 1:27:34/

文章目录

  • 背景
  • robots.txt的主要作用
  • 使用示范
    • User-agent
    • Disallow
    • Allow
    • Sitemap
  • 总结


背景

最近在研究网站SEO相关的东西,第一次接触到robots.txt,才发现实际上很多网站都用到了它,尤其是对搜索引擎依赖特别高的C端系统或者网站,是一个必不可少的配置。
在这里插入图片描述

通过使用robots.txt文件控制搜索引擎爬虫的访问,可以优化SEO策略。例如,网站中某些页面可能没有足够的价值或含有重复内容,这时可以通过在robots.txt文件中排除这些页面来避免影响SEO排名。此外,通过插入Sitemap指令在robots.txt文件中,可以帮助搜索引擎更好地了解网站架构和内容。

那么如何真正的把robots.txt应用起来,把我们自己的网站SEO上做的更加优化,相信下面的内容值得一看。看之前记得三连一波。

robots.txt的主要作用

robots.txt是一个文本文件,通常位于网站的根目录下,用于告诉搜索引擎蜘蛛(也称爬虫)哪些页面可以被抓取,哪些页面不应该被抓取。它包含了一些指令,用于限制蜘蛛的访问范围,以及提供关于网站内容的其他有用信息。
在这里插入图片描述

具体来说,robots.txt的主要作用如下:

  • 控制搜索引擎蜘蛛的访问:网站所有者可以通过robots.txt文件控制搜索引擎蜘蛛的访问,以限制蜘蛛只抓取特定的页面或目录,从而避免不必要的带宽消耗和服务器负载。

  • 隐藏敏感页面:网站所有者可以使用robots.txt文件来阻止搜索引擎抓取某些敏感页面,例如账户管理、登录等页面,以避免这些敏感页面被搜索引擎收录和暴露在公共搜索结果中。

  • 提高SEO效果:通过robots.txt文件,网站所有者可以指示搜索引擎如何处理网站内部链接和外部链接,从而提高SEO效果。

  • 给搜索引擎提供重要信息:在robots.txt文件中,网站所有者可以提供其他有用的信息,例如Sitemap的地址、Crawl-delay(抓取时间间隔)、Host等信息,以帮助搜索引擎更好地理解和处理网站内容。

robots.txt文件对于网站所有者来说是一个非常重要的工具,它可以帮助网站实现自己的SEO目标,同时也可以保护敏感的页面不被搜索引擎收录和公开。

使用示范

说了这么多,应该怎么使用呢,一般来说robots.txt直接放置于网站根目录下面,比如说nginx配置的root /usr/share/nginx/html,那么把它放于html文件下即可。并且要求通过域名能够直接访问到它,搜索引擎会解析到这个文件。就能够知道哪些是我们自己网站下面重点需要被收录的网页,哪些是不要被收录的。

User-agent

这个配置项用于指定搜索引擎的蜘蛛类型,可以具体到某个搜索引擎的蜘蛛(如 BaiduSpiderboochGooglebot等),也可以使用通配符*代表所有类型的蜘蛛。

User-agent: *
Disallow: /private/

在上面的例子中,*表示所有类型的蜘蛛,Disallow指示不允许搜索引擎抓取/private/目录下的所有页面。

Disallow

这个配置项用于指定不允许搜索引擎抓取的页面或目录。例如:

User-agent: *
Disallow: /admin/
Disallow: /private/

在上面的例子中,不允许搜索引擎抓取/admin//private/两个目录下的所有页面。

Allow

这个配置项用于指定允许搜索引擎抓取的页面或目录。和Disallow相反,Allow指示某个目录下的某些页面是允许被搜索引擎抓取的。

Sitemap

这个配置项用于告诉搜索引擎网站地图的位置,以便引导搜索引擎更快地找到网站的所有页面,提高抓取效率。

下面是一个简单综合的robots.txt配置文件示例:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: http://www.example.com/sitemap.xml

上面的示例中,*表示所有类型的蜘蛛,Disallow指示不允许搜索引擎抓取/admin//private/两个目录下的所有页面,Allow指示/public/目录下的页面可以被搜索引擎抓取,Sitemap指示网站地图的位置。


总结

以上就是本篇所讲解的内容,robots.txt的作用是什么,看完了我默默加在了自己网站上,后面会分享更多有深度的相关内容,记得先点个关注不迷路。


http://www.ppmy.cn/news/305207.html

相关文章

微信小程序实战 (WXSS:小程序版CSS、WXS:小程序版JavaScript)

上一篇讲了WXML:小程序版HTML,这一篇介绍WXSS:小程序版CSS。 1. WXSS:小程序版CSS。 WXSS是一套样式语言,为了便于前端开发的上手,WXSS同HTML的CSS样式文件大部分特性一样。它用来决定WXML的样式,同时在CSS基础上进行了修改扩充…

【微信小程序】WXML WXSS JS

目录 🍓小程序代码的构成 - WXML 模板 1. 什么是 WXML 2. WXML 和 HTML 的区别 🍇小程序代码的构成 - WXSS 样式 1. 什么是 WXSS 2. WXSS 和 CSS 的区别 🍒小程序代码的构成 - JS 逻辑交互 1. 小程序中的 .js 文件 2. 小程序中 .js 文…

【小程序】中WXS的语法详解

文章目录 WXS基本使用🍰WXS的介绍🍰WXS的写法🍰WXS的练习(一)🍰WXS的练习(二) WXS基本使用 🍰WXS的介绍 WXS(WeiXin Script)是小程序的一套脚本语言,结合 WXML,可以构建…

微信小程序 | 小程序WXSS-WXML-WXS

🖥️ 微信小程序 专栏:小程序WXSS-WXML-WXS 🧑‍💼 个人简介:一个不甘平庸的平凡人🍬 ✨ 个人主页:CoderHing的个人主页 🍀 格言: ☀️ 路漫漫其修远兮,吾将上下而求索☀️ &#x1…

20230608----重返学习-react项目的细节

day-088-eighty-eight-20230608-react项目的细节 react项目的细节 进入登录页的情况分析 什么情况下,会进入登录页? 手动输入 /login 地址http://127.0.0.1:3000/#/login 登录成功:跳转到首页push() 我原本想进入的是 个人中心/我的收藏/…

Pascal Voc 2007 2012

1、简介 PASCAL 全称:Pattern Analysis, Statical Modeling and Computational Learning PASCAL VOC(The PASCAL Visual Object Classes )是一个经典的计算机视觉数据集,由牛津大学、马里兰大学和微软剑桥研究院的研究人员创建的…

[开发|java] com.typesafe.config配置示例说明

com.typesafe.config库是用于处理配置文件的Java库,它提供了一种方便的方式来读取和解析配置文件。要配置时间配置,你可以使用它的Config对象和相关的方法。 官方文档地址 下面是一个示例,演示如何使用com.typesafe.config库来配置时间配置&…

从QGIS图层中裁剪需要的区域

GiS数据裁切,创建一个临时图层,通过矢量裁切的方法,将Gis图层进行裁切;影像裁切,将影像图层放置在Gis中,截取影像图以及临时图层的轮廓,放入PS中进行对比,然后将影像图裁切下来。 1…