先看效果
首页-高情商恋爱聊天回复话术神器 - 嗨撩高情商恋爱聊天回复话术神器-免费
背景:nuxt3打包部署后,默认的端口是3000,在linux上使用80转发到3000,一下子不懂怎么设置robots文件,传统的文件一般是放在nginx的html目录下
解决方案:nuxt3项目的public文件夹,是静态资源的访问地址,可以将文件直接放在其下
其中robots.txt内容
User-agent: Googlebot
User-agent: Bingbot
User-agent: DuckDuckBot
User-agent: Baiduspider
User-agent: 360Spider
User-agent: Sogouspider
User-agent: Yisouspider
User-agent: ByteSpider
User-agent: ToutiaoSpider
User-agent: Sogou web spider
User-agent: Sogou wap spider
User-agent: Sogou inst spider
User-agent: Sogou blog
User-agent: Sogou News Spider
User-agent: Sogou Orion Spider
User-agent: Sosospider
User-agent: Sogou spider2
User-agent: HaosouSpider
User-agent: HaosoSpider
Disallow: /follow
Disallow: /user/?enter_from=video_detail&from_gid=*User-agent: *
Disallow: /Sitemap: https://www.liaotianhuifu.com/sitemap.xml
sitemap.xml内容
<?xml version="1.0" encoding="utf-8"?>
<!-- XML文件需以utf-8编码-->
<urlset><!--必填--><url><!--必填,定义某一个链接的入口,每一条数据必须要用<url>和</url>来标示 --><loc>https://www.liaotianhuifu.com</loc><!--必填,URL长度限制在256字节内--><lastmod>2023-06-17</lastmod><!--更新时间标签,非必填,用来表示最后更新时间--><changefreq>daily</changefreq><!--更新频率标签,非必填,用来告知引擎页面的更新频率 --><priority>1</priority><!--优先权标签,优先权值0.0-1.0,用来告知引擎该条url的优先级--></url><url><loc>https://www.liaotianhuifu.com/mobile</loc><lastmod>2023-06-17</lastmod><changefreq>daily</changefreq><priority>0.8</priority></url><url><loc>https://www.liaotianhuifu.com/question</loc><lastmod>2023-06-17</lastmod><changefreq>daily</changefreq><priority>0.8</priority></url><url><loc>https://www.liaotianhuifu.com/poetry</loc><lastmod>2023-06-17</lastmod><changefreq>daily</changefreq><priority>0.8</priority></url><url><loc>https://www.liaotianhuifu.com/encyclopedia</loc><lastmod>2023-06-17</lastmod><changefreq>daily</changefreq><priority>0.8</priority></url><url><loc>https://www.liaotianhuifu.com/us/about</loc><lastmod>2023-06-17</lastmod><changefreq>daily</changefreq><priority>0.8</priority></url><url><loc>https://www.liaotianhuifu.com/us/contact</loc><lastmod>2023-06-17</lastmod><changefreq>daily</changefreq><priority>0.8</priority></url>
</urlset>