禁止所有搜索引擎蜘蛛的爬行收录

news/2024/10/21 9:36:16/

一、在根目录创建robots.txt 文件

1、屏蔽搜索引擎爬取网站代码

User-agent: *

Disallow: /

2、允许所有搜索引擎爬取网站代码

User-agent: *

Disallow:


http://www.ppmy.cn/news/461293.html

相关文章

N * N螺旋矩阵(以5*5螺旋矩阵为例)

N * N螺旋矩阵(以5*5螺旋矩阵为例) 代码如下: public class NnMatrix {public static void main(String[] args) {test.matrix(5);//直接调用方法} }class test{public static void matrix(int n) {int arr[][] new int[n][n];//定义一个二…

螺旋矩阵(正螺旋和逆螺旋)

package com.classmassage.cn.util;public class Lxjz {/*** question: 给你一个正整数 n ,生成一个包含 1 到 n2 所有元素,且* 元素按顺时针顺序螺旋排列的 n x n 正方形矩阵 matrix 。*/public static void main(String[] args) {printMatrix(generate…

字蛛使用方法

先安装node.js 如果没有先下载:https://nodejs.org/en/download/ 打开Node.js command prompt如下图所示,并输入命令:npm install font-spider -g 回车执行 切换到你写的css页面声明字体,方法与CSS3的font-face方法类似 font-face…

狼与狮子的选择

狼与狮子的选择 上帝把两群羊放在草原上,一群在南,一群在北。上帝还给羊群找了两种天敌,一种是狮子,一种是狼。 上帝对羊群说:「如果你们要狼,就给一只,任它随意咬你们。如果你们要狮子,就给…

搜索引擎蜘蛛的基本原理

搜索引擎用来爬行和访问页面的程序被称为蜘蛛,也叫做机器人。搜素引擎蜘蛛访问网站页面的时候就和你使用浏览器访问的过程一样,蜘蛛发出访问页面的请求,服务器会返回HTML代码,蜘蛛程序把这些代码存到原来页面的数据中,…

爱斯基摩人捕狼

爱斯基摩人捕猎狼的办法世代相传,很特别,也很有效。严冬季节,他们在锋利的刀刃上涂上一层新鲜的动物血。等血冻住后,他们再往上涂第二层血。再让血冻住,然后再涂……如此反复,很快刀刃就被冻血坨藏得严严实…

狼与羊

题目 青青草原上有100只狼和1只喜羊羊,狼可以吃草也可以吃羊,但是狼更喜欢吃羊。 ①如果狼吃了羊,就会变成羊,可能被其他狼吃掉。 ②假设这些狼都绝对聪明,他们的第一要务是生存。 ③一只羊只能被一只狼吃掉&#…

常见的搜索引擎蜘蛛有哪些

spider常见的SEO搜索引擎蜘蛛有 Baiduspider、Googlebot、bingbot、Bytespider、YisouSpider 等 常见蜘蛛整理 1.百度: baidu.com - Baiduspider 2.谷歌: google.com - Googlebot 3.必应蜘蛛:bing.com - bingbot 4.头条蜘蛛:toutiao.com - Bytespid…