一、在根目录创建robots.txt 文件 1、屏蔽搜索引擎爬取网站代码 User-agent: * Disallow: / 2、允许所有搜索引擎爬取网站代码 User-agent: * Disallow: