爬虫频繁更换用户代理(UA)和IP能绕过反爬虫机制吗?

ops/2024/11/9 16:34:10/

今天捕捉到一个网页爬虫,IP地址为:110.42.66.212,UserAgent在短短2小时内换了17个,抓取了62个页面,因触发反爬规则被封。

序号UserAgent
1Googlebot/2.1+(+http://www.googlebot.com/bot.html)
2(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html)
3AppleWebKit/534.46+(KHTML,like+Gecko)+Version/5.1+Mobile+Safari/10600.6.3
4Sogou+Push+Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
5Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
6Mozilla/4.0+(compatible;+MSIE+9.0;+Windows+NT+6.1)
7Python-urllib/3.10
8iaskspider/2.0(+http://iask.com/help/help_index.html)
9Sogou+web+spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
10Mozilla/5.0+(compatible;+Yahoo!+Slurp;+http://help.yahoo.com/help/us/ysearch/slurp??)
11Googlebot/2.1+(+http://www.google.com/bot.html)
12Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html)
13Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html??
14Mozilla/5.0+(Linux;u;Android+4.2.2;zh-cn;)
15Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+)
16msnbot/1.0+(+http://search.msn.com/msnbot.htm)
17Mozilla/5.0+(compatible;+iaskspider/1.0;+MSIE+6.0)

我认为频繁更换UA并不能解决爬虫被封的问题。更换IP也不能保证绕过反爬虫机制,因为涉及到抓取频率,如果频率过低,费时长且没有效率,迟早要被反爬虫机制识别;频率过高(比如一秒中抓取两三个页面),则很快就会触发反爬虫规则。

文章来源于尚贤达猎头公司谭工


http://www.ppmy.cn/ops/89843.html

相关文章

java Path对象和URI对象的转换

java.nio.file.Path 类的 toUri() 方法是用于将 Path 对象转换为 URI 对象的方法。这个方法在 Java NIO(New I/O)库中用于处理文件路径和 URI 之间的转换。 Path.toUri() 方法 功能 转换路径:toUri() 方法将 Path 对象转换为 URI 对象&…

科普文:微服务之Spring Cloud 组件API网关Gateway

API网关是一个服务器,是系统的唯一入口。从面向对象设计的角度看,它与外观模式类似。API网关封装了系统内部架构,为每个客户端提供一个定制的API。它可能还具有其它职责,如身份验证、监控、负载均衡、缓存、请求分片与管理、静态响…

Hibernate Validator 数据校验框架

文章目录 一、数据校验框架简介1、JSR(Java 规范提案):Bean Validation2、javax.validation.api3、jakarta.validation.api 二、SpringBoot基础使用1、校验get请求参数2、校验post请求参数3、常用注解4、分组校验5、自定义校验规则5、校验模式6、全局异常处理 一、数…

TCP连接中重复使用了两个相同的端口怎么办

1.检查并避免重复配置: 首先,应该检查系统的配置和应用程序的设置,确保没有错误地将多个服务或进程配置为使用相同的端口号。 使用网络监控工具(如netstat、ss等)来查看当前哪些端口正在被使用。 2.使用端口复用选项…

单位企业邮箱有什么优势

单位企业邮箱成为了企业内外沟通的重要工具。单位企业邮箱的优势有什么呢?一、统一专业形象;二、高效沟通;三、安全保障;四、便捷管理;五、定制服务等。本文将深入探讨单位企业邮箱的独特优势,帮助您了解为…

Windows常用的运行命令

cmd - 命令提示符 cmdcalc - 打开计算器 calcservices.msc - 本地服务设置 services.msccontrol - 打开控制面板 controlwinver - 查看windows版本 winvermstsc - 连接远程电脑 mstsc ms t(terminial终端) s(service服务)c(client客户端) mstscmspaint - 打开画图 m…

不同类型游戏安全风险对抗概览(下)| FPS以及小游戏等外挂问题,一文读懂!

FPS 游戏安全问题 由于射击类游戏本身需要大量数值计算,游戏方会将部分计算存放于本地客户端,而这为外挂攻击者提供了攻击的温床。可以说,射击类游戏是所有游戏中被外挂攻击最为频繁的游戏类型。 根据网易易盾游戏安全部门检测数据显示&#…

[原创]VMWare运行出现“此平台不支持虚拟化的 AMD-V/RVI(V)“错误

[简介] 常用网名: 猪头三 出生日期: 1981.XX.XX QQ: 643439947 个人网站: 80x86汇编小站 https://www.x86asm.org 编程生涯: 2001年~至今[共22年] 职业生涯: 20年 开发语言: C/C、80x86ASM、PHP、Perl、Objective-C、Object Pascal、C#、Python 开发工具: Visual Studio、Delph…