主流反爬虫手段

ops/2024/10/8 22:32:54/

这题我会,主流反爬虫手段

①检测浏览器环境动态生成cookie(瑞数)

②验证码(极验,顶象)

③js混淆或加密,obfuscator的js混淆,wasm加密,jsvmp(js虚拟机)

④字体反爬,CSS反爬,雪碧图

⑤tls指纹检查 只要肯花钱,不是随便起个无头浏览器就可以爬走数据

另外爬虫会用代理,所以封ip没用而且很容易误伤

6.防爬技术叫蜜罐,在常见的链接中放一个url,页面看不到,但是爬虫能拿到,访问这个url的直接封

以此类推,多搞一些网页看不到但是爬虫能拿到的内容。 或者直接参考起点,搞几套自己的字符集,爬虫拿到的就是乱码,除非有正确的解码方式。

7.记录鼠标轨迹和停留时间,如果是直接访问url的做频率限制或禁止访问就好了。 如果有前置入口页面,可以记录前一个页面的鼠标轨迹和停留时间,类似登陆页面的具体细节拖动验证码机制。 细节上可以增加获取浏览器指纹确保客户在浏览器环境。获取登陆页面的浏览器指纹,验证和被抓取的页面环境是否一致。

设置轨迹偏移量还有停留时间搞范围随机就行了


http://www.ppmy.cn/ops/122834.html

相关文章

static 函数默认链接不可见

目录 发现验证 发现 起初是在看编译器学习仓库的第一章 README 和代码的时候发现的,头文件中的有一些函数被声明为 static 的,有一些不是。我依稀记得以前看八股文的时候,带 static 声明的函数其可见性仅限于当前的编译翻译单元,…

Hive优化操作(二)

Hive 数据倾斜优化 在使用 Hive 进行大数据处理时,数据倾斜是一个常见的问题。本文将详细介绍数据倾斜的概念、表现、常见场景及其解决方案。 1. 什么是数据倾斜? 数据倾斜是指由于数据分布不均匀,导致大量数据集中到某个节点或任务中&…

鸿蒙跨端实践-JS虚拟机架构实现

作者:京东科技 杜强强 前言 在Roma跨端方案中,JS虚拟机是框架的核心,负责执行动态化的JS代码。在Android平台采用了基于V8的J2V8,iOS平台则使用了系统自带的JSCore,而在HarmonyOS中,由于业界无类似的框架&a…

费曼学习法没有输出对象怎么办?

‌费曼学习法并不需要输出对象。‌费曼学习法的核心在于通过将所学知识以简明易懂的方式解释给自己听,从而加深对知识的理解和记忆。这种方法强调的是理解和反思的过程,而不是简单地通过输出(如向他人解释)来检验学习效果。费曼学…

StarRocks 中如何做到查询超时(QueryTimeout)

背景 本文基于 StarRocks 3.1.7 主要是分析以下两种超时设置的方式: SESSION 级别 SET query_timeout 10;SELECT sleep(20);SQL 级别 select /* SET_VAR(query_timeout10) */ sleep(20); 通过本文的分析大致可以了解到在Starrocks的FE端是如何进行Command的交互以及数据流走…

C++版iwanna1

第一篇目录 开头程序Game.cpp源文件Player.h头文件Player.cpp源文件trigger.h头文件trigger.cpp源文件Cmp.h头文件Cmp.cpp源文件 开头 大家好&#xff0c;我叫这是我58。 程序 Game.cpp源文件 #define _CRT_SECURE_NO_WARNINGS 1 #include <iostream> #include <c…

智能机器是世界上的新物种

智能机器是世界上的新物种 1、为什么智能机器是世界上的新物种&#xff1f; 这个新物种的第一个生命体是1946年的美国的第一台电子计算机。 生命体的两个基本特征是繁殖和新陈代谢 电子计算机的繁殖方面采用的是无性繁殖&#xff0c;也就是像病毒一样&#xff0c; 一分为二&a…

举例说明 .Net Core 单元测试中 xUnit 的 [Theory] 属性的用法

在这篇文章中&#xff0c;我们探讨了如何使用 xUnit 的 [Theory] 属性来运行参数化测试。通过示例展示了如何使用 [InlineData]、[MemberData] 和 [ClassData] 提供不同的数据源&#xff0c;从而简化测试代码并提高测试覆盖率。这些方法有助于在 .NET 应用程序中进行更有效的单…