日志中看到来自User Agent go-http-client / 1.1的大量请求(go-http-client 1.1)服务器爆了

ops/2024/9/23 22:41:44/
http://www.w3.org/2000/svg" style="display: none;">

在日志中看到来自User Agent go-http-client / 1.1的大量请求

The go-http-client/1.1 User Agent 是Google的Bot / Crawler
这不是真的。这可能是指Go库(根据您提到的来源,由Google开发,但是我找不到可靠的信息)。

之前写过“Go-http-client/1.1 是哪家的爬虫 这次终于知道了”这篇文章,大家可以去看看

即使它是由Google创建的,也不能说它是Google搜寻器,至少不是基于官方文档:

https://support.google.com/webmasters/answer/1061943 14
对于那些希望go-http-client在确保它不是Google搜寻器的同时阻止来自UA的请求的解决方案是创建如下防火墙规则:

(http.user_agent contains “go-http-client” and not cf.client.bot)
Cloudflare具有高级机制,该机制超越了用户代理字符串,并且可以正确执行验证,如另一本正式文档中所述:

https://support.google.com/webmasters/answer/80553 9
PS:我已经在我管理的多个站点上观察到了该UA(及其一些变体),并可以确认其行为与合法的Google搜寻器的行为不一致。

如果要阻止此UA,则可以配置用户代理阻止规则(仅完全匹配)或防火墙规则(完全/部分匹配)。

本地服务器:bt防火墙,用UA,(go-http-client)过滤就可解决。


http://www.ppmy.cn/ops/29664.html

相关文章

阿里云RocketMQ消费MQTT消息

业务背景: 项目中涉及的消息队列既有RocketMQ,又有MQTT,均为阿里云提供(阿里云有专门的“微消息队列 MQTT 版”模块,但博主公司消息队列的实例都在“消息队列 RocketMQ 版”模块下,只是实例不同&#xff0c…

【ZZULIOJ】1091: 童年生活二三事(多实例测试)(Java)

目录 题目描述 输入 输出 样例输入 Copy 样例输出 Copy code 题目描述 Redraiment小时候走路喜欢蹦蹦跳跳,他最喜欢在楼梯上跳来跳去。 但年幼的他一次只能走上一阶或者一下子蹦上两阶。 现在一共有N阶台阶,请你计算一下Redraiment从第0阶到第N阶…

UDP_INTRODUCTION_03:介绍 - 挂起的监听调用

测试目的: 验证当数据报到达一个没有挂起监听(LISTEN)调用的UDP端口时,UDP是否应该发送ICMP端口不可达(Port Unreachable)消息。 描述: 本测试用例旨在确保当数据报发送到DUT上一个未被监听的…

常见面试题:XSS和CSRF原理及防范方法

XSS和CSRF原理及防范方法 XSS 跨站脚本攻击 浏览器向服务器请求的时候被注入脚本攻击 类型恶意代码有效的位置插入点反射型URLHTML存储型服务端数据库HTML基于DOM服务端数据库/客户端存储/URL前端javascript 反射型XSS(非持久性跨站脚本攻击) 攻击方法…

git 子模块

git config -f .gitmodules submodule xxx xxx.git git submodule sync 删除&#xff1a; git submodule deinit <name_of_submodule> git rm -f <name_of_submodule> rm -rf .git/modules/<name_of_submodule> git commit -m “Deleted submodule xy” 重…

搜维尔科技:TechViz中的手指跟踪:触摸3D模型并与之交互

TechViz中的手指跟踪&#xff1a;触摸3D模型并与之交互 搜维尔科技&#xff1a;TechViz中的手指跟踪&#xff1a;触摸3D模型并与之交互

Debian下postgreSQL的安装和使用

Debian下postgreSQL的安装和使用 手动安装下载源码包解压源码包安装依赖编译安装创建用户组和用户创建数据目录配置环境变量切换用户并初始化数据库修改配置文件通过systemctl管理进入命令行并创建密码 分发包安装使用常见问题 手动安装 下载源码包 cd /usr/local wget -c h…

LSTM-KDE的长短期记忆神经网络结合核密度估计多变量回归区间预测(Matlab)

LSTM-KDE的长短期记忆神经网络结合核密度估计多变量回归区间预测&#xff08;Matlab&#xff09; 目录 LSTM-KDE的长短期记忆神经网络结合核密度估计多变量回归区间预测&#xff08;Matlab&#xff09;效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.LSTM-KDE的长短期…