websocket爬虫

server/2024/9/23 5:59:32/

人群看板需求分析

先找到策略中心具体的数据。对应数据库中的数据

看看接口是否需要被逆向

  1. 点开消费者细分，可以找到人群包（人群名称）
    在这里插入图片描述

  2. 点击查看透视
    在这里插入图片描述

label字段分类:

在这里插入图片描述

预测年龄：tagTitle

在这里插入图片描述

苹果id（perspecttaskId）——>详细标签数据信息接口

在这里插入图片描述

负载信息

在这里插入图片描述

响应数据信息
{"rate": 20.955497819874278,"tagValue": "917007982","count": -1,"nullCount": 0,"nullRate": 0,"nullEncryptedCount": 0,"tagName": "daas_tag_pred_age_level_20200415093010","tagValueName": "[18,24]"
}

在这里插入图片描述

——>苹果ID接口（id）

在这里插入图片描述

响应数据信息
 {"throwed": false,"gmtModified": 1689168616000,"statusInfo": "","isReplace": false,"description": "","crowdAdbStatus": 1,"baseId": "026130413","source": "STRATEGY_CUSTOM","isThrowed": false,"uniMemberReportAuth": null,"syncValid": true,"inheritable": false,"rootSource": null,"gmtUpdate": 1689168616000,"uniMemberReportInfo": null,"validInDatahub": false,"perspective": 1,"id": 66703384,"gmtUpdateReal": null,"blurred": true,"statusInfoCode": 0,"category2": "STRATEGY_CUSTOM","category3": "STRATEGY_CUSTOM","canUpdate": false,"crowdDivisionStatus": null,"reportId": 7744917,"category1": "STRATEGY_CUSTOM","withConditionGroup": true,"count": 22000,"gmtCreate": 1689168568000,"customType": "","fullLinkPlatform": "NOT_FULL_LINK","brandId": "64284","updateSettedFlag": false,"name": "苹果已购人群-23-6","reportStatusInfo": "","sourceName": null,"smartId": 914,"projectId": 183575,"status": "CREATED"},
问题

在做完上述分析之后我很疑惑，这个获取详细标签数据信息的接口总是刷新不出来。如果一个网站的接口，刷新之后就找不到了，是什么原因呢？和缓存有关系吗？。。。后来发现这不是普通的HTTP爬虫啦。换了一种协议传输数据。

后续的分析我们着重讲一下案例的原理和实战干货。因为博主很苦逼的研究了一周，发现网上关于websocket的案例实在不多，大多都是讲原理，那咋不去教前端捏。哈哈。少有的案例，不是国外的网站，就是需要加密破解。正好。因为网站的特殊性，没有对相关的请求信息做加密处理。所以可以很纯粹的给大家讲讲websocket非异步爬虫实战，分享一下我辛苦一周钻研出来的小小心得。

浅浅展示一下博主努力做案例的过程。

加密的数据

在这里插入图片描述

看到这里麻烦点个赞和关注，精彩的要来了

websocket_120">websocket爬虫

原理：

我特意做了一个流程图，因为我发现很多博文中都把websocket请求和接收数据的过程原理化了，这样实际调用的方法和实际操作不能匹配。这也是我困扰很久的地方。

在这里插入图片描述

WS协议请求demo
def on_message(ws, message):print(message)def on_error(ws, error):print(error)def on_close(ws, close_status_code, close_msg):print("### closed ###")def on_open(ws):def run(*args):for i in range(3):time.sleep(1)ws.send("Hello %d" % i)time.sleep(1)ws.close()print("thread terminating...")_thread.start_new_thread(run, ())# wss://ws-insight-engine.tmall.com/
if __name__ == "__main__":websocket.enableTrace(True)ws = websocket.WebSocketApp("wss://ws-insight-engine.tmall.com/", on_open=on_open,on_message=on_message, on_error=on_error, on_close=on_close)ws.run_forever()
  1. 定义了on_message函数，它在WebSocket客户端接收到来自服务器的消息时被调用。接收到的消息作为参数message传入，并被打印出来。
  2. 定义了on_error函数，它在WebSocket客户端遇到错误时被调用。错误信息作为参数error传入，并被打印出来。
  3. 定义了on_close函数，它在WebSocket连接关闭时被调用。它打印出一条消息表示连接已关闭。
  4. 定义了on_open函数，它在WebSocket连接成功打开后被调用。在这个函数内部，定义了一个名为run的嵌套函数，它将在一个新的线程中执行。
  5. 在run函数中，使用了一个循环来连续发送三条消息到WebSocket服务器。每条消息发送后，线程休眠1秒。发送完所有消息后，线程再次休眠1秒，然后关闭WebSocket连接，并打印出一条消息表示线程正在终止。
  6. 在on_open函数中，使用_thread.start_new_thread启动了一个新线程来运行run函数。
  7. 在if __name__ == "__main__":块中，这是Python中的常用模式，用于判断当前脚本是否作为主程序运行。
  8. websocket.enableTrace(True)启用了调试输出，这将打印出所有WebSocket事件的详细信息，帮助调试。
  9. 创建了一个WebSocketApp实例，指定了WebSocket服务器的URL（“wss://ws-insight-engine.tmall.com/”），并将之前定义的事件处理函数（on_open, on_message, on_error, on_close）绑定到相应的事件上。
  10. 调用ws.run_forever()开始运行WebSocket事件循环，这将保持连接开启直到它被关闭。

资料

关于WebSocket协议的爬虫资料，这里有一些有用的资源：1. **Python—WebSocket爬虫实战原创**：介绍了WebSocket是HTML5开始提供的一种在单个TCP连接上进行全双工通讯的协议，并提供了一个实战案例。[查看详情](https://blog.csdn.net/weixin_43060843/article/details/104798541)2. **【JS 逆向百例】WebSocket 协议爬虫，智慧树扫码登录案例分析**：分析了WebSocket协议简称为WS或者WSS（WebSocket Secure），并通过智慧树扫码登录案例进行了详细的讲解。[查看详情](https://cloud.tencent.com/developer/article/1914104)3. **websocket与爬虫 - 高金的博客**：讨论了WebSocket是一种在单个TCP连接上进行全双工通讯的协议，以及它与爬虫的关系。[查看详情](https://igaojin.me/2018/02/04/websocket%E4%B8%8E%E7%88%AC%E8%99%AB/)4. **WebSocket爬虫与JS逆向实战原创**：提供了一个基于Java的WebSocket爬虫示例，用于模拟客户端请求服务器，建立WebSocket连接，抓取对方数据。[查看详情](https://blog.csdn.net/Fleehom/article/details/133887962)5. **基于websocket爬虫- Sgoyi**：讨论了爬虫面对HTTP和WebSocket的情况，以及如何使用Python中的网络请求库进行模拟发送网络请求。[查看详情](https://www.cnblogs.com/yhll/p/10709593.html)6. **WebSocket在爬虫中的应用与实践**：介绍了WebSocket是一种网络通信协议，允许在单个TCP连接上进行全双工通信，在爬虫中的应用与实践。[查看详情](https://cloud.baidu.com/article/2927136)这些资料涵盖了WebSocket协议的基本概念、与爬虫的结合使用，以及一些实战案例。希望这些资源能够帮助你更好地理解和应用WebSocket协议进行爬虫开发。
Sec-WebSocket-Key分析
根据你的需求，关于`Sec-WebSocket-Key`及其逆向工程的资料，这里有一些相关的中文资源：1. [【JS 逆向百例】WebSocket 协议爬虫，智慧树扫码登录案例分析](https://juejin.cn/post/7038882823780417544) - 这篇文章详细分析了WebSocket协议在实际应用中的一个案例，包括`Sec-WebSocket-Key`的作用和如何在服务端处理这个密钥。2. [WebSocket协议浅析](https://itimetraveler.github.io/2018/10/27/WebSocket%E5%8D%8F%E8%AE%AE%E6%B5%85%E6%9E%90/) - 这篇文章提供了对WebSocket协议的基础分析，包括`Sec-WebSocket-Key`和`Sec-WebSocket-Accept`的作用，以及它们如何帮助提供基础的防护，减少恶意连接和意外连接。3. [一文了解WebSocket 协议](https://makonike.github.io/2023/05/06/%E4%B8%80%E6%96%87%E4%BA%86%E8%A7%A3WebSocket%E5%8D%8F%E8%AE%AE/index.html) - 这篇文章讨论了WebSocket协议的基本概念，包括`Sec-WebSocket-Key`和`Sec-WebSocket-Accept`的角色和作用。4. [What is Sec-WebSocket-Key for?](https://stackoverflow.com/questions/18265128/what-is-sec-websocket-key-for) - 虽然这是一个英文资源，但它详细解释了`Sec-WebSocket-Key`的作用，这个头部字段是在WebSocket开放握手中从客户端发送到服务器的，用于提供握手的一部分验证。`Sec-WebSocket-Key`是WebSocket握手过程中的一个重要组成部分，它是由客户端生成的一个Base64编码的随机字符串。服务器接收到这个密钥后，会按照特定的算法处理并返回一个加密的`Sec-WebSocket-Accept`响应头，这个过程是为了验证连接确实是WebSocket连接，防止非WebSocket连接的恶意请求。理解这一机制对于进行WebSocket通信和相关逆向工程非常重要。

Sec-WebSocket-Key是WebSocket握手过程中的一个重要组成部分，它是由客户端生成的一个Base64编码的随机字符串。服务器接收到这个密钥后，会按照特定的算法处理并返回一个加密的Sec-WebSocket-Accept响应头，这个过程是为了验证连接确实是WebSocket连接，防止非WebSocket连接的恶意请求。理解这一机制对于进行WebSocket通信和相关逆向工程非常重要。

以下是一些中文资料，您可以通过这些资料深入了解WebSocket协议中`Sec-WebSocket-Accept`值的生成过程及其重要性：1. [WebSocket协议浅析](https://itimetraveler.github.io/2018/10/27/WebSocket%E5%8D%8F%E8%AE%AE%E6%B5%85%E6%9E%90/) - 这篇文章提供了对WebSocket协议的基础分析，包括`Sec-WebSocket-Accept`和`Sec-WebSocket-Key`的作用。2. [响应头'Sec-WebSocket-Accept'的生成原创](https://blog.csdn.net/moasp/article/details/119915825) - 这篇文章详细讲解了`Sec-WebSocket-Accept`的生成原理和过程。3. [你不知道的Websocket协议，这次给你讲明白！](https://www.51cto.com/article/774923.html) - 这篇文章全面介绍了WebSocket协议的握手过程，包括`Sec-WebSocket-Accept`值的作用。这些资料将帮助您更好地理解WebSocket协议的工作原理，特别是握手阶段`Sec-WebSocket-Accept`值的生成和验证过程。
代码解析学习：

异步websocket爬虫：

# pip install websocketsimport websockets
import asyncio
import requests
# 发送  加密参数def req_html():# 写翻页功能res = requests.get('https://api.waitwaitpay.com/api/vendors/nearby?keyword=%E7%82%B8%E9%B8%A1&latitude&longitude&page=1&request_id=-1&type=search&with_vouchers=false',headers={'user-agent':'adasdasdasd'})return resasync def echo(websocket):message = '我是发送给客户端的信息'# 发送数据# 可以给他传 密文  发送给浏览器解密res = req_html()sent_text = res.textawait  websocket.send(sent_text)return  True# 接收  客户端返回的数据
async def recv_msg(websocket):while 1:# 接收resv_text = await websocket.recv()print(resv_text)with open('sss.txt','w',encoding='utf-8') as f:f.write(resv_text)# 入口
async def main_run(websocket):await echo(websocket)await recv_msg(websocket)stat_sever = websockets.serve(main_run,'127.0.0.1',9999)
print('成功建立连接')
loop = asyncio.get_event_loop()
loop.run_until_complete(stat_sever)# 保持长连接 需要不断的监听返回的数据
loop.run_forever()
目标：
  1. 找到接口了，响应的data值是加密后的。请求值也是加密的。（先尝试解密，不行的话可以看视频学补环境）
 wss_url = f"wss://www.jdz.gov.cn/1ywuKELSO2ahQuWZ/pr/{dGg2aCfMMK97Ro270mqBFu5qjC8TQbL2opnHvbEpM}/b/ws/{tableid}/{FW9uCWqlVzC22m1KfCMCjfvFHpRMsgt}"{dGg2aCfMMK97Ro270mqBFu5qjC8TQbL2opnHvbEpM}：Tifz8hd5p4O3AB%2BivrbJpAQR5gK2baZcp_zGlOnSooM%3D{tableid}：kmz6tx452s{FW9uCWqlVzC22m1KfCMCjfvFHpRMsgt}：6727e0bb-2881-405a-8056-6fa8b01d8581结果发现这里URL中加密的字段有两个都能在cookie信息中找到，说明是自动生成的。
报错：
  1. 错误的消息格式：客户端发送给服务器的消息格式可能不正确，不符合服务器期望的格式。这可能包括错误的数据编码、不正确的消息结构等。
  2. 服务器内部错误：服务器在处理客户端的WebSocket请求时内部出现错误，导致无法正确处理请求。

下面是分析过程。后续会优化，有需要的找我要。

测试：苹果兴趣人群-23-8

接口为：https://strategy.tmall.com/api/scapi?path=/api/v1/custom/listPerspective

响应信息如下：

{"throwed": false,"gmtModified": 1693274807000,"statusInfo": "","isReplace": false,"description": "","crowdAdbStatus": 1,"baseId": "026130413","source": "STRATEGY_CUSTOM","isThrowed": false,"uniMemberReportAuth": null,"syncValid": true,"inheritable": false,"rootSource": null,"gmtUpdate": 1693274807000,"uniMemberReportInfo": null,"validInDatahub": false,"perspective": 1,"id": 67080221,"gmtUpdateReal": null,"blurred": true,"statusInfoCode": 0,"category2": "STRATEGY_CUSTOM","category3": "STRATEGY_CUSTOM","canUpdate": true,"crowdDivisionStatus": null,"reportId": 7905461,"category1": "STRATEGY_CUSTOM","withConditionGroup": true,"count": 3500000,"gmtCreate": 1693274697000,"customType": "","fullLinkPlatform": "NOT_FULL_LINK","brandId": "64284","updateSettedFlag": false,"name": "苹果兴趣人群-23-8","reportStatusInfo": "","sourceName": null,"smartId": 914,"projectId": 183575,"status": "CREATED"},
苹果兴趣人群-23-8和 苹果已购人群-23-6
 test = {"method": "/iSheetCrowdService/offline","headers": {"rid": "171386533324303","type": "PULL","bizType": "STRATEGY"},"body": {"args": {"id": "661","perspectTaskId": "67080221","bizParam": {"crowdIds": ["67080221"],"tagList": ["daas_tag_pred_age_level_20200415093010"]},"appId": "209"}}}
对应的数据包名分别是：
预测年龄：[“daas_tag_pred_age_level_20200415093010”]
预测性别daas_tag_pred_gender_20200415091417
预测购买力：pref_purchasing_power
预测教育程度：daas_tag_pred_education_degree_20200421154731
预测省份：common_receive_province_180d
占比：rate
全网TGI对应tgi
兴趣偏好：interest_prefer
预测职业：pred_career_type
天猫通用消费人群意愿daas_tag_xfqx_crowd_name
月均消费金额：derive_pay_ord_amt_6m_015_range

http://www.ppmy.cn/server/19274.html

相关文章

单片机小项目——直流电机+按键

单片机小项目——直流电机+按键

利用普中单片机的代码实现在按下第k个独立按键时，直流电机运作k秒 #include "reg52.h"typedef unsigned int u16; //对系统默认数据类型进行重定义 typedef unsigned char u8; sbit DC_MotorP1^0; //定义独立按键控制脚 sbit KEY1P3^1; sbit KEY2P3^0; sb…
阅读更多...
k8s部署alertmanager

k8s部署alertmanager

修改alertmanager-pvc.yaml文件中的信息&#xff0c;然后应用YAML文件 cat > /opt/k8s/alertmanager/alertmanager-pvc.yaml <<EOF apiVersion: v1 kind: PersistentVolumeClaim metadata:name: alertmanager-data-pvc spec:accessModes:- ReadWriteManystorageClass…
阅读更多...
zabbix6.4告警配置(短信告警和邮件告警)，脚本触发

zabbix6.4告警配置(短信告警和邮件告警)，脚本触发

目录 一、前提二、告警配置1.邮件告警脚本配置2.短信告警脚本配置3.zabbix添加报警媒介4.zabbix创建动作4.给用户添加报警媒介 一、前提 已经搭建好zabbix-server 在需要监控的mysql服务器上安装zabbix-agent2 上述安装步骤参考我的上篇文章&#xff1a;通过docker容器安装za…
阅读更多...
【论文解读】End-to-End Autonomous Driving through V2X Cooperation

【论文解读】End-to-End Autonomous Driving through V2X Cooperation

UniV2X 摘要引言方法Sparse-Dense Hybrid Data GenerationCross-View Data Fusion (Agent Fusion)Temporal Synchronization with Flow PredictionSpatial Synchronization with Rotation-Aware Query TransformationCross-View Query Matching and FusionEgo Identification a…
阅读更多...
Go语言第二篇-基本数据类型与转义字符

Go语言第二篇-基本数据类型与转义字符

-———————————————————————————— 随便记录没什么顺序&#xff1a; ———————————————————————————— &#x1f523;本部分内容记录了以下知识点&#xff1a; &#x1f30f;转义字符的使用 &#x1f30f;基本数据类型的使…
阅读更多...
C++ Primer Plus

C++ Primer Plus

第一章 初始C #include <iostream> //#:预处理int main(void) //void:无参数 {using namespace std;int carrots; //定义声明语句:开辟内存空间&#xff0c; int:整型 cout << "how many corrots do you have?" << endl; //cout:输出流(out) end…
阅读更多...
django结合smartchart实现系统的数据看板页面

django结合smartchart实现系统的数据看板页面

1、安装smartchart pip3 install smartchart 2、在你的setting.py的INSTALL_APPS中加入’smart_chart.echart 3、MIDDLEWARE 中注释掉XFrameOptionsMiddleware 4、检查确保在Templates的设定处有DIRS的相关设定 TEMPLATES = [{BACKEND: django.template.backends.django.…
阅读更多...
端点安全管理系统干什么用的 有哪些好用?

端点安全管理系统干什么用的 有哪些好用?

你听说过&#xff1a; 端点安全管理系统吗&#xff1f; 我们一起来了解一下啊 一、什么是端点安全管理系统&#xff1f; 端点安全管理系统&#xff08;Endpoint Security Management System&#xff09;是一种专门用于保护企业内部网络终端设备的综合性安全解决方案。 这些终…
阅读更多...
最新文章

Copyright @ 2022~2023