websocket爬虫

devtools/2024/9/19 0:39:13/ 标签: websocket, 爬虫, 网络协议

人群看板需求分析

先找到策略中心具体的数据。对应数据库中的数据

看看接口是否需要被逆向

  1. 点开消费者细分，可以找到人群包（人群名称）
    在这里插入图片描述

  2. 点击查看透视
    在这里插入图片描述

label字段分类:

在这里插入图片描述

预测年龄：tagTitle

在这里插入图片描述

苹果id（perspecttaskId）——>详细标签数据信息接口

在这里插入图片描述

负载信息

在这里插入图片描述

响应数据信息
{"rate": 20.955497819874278,"tagValue": "917007982","count": -1,"nullCount": 0,"nullRate": 0,"nullEncryptedCount": 0,"tagName": "daas_tag_pred_age_level_20200415093010","tagValueName": "[18,24]"
}

在这里插入图片描述

——>苹果ID接口（id）

在这里插入图片描述

响应数据信息
 {"throwed": false,"gmtModified": 1689168616000,"statusInfo": "","isReplace": false,"description": "","crowdAdbStatus": 1,"baseId": "026130413","source": "STRATEGY_CUSTOM","isThrowed": false,"uniMemberReportAuth": null,"syncValid": true,"inheritable": false,"rootSource": null,"gmtUpdate": 1689168616000,"uniMemberReportInfo": null,"validInDatahub": false,"perspective": 1,"id": 66703384,"gmtUpdateReal": null,"blurred": true,"statusInfoCode": 0,"category2": "STRATEGY_CUSTOM","category3": "STRATEGY_CUSTOM","canUpdate": false,"crowdDivisionStatus": null,"reportId": 7744917,"category1": "STRATEGY_CUSTOM","withConditionGroup": true,"count": 22000,"gmtCreate": 1689168568000,"customType": "","fullLinkPlatform": "NOT_FULL_LINK","brandId": "64284","updateSettedFlag": false,"name": "苹果已购人群-23-6","reportStatusInfo": "","sourceName": null,"smartId": 914,"projectId": 183575,"status": "CREATED"},
问题

在做完上述分析之后我很疑惑，这个获取详细标签数据信息的接口总是刷新不出来。如果一个网站的接口，刷新之后就找不到了，是什么原因呢？和缓存有关系吗？。。。后来发现这不是普通的HTTP爬虫啦。换了一种协议传输数据。

后续的分析我们着重讲一下案例的原理和实战干货。因为博主很苦逼的研究了一周，发现网上关于websocket的案例实在不多，大多都是讲原理，那咋不去教前端捏。哈哈。少有的案例，不是国外的网站，就是需要加密破解。正好。因为网站的特殊性，没有对相关的请求信息做加密处理。所以可以很纯粹的给大家讲讲websocket非异步爬虫实战，分享一下我辛苦一周钻研出来的小小心得。

浅浅展示一下博主努力做案例的过程。

加密的数据

在这里插入图片描述

看到这里麻烦点个赞和关注，精彩的要来了

websocket_120">websocket爬虫

原理：

我特意做了一个流程图，因为我发现很多博文中都把websocket请求和接收数据的过程原理化了，这样实际调用的方法和实际操作不能匹配。这也是我困扰很久的地方。

在这里插入图片描述

WS协议请求demo
def on_message(ws, message):print(message)def on_error(ws, error):print(error)def on_close(ws, close_status_code, close_msg):print("### closed ###")def on_open(ws):def run(*args):for i in range(3):time.sleep(1)ws.send("Hello %d" % i)time.sleep(1)ws.close()print("thread terminating...")_thread.start_new_thread(run, ())# wss://ws-insight-engine.tmall.com/
if __name__ == "__main__":websocket.enableTrace(True)ws = websocket.WebSocketApp("wss://ws-insight-engine.tmall.com/", on_open=on_open,on_message=on_message, on_error=on_error, on_close=on_close)ws.run_forever()
  1. 定义了on_message函数，它在WebSocket客户端接收到来自服务器的消息时被调用。接收到的消息作为参数message传入，并被打印出来。
  2. 定义了on_error函数，它在WebSocket客户端遇到错误时被调用。错误信息作为参数error传入，并被打印出来。
  3. 定义了on_close函数，它在WebSocket连接关闭时被调用。它打印出一条消息表示连接已关闭。
  4. 定义了on_open函数，它在WebSocket连接成功打开后被调用。在这个函数内部，定义了一个名为run的嵌套函数，它将在一个新的线程中执行。
  5. 在run函数中，使用了一个循环来连续发送三条消息到WebSocket服务器。每条消息发送后，线程休眠1秒。发送完所有消息后，线程再次休眠1秒，然后关闭WebSocket连接，并打印出一条消息表示线程正在终止。
  6. 在on_open函数中，使用_thread.start_new_thread启动了一个新线程来运行run函数。
  7. 在if __name__ == "__main__":块中，这是Python中的常用模式，用于判断当前脚本是否作为主程序运行。
  8. websocket.enableTrace(True)启用了调试输出，这将打印出所有WebSocket事件的详细信息，帮助调试。
  9. 创建了一个WebSocketApp实例，指定了WebSocket服务器的URL（“wss://ws-insight-engine.tmall.com/”），并将之前定义的事件处理函数（on_open, on_message, on_error, on_close）绑定到相应的事件上。
  10. 调用ws.run_forever()开始运行WebSocket事件循环，这将保持连接开启直到它被关闭。

资料

关于WebSocket协议的爬虫资料，这里有一些有用的资源：1. **Python—WebSocket爬虫实战原创**：介绍了WebSocket是HTML5开始提供的一种在单个TCP连接上进行全双工通讯的协议，并提供了一个实战案例。[查看详情](https://blog.csdn.net/weixin_43060843/article/details/104798541)2. **【JS 逆向百例】WebSocket 协议爬虫，智慧树扫码登录案例分析**：分析了WebSocket协议简称为WS或者WSS（WebSocket Secure），并通过智慧树扫码登录案例进行了详细的讲解。[查看详情](https://cloud.tencent.com/developer/article/1914104)3. **websocket与爬虫 - 高金的博客**：讨论了WebSocket是一种在单个TCP连接上进行全双工通讯的协议，以及它与爬虫的关系。[查看详情](https://igaojin.me/2018/02/04/websocket%E4%B8%8E%E7%88%AC%E8%99%AB/)4. **WebSocket爬虫与JS逆向实战原创**：提供了一个基于Java的WebSocket爬虫示例，用于模拟客户端请求服务器，建立WebSocket连接，抓取对方数据。[查看详情](https://blog.csdn.net/Fleehom/article/details/133887962)5. **基于websocket爬虫- Sgoyi**：讨论了爬虫面对HTTP和WebSocket的情况，以及如何使用Python中的网络请求库进行模拟发送网络请求。[查看详情](https://www.cnblogs.com/yhll/p/10709593.html)6. **WebSocket在爬虫中的应用与实践**：介绍了WebSocket是一种网络通信协议，允许在单个TCP连接上进行全双工通信，在爬虫中的应用与实践。[查看详情](https://cloud.baidu.com/article/2927136)这些资料涵盖了WebSocket协议的基本概念、与爬虫的结合使用，以及一些实战案例。希望这些资源能够帮助你更好地理解和应用WebSocket协议进行爬虫开发。
Sec-WebSocket-Key分析
根据你的需求，关于`Sec-WebSocket-Key`及其逆向工程的资料，这里有一些相关的中文资源：1. [【JS 逆向百例】WebSocket 协议爬虫，智慧树扫码登录案例分析](https://juejin.cn/post/7038882823780417544) - 这篇文章详细分析了WebSocket协议在实际应用中的一个案例，包括`Sec-WebSocket-Key`的作用和如何在服务端处理这个密钥。2. [WebSocket协议浅析](https://itimetraveler.github.io/2018/10/27/WebSocket%E5%8D%8F%E8%AE%AE%E6%B5%85%E6%9E%90/) - 这篇文章提供了对WebSocket协议的基础分析，包括`Sec-WebSocket-Key`和`Sec-WebSocket-Accept`的作用，以及它们如何帮助提供基础的防护，减少恶意连接和意外连接。3. [一文了解WebSocket 协议](https://makonike.github.io/2023/05/06/%E4%B8%80%E6%96%87%E4%BA%86%E8%A7%A3WebSocket%E5%8D%8F%E8%AE%AE/index.html) - 这篇文章讨论了WebSocket协议的基本概念，包括`Sec-WebSocket-Key`和`Sec-WebSocket-Accept`的角色和作用。4. [What is Sec-WebSocket-Key for?](https://stackoverflow.com/questions/18265128/what-is-sec-websocket-key-for) - 虽然这是一个英文资源，但它详细解释了`Sec-WebSocket-Key`的作用，这个头部字段是在WebSocket开放握手中从客户端发送到服务器的，用于提供握手的一部分验证。`Sec-WebSocket-Key`是WebSocket握手过程中的一个重要组成部分，它是由客户端生成的一个Base64编码的随机字符串。服务器接收到这个密钥后，会按照特定的算法处理并返回一个加密的`Sec-WebSocket-Accept`响应头，这个过程是为了验证连接确实是WebSocket连接，防止非WebSocket连接的恶意请求。理解这一机制对于进行WebSocket通信和相关逆向工程非常重要。

Sec-WebSocket-Key是WebSocket握手过程中的一个重要组成部分，它是由客户端生成的一个Base64编码的随机字符串。服务器接收到这个密钥后，会按照特定的算法处理并返回一个加密的Sec-WebSocket-Accept响应头，这个过程是为了验证连接确实是WebSocket连接，防止非WebSocket连接的恶意请求。理解这一机制对于进行WebSocket通信和相关逆向工程非常重要。

以下是一些中文资料，您可以通过这些资料深入了解WebSocket协议中`Sec-WebSocket-Accept`值的生成过程及其重要性：1. [WebSocket协议浅析](https://itimetraveler.github.io/2018/10/27/WebSocket%E5%8D%8F%E8%AE%AE%E6%B5%85%E6%9E%90/) - 这篇文章提供了对WebSocket协议的基础分析，包括`Sec-WebSocket-Accept`和`Sec-WebSocket-Key`的作用。2. [响应头'Sec-WebSocket-Accept'的生成原创](https://blog.csdn.net/moasp/article/details/119915825) - 这篇文章详细讲解了`Sec-WebSocket-Accept`的生成原理和过程。3. [你不知道的Websocket协议，这次给你讲明白！](https://www.51cto.com/article/774923.html) - 这篇文章全面介绍了WebSocket协议的握手过程，包括`Sec-WebSocket-Accept`值的作用。这些资料将帮助您更好地理解WebSocket协议的工作原理，特别是握手阶段`Sec-WebSocket-Accept`值的生成和验证过程。
代码解析学习：

异步websocket爬虫：

# pip install websocketsimport websockets
import asyncio
import requests
# 发送  加密参数def req_html():# 写翻页功能res = requests.get('https://api.waitwaitpay.com/api/vendors/nearby?keyword=%E7%82%B8%E9%B8%A1&latitude&longitude&page=1&request_id=-1&type=search&with_vouchers=false',headers={'user-agent':'adasdasdasd'})return resasync def echo(websocket):message = '我是发送给客户端的信息'# 发送数据# 可以给他传 密文  发送给浏览器解密res = req_html()sent_text = res.textawait  websocket.send(sent_text)return  True# 接收  客户端返回的数据
async def recv_msg(websocket):while 1:# 接收resv_text = await websocket.recv()print(resv_text)with open('sss.txt','w',encoding='utf-8') as f:f.write(resv_text)# 入口
async def main_run(websocket):await echo(websocket)await recv_msg(websocket)stat_sever = websockets.serve(main_run,'127.0.0.1',9999)
print('成功建立连接')
loop = asyncio.get_event_loop()
loop.run_until_complete(stat_sever)# 保持长连接 需要不断的监听返回的数据
loop.run_forever()
目标：
  1. 找到接口了，响应的data值是加密后的。请求值也是加密的。（先尝试解密，不行的话可以看视频学补环境）
 wss_url = f"wss://www.jdz.gov.cn/1ywuKELSO2ahQuWZ/pr/{dGg2aCfMMK97Ro270mqBFu5qjC8TQbL2opnHvbEpM}/b/ws/{tableid}/{FW9uCWqlVzC22m1KfCMCjfvFHpRMsgt}"{dGg2aCfMMK97Ro270mqBFu5qjC8TQbL2opnHvbEpM}：Tifz8hd5p4O3AB%2BivrbJpAQR5gK2baZcp_zGlOnSooM%3D{tableid}：kmz6tx452s{FW9uCWqlVzC22m1KfCMCjfvFHpRMsgt}：6727e0bb-2881-405a-8056-6fa8b01d8581结果发现这里URL中加密的字段有两个都能在cookie信息中找到，说明是自动生成的。
报错：
  1. 错误的消息格式：客户端发送给服务器的消息格式可能不正确，不符合服务器期望的格式。这可能包括错误的数据编码、不正确的消息结构等。
  2. 服务器内部错误：服务器在处理客户端的WebSocket请求时内部出现错误，导致无法正确处理请求。

下面是分析过程。后续会优化，有需要的找我要。

测试：苹果兴趣人群-23-8

接口为：https://strategy.tmall.com/api/scapi?path=/api/v1/custom/listPerspective

响应信息如下：

{"throwed": false,"gmtModified": 1693274807000,"statusInfo": "","isReplace": false,"description": "","crowdAdbStatus": 1,"baseId": "026130413","source": "STRATEGY_CUSTOM","isThrowed": false,"uniMemberReportAuth": null,"syncValid": true,"inheritable": false,"rootSource": null,"gmtUpdate": 1693274807000,"uniMemberReportInfo": null,"validInDatahub": false,"perspective": 1,"id": 67080221,"gmtUpdateReal": null,"blurred": true,"statusInfoCode": 0,"category2": "STRATEGY_CUSTOM","category3": "STRATEGY_CUSTOM","canUpdate": true,"crowdDivisionStatus": null,"reportId": 7905461,"category1": "STRATEGY_CUSTOM","withConditionGroup": true,"count": 3500000,"gmtCreate": 1693274697000,"customType": "","fullLinkPlatform": "NOT_FULL_LINK","brandId": "64284","updateSettedFlag": false,"name": "苹果兴趣人群-23-8","reportStatusInfo": "","sourceName": null,"smartId": 914,"projectId": 183575,"status": "CREATED"},
苹果兴趣人群-23-8和 苹果已购人群-23-6
 test = {"method": "/iSheetCrowdService/offline","headers": {"rid": "171386533324303","type": "PULL","bizType": "STRATEGY"},"body": {"args": {"id": "661","perspectTaskId": "67080221","bizParam": {"crowdIds": ["67080221"],"tagList": ["daas_tag_pred_age_level_20200415093010"]},"appId": "209"}}}
对应的数据包名分别是：
预测年龄：[“daas_tag_pred_age_level_20200415093010”]
预测性别daas_tag_pred_gender_20200415091417
预测购买力：pref_purchasing_power
预测教育程度：daas_tag_pred_education_degree_20200421154731
预测省份：common_receive_province_180d
占比：rate
全网TGI对应tgi
兴趣偏好：interest_prefer
预测职业：pred_career_type
天猫通用消费人群意愿daas_tag_xfqx_crowd_name
月均消费金额：derive_pay_ord_amt_6m_015_range

http://www.ppmy.cn/devtools/19071.html

相关文章

CentOS 系统的优缺点

CentOS 系统的优缺点

CentOS （社区企业操作系统的缩写）是一个基于红帽企业 Linux (RHEL)的免费开源发行版， 旨在为服务器和工作站提供稳定、可靠和安全的平台。 不应将其与CentOS Stream 混淆，后者是即将发布的 RHEL 版本的上游开发平台。 CentOS Li…
阅读更多...
RGB灯珠的控制-单片机通用模板

RGB灯珠的控制-单片机通用模板

RGB灯珠的控制-单片机通用模板 一、RGB控制的原理二、RGB.c的实现三、RGB.h的实现四、color色彩空间变换以及控制渐变一、RGB控制的原理 ①通过IO发送脉冲识别0/1编码，组合24Bit的RGB数据，从而控制RGB；②每个RGB灯珠通过DIN、DOU进行级联起来；③通过HSV色彩转换成RGB从而控…
阅读更多...
第30篇 RPC概述

第30篇 RPC概述

RPC（Remote Procedure Call，远程过程调用）是一种编程技术，使得开发者能够像调用本地函数一样调用位于不同进程、不同主机上的函数或服务。这种技术隐藏了底层网络通信细节，使得分布式系统中的组件能够无缝协作&#xf…
阅读更多...
第48期|GPTSecurity周报

第48期|GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。在这里，您可以找…
阅读更多...
linux dhcp服务器

linux dhcp服务器

虚拟机设置为dhcp后，启动会自动分配ip的原理 在vSphere环境中，当虚拟机设置为DHCP（动态主机配置协议）时，分配IP地址的功能通常由DHCP服务器承担。DHCP服务器负责在网络上为设备（包括虚拟机）提供…
阅读更多...
miniTry：Python实现web搜索（全自动+程序操控）

miniTry：Python实现web搜索（全自动+程序操控）

声明：本问给出了全部代码--可以复现--亲测有效 :) [ 代码为图片--> 强制自己去敲一次 又不多] 1.打开网站： 2.利用id去定位到我们要进行输入的内容（bing可以直接进行搜索，而csdn需要登录，所以我们用csdn做演示&…
阅读更多...
快手面试算法真题

快手面试算法真题

按照html中的标签层数遍历节点名。 例如&#xff1a;html代码如下&#xff1a;(上面的数字表示层数) <!-- 1 --><div class"div1"><!-- 2 --><span class"span1"></span><!-- 2 --><p class"p1"><…
阅读更多...
Python人工智能项目开发实战：怎么解决基于人脸识别的来访登记系统

Python人工智能项目开发实战：怎么解决基于人脸识别的来访登记系统

注意：本文的下载教程，与以下文章的思路有相同点，也有不同点，最终目标只是让读者从多维度去熟练掌握本知识点。 下载教程：Python项目开发实战_人工智能-基于人脸识别的来访登记系统_编程案例实例课程教程.pdf 1、详细介绍 一、项目背景与意义 随着科技的不断发展，人工智…
阅读更多...
华为数通HCIA ——企业网络架构以及产品线

华为数通HCIA ——企业网络架构以及产品线

一.学习目标&#xff1a;精讲网络技术&#xff0c;可以独立搭建和维护中小企业网络&#xff01; 模拟器&#xff08;华为方向请安装ENSP&#xff0c;Ensp-Lite已有安装包&#xff0c;号称功能更加完善-这意味着要耗费更多的系统资源但是仅对华为内部伙伴申请后方可使用&#x…
阅读更多...
第三篇：Python编程基础：掌握核心语法与开发技巧

第三篇：Python编程基础：掌握核心语法与开发技巧

Python编程基础&#xff1a;掌握核心语法与开发技巧 1 引言 在这个信息化迅速蔓延的世界中&#xff0c;Python语言如同钥匙一般开启了通往各种可能性的大门。无论你是数据科学家、网络工程师、机器学习专家&#xff0c;还是仅仅对自动化办公感兴趣的办公室人员&#xff0c;Pyt…
阅读更多...
嵌入式Linux学习——Linux常用命令（上）

嵌入式Linux学习——Linux常用命令（上）

Linux命令行介绍 Linux Shell 简介 Shell 的意思是“外壳”&#xff0c;在 Linux 中它是一个程序&#xff0c;比如/bin/sh、/bin/bash 等。它负责接收用户的输入&#xff0c;根据用户的输入找到其他程序并运行。比如我们输入“ ls”并回车时&#xff0c; shell 程序找到“ ls…
阅读更多...
LeetCode55. 跳跃游戏

LeetCode55. 跳跃游戏

LeetCode55.跳跃游戏 思路 可以看我的上篇博客跳跃游戏II 代码 class Solution { public:bool canJump(vector<int>& nums) {for(int i 0, j 0; i < nums.size(); i){if(j < i) return false;j max(j, i nums[i]);}return true;} };
阅读更多...
程序员学CFA——数量分析方法（四）

程序员学CFA——数量分析方法（四）

数量分析方法&#xff08;四&#xff09; 常见概率分布基本概念离散型随机变量与连续型随机变量离散型随机变量连续型随机变量 分布函数概率密度函数&#xff08;PDF&#xff09;累积分布函数&#xff08;CDF&#xff09; 离散分布离散均匀分布伯努利分布二项分布定义股价二叉树…
阅读更多...
CSS-通过设计菜单页来学习 CSS

CSS-通过设计菜单页来学习 CSS

文章目录 一、CSS介绍二、学习开始1、创建一个新的html文件2、style元素示例&#xff1a;修改html框架信息&#xff0c;并添加style元素示例、为h1设置text-align&#xff0c;其属性为center示例、为h2与p设置text-align&#xff0c;其属性为center示例&#xff1a;将h1&#x…
阅读更多...
基于 Spring Boot 博客系统开发（三）

基于 Spring Boot 博客系统开发（三）

基于 Spring Boot 博客系统开发&#xff08;三&#xff09; 本系统是简易的个人博客系统开发&#xff0c;为了更加熟练地掌握 SprIng Boot 框架及相关技术的使用。&#x1f33f;&#x1f33f;&#x1f33f; 基于 Spring Boot 博客系统开发&#xff08;二&#xff09;&#x1f…
阅读更多...
vue3前端调用后端接口实现分页，搜索

vue3前端调用后端接口实现分页，搜索

//3个搜索获取数据分页 export function parkEnterPage( address: string, methods: string, carNumber :string, personName:string, cardStatus:string, page: number, pageSize: number ) { const res instance({ url: ${address}?carNumber${carNumber}&p…
阅读更多...
【TensorFlow深度学习】人工智能绪论与深度学习前瞻

【TensorFlow深度学习】人工智能绪论与深度学习前瞻

人工智能绪论与深度学习前瞻 【引言】人工智能的起源与发展机器学习与深度学习的关系深度学习的兴衰与复兴深度学习的特点与前瞻 【引言】 在信息技术蓬勃发展的今天&#xff0c;人工智能已成为推动科技革新和社会进步的关键驱动力。从最初的计算机辅助人类处理信息&#xff0…
阅读更多...
新时代凌迟：考研

新时代凌迟：考研

我不喜欢上班&#xff0c;但我很欣赏老板的品味&#xff0c;因为咱们公司竟然还在订阅报纸&#xff0c;而且只有一份&#xff0c;《中国青年报》。 这份报纸我最喜欢看的是“冰点周刊”专栏&#xff0c;因为这个栏目能让读者相信&#xff1a;报纸远远可以超越一天的生命。 昨天…
阅读更多...
稳态视觉诱发电位 (SSVEP) 分类学习系列 (3) :3DCNN

稳态视觉诱发电位 (SSVEP) 分类学习系列 (3) :3DCNN

稳态视觉诱发电位分类学习系列:3DCNN 0. 引言1. 主要贡献2. 提出的方法2.1 解码主要步骤2.2 网络具体结构2.3 迁移策略 3. 结果和讨论3.1 数据集1上的结果3.2 数据集2上的结果3.3 零填充 4. 总结欢迎来稿 论文地址&#xff1a;https://www.sciencedirect.com/science/article/a…
阅读更多...
Java基础入门day40

Java基础入门day40

day40 DQL 分组补充 create table student(sid int,name varchar(20),sex char(6),score double,cid int ); ​ insert into student values(100, wukong, male, 99, 1); insert into student values(101, wuneng, male, 59, 1); insert into student values(102, wujing, ma…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站