Python爬虫入门02:Fiddler下载使用教程

devtools/2024/10/22 8:40:04/

文章目录

  • 手机抓包全攻略:Fiddler 工具深度解析
    • 引言
    • Fiddler 工具简介
      • 为什么选择 Fiddler?
    • 安装与配置 Fiddler
      • 步骤一:下载与安装
      • 步骤二:配置浏览器代理
      • 步骤三:安装 HTTPS 证书
    • 配置手机以使用 Fiddler
      • 步骤一:连接至同一 Wi-Fi 网络
      • 步骤二:设置手机代理
      • 步骤三:安装 Fiddler 证书于手机
      • Android 和 iPhone 的特殊配置
    • 使用 Fiddler 抓取和修改数据
      • 抓取数据
      • 修改数据
    • 查看数据示例:csdn热门内容
      • 步骤一:过滤特定请求
      • 步骤二:拦截数据
      • 步骤三:查看数据
    • 结语


手机抓包全攻略:Fiddler 工具深度解析

引言

在网络世界的探索中,数据的捕获与分析是理解网络通信的基础。抓包技术允许我们深入观察客户端与服务器之间的交互。本文将引导你通过 Fiddler 工具进行手机抓包,揭开网络请求的神秘面纱。注意:目前是2024年版本,经过测试发现,有些app是爬取不了啦,具体原因不清楚,搜索了很多都没找到解决办法,目前测试的小红X和bibilili都是不行的了,q和wei都还行。如果有大佬知道可以指引一下,就不要嘲笑咱小白不懂啦!
在这里插入图片描述

Fiddler 工具简介

Fiddler 是一款广受好评的网络调试工具,它提供了一个平台来记录、检查和修改所有经过计算机的 HTTP/HTTPS 流量。它不仅支持桌面应用的网络调试,还能扩展到移动设备。

为什么选择 Fiddler?

  • 跨平台支持:支持 Windows、Mac 和 Linux。
  • HTTPS 抓取:内置 SSL 解密功能,可以捕获加密的 HTTPS 流量。
  • 实时分析:能够实时查看和修改请求与响应数据。
  • 强大的过滤和搜索功能:快速定位到感兴趣的请求。

安装与配置 Fiddler

步骤一:下载与安装

访问 Fiddler 官网,根据你的操作系统下载并安装 Fiddler。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

步骤二:配置浏览器代理

打开软件时会弹出一个弹窗:Windows uses an isolation technology called ‘AppContainer’ that may interfere with traffic capture from Immersive Applications and the Edge browser. Use the WinConfig button in Progress Telerik Fiddler’s toolbar to enable teaffic capture.
Would you like to learn more?
To disable this warning. click ‘Cancel’.
大概意思是这样的:

Windows使用称为“AppContainer”的隔离技术,可能会干扰Immersive Applications和Edge浏览器的流量捕获。 使用Progress Telerik Fiddler工具栏中的WinConfig按钮启用茶叶捕获功能。
你想了解更多吗?
要禁用此警告。 点击“取消”
具体看这位博主的链接:https://blog.csdn.net/u011038298/article/details/87879548
在这里插入图片描述

为了让 Fiddler 能够捕获浏览器的 HTTP/HTTPS 请求,
在这里插入图片描述
需要在浏览器中设置代理:

  • 在浏览器设置中找到网络或代理设置部分。
  • 设置代理服务器为 127.0.0.1,端口为 8888

步骤三:安装 HTTPS 证书

由于大量网络通信采用 HTTPS 加密方式,安装 Fiddler 证书是捕获这些请求的前提:

  • 在 Fiddler 中,通过 Tools -> Options -> HTTPS,
  • 在这里插入图片描述
    勾选 “Decrypt HTTPS traffic”。
    在这里插入图片描述
    弹出的弹窗:To intercept HTTPS traffic, Fiddler Classic generates a unique root certificate.

You may configure Windows to trust this root certificate to suppress
security warnings. This is generally safe.

Click ‘Yes’ to reconfigure Windows’ Trusted CA list.
Click ‘No’ if this is all geek to you.
在手动信任证书时,提示Unable to configure Windows to Trust the Fiddler Root certificate.The LOG tab may contain more infor

大致意思是:创建root证书不成功,我点击了yes,弹出了下一个弹窗,继续点击是,弹出了下一个弹窗,最后弹出了ok的弹窗。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 点击 “Reset All Certificates” 并重启 Fiddler。

  • 完事之后回到你的浏览器输入:
    localhost:8888
    在这里插入图片描述

  • 访问 localhost:8888 来下载并安装 FiddlerRoot 证书。当然,有些可能像我这样上来就没问题的就不用管了。直接往下走去手机配置。目前 我接触到有两种方式,一种是以下链接的:http://t.csdnimg.cn/bMLha,另一种就是我下面采取的这种。这种时候再看就可以看到抓包的内容了:在这里插入图片描述

配置手机以使用 Fiddler

步骤一:连接至同一 Wi-Fi 网络

确保你的手机和电脑连接到同一个 Wi-Fi 网络。然后电脑端需要进行下面的配置,然后查询电脑的ip地址,在这里插入图片描述
在这里插入图片描述

步骤二:设置手机代理

在手机的 Wi-Fi 设置中,配置代理以指向你的电脑:

  • 代理服务器地址设置为电脑的 IPv4 地址。
  • 端口设置为 8888
  • 在这里插入图片描述

步骤三:安装 Fiddler 证书于手机

  • 访问电脑的 IPv4 地址加 :8888 在手机浏览器中。但是这里我失败了,只能是从电脑导入证书再尝试了。在这里插入图片描述
    在这里插入图片描述

  • 下载并安装 FiddlerRoot 证书。

Android 和 iPhone 的特殊配置

  • Android:安装证书后通常无需额外配置。
  • iPhone:在设置 -> 通用 -> 关于本机 -> 证书信任设置中,信任安装的证书。
    此时我打开小红书就已经获取到数据了。在这里插入图片描述

使用 Fiddler 抓取和修改数据

抓取数据

开启 Fiddler 并确保手机代理设置正确,当你在手机上浏览网页或使用应用时,所有流量将通过 Fiddler,你可以在 Fiddler 界面中看到这些请求和响应。

修改数据

Fiddler 不仅可以捕获数据,还可以修改它们:

  1. 在 Fiddler 界面中找到你想要修改的请求或响应。
  2. 双击打开 Inspectors 面板。
  3. 在 Inspectors 面板中修改请求头、正文或响应数据。
  4. 点击 “Run to Completion” 将修改后的数据发送至客户端。
    注意:目前是2024年版本,经过测试发现,有些app是爬取不了啦,具体原因不清楚,搜索了很多都没找到解决办法,目前测试的小红X和bibilili都是不行的了,q和wei都还行。

查看数据示例:csdn热门内容

步骤一:过滤特定请求

在 Fiddler 中设置过滤规则,只显示来自或发往 csdn的请求。
在这里插入图片描述

步骤二:拦截数据

使用 ALT+F11 拦截所有返回数据。
在这里插入图片描述

步骤三:查看数据

点击我们要查看的接口,就能在右边看到返回的数据了,上面是请求,下面是返回的数据。
在这里插入图片描述

结语

Fiddler 是网络开发者和安全研究人员的瑞士军刀。通过本文的指南,你现在可以开始自己的网络抓包之旅,探索和理解网络请求的每一个细节。随着实践的深入,你将发现更多 Fiddler 的强大功能。


http://www.ppmy.cn/devtools/87655.html

相关文章

Mybatis与Mybatis-plus配置控制台打印完整带参数SQL语句

Mybatis-plus的sql打印 application.yaml中。Mybatis把第一行换成mybatis mybatis-plus:configuration:log-impl: org.apache.ibatis.logging.stdout.StdOutImpl Mybatis的SQL打印亦或者是 application中增加 logging:level:com:sky:mapper: debugservice: infocontroller…

Mybatis注解

目录 1. Select 2. Insert 3. Update 4. Delete 5. Results 6. Param 7. One和 Many MyBatis 是一个持久层框架,支持通过 XML 或注解的方式来配置 SQL 映射。使用 MyBatis 注解可以更简洁地配置 SQL 语句,使代码更加清晰。以下是一些常用的 MyBatis 注解…

pip日常使用指南(windows版)

一、官方途径 参考资源 pip 官方文档Python 包索引 (PyPI) 二、pip常用命令 pip安装包: pip install package_name #例如 pip install requests #安装特定版本 pip install requests2.25.1pip升级包: 可以使用 --upgrade 选项: pip install --upg…

C语言 数组

目录 数组初始化 数组越界 数组作为函数参数 数组初始化 数组的初始化:数组分一维二维等都需要对相应的数组进行初始化,在创建数组的同时给数组的内容一些合理初始值(初始化)。 数组在创建的时候如果想不指定数组的确定的大小就得…

Windows图形界面(GUI)-MFC-C/C++ - Dialog

公开视频 -> 链接点击跳转公开课程博客首页 -> ​​​链接点击跳转博客主页 目录 Dialog 创建对话框模板 设置对话框属性 创建对话框对象 对话框生命周期 示例代码 Dialog 创建对话框模板 流程 打开资源视图:在Visual Studio中,右键点击资…

【前端 11】初探DOM

JavaScript 对象 - DOM 初探 在Web开发中,DOM(Document Object Model,文档对象模型)是一个至关重要的概念。它不仅仅是一个API,更是Web页面与JavaScript代码之间的桥梁,允许开发者通过编程的方式动态地访问…

全网最全最新100道C++面试题:80-100

前述:本文初衷是为了总结本人在各大平台看到的C面经,我会在本文持续更新我所遇到的一些C面试问题,如有错误请一定指正我。新建立了一个收集问答的仓库,欢迎各位小伙伴来更新鸭interview_experience: 本仓库初衷是想为大家提供一个…

HJ87密码等级

这个题目就是细心处理一下就行&#xff0c;比较简单 #include <ctype.h> #include <stdio.h> #include <stdbool.h>void PrintLevel(unsigned int score) {if(score > 90){printf("VERY_SECURE");}else if(score > 80){printf("SECURE…