python爬虫实战案例——从移动端接口抓取微博评论,采用cookie登陆,数据存入excel表格,超详细(15)

ops/2024/10/18 0:08:49/

文章目录

  • 1、任务目标
  • 2、网页分析
  • 3、代码编写
    • 3.1 代码分析
    • 3.2 完整代码

1、任务目标

1、目标网站:微博文章(https://m.weibo.cn/detail/4813628149072458),这是微博某一篇博文,用于本文测试
2、要求:爬取该博文下,所有一级评论和二级评论,以及每条评论的作者,最后保存至Excel文件中

在这里插入图片描述

2、网页分析


一级评论页面分析:

  1. 进入网站(https://m.weibo.cn/detail/4813628149072458),由于网站需要登录,我们先用账号登录,然后打开开发者模式,因为pc端网页数据包不好分析,我们可以切换为客户端模式获取数据包
    在这里插入图片描述

  2. 刷新网页,因为是异步加载的网站&


http://www.ppmy.cn/ops/126327.html

相关文章

Spring AI Java程序员的AI之Spring AI(一)

SpringAI 基础使用 前言Spring AIChatClientImageClientOpenAiAudioTranscriptionClientEmbeddingClient 总结 前言 Spring AI,听着名字就感觉很好使用,快速上手,虽然功能没有太完善,但是社区活跃度很高,可以看看源码…

PG 17 增量备份功能介绍

背景 PG 17 新增了增量备份功能,可以通过 pg_basebackup --incrementalPATH_TO_MANIFEST 命令进行增量备份。 官方文档:https://www.postgresql.org/docs/current/app-pgbasebackup.html 在先前版本,其实我们也可以利用 WAL 进行增量备份&…

mysql-数据库的操作

目录 认识数据库的基本操作 1、创建数据库 (1)校验集、编码集 (2)指定字符集和校验集创建数据库 2、展示所建立的数据库: 3、查看自己当前数据库: 4、修改数据库 5、删除数据库 6、库的备份与恢复…

java HashMap源码剖析

HashMap 是 Java 集合框架中的一个重要类,它基于哈希表实现,提供了快速的插入、删除和查找操作。 以下是一些关键点: 序列化:HashMap 类实现了 Serializable 接口,这意味着它可以被序列化和反序列化。 初始容量和负载…

日志分析是什么?如何进行日志分析?

日志分析是对诸如计算机系统、网络设备、应用程序等产生的日志文件进行收集、处理、分析和解读的一个过程。这些日志文件记录了系统和应用在运行过程中的各种事件、状态变化、错误信息等详细数据。 通过对这些日志数据的分析,可以深入了解系统的运行情况、发现潜在…

探索Spring Boot在医疗病历B2B交互中的潜力

第2章 设计技术与开发环境 2.1 相关技术介绍 2.1.1 B/S模式分析 C/S模式主要由客户应用程序(Client)、服务器管理程序(Server)和中间件(middleware)三个部件组成。客户应用程序是系统中用户与数据组件交互。服务器程序负责系统资源,如管理信息数据库的有效管理&…

SSM(5)(动态sql <if>、<where>、返回主键值)

返回主键值&#xff1a; 方法一&#xff1a; useGeneratedKeys 为ture 声明 返回主键 keyProperty 表示要返回的值 封装到对象的属性中 但是这一种方法不支持Orcal数据库。 <insert id"save2" parameterType"com.findyou.entity.User" useGenerated…

python从0快速上手(二)IDE选择

在这个代码横飞的世界里&#xff0c;选择一个合适的Python IDE就好比是选择一把顺手的武器。今天&#xff0c;就让我来带你一探究竟&#xff0c;看看市面上有哪些让人眼花缭乱的Python IDE&#xff0c;并一较高下。 1. PyCharm PyCharm&#xff0c;由大名鼎鼎的JetBrains出品…