爬虫重定向问题解决

embedded/2024/11/22 16:26:47/

一,问题

爬虫时会遇到强制重定向的链接,此时可以手动获取重定向后的链接
如下图情况
在这里插入图片描述
第二个链接是目标要抓取的,但它是第一个链接重定向过去的,第一个链接接口状态也是302

二,解决方法

请求第一个链接,设置 allow_redirects = False
从响应头中提取 Location 参数,即为重定向后的链接

    res = requests.get(url = url, headers = headers, data = data, allow_redirects = False)redirectUrl = res.headers['Location']

http://www.ppmy.cn/embedded/139657.html

相关文章

[Redis#1] 前言 | 再谈服务端高并发分布式结构的演进

目录 电子商务应用架构演进 概述 常见概念 架构演进 总结 总结 应用(Application)/ 系统(System) 模块(Module)/ 组件(Component) 分布式(Distributed&#xff0…

基于Windows系统用C++做一个点名工具

目录 一、前言 二、主要技术点 三、准备工作 四、主界面 1.绘制背景图 2、实现读取花名册功能 3.实现遍历花名册功能 4.实现储存功能 4.1创建数据库 4.2存储数据到数据库表 4.3读取数据库表数据 一、前言 人总是喜欢回忆过去,突然回忆起…

ElasticSearch7.x入门教程之索引概念和基础操作(三)

文章目录 前言一、索引基本概念二、索引基本使用elasticsearch-head插件Kibana使用 总结 前言 要想熟悉使用ES的索引,则必须理解索引相关的概念,尤其是在工作当中。 在此记录,方便开展工作。 一、索引基本概念 尽量以通俗的话语。 1、集群…

hive3.1.2编译spark3安装包

此安装包是《去破解站长》在公司真实生产环境所使用的安装包。 引言:Hive引擎包括:默认MR、tez、sparkDownload:www.qupojie.com 1、Hive on Spark 1、Hive onSpark:Hive既作为存储元数据又负责SQL的解析优化,语法是HQL语法&…

react学习篇--创建项目

前言 随着技术的更新迭代,需要学习了解更多的前端框架,下面就开始逐渐分析react的学习之旅。 一、react是什么? React是用于构建用户界面的JavaScript库。 二、使用步骤 1.确认是否已下载node node -v2.全局安装create-react-app npm …

QA RockyLinux8.8、双网卡、ping 8.8.8.8失败。

关键字: 仅主机网络、NAT网络、路由优先级、nmcli 环境: RockyLinux8.8最小版本安装,网卡配置如下所示: ens160: 连仅主机(用于本地SSH登陆) 10.0.0.0/24 ens224: 连NAT(有于上外网)、10.0.2.0/24(网关:10.0.2.2)…

translation1

农历(the lunar calendar)起源于数千年前的中国,根据太阳和月亮的运行规律制定。长期以来,农历在农业生产和人们日常生活中发挥着重要作用。古人依据农历记录日期、安排农活,以便最有效地利用自然资源和气候条件&#…

AI社媒引流工具:解锁智能化营销的新未来

在数字化浪潮的推动下,社交媒体成为品牌营销的主战场。然而,面对海量的用户数据和日益复杂的运营需求,传统营销方法显得力不从心。AI社媒引流王应运而生,帮助企业在多平台中精准触达目标用户,提升营销效率和效果。 1.…