python之爬虫遇到返回内容乱码

ops/2024/11/2 2:57:34/

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录

  • 前言
  • 解决思路


前言

提示:这里可以添加本文要记录的大概内容:

问题复现:

import requestsheaders = {"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7","Accept-Encoding": "gzip, deflate, br, zstd","Accept-Language": "en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7,en-GB;q=0.6","cache-control": "max-age=0","upgrade-insecure-requests": "1",
}url = "xxxxxxxxxxxx"res = requests.get(url=url, headers=headers, timeout=60)print(res.text)

返回的结果:

python">��or����_�;��������蔶��p<�_0�+��?=0 ��
�c�M�zU�nT�%��Z7EU��UaT`XT��C��C�QT�C�QH��\3Q(d�U��+m�E1�]c^�b��R%�\y��w�DwՊW��Q�z��^S�*C!rUc*M��B��-rrb�Z�J��5�C�(Hm�E�<H`����"W
���\5*��fV0�W��A������b�\ըj���x��(=%�T�P�����2j_�%��=Zĉ��}��e�"t8>�v��Wb6��i�~'�T��w�@CE�](�I_ƄLȄ���"�aƞ�lJ�"�!��+��`��뿪9�џB�{��&��Dz��Qb���(��������_lFMz�J�F�K��u�η�σ��nMKl��%��q;5���W�ू8�	�a��w�	��������K�o?v�f l�"l��o�e��[~>p����ҏ������Y��ޱ{E�1}��h�t�'�$�S��KpL��:+|F���7 ~/莀N�80 �ׄ��p���4�Í$7��\L����Nahz���.m�Y�l{m�gA�����gl�
c�߷��Ϥ��x���AgA\4�R�Z*r1<3N�;�S�b�`��9��O�����}�_�!�q�@ �/���˔cWT��N����K�E��5-��7�����9�پo��g,Xe��߷�����-�lSe��}@~|��3!�oJkh���P��o����}���g,}~����ok�S|��6����S�r3$,����n��C'sBຼ�{Cs%�l��������!1�OM�&ɟ�����GEk,�:2U1�6��]��ʐu;��z��=ѫ��'�z�"���F�r����=v����y>52����Zu�lv�����rd��rȳ��B���t��U� �V�<�v>�aA`�2&:.��4|l�x�!�������*b�D�^RQ������
��|�ۙϚ�P�a�A�:�z\�GZoM�⋃��s#L��kf}.@�z�J�6�j� I{7���[��W�
��i�HShY�y�Œ<�l:��vN�n���EF�2��N��#��^��0�v{�=�I
�т<�m�&�\��j����

解决思路

“Accept-Encoding’是浏览器发给服务器,声明浏览器支持的编码类,一般有gzip,deflate,br 等等。很多网站都是以gzip的格式来输出页面,此时输出response.content和response.text时会自动解压,但是当以br格式压缩时,却不会自动解压

Brotli是一种由 Google开发的全新压缩算法,可以有效减小传输内容大小,加速分发效果。当客户端的请求携带请求头 Accept-Encoding: br 时,表示客户端希望获取对应资源时进行 Brotli 压缩。当服务端响应携带响应头 Content-Encoding: br 时,表示服务端响应的内容是 Brotli 压缩的资源。需要注意的是,只有在 HTTPS 的情况下,浏览器才会发送 br 这个 Accept-Encoding

解决办法:
直接从请求头的Accept-Encoding中去除编码类型br

Accept-Encoding = “gzip, deflate”


http://www.ppmy.cn/ops/130302.html

相关文章

IntelliJ IDEA使用技巧与插件推荐

IntelliJ IDEA是一款功能强大的集成开发环境&#xff08;IDE&#xff09;&#xff0c;它提供了丰富的功能和工具&#xff0c;帮助开发者提高编码效率。本文将介绍一些IntelliJ IDEA的使用技巧以及实用的插件推荐。 一、IntelliJ IDEA使用技巧 快捷键操作 IntelliJ IDEA支持大量…

Excel:vba实现插入图片

实现的效果&#xff1a; 实现的代码&#xff1a; Sub InsertImageNamesAndPictures()Dim PicPath As StringDim PicName As StringDim PicFullPath As StringDim RowNum As IntegerDim Pic As ObjectDim Name As String 防止表格里面有脏数据Cells.Clear 遍历工作表中的每个图…

JVM 运行时数据区

JVM整体架构 可以分为三层&#xff1a; 1 JVM外部&#xff0c;从源文件到Class文件&#xff0c;再装载到JVM 2 JVM运行时数据区&#xff0c;相当于就是避风港、运行的大后方。给执行程序提供后勤。 3 执行引擎层。和运行时数据区交互&#xff0c;完成执行任务。 运行时数据…

深入 Prometheus 监控生态 - 第六篇:与 Grafana 实现系统全面监控(健康状态和任务状态看板)

文章目录 前言部署 Grafana 和连接 Prometheus 数据源简单部署 Grafana 构建系统监控看板1. 监控信息查看2. 看板制作&#xff08;表格图&#xff09;配置表格图&#xff08;Line Chart&#xff09; 配置告警规则与通知1. Prometheus 中的告警规则2. Grafana 告警配置&#xff…

电脑技巧:如何进行磁盘测速?

磁盘测速是指通过专业工具或系统自带功能&#xff0c;测量硬盘的读写速度。这一过程能够帮助用户了解磁盘的性能瓶颈&#xff0c;并为硬件升级或系统优化提供数据依据。特别是在处理大量数据或运行高负载应用时&#xff0c;磁盘速度是决定系统性能的关键因素。 影响磁盘速度的因…

buu easyRE

这道题目我想写的东西不是很多&#xff0c;前面的部分按常规流程走&#xff0c;第一步我们写逆脚本&#xff0c;推算出数组v15的值&#xff0c;但是输出值却没有啥用&#xff0c;只是告诉我们&#xff0c;the first parts are flag &#xff0c;没多大用&#xff0c;然后后…

【网安案例学习】暴力破解攻击(Brute Force Attack)

### 案例与影响 暴力破解攻击在历史上曾导致多次重大安全事件&#xff0c;特别是在用户数据泄露和账户被盗的案例中。随着计算能力的提升和密码管理技术的进步&#xff0c;暴力破解的威胁虽然有所减弱&#xff0c;但仍需警惕&#xff0c;特别是在面对高价值目标时。 【故事一…

恋爱脑学Rust之闭包三Traits:Fn,FnOnce,FnMut

在Rust中&#xff0c;FnOnce、FnMut和Fn是三个用于表示闭包&#xff08;closure&#xff09;类型的trait。闭包是一种特殊的函数&#xff0c;它可以捕获其环境变量&#xff0c;即在其定义时所处的作用域中的变量。以下是关于这三个trait的详细介绍&#xff1a; 1. FnOnce&#…