python开发:爬虫示例——GET和POST请求处理

embedded/2025/2/7 8:59:32/

一、Get请求 

python">import json
import requests#输入示例:url='https://www.baidu.com'
#RequestHeader:F12标头-请求标头-原始-复制到这(忽略第一句)
def GetRequest(url,RequestHeader=""):try:dic={}RequestHeaderList = RequestHeader.strip().split("\n")if RequestHeader!="":for item in RequestHeaderList:if ":" in item:key = item.split(":")[0].strip()value = item.split(":")[1].strip()dic[key] = valueelse:dic["User-Agent"]="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36 Edg/132.0.0.0"#dic["Cookie"]=""response=requests.get(url=url,headers=dic)  ##跳过安全验证:逗号补充一个“verify=False”response.encoding='utf-8'  ##一般填写utf-8或者gbkdata=response.json() #获取json字符串data = json.dumps(data, indent=4, sort_keys=True, ensure_ascii=False)#字符串格式化为json#print(data)#打印Jsonresponse.close()data = json.loads(data)#json转化为py字典#print(data)#打印字典return dataexcept Exception as ex:print(f"爬取异常,错误:{ex}")if __name__ == '__main__':url = "https://xxxx/query?leftTicketDTO.train_no=6e000D402202&leftTicketDTO.train_date=2025-02-14&rand_code="RequestHeader="""GET /otn/queryTrainInfo/query?leftTicketDTO.train_no=6e000D402202&leftTicketDTO.train_date=2025-02-14&rand_code= HTTP/1.1Accept: */*
Accept-Encoding: gzip, deflate, br, zstd
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6
Connection: keep-alive
Cookie: JSESSIONID=3C843B300AF2985CE9CDC31F5271E223; _jc_save_wfdc_flag=dc; _jc_save_fromStation=%u8087%u5E86%u4E1C%2CFCQ; _jc_save_toStation=%u6B66%u6C49%u4E1C%2CLFN; _jc_save_toDate=2025-01-19; BIGipServerotn=1977155850.24610.0000; BIGipServerpassport=887619850.50215.0000; guidesStatus=off; highContrastMode=defaltMode; cursorStatus=off; route=9036359bb8a8a461c164a04f8f50b252; _jc_save_fromDate=2025-02-14
Host: kyfw.12306.cn
Referer: https://kyfw.12306.cn/otn/queryTrainInfo/init
Sec-Fetch-Dest: empty
Sec-Fetch-Mode: cors
Sec-Fetch-Site: same-origin
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36 Edg/132.0.0.0
X-Requested-With: XMLHttpRequest
sec-ch-ua: "Not A(Brand";v="8", "Chromium";v="132", "Microsoft Edge";v="132"
sec-ch-ua-mobile: ?0
sec-ch-ua-platform: "Windows""""result = GetRequest(url,RequestHeader)#返回一个py字典dataList = result["data"]["data"]#依次选择key,就可以获得对应的值print(dataList[0])#尝试输出第一个值


http://www.ppmy.cn/embedded/160252.html

相关文章

中国通信企业协会 通信网络安全服务能力评定 风险评估二级要求准则

通信网络安全服务能力评定要求是对通信网络安全服务单位的资格状况、经济实力、技术能力、服务队伍、服务过程能力等方面的具体衡量和评价。中国通信企业协会通信网络安全服务能力评定风险评估二级应达到风险评估服务一级能力要求的所有条款,并在以下方面增强或增加…

虚拟机搭建---K8S环境

K8S:docker容器其实本质上是一个linux里面的一个进程,容器本身自己是没有可再生能力的,没有高可用,而且生产环境运行容器,不可能只运行一两个,因此为了更加方便的管理众多容器,以及让容器具备高…

DeepSeek大模型技术解析:从架构到应用的全面探索

一、引言 在人工智能领域,大模型的发展日新月异,其中DeepSeek大模型凭借其卓越的性能和广泛的应用场景,迅速成为业界的焦点。本文旨在深入剖析DeepSeek大模型的技术细节,从架构到应用进行全面探索,以期为读者提供一个…

【贪心算法篇】:“贪心”之旅--算法练习题中的智慧与策略(一)

✨感谢您阅读本篇文章,文章内容是个人学习笔记的整理,如果哪里有误的话还请您指正噢✨ ✨ 个人主页:余辉zmh–CSDN博客 ✨ 文章所属专栏:贪心算法篇–CSDN博客 文章目录 一.贪心算法1.什么是贪心算法2.贪心算法的特点 二.例题1.柠…

Ruby语言的循环实现

Ruby语言的循环实现 Ruby是一种面向对象的编程语言,以其简洁和易读性而闻名。在Ruby中,循环是一种常见的控制结构,用于重复执行代码块,直到满足特定条件。通过深入研究Ruby的循环结构,我们可以掌握其内部机制&#xf…

免费windows pdf编辑工具

Epdf(完全免费) 作者:不染心 时间:2025/2/6 Github: https://github.com/dog-tired/Epdf Epdf Epdf 是一款使用 Rust 编写的 PDF 编辑器,目前仍在开发中。它提供了一系列实用的命令行选项,方便用户对 PDF …

AURIX TC275学习笔记4 官方GTM例程 GTM_TOM_PWM_1

文章目录 概述其他例程 代码分析IfxGtm_enable()IfxGtm_Cmu_enableClocks()IfxGtm_Tom_Pwm_initConfig()IfxGtm_Tom_Pwm_init()IfxGtm_Tom_Pwm_start()fadeLED() 概述 目的&#xf…

【wiki知识库】07.用户管理后端SpringBoot部分

目录 一、今日目标 二、🎈SpringBoot部分类的添加 2.1 使用逆向工程新增User模块 2.2 UserQueryParam添加 2.3 UserSaveParam添加 2.4 UserResetPasswordParam添加 2.5 UserQueryVo添加 2.6 SnowFlake工具类 三、🚆后端新增接口 3.1 /user/li…