Python实战,爬取金融期货数据

news/2024/11/30 5:52:08/

大家好,我是毕加锁

今天给大家带来的是 Python实战,爬取金融期货数据

 

文末送书! 文末送书! 文末送书!

任务简介

  首先,客户原需求是获取https://hq.smm.cn/copper网站上的价格数据(注:获取的是网站上的公开数据),如下图所示:

  如果以该网站为目标,则需要解决的问题是“登录”用户,再将价格解析为表格进行输出即可。但是,实际上客户核心目标是获取“沪铜CU2206”的历史价格,虽然该网站也有提供数据,但是需要“会员”才可以访问,而会员需要氪金......

数据的价值!!!

  鉴于,客户需求仅仅是“沪铜CU2206”一项期货的历史价格,氪金会员性价比不高,因此,实际的任务目标变为如何获取的历史价格,目标变为全网有公开提供数据的网址。而最终解决该问题,是求助于万能的百度^_^。找到了合适的网站,且获取数据的难度也几乎降到了最低难度。

解决步骤

  1. 百度搜索资源:这个步骤是整个任务完整的最难点(实际不难),但这里卖个关子,全文不公布最终找到的网站,大家试试看能否搜索到,以及花费多少时间^_^。

  2. 解析网站的请求,最终找到的网站经解析后,发现获取数据是通过get的方式提交参数。而请求的参数如下:/price?starttime=1638545822&endtime=1654357022&classid=48,一看就知是开始时间、结束时间的时间戳,以及商品id。再解析headers,居然连cookie都不需要,说明没有反爬!没有反爬!没有反爬!不得不说运气爆棚!

  3. 解析响应数据:由于响应数据是规整的json格式数据,使用pandas的read_json直接能够获取dataframe格式的数据,该步骤也并无难度。

代码实现

  鉴于网站没有反爬,且参数简单,实际上的任务主要是规划一下如何设计增量更新数据信息的流程,具体代码如下:

总结

  从技术角度来看,经过一步步解析,任务是简单的,入门requests爬虫以及入门pandas数据分析就可以完成(唯一的难度在找到合适的目标)。但是换个角度,从经济价值来看,又是很有价值的,即节约了某网站高昂的年费(注:并不是说年费不值得,只是局限在需求仅仅是CU2206一项数据上时,性价比太低),同时又避免了人工操作的繁琐,以及可能产生的错误。用很小的学习成本就能解决大大的问题,所以,还等什么呢?开启Python之路吧!

送书福利

图书简介◆
《Python金融量化分析》是有关Python在金融量化分析领域应用的一本从入门到精通类图书。全书分4篇共10章。第1篇(第1~3章)简单介绍了Python的基础知识,包括数据类型、循环体、函数、类与面向对象,以及常用的标准库与扩展库;第2篇(第4~6章)介绍了Python在金融量化交易中的应用,包括资产类别、衍生品等金融基础知识,数学与统计学基础知识,以及量化投资策略开发的一般化流程;第3篇(第7、8章)介绍了Python在量化风险管理中的应用,包括风险类别的介绍、市场因子的模拟,以及投资组合优化;第4篇(第9、10章)用5个实战案例具体演示了Python在金融量化分析中的应用。

在此评论区 评论“人生苦短 我学python”即可参与抽奖


http://www.ppmy.cn/news/35918.html

相关文章

reposync命令详解--reposync同步aliyunyum库到本地

参考: reposync - 命令 - -桃枝夭夭- - 博客园 0. 简介 reposync 命令简单来说就是可以把指定外网源(repo id)的包同步到本地文件中 1. 安装 reposync 命令 [rootV10SP1-1 ~]# yum install -y dnf-plugins-core2. 常用选项以及参数 选项含义-c [fil…

现在大专生转IT可行吗?

当然可行的。 大专也是人,为什么不可以选择喜欢的专业学习,现在大学生遍地都是,学历已经不是限制你发展的因素了。有的人就是不擅长理论学习,更喜欢技术。IT也只是一个普普通通的技术行业,跟其他技术行业一样&#xf…

宝塔面板部署node+vue项目注意事项

宝塔面板部署nodevue项目注意事项 宝塔连接云服务器 如果服务器上没有安装宝塔面板,需要先安装,安装流程如下: 从宝塔官网主页进去,点击下载安装,然后点击在线安装 输入服务器IP和密码在服务器上安装宝塔面板 等待一…

恒讯科技报告:2021-2026年泰国数据中心市场机会

到2026 年,泰国数据中心市场将见证 10 亿美元的投资,并在 2021-2026 年间以 8% 的复合年增长率增长。 本报告提供了对泰国数据中心市场份额的分析,并对现有和即将到来的设施、数据中心在 IT、电气、机械基础设施、一般建筑和地理方面的投资进…

企业做GOTS需要准备什么

【企业做GOTS需要准备什么】 全球有机纺织品认证标准(Global Organic Textile Standard),简称为GOTS。全球有机纺织品GOTS标准旨在规定有机纺织品从其原料收获、对社会和环境负有责任的加工、再至标识的整个过程需确保有机状态,从…

大模型时代下做科研的四个思路

背景 在模型越来越大的时代背景下,如何利用有限的资源做出一些科研工作。 四个方向 1、Efficient(PEFT) 提升训练效率,这里以PEFT(parameter efficient fine tuning)为例 2、Existing stuff(pretrained model)、New directions 使用别人的预训练模…

第09章 MyBatisPlus实现查询功能

序言 1.内容介绍 ​ 本章介绍了查询API的核心语法实现,分别针对于单条以及多条信息的查询进行了一 一语法描述,同时采用实战演练的方式依次演示了根据ID查询用户信息、实现账户登录操作以及多参数查询等实战案例。 2.理论目标 掌握基于Get方式查询的…

【Unity游戏开发教程】零基础带你从小白到超神30——UI组件

UI设计又称界面设计,是指对软件的人机交互、操作逻辑、界面美观的整体设计,UI就相当于人可以看到的界面,并且可以对UI进行交互。 Unity 3D的UI,分为UGUI和GUI,UGUI主要是图形渲染界面,搭建方便&#xff0c…