Python爬取东方财富网任意股票任意时间段的Ajax动态加载股票数据

导言

最近由于需求想爬取以下东方财富网的股票数据，但是发现没有想象那么简单，接下来我会讲述一下我遇到的问题以及是如何解决，最后成功的爬出了想要的数据。

查看网页源码

首先我们F12打开东方财富网网页源码，以指南针(300803)为例：
在这里插入图片描述
我们先点击网络，再点击300803.html，再选择右边弹出来的预览或响应，可以发现，源码中并没有我们想要的股票数据，但是再网页中又有我们想要的收盘价等数据，说明这很可能数据是Ajax动态加载出来的，一般而言数据会存储再一个json文件之中。

找出储存数据的json文件

我们很容易找到当前网页中该股票的当日收盘价，所以我们可以以此为关键词进行搜索，搜索步骤为：在页面右边的网页信息页面，ctrl+F，即可打开搜索框，结果如下图所示，发现有三个url文件包含该数值：
在这里插入图片描述
点击进去可以发现里面都有大量的数据，这些数据也是网页所显示的数据来源，根据不同的数据需求，选择某一个url进行数据提取，接下来的数据提取以第二个URL为例，即K线图的原始数据。

解析URL地址

该URL地址为：

https://push2his.eastmoney.com/api/qt/stock/kline/get?cb=jQuery1123008330414708828249_1669967900108&fields1=f1%2Cf2%2Cf3%2Cf4%2Cf5%2Cf6&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61&ut=b2884a393a59ad64002292a3e90d46a5&klt=101&fqt=1&secid=0.300803&beg=20201202&end=20500000&_=1669967900117

可以发现里面有许多查询参数，我们需要一个一个进行分析。

cb

该参数值为：

jQuery1123008330414708828249_1669967900108

通过查看其他股票代码的网页可以发现，前缀jQuery是不变的，后面的一串数字有变化。点击上一张图负载旁边的发起程序，可以发现发送操作和异步加载操作的来源是

jquery.min.js

在这里插入图片描述
因此，打开该js文件，ctr+F搜索jQuery可以发现cb参数的来源，如下图所示。结果表明该参数值是通过JS代码赋值的。往前搜索m可以发现m为一个固定的字符串值1.12.3，这应该是版本号；后面再添加一个0到1随机数组合为一个字符串；最后的replace操作则是对该字符串所有非数字字符替换为空。因此下划线前面的数字已经被解读出来了。
在这里插入图片描述
通过上图可以发现，该参数首先被赋值给变量expando，通过搜索我们很快的可以找到下划线后面的数字来源，如下图所示：

因此，这个变量Eb是关键。同理我们搜索变量Eb，可以发现该变量是一个时间戳，考虑其位数，可以联想到对当前书简戳乘以1000再取整，经过检验是正确的。
在这里插入图片描述
因而我们解读出了该参数的构成，python代码实现如下：

jq = re.sub('\D','','1.12.3'+str(random.random()))
tm = int(time.time()*1000)
'jQuery{}_{}'.format(jq,tm)

fields1,fields2,ut,klt1,fqt

经过对多个不同股票数据查询的参数对比，容易发现，这些参数都是一个固定值，只需要赋值即可

secid

显而易见，该参数值小数点后是股票代码。经过对上交所，深交所，北交所的股票数据查询发现，若为上交所股票，小数点前为1，否则为0，所以python代码构建该参数如下：

 c = 1 if code[0]=='6' else 0{}.{}'.format(c,code)

beg,end,_

很显然，这两个参数就是股票数据查询的起始日期和终止日期；可以发现，下划线参数与前面的cb参数的时间戳是一致的。

完整代码

最后，完整爬取代码如下，该代码只是简单的进行了函数包装，有精力的小伙伴可以将其包装为一个类，本人水平有限，代码仅供参考：

#爬虫程序
import requests
from lxml import etree
#from fake_useragent import UserAgent
import random
import time
import urllib
import json
#ua = UserAgent()def Spider_stock(code_list,begin,end='20500000'):url = 'https://push2his.eastmoney.com/api/qt/stock/kline/get?'header ={'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.62",'Cookie':'qgqp_b_id=e66305de7e730aa89f1c877cc0849ad1; qRecords=%5B%7B%22name%22%3A%22%u6D77%u9E25%u4F4F%u5DE5%22%2C%22code%22%3A%22SZ002084%22%7D%5D; st_pvi=80622161013438; st_sp=2022-09-29%2022%3A47%3A13; st_inirUrl=https%3A%2F%2Fcn.bing.com%2F; HAList=ty-1-000300-%u6CAA%u6DF1300%2Cty-0-002108-%u6CA7%u5DDE%u660E%u73E0%2Cty-1-600455-%u535A%u901A%u80A1%u4EFD%2Cty-0-002246-%u5317%u5316%u80A1%u4EFD','Referer':'https://data.eastmoney.com/','Host':'push2his.eastmoney.com'}stock_df = pd.DataFrame(columns=['股票代码','股票名称',"时间",'开盘价','收盘价','最高价','最低价',"涨跌幅",'涨跌额',"成交量","成交额","振幅","换手率"])for code in code_list:#构建url参数jq = re.sub('\D','','1.12.3'+str(random.random()))tm = int(time.time()*1000)c = 1 if code[0]=='6' else 0params={'cb':'jQuery{}_{}'.format(jq,tm),'fields1':urllib.request.unquote('f1%2Cf2%2Cf3%2Cf4%2Cf5%2Cf6',encoding='utf-8'),'fields2':urllib.request.unquote('f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61',encoding='utf-8'),'ut':'b2884a393a59ad64002292a3e90d46a5','klt':'101','fqt':'1','secid':'{}.{}'.format(c,code),'beg':begin,'end':end,'_':'{}'.format(tm)}#发送请求res = requests.get(url.format(code),headers=header,params=params)res.encoding="utf-8"#去除js数据中的无关字符，以便符合json数据格式html = res.text.lstrip('jQuery{}_{}'.format(jq,tm)+'(')html = html.rstrip(');')#转换为json数据js_html = json.loads(html)js_data = js_html['data']js_klines = js_data['klines']day_num = len(js_klines)for num in range(day_num):stock_df.loc[len(stock_df)]=[str(js_data['code']),js_data['name'],js_klines[num].split(",")[0],js_klines[num].split(",")[1],js_klines[num].split(",")[2],js_klines[num].split(",")[3],js_klines[num].split(",")[4],js_klines[num].split(",")[8],js_klines[num].split(",")[9],js_klines[num].split(",")[5],js_klines[num].split(",")[6],js_klines[num].split(",")[7],js_klines[num].split(",")[10]]time.sleep(0.1)return stock_df
if __name__ == '__main__':stock_df = Spider_stock(code_list,begin='20220915')