python爬虫实战

ops/2024/10/21 4:18:08/
import requests
import json
yes=input('输入页数:')
yes=int(yes)headers = {"accept": "application/json, text/plain, */*","accept-language": "zh-CN,zh;q=0.9","content-type": "application/json","origin": "https://www.gaokao.cn","referer": "https://www.gaokao.cn/","sec-ch-ua": "\"Google Chrome\";v=\"123\", \"Not:A-Brand\";v=\"8\", \"Chromium\";v=\"123\"","sec-ch-ua-mobile": "?0","sec-ch-ua-platform": "\"Windows\"","sec-fetch-dest": "empty","sec-fetch-mode": "cors","sec-fetch-site": "cross-site","user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36"
}
url = "https://api.zjzw.cn/web/api/"
ff=open('x.csv','w')
for paga in range(1,yes):params = {"big_min": "750","keyword": "","local_batch_id": "","local_province_id": "32","local_type_id": "2073","page": str(paga),"province_id": "","size": "20","small_min": "0","type": "","uri": "apidata/api/gk/score/province","year": "2023","zslx": "0","signsafe": "7c6422ab7db981d40fe7115c1b439de2"}data = {"big_min": 750,"keyword": "","local_batch_id": "","local_province_id": "32","local_type_id": "2073","page": paga,"province_id": "","signsafe": "7c6422ab7db981d40fe7115c1b439de2","size": 20,"small_min": 0,"type": "","uri": "apidata/api/gk/score/province","year": "2023","zslx": "0"}data = json.dumps(data, separators=(',', ':'))response = requests.post(url, headers=headers, params=params, data=data)res=response.json()for i in res['data']['item']:a=i['city_name']b=i['county_name']c=i['dual_class_name']d=i['local_batch_id']e=i['local_batch_name']f=i['local_province_name']g=i['local_type_name']h=i['name']j=i['nature_name']k=i['province_name']l=i['sg_info']m=i['zslx_name']n=str(i['min'])ab=a+bsg_name='专业组'+i['sg_name']ff.write(','.join([h,a,b,g,e,c,sg_name,l,n,d,f,m,j,k,'\n']))
ff.close()


http://www.ppmy.cn/ops/32550.html

相关文章

Mysql报错红温集锦(一)(ipynb配置、pymysql登录、密码带@、to_sql如何加速、触发器SIGNAL阻止插入数据)

一、jupyter notebook无法使用%sql来添加sql代码 可能原因: 1、没装jupyter和notebook库、没装ipython-sql库 pip install jupyter notebook ipython-sql 另外如果是vscode的话还需要安装一些相关的插件 2、没load_ext %load_ext sql 3、没正确的登录到mysql…

大模型引领未来:探索其在多个领域的深度应用与无限可能【第七章、大模型在科技、网络安全、农业等方面的应用探索】

大模型引领未来:探索其在多个领域的深度应用与无限可能【第七章、大模型在科技、电商、网络安全、农业等方面的应用】 第七章、大模型在科技、电商、网络安全、农业等方面的应用探索1、大模型在科技上的应用1.1、大模型在科技上可能诞生的应用 2、大模型在网络安全上…

大模型在汽车开发行业中的应用

大模型在汽车开发行业中的应用主要体现在以下几个方面: 自动驾驶技术的推动:大模型技术在自动驾驶领域的应用,不仅加速了自动驾驶算法的训练和优化过程,还直接参与到了决策模型的构建中,使得自动驾驶技术得到了显著的发展。例如,特斯拉通过AI技术实现了车辆的自动驾驶功…

设计模式-03 设计模式-工厂模式factory-内部工厂

设计模式-03 设计模式-工厂模式factory-内部工厂 目录 设计模式-03 设计模式-工厂模式factory-内部工厂 1.定义 2.内涵 3.案例对比 4.特点 4.总结 1.定义 内部工厂模式是一种创建类对象的方式,其中工厂方法被封装在类内部,客户端只能通过类的公共…

手机恢复出厂设置ip地址会变吗

当我们对手机进行恢复出厂设置时,很多人会担心手机的IP地址是否会发生变化。IP地址对于手机的网络连接至关重要,它决定了手机在网络中的身份和位置。那么,手机恢复出厂设置后,IP地址到底会不会发生变化呢?虎观代理小二…

数据仓库实验三:分类规则挖掘实验

目录 一、实验目的二、实验内容和要求三、实验步骤1、创建数据库和表2、决策树分类规则挖掘(1)新建一个 Analysis Services 项目 jueceshu(2)建立数据源视图(3)建立挖掘结构 DST.dmm(4&#xff…

stm32之hal库串口中断和ringbuffer的结合

前言 结合hal库封装的中断处理函数使用rt-thread内部的rt-ringbuffer数据结构源码改造hal库串口部分的源码,将内部静态方法变为弱引用的函数,方便重写标志位采用信号量或变量的两种方式,内部数据分配方式采用动态和静态两种方式 hal库部分串…

【ARM Cortex-M3指南】3:Cortex-M3基础

文章目录 三、Cortex-M3基础3.1 寄存器3.1.1 通用目的寄存器 R0~R73.1.2 通用目的寄存器 R8~R123.1.3 栈指针 R133.1.4 链接寄存器 R143.1.5 程序计数器 R15 3.2 特殊寄存器3.2.1 程序状态寄存器3.2.2 PRIMASK、FAULTMASK和BASEPRI寄存器3.2.3 控制寄存器 3.3 操作模式3.4 异常…