beautifulSoup爬取网络数据

news/2024/11/17 4:47:36/

beautifulSoup可以方便的爬取网络数据,下面代码为获取历史天气数据:

import requests
from bs4 import BeautifulSoup
import pandas as pd#获取天气数据
url='http://lishi.tianqi.com/chengdu/202209.html'
headers=headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'}#获取网站数据
def get_page(url,headers):html=requests.get(url,headers=headers)if html.status_code==200:html.encoding=html.apparent_encodingreturn html.textelse:return None#解析数据
htmltext=get_page(url,headers)
bs=BeautifulSoup(htmltext,features="html.parser")
data=bs.find_all("ul",class_="thrui")#查看解析数据
# print(type(data))
# print(data)#获取日期
dateBox=[]
weekBox=[]
date1=data[0].find_all('div',class_='th200')
for i in date1:temp=i.stringdateBox.append(temp[0:10])weekBox.append(temp[10:])#print(dateBox)
#print(weekBox)
#-----------------------------------------------------#获取最高温度、最低温度、天气和风力
maxTemp=[]
minTemp=[]
weather=[]
wind=[]date2=data[0].find_all('div',class_="th140")
length=len(date2)
i=0
while i<length:maxTemp.append(date2[i+0].string)minTemp.append(date2[i+1].string)weather.append(date2[i+2].string)wind.append(date2[i+3].string)i=i+4# print(maxTemp)
# print(minTemp)
# print(weather)
# print(wind)
#------------------------------------------------tempdatas=pd.DataFrame({'日期':dateBox,'星期':weekBox,'最高温度':maxTemp,'最低温度':minTemp,'天气':weather,'风向':wind})
print(tempdatas)

得到的结果:

            日期     星期 最高温度 最低温度  天气      风向
0   2022-09-01   星期四   27℃  18℃  多云   南风 2级        
1   2022-09-02   星期五   24℃  18℃  多云   东风 2级        
2   2022-09-03   星期六   22℃  18℃  小雨  西南风 2级       
3   2022-09-04   星期日   27℃  19℃  多云  西南风 2级       
4   2022-09-05   星期一   32℃  19℃   雾  西南风 1级        
5   2022-09-06   星期二   34℃  20℃  多云   西风 1级        
6   2022-09-07   星期三   28℃  19℃   雾   北风 2级
7   2022-09-08   星期四   21℃  18℃  小雨  西北风 1级       
8   2022-09-09   星期五   26℃  18℃   雾   南风 1级
9   2022-09-10   星期六   28℃  19℃   雾   东风 1级
10  2022-09-11   星期日   30℃  20℃   雾  西北风 1级        
11  2022-09-12   星期一   30℃  21℃  多云   北风 3级        
12  2022-09-13   星期二   27℃  22℃   阴  东北风 2级        
13  2022-09-14   星期三   20℃  19℃  大雨  东北风 2级       
14  2022-09-15   星期四   21℃  19℃  小雨   南风 1级        
15  2022-09-16   星期五   24℃  20℃   雾  东北风 1级        
16  2022-09-17   星期六   24℃  21℃  小雨   北风 1级        
17  2022-09-18   星期日   26℃  21℃   雾   北风 1级
18  2022-09-19   星期一   24℃  19℃   雾   北风 2级
19  2022-09-20   星期二   24℃  18℃   阴   南风 1级
20  2022-09-21   星期三   26℃  18℃  多云  东南风 2级       
21  2022-09-22   星期四   24℃  17℃   雾   北风 2级
22  2022-09-23   星期五   17℃  15℃  中雨  东北风 2级       
23  2022-09-24   星期六   22℃  16℃   雾  东北风 1级        
24  2022-09-25   星期日   25℃  18℃   雾   南风 1级
25  2022-09-26   星期一   22℃  17℃  小雨   北风 1级        
26  2022-09-27   星期二   22℃  17℃   雾   南风 1级
27  2022-09-28   星期三   28℃  17℃   雾   南风 2级
28  2022-09-29   星期四   26℃  19℃  多云  西南风 1级
29  2022-09-30   星期五   28℃  20℃   雾   东风 2级


http://www.ppmy.cn/news/668386.html

相关文章

微软128核服务器,王思聪的百万元电脑:64核心128线程/跑分世界第四

王思聪装电脑了&#xff0c;哦不&#xff0c;是服务器。 近日&#xff0c;电丸科技受邀&#xff0c;到上海王思聪家&#xff0c;和校长一起搭建服务器&#xff0c;架设网络。整系列视频将有3到4期&#xff0c;第一期已经上线&#xff0c;主要是介绍校长价值百万的服务器以及如何…

王思聪花100万组装电脑!跑分97000,亚洲排名第一,全世界第四。

????????关注后回复 “进群” &#xff0c;拉你进程序员交流群???????? 来源丨人工智能那点事 8月4日&#xff0c;博主电丸科技AK 发布最新视频&#xff0c;记录其受邀帮助王思聪组装电脑的经历。 据视频介绍&#xff0c;王思聪组装的这台电脑预计花费100万元&…

蔚来真题:Redis跳跃表是如何添加元素的?

今天分享的这道题来自于蔚来的真实面试题。 Java 面试不可能不问 Redis&#xff0c;问到 Redis 不可能不问 Redis 的常用数据类型&#xff0c;问到 Redis 的常用数据类型&#xff0c;不可能不问跳跃表&#xff0c;当问到跳跃表经常会被问到跳跃表的查询和添加流程&#xff0c;…

学习node.js模块机制

一、CommonJS的模块规范 Node与浏览器以及 W3C组织、CommonJS组织、ECMAScript之间的关系 Node借鉴CommonJS的Modules规范实现了一套模块系统&#xff0c;所以先来看看CommonJS的模块规范。 CommonJS对模块的定义十分简单&#xff0c;主要分为模块引用、模块定义和模块标识3…

30强争夺战即将开启 巅峰对决一触即发

在飞速发展的技术和激烈的市场竞争中&#xff0c;企业必须不断的进步才有机会在市场中续存下去。为了帮助国内的电子产业链条当中的相关企业&#xff0c;在面对经济全球化及日新月异的用户需求中能够不断的做大做强&#xff0c;慧聪电子网、慧聪芯城联合举办了第三届HCFT智能硬…

正则十八式-第三式:龙跃于渊

少年&#xff0c;见你骨骼精奇&#xff0c;是百年一遇的练武奇才&#xff0c;你我又是有缘人&#xff0c;随为师修炼吧 正则十八式-第一式&#xff1a;直捣黄龙正则十八式-第二式&#xff1a;控鹤擒龙正则十八式-第三式&#xff1a;龙跃于渊正则十八式-第四式 挫骨扬灰 接上篇:…

你学习了Python,再看此文,这是一篇可以给你带来外快的文章,不夸张

这次文章为什么这么慢&#xff1f;是因为上周铲屎官独自撇下皮克啪&#xff0c;飞去日本给女朋友过18岁生日&#xff0c;浪了几天&#xff0c;啊哈哈哈哈。 这几天明显&#xff0c;北京的会开完了&#xff0c;空气质量&#xff0c;呵呵&#xff0c;呵呵呵呵。 那么这期我们来聊…

【渝粤题库】陕西师范大学201591 中国古代文学(二)作业(高起本)

《中国古代文学&#xff08;二&#xff09;》高起本作业 一、单项选择题 1.建安作家中&#xff0c;留存作品最多、成就最大的作家是&#xff1a; A曹操 B曹丕 C曹植 D王粲 E蔡琰 2&#xff0e;“骨气奇高&#xff0c;词采华茂”是《诗品》对下列哪位诗人作出的评价&#xff1a;…