LSTM实现天气模型训练与预测

server/2024/12/19 16:29:45/

要实现一个天气预测的模型,并确保该模型可以反复进行训练和更新,先设计:

设计方案

  1. 数据获取

    • 使用公开的天气数据API(例如OpenWeather API或其他类似的API)获取天气数据。
    • 确保数据以合适的格式(如CSV或JSON)进行存储和处理,数据应该包含时间戳、温度、湿度、降水量等字段。
  2. 数据预处理

    • 对天气数据进行清洗,包括处理缺失值、异常值、日期时间格式处理等。
    • 将数据转化为适合机器学习模型训练的格式,进行特征工程(如标准化、归一化等)。
  3. 模型选择

    • 使用时间序列预测模型(如ARIMA、Prophet)或机器学习模型(如Random Forest、XGBoost等)来进行天气预测。
    • 如果需要处理多种特征(如温度、湿度等),可以选择集成方法或深度学习模型(如LSTM、GRU等)。
  4. 训练与评估

    • 将数据分为训练集和测试集,进行模型训练,并使用交叉验证等方法来评估模型性能。
    • 训练后保存模型(可以使用joblib、pickle等工具)以便反复使用。
  5. 模型更新

    • 定期获取新的数据并用其进行模型更新。
    • 需要设置定时任务,自动下载新数据并更新模型。

详细实现

以下是设计后的方案和代码:

项目文件夹结构

weather-prediction/
├── data/
│   ├── raw/                  # 原始天气数据文件
│   ├── processed/            # 预处理后的数据文件
│   └── model/                # 存储训练好的模型
├── scripts/
│   ├── download_weather_data.py   # 下载天气数据并保存为CSV
│   ├── preprocess_data.py         # 数据预处理脚本
│   ├── train_model.py            # 训练LSTM模型脚本
│   ├── continue_training.py      # 持续训练脚本
│   └── predict_weather.py        # 预测天气脚本
├── models/
│   ├── weather_lstm_model.h5    # 保存的LSTM模型
└── requirements.txt           # 项目依赖包

详细步骤

  1. 下载天气数据脚本(download_weather_data.py:从API获取并保存到CSV文件。
  2. 数据预处理脚本(preprocess_data.py:加载CSV,处理数据并保存为标准格式。
  3. 训练模型脚本(train_model.py:使用LSTM模型进行训练并保存模型。
  4. 持续训练脚本(continue_training.py:加载已保存的模型,使用新数据进行模型更新。
  5. 预测天气脚本(predict_weather.py:使用训练好的模型进行天气预测。

1. 下载天气数据并保存到CSV文件(download_weather_data.py

import requests
import pandas as pd
import os
from datetime import datetime# 下载天气数据
def fetch_weather_data(api_key, city="Beijing"):url = f"http://api.openweathermap.org/data/2.5/forecast?q={city}&appid={api_key}&units=metric"response = requests.get(url)data = response.json()weather_data = []for item in data['list']:weather_data.append({"datetime": item['dt_txt'],"temperature": item['main']['temp'],"humidity": item['main']['humidity'],"pressure": item['main']['pressure'],"wind_speed": item['wind']['speed'],"rain": item.get('rain', {}).get('3h', 0)})df = pd.DataFrame(weather_data)return dfdef save_weather_data_to_csv(df, filename="../data/raw/weather_data.csv"):if not os.path.exists(os.path.dirname(filename)):os.makedirs(os.path.dirname(filename))df.to_csv(filename, index=False)print(f"Weather data saved to {filename}")def main():api_key = "your_openweather_api_key"city = "Beijing"df = fetch_weather_data(api_key, city)save_weather_data_to_csv(df)if __name__ == "__main__":main()

2. 数据预处理脚本(preprocess_data.py

import pandas as pd
from sklearn.preprocessing import StandardScaler
import osdef load_data(filename="../data/raw/weather_data.csv"):df = pd.read_csv(filename)df['datetime'] = pd.to_datetime(df['datetime'])return dfdef preprocess_data(df):# 时间特征处理df['hour'] = df['datetime'].dt.hourdf['day'] = df['datetime'].dt.dayofweekdf['month'] = df['datetime'].dt.monthdf['year'] = df['datetime'].dt.year# 特征选择features = ['temperature', 'humidity', 'pressure', 'wind_speed', 'rain', 'hour', 'day', 'month', 'year']df = df[features]# 标准化特征scaler = StandardScaler()df[features] = scaler.fit_transform(df[features])return df, scalerdef save_processed_data(df, filename="../data/processed/processed_weather_data.csv"):df.to_csv(filename, index=False)print(f"Processed data saved to {filename}")def main():df = load_data()processed_data, scaler = preprocess_data(df)save_processed_data(processed_data)return scalerif __name__ == "__main__":main()

3. 训练LSTM模型脚本(train_model.py

import pandas as pd
import numpy as np
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense, Dropout
from sklearn.model_selection import train_test_split
import osdef load_processed_data(filename="../data/processed/processed_weather_data.csv"):return pd.read_csv(filename)def prepare_lstm_data(df, time_steps=10):X, y = [], []for i in range(time_steps, len(df)):X.append(df.iloc[i-time_steps:i, :-1].values)  # 选择过去的时间步作为特征y.append(df.iloc[i, 0])  # 预测当前温度X, y = np.array(X), np.array(y)return X, ydef create_lstm_model(input_shape):model = Sequential([LSTM(50, return_sequences=True, input_shape=input_shape),Dropout(0.2),LSTM(50, return_sequences=False),Dropout(0.2),Dense(1)])model.compile(optimizer='adam', loss='mean_squared_error')return modeldef train_model(X, y):X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)model = create_lstm_model((X_train.shape[1], X_train.shape[2]))model.fit(X_train, y_train, epochs=20, batch_size=32, validation_data=(X_test, y_test))return modeldef save_model(model, filename="../models/weather_lstm_model.h5"):if not os.path.exists(os.path.dirname(filename)):os.makedirs(os.path.dirname(filename))model.save(filename)print(f"Model saved to {filename}")def main():df = load_processed_data()X, y = prepare_lstm_data(df)model = train_model(X, y)save_model(model)if __name__ == "__main__":main()

4. 持续训练脚本(continue_training.py

import tensorflow as tf
import pandas as pd
from train_model import load_processed_data, prepare_lstm_data, create_lstm_model, save_model
import osdef load_model(filename="../models/weather_lstm_model.h5"):return tf.keras.models.load_model(filename)def continue_training(model, df, time_steps=10):X, y = prepare_lstm_data(df, time_steps)model.fit(X, y, epochs=10, batch_size=32)return modeldef main():df = load_processed_data()model = load_model()updated_model = continue_training(model, df)save_model(updated_model)if __name__ == "__main__":main()

5. 预测天气脚本(predict_weather.py

import tensorflow as tf
import pandas as pd
from train_model import prepare_lstm_datadef load_model(filename="../models/weather_lstm_model.h5"):return tf.keras.models.load_model(filename)def predict_weather(model, df, time_steps=10):X, _ = prepare_lstm_data(df, time_steps)predictions = model.predict(X)return predictionsdef main():df = pd.read_csv("../data/processed/processed_weather_data.csv")model = load_model()predictions = predict_weather(model, df)print(predictions)if __name__ == "__main__":main()

6. 依赖文件(requirements.txt

pandas
numpy
scikit-learn
tensorflow
requests

代码说明

  1. 下载天气数据并保存

    • download_weather_data.py脚本从OpenWeather API获取数据并保存为CSV文件。
  2. 数据预处理

    • preprocess_data.py脚本进行数据清洗、标准化以及特征处理,保存为预处理过的CSV文件。
  3. 训练LSTM模型

    • train_model.py通过使用过去的时间序列数据来训练LSTM模型,并保存模型。
  4. 持续训练

    • continue_training.py脚本加载已保存的模型,并继续使用新数据进行训练。
  5. 预测天气

    • predict_weather.py加载训练好的模型并对新数据进行天气预测。

没有谁生来就是优秀的人,你可以不优秀,但是不可以失去动力,不求上进,只会荒废一生。


http://www.ppmy.cn/server/151481.html

相关文章

前端学习-操作元素内容(二十二)

目录 前言 目标 对象.innerText 属性 对象.innerHTML属性 案例 年会抽奖 需求 方法一 方法二 总结 前言 曾经沧海难为水,除却巫山不是云。 目标 能够修改元素的文本更换内容 DOM对象都是根据标签生成的,所以操作标签,本质上就是操作DOM对象,…

利用卷积神经网络进行手写数字的识别

数据集介绍 MNIST(Modified National Institute of Standards and Technology)数据集是一个广泛使用的手写数字识别数据集,常用于机器学习和计算机视觉领域中的分类任务。它包含了从0到9的手写数字样本,常用于训练和测试各种图像…

2024年贵州技能大赛暨全省第二届数字技术应用职业技能竞赛“信息通信网络运行管理员”赛题

1.分析attack.pcapng数据包文件,通过分析数据包 attack.pcapng找出恶意用户第一次访问HTTP服务的数据包是第 几号,将该号数作为Flag值提交; flag{277} 2.继续查看数据包文件attack.pcapng,分析出恶意用户扫 描了哪些端口&#xf…

深度学习中的激活函数

激活函数(activation function)是应用于网络中各个神经元输出的简单变换,为其引入非线性属性,使网络能够对更复杂的数据进行建模,使其能够学习更复杂的模式。如果没有激活函数,神经元只会对输入进行枯燥的线性数学运算。这意味着&…

视频生成缩略图

文章目录 视频生成缩略图使用ffmpeg 视频生成缩略图 最近有个需求&#xff0c;视频上传之后在列表和详情页需要展示缩略图 使用ffmpeg 首先引入jar包 <dependency><groupId>org.bytedeco</groupId><artifactId>javacpp</artifactId><vers…

《向量数据库指南》——Milvus Cloud 2.5:Sparse-BM25引领全文检索新时代

Milvus Cloud BM25:重塑全文检索的未来 在最新的Milvus Cloud 2.5版本中,我们自豪地引入了“全新”的全文检索能力,这一创新不仅巩固了Milvus Cloud在向量数据库领域的领先地位,更为用户提供了前所未有的灵活性和效率。作为大禹智库的向量数据库高级研究员,以及《向量数据…

低延迟!实时处理!中软高科AI边缘服务器,解决边缘计算多样化需求!

根据相关统计&#xff0c;随着物联网的发展和5G技术的普及&#xff0c;到2025年&#xff0c;全球物联网设备连接数将达到1000亿&#xff0c;海量的计算数据使得传输到云端再处理的云计算方式显得更捉襟见肘。拥有低延迟、实时处理、可扩展性和更高安全性的边缘计算应运而生&…

使用k6进行kafka负载测试

1.安装环境 kafka环境 参考Docker搭建kafka环境-CSDN博客 xk6-kafka环境 ./xk6 build --with github.com/mostafa/xk6-kafkalatest 查看安装情况 2.编写脚本 test_kafka.js // Either import the module object import * as kafka from "k6/x/kafka";// Or in…