BP回归详细介绍
源码
什么是BP回归?
BP回归(反向传播神经网络回归)是一种基于**反向传播(Backpropagation)**算法的神经网络模型,用于解决回归问题。BP神经网络是一种前馈神经网络,通过前向传播计算输出结果,并通过反向传播算法调整网络的权重和阈值,以最小化预测值与真实值之间的误差。BP回归广泛应用于预测、拟合和函数逼近等任务,具有强大的非线性建模能力和良好的泛化性能。
BP回归的组成部分
-
输入层:
- 接收输入数据的特征向量,每个节点对应一个特征。
-
隐藏层:
- 一个或多个隐藏层,每层包含若干神经元。
- 使用非线性激活函数(如Sigmoid、ReLU等),增强网络的表达能力。
-
输出层:
BP回归的工作原理
-
初始化阶段:
- 网络结构设定:确定输入层、隐藏层和输出层的节点数。
- 权重初始化:随机初始化网络的权重和阈值。
-
前向传播:
- 将输入数据通过网络各层进行计算,得到输出结果。
-
误差计算:
- 计算输出结果与真实值之间的误差,常用的误差函数包括均方误差(MSE)。
-
反向传播:
- 根据误差函数对网络权重和阈值进行梯度下降优化,调整权重以减少误差。
-
迭代训练:
- 重复前向传播和反向传播过程,直至误差收敛或达到预设的迭代次数。
BP回归的优势
-
强大的非线性建模能力:
- 能够拟合复杂的非线性关系,适用于多种回归任务。
-
良好的泛化性能:
- 通过适当的正则化和网络结构设计,BP回归具有较好的泛化能力,能在未见数据上表现良好。
-
灵活的网络结构:
- 可以根据具体问题调整隐藏层数量和神经元数目,以适应不同复杂度的任务。
-
广泛的应用领域:
- 适用于预测、拟合、函数逼近等多种应用场景。
BP回归的应用
BP回归广泛应用于各类需要精确预测和拟合的领域,包括但不限于:
-
金融预测:
- 股票价格预测:预测股票市场的未来价格走势。
- 经济指标预测:预测GDP、通胀率等宏观经济指标。
-
工程与制造:
- 设备寿命预测:预测设备的剩余使用寿命。
- 质量控制:拟合和预测制造过程中关键参数。
-
环境科学:
- 气象预测:预测温度、降水量等气象指标。
- 污染物浓度预测:预测空气或水体中的污染物浓度。
-
医疗健康:
- 疾病风险预测:预测个体患某种疾病的风险。
- 医疗费用预测:预测患者的医疗费用支出。
-
市场营销:
- 销售预测:预测产品的未来销售量。
- 客户行为预测:预测客户的购买行为和偏好。
如何使用BP回归
使用BP回归模型主要包括以下步骤:
-
准备数据集:
- 数据收集与整理:确保数据的完整性和准确性,处理缺失值和异常值。
- 数据划分:将数据集划分为训练集和测试集,常用比例为70%训练集和30%测试集。
- 数据预处理:对数据进行归一化或标准化处理,以提高模型的训练效果和稳定性。
-
设置神经网络参数:
-
训练网络:
- 使用训练集数据训练BP神经网络,调整权重和阈值以最小化预测误差。
-
模型测试与评估:
- 使用测试集数据对训练好的BP回归模型进行预测,计算预测误差和其他性能指标。
-
结果分析与可视化:
使用BP回归的步骤示例
以下以一个具体的步骤示例,说明如何在MATLAB中实现BP回归:
-
数据准备:
- 确保数据集
数据集.xlsx
的最后一列为目标变量,其他列为输入特征。 - 使用MATLAB读取数据,并进行随机打乱、划分训练集和测试集。
- 确保数据集
-
数据预处理:
- 对输入数据和目标变量进行归一化处理,确保数据在相同的尺度范围内,提高模型训练效果和稳定性。
-
网络构建与参数设置:
- 创建一个BP神经网络,设定隐藏层节点数(如5个节点)。
- 设置BP网络的训练参数,如学习率、最大训练次数和目标误差。
-
网络训练与测试:
- 使用训练集数据训练BP神经网络,调整网络权重和阈值。
- 使用训练好的网络对训练集和测试集进行预测,计算预测误差。
-
结果可视化:
- 绘制训练集和测试集的真实值与预测值对比图,直观展示回归效果。
- 绘制误差曲线,观察训练过程中误差的变化趋势。
- 绘制真实值与预测值的散点图,评估模型的拟合能力。
-
性能评价:
- 计算均方根误差(RMSE)、决定系数(R²)、平均绝对误差(MAE)、平均偏差误差(MBE)和平均绝对百分比误差(MAPE)等回归性能指标,全面评估模型性能。
通过上述步骤,用户可以利用BP回归模型高效地解决各种回归问题,提升模型的预测准确性和鲁棒性。
代码简介
该MATLAB代码实现了基于**反向传播(BP)**神经网络的回归算法,简称“BP回归”。其主要流程如下:
-
数据预处理:
- 导入数据集,并随机打乱数据顺序。
- 将数据集划分为训练集和测试集。
- 对输入数据和目标变量进行归一化处理,以提高训练效果和稳定性。
-
神经网络构建:
- 使用BP神经网络作为基础模型。
- 设置隐藏层的节点数(如5个节点)。
-
模型训练与测试:
- 使用训练集数据训练BP神经网络,调整网络权重和阈值。
- 对训练集和测试集进行预测,并计算预测误差。
-
结果分析与可视化:
- 绘制预测结果对比图。
- 绘制误差曲线。
- 计算并显示相关回归性能指标(R²、MAE、MBE、MAPE、RMSE)。
- 绘制真实值与预测值的散点图,评估模型的拟合能力。
以下是添加了详细中文注释的BP回归MATLAB代码。
MATLAB代码(添加详细中文注释)
%% 初始化
clear % 清除工作区变量
close all % 关闭所有图形窗口
clc % 清空命令行窗口
warning off % 关闭警告信息%% 导入数据
res = xlsread('数据集.xlsx'); % 从Excel文件中读取数据,假设最后一列为目标变量%% 数据分析
num_size = 0.7; % 设定训练集占数据集的比例(70%训练集,30%测试集)
outdim = 1; % 最后一列为输出
num_samples = size(res, 1); % 计算样本个数(数据集中的行数)
res = res(randperm(num_samples), :); % 随机打乱数据集顺序,以避免数据排序带来的偏差(如果不希望打乱可注释该行)
num_train_s = round(num_size * num_samples); % 计算训练集样本个数(四舍五入)
f_ = size(res, 2) - outdim; % 输入特征维度(总列数减去输出维度)%% 划分训练集和测试集
P_train = res(1: num_train_s, 1: f_)'; % 训练集输入,转置使每列为一个样本
T_train = res(1: num_train_s, f_ + 1: end)'; % 训练集输出,转置使每列为一个样本
M = size(P_train, 2); % 训练集样本数P_test = res(num_train_s + 1: end, 1: f_)'; % 测试集输入,转置使每列为一个样本
T_test = res(num_train_s + 1: end, f_ + 1: end)'; % 测试集输出,转置使每列为一个样本
N = size(P_test, 2); % 测试集样本数%% 数据归一化
[p_train, ps_input] = mapminmax(P_train, 0, 1); % 对训练集输入进行归一化,范围[0,1]
p_test = mapminmax('apply', P_test, ps_input ); % 使用训练集的归一化参数对测试集输入进行归一化[t_train, ps_output] = mapminmax(T_train, 0, 1); % 对训练集输出进行归一化,范围[0,1]
t_test = mapminmax('apply', T_test, ps_output ); % 使用训练集的归一化参数对测试集输出进行归一化%% 转置以适应模型
p_train = p_train'; p_test = p_test'; % 转置输入数据,使每列为一个样本
t_train = t_train'; t_test = t_test'; % 转置输出数据,使每列为一个样本%% 创建网络
net = newff(p_train, t_train, 5); % 创建前馈神经网络,隐藏层节点数为5%% 设置训练参数
net.trainParam.epochs = 1000; % 设置最大训练次数为1000
net.trainParam.goal = 1e-6; % 设置训练目标误差为1e-6
net.trainParam.lr = 0.01; % 设置学习率为0.01%% 训练网络
net = train(net, p_train, t_train); % 使用训练集数据训练网络,调整权重和阈值%% 仿真测试
t_sim1 = sim(net, p_train); % 使用训练集数据进行仿真预测
t_sim2 = sim(net, p_test ); % 使用测试集数据进行仿真预测%% 数据反归一化
T_sim1 = mapminmax('reverse', t_sim1, ps_output); % 将训练集预测结果反归一化
T_sim2 = mapminmax('reverse', t_sim2, ps_output); % 将测试集预测结果反归一化%% 均方根误差
error1 = sqrt(sum((T_sim1 - T_train).^2) ./ M); % 计算训练集的均方根误差(RMSE)
error2 = sqrt(sum((T_sim2 - T_test ).^2) ./ N); % 计算测试集的均方根误差(RMSE)%% 绘图
% 绘制训练集预测结果对比图
figure
plot(1: M, T_train, 'r-*', 1: M, T_sim1, 'b-o', 'LineWidth', 1) % 绘制真实值与预测值对比曲线
legend('真实值', '预测值') % 添加图例
xlabel('预测样本') % 设置X轴标签
ylabel('预测结果') % 设置Y轴标签
string = {strcat('训练集预测结果对比:', ['RMSE=' num2str(error1)])}; % 创建标题字符串
title(string) % 添加图形标题
xlim([1, M]) % 设置X轴范围
grid % 显示网格% 绘制测试集预测结果对比图
figure
plot(1: N, T_test, 'r-*', 1: N, T_sim2, 'b-o', 'LineWidth', 1) % 绘制真实值与预测值对比曲线
legend('真实值', '预测值') % 添加图例
xlabel('预测样本') % 设置X轴标签
ylabel('预测结果') % 设置Y轴标签
string = {strcat('测试集预测结果对比:', ['RMSE=' num2str(error2)])}; % 创建标题字符串
title(string) % 添加图形标题
xlim([1, N]) % 设置X轴范围
grid % 显示网格%% 相关指标计算
% R2
R1 = 1 - norm(T_train - T_sim1)^2 / norm(T_train - mean(T_train))^2; % 计算训练集的决定系数R²
R2 = 1 - norm(T_test - T_sim2)^2 / norm(T_test - mean(T_test ))^2; % 计算测试集的决定系数R²disp(['训练集数据的R2为:', num2str(R1)]) % 显示训练集的R²
disp(['测试集数据的R2为:', num2str(R2)]) % 显示测试集的R²% MAE
mae1 = sum(abs(T_sim1 - T_train)) ./ M ; % 计算训练集的平均绝对误差MAE
mae2 = sum(abs(T_sim2 - T_test )) ./ N ; % 计算测试集的平均绝对误差MAEdisp(['训练集数据的MAE为:', num2str(mae1)]) % 显示训练集的MAE
disp(['测试集数据的MAE为:', num2str(mae2)]) % 显示测试集的MAE% MBE
mbe1 = sum(T_sim1 - T_train) ./ M ; % 计算训练集的平均偏差误差MBE
mbe2 = sum(T_sim2 - T_test ) ./ N ; % 计算测试集的平均偏差误差MBEdisp(['训练集数据的MBE为:', num2str(mbe1)]) % 显示训练集的MBE
disp(['测试集数据的MBE为:', num2str(mbe2)]) % 显示测试集的MBE% MAPE
mape1 = sum(abs((T_sim1 - T_train)./T_train)) ./ M ; % 计算训练集的平均绝对百分比误差MAPE
mape2 = sum(abs((T_sim2 - T_test )./T_test )) ./ N ; % 计算测试集的平均绝对百分比误差MAPEdisp(['训练集数据的MAPE为:', num2str(mape1)]) % 显示训练集的MAPE
disp(['测试集数据的MAPE为:', num2str(mape2)]) % 显示测试集的MAPE% RMSE
disp(['训练集数据的RMSE为:', num2str(error1)]) % 显示训练集的RMSE
disp(['测试集数据的RMSE为:', num2str(error2)]) % 显示测试集的RMSE%% 绘制散点图
sz = 25; % 设置散点大小
c = 'b'; % 设置散点颜色为蓝色% 绘制训练集散点图
figure
scatter(T_train, T_sim1, sz, c) % 绘制训练集真实值与预测值的散点图
hold on % 保持图形
plot(xlim, ylim, '--k') % 绘制对角线(理想预测线)
xlabel('训练集真实值'); % 设置X轴标签
ylabel('训练集预测值'); % 设置Y轴标签
xlim([min(T_train) max(T_train)]) % 设置X轴范围
ylim([min(T_sim1) max(T_sim1)]) % 设置Y轴范围
title('训练集预测值 vs. 训练集真实值') % 设置图形标题% 绘制测试集散点图
figure
scatter(T_test, T_sim2, sz, c) % 绘制测试集真实值与预测值的散点图
hold on % 保持图形
plot(xlim, ylim, '--k') % 绘制对角线(理想预测线)
xlabel('测试集真实值'); % 设置X轴标签
ylabel('测试集预测值'); % 设置Y轴标签
xlim([min(T_test) max(T_test)]) % 设置X轴范围
ylim([min(T_sim2) max(T_sim2)]) % 设置Y轴范围
title('测试集预测值 vs. 测试集真实值') % 设置图形标题
代码说明
-
初始化:
- 清理环境:通过
clear
清除工作区变量,close all
关闭所有图形窗口,clc
清空命令行窗口,warning off
关闭警告信息,确保代码运行环境的干净和无干扰。
- 清理环境:通过
-
导入数据:
- 读取数据:使用
xlsread
函数从Excel文件数据集.xlsx
中读取数据。假设数据集的最后一列为目标变量(需要预测的值),其他列为输入特征。
- 读取数据:使用
-
数据分析:
- 训练集比例:设定训练集占数据集的比例为70%,即
num_size = 0.7
。 - 输出维度:
outdim = 1
,表示数据集的最后一列为输出(目标变量)。 - 样本数:通过
size(res, 1)
计算数据集中的样本总数。 - 数据打乱:使用
randperm
函数随机打乱数据集的顺序,以避免数据排序带来的偏差。如果不希望打乱数据集,可以注释掉该行代码。 - 训练集样本数:通过
round(num_size * num_samples)
计算训练集的样本数量。 - 特征维度:通过
size(res, 2) - outdim
计算输入特征的维度(总列数减去输出维度)。
- 训练集比例:设定训练集占数据集的比例为70%,即
-
划分训练集和测试集:
- 训练集输入:提取前
num_train_s
个样本的输入特征,并进行转置,使每列为一个样本。 - 训练集输出:提取前
num_train_s
个样本的输出(目标变量),并进行转置。 - 训练集样本数:通过
size(P_train, 2)
获取训练集的样本数量,赋值给M
。 - 测试集输入:提取剩余样本的输入特征,并进行转置。
- 测试集输出:提取剩余样本的输出(目标变量),并进行转置。
- 测试集样本数:通过
size(P_test, 2)
获取测试集的样本数量,赋值给N
。
- 训练集输入:提取前
-
数据归一化:
- 训练集输入归一化:使用
mapminmax
函数将训练集输入数据缩放到[0,1]的范围内,并保存归一化参数ps_input
。 - 测试集输入归一化:使用
mapminmax('apply', P_test, ps_input)
,应用训练集的归一化参数对测试集输入数据进行同样的归一化处理,确保训练集和测试集的数据尺度一致。 - 训练集输出归一化:使用
mapminmax
函数将训练集输出数据缩放到[0,1]的范围内,并保存归一化参数ps_output
。 - 测试集输出归一化:使用
mapminmax('apply', T_test, ps_output)
,应用训练集的归一化参数对测试集输出数据进行同样的归一化处理。
- 训练集输入归一化:使用
-
转置以适应模型:
- 转置输入数据:将训练集和测试集的输入数据进行转置,使每列为一个样本,符合MATLAB模型输入要求。
- 转置输出数据:将训练集和测试集的输出数据进行转置,使每列为一个样本。
-
创建网络:
-
设置训练参数:
- 设置最大训练次数:通过
net.trainParam.epochs = 1000
设置网络的最大训练次数为1000次。 - 设置训练目标误差:通过
net.trainParam.goal = 1e-6
设置网络的训练目标误差为1e-6。 - 设置学习率:通过
net.trainParam.lr = 0.01
设置网络的学习率为0.01。
- 设置最大训练次数:通过
-
训练网络:
- 训练过程:使用
train(net, p_train, t_train)
函数,使用训练集数据训练BP神经网络,调整网络权重和阈值以最小化预测误差。
- 训练过程:使用
-
仿真测试:
- 训练集预测:使用
sim(net, p_train)
函数对训练集数据进行仿真预测,得到训练集的预测结果t_sim1
。 - 测试集预测:使用
sim(net, p_test )
函数对测试集数据进行仿真预测,得到测试集的预测结果t_sim2
。
- 训练集预测:使用
-
数据反归一化:
- 训练集反归一化:使用
mapminmax('reverse', t_sim1, ps_output)
函数将训练集预测结果反归一化,恢复到原始数据的尺度,得到T_sim1
。 - 测试集反归一化:使用
mapminmax('reverse', t_sim2, ps_output)
函数将测试集预测结果反归一化,恢复到原始数据的尺度,得到T_sim2
。
- 训练集反归一化:使用
-
均方根误差(RMSE):
- 训练集RMSE:通过
sqrt(sum((T_sim1 - T_train).^2) ./ M)
计算训练集的均方根误差error1
。 - 测试集RMSE:通过
sqrt(sum((T_sim2 - T_test ).^2) ./ N)
计算测试集的均方根误差error2
。
- 训练集RMSE:通过
-
绘图:
- 训练集预测结果对比图:
- 绘制对比曲线:使用
plot
函数绘制训练集的真实值与预测值对比曲线,红色星号表示真实值,蓝色圆圈表示预测值。 - 图形设置:添加图例、坐标轴标签、标题和网格,提升图形的可读性。
- 绘制对比曲线:使用
- 测试集预测结果对比图:
- 绘制对比曲线:使用
plot
函数绘制测试集的真实值与预测值对比曲线,红色星号表示真实值,蓝色圆圈表示预测值。 - 图形设置:添加图例、坐标轴标签、标题和网格,提升图形的可读性。
- 绘制对比曲线:使用
- 训练集预测结果对比图:
-
相关指标计算:
- 决定系数(R²):
- 训练集R²:通过
1 - norm(T_train - T_sim1)^2 / norm(T_train - mean(T_train))^2
计算训练集的决定系数R1
。 - 测试集R²:通过
1 - norm(T_test - T_sim2)^2 / norm(T_test - mean(T_test ))^2
计算测试集的决定系数R2
。 - 显示结果:使用
disp
函数显示训练集和测试集的R²值。
- 训练集R²:通过
- 平均绝对误差(MAE):
- 训练集MAE:通过
sum(abs(T_sim1 - T_train)) ./ M
计算训练集的MAEmae1
。 - 测试集MAE:通过
sum(abs(T_sim2 - T_test )) ./ N
计算测试集的MAEmae2
。 - 显示结果:使用
disp
函数显示训练集和测试集的MAE值。
- 训练集MAE:通过
- 平均偏差误差(MBE):
- 训练集MBE:通过
sum(T_sim1 - T_train) ./ M
计算训练集的MBEmbe1
。 - 测试集MBE:通过
sum(T_sim2 - T_test ) ./ N
计算测试集的MBEmbe2
。 - 显示结果:使用
disp
函数显示训练集和测试集的MBE值。
- 训练集MBE:通过
- 平均绝对百分比误差(MAPE):
- 训练集MAPE:通过
sum(abs((T_sim1 - T_train)./T_train)) ./ M
计算训练集的MAPEmape1
。 - 测试集MAPE:通过
sum(abs((T_sim2 - T_test )./T_test )) ./ N
计算测试集的MAPEmape2
。 - 显示结果:使用
disp
函数显示训练集和测试集的MAPE值。
- 训练集MAPE:通过
- 均方根误差(RMSE):
- 显示结果:使用
disp
函数显示训练集和测试集的RMSE值。
- 显示结果:使用
- 决定系数(R²):
-
绘制散点图:
- 设置散点图参数:
sz = 25
:设置散点大小为25。c = 'b'
:设置散点颜色为蓝色。
- 训练集散点图:
- 绘制散点:使用
scatter
函数绘制训练集真实值与预测值的散点图。 - 绘制对角线:使用
plot
函数绘制理想预测线(真实值等于预测值)。 - 图形设置:设置坐标轴标签、图形标题、轴范围,并显示网格。
- 绘制散点:使用
- 测试集散点图:
- 绘制散点:使用
scatter
函数绘制测试集真实值与预测值的散点图。 - 绘制对角线:使用
plot
函数绘制理想预测线(真实值等于预测值)。 - 图形设置:设置坐标轴标签、图形标题、轴范围,并显示网格。
- 绘制散点:使用
- 设置散点图参数:
代码使用注意事项
-
数据集格式:
- 类别标签:确保
数据集.xlsx
的最后一列为目标变量,且目标变量为数值型数据。如果目标变量为分类标签,需先进行数值编码。 - 特征类型:数据集的其他列应为数值型特征,适合进行归一化处理。如果特征包含类别变量,需先进行编码转换。
- 类别标签:确保
-
参数调整:
- 隐藏层节点数:在创建BP神经网络时,通过
newff(p_train, t_train, 5)
设定隐藏层节点数为5。根据数据集的复杂度和特征数量调整隐藏层的节点数,节点数过少可能导致欠拟合,过多则可能导致过拟合。 - 学习率(lr):通过
net.trainParam.lr = 0.01
设置学习率为0.01。学习率影响权重更新的步长,较大的学习率可能加快收敛速度,但可能导致震荡或发散;较小的学习率则使收敛更稳定,但可能需要更多的迭代次数。 - 最大训练次数(epochs):通过
net.trainParam.epochs = 1000
设置最大训练次数为1000。根据训练误差的收敛情况调整训练次数,以避免过早停止或不必要的计算资源浪费。 - 误差阈值(goal):通过
net.trainParam.goal = 1e-6
设置训练目标误差为1e-6。根据实际需求调整误差阈值,确保模型达到所需的精度。
- 隐藏层节点数:在创建BP神经网络时,通过
-
环境要求:
- MATLAB版本:确保使用的MATLAB版本支持
newff
函数。较新的MATLAB版本中,newff
函数已被feedforwardnet
替代,根据实际使用的MATLAB版本调整函数调用。 - 工具箱:需要安装神经网络工具箱(Neural Network Toolbox),以支持
newff
、sim
和mapminmax
等函数。
- MATLAB版本:确保使用的MATLAB版本支持
-
性能优化:
- 数据预处理:除了归一化处理,还可以考虑主成分分析(PCA)等降维方法,减少特征数量,提升模型训练效率和性能。
- 网络结构优化:通过调整隐藏层的数量和节点数,使用不同的激活函数(如ReLU、Tanh等),优化网络结构以提升模型性能。
- 早停策略:引入早停策略,当训练误差在若干次迭代中无显著改善时,提前终止训练,节省计算资源并防止过拟合。
- 正则化:添加正则化项(如L2正则化)以防止模型过拟合,提高泛化能力。
-
结果验证:
-
性能指标理解:
- 决定系数(R²):衡量模型对数据的拟合程度,值越接近1表示模型解释变量变异的能力越强。
- 平均绝对误差(MAE):表示预测值与真实值之间的平均绝对差异,值越小表示模型性能越好。
- 平均偏差误差(MBE):表示预测值与真实值之间的平均差异,正值表示模型倾向于高估,负值表示模型倾向于低估。
- 平均绝对百分比误差(MAPE):表示预测值与真实值之间的平均绝对百分比差异,适用于评估相对误差。
- 均方根误差(RMSE):表示预测值与真实值之间的平方差的平均值的平方根,值越小表示模型性能越好。
通过理解和应用上述BP回归模型,初学者可以有效地处理各种回归任务,并深入掌握反向传播神经网络的工作原理和应用方法。不断调整和优化模型参数,结合实际应用场景,能够进一步提升模型的预测准确性和鲁棒性。