R square 的计算方法和一点思考

ops/2024/12/23 4:24:37/

模型的性能评价指标有几种方案:RMSE(平方根误差)、MAE(平均绝对误差)、MSE(平均平方误差)、R2_score

其中,当量纲不同时,RMSE、MAE、MSE难以衡量模型效果好坏。这就需要用到R2_score;

这里注意,使用 r2 是平行的对比不同因子/品种的;即 两个shape 一样的样本集,若同个样本集,进行样本切分成不同长度的数据,则会有其他的问题,这个放最后去解释!!!!

先看看 r2 怎么算的

使用 \hat{y}表示预测值,y表示真实值,\bar{y}表示真实值的平均值;则有

回归平方和:    ssr = \sum_{i=1}^{n}(\hat{y} - \bar{y})^{2}

表示预测值与平均值的误差,反映相关程度的偏差平方和。

残差平方和:sse = \sum_{i=1}^{n}(y - \hat{y})^{2}

表示预测值与真实值的误差,反映模型拟合程度

总离差平方和:sst = \sum_{i=1}^{n}(y - \bar{y})^{2}

表示 平均值与真实值的误差,反映与数学期望的偏离程度

R2 = 1 - \frac{sse}{sst}

    R2 = 1 - \frac{\sum_{i=1}^{n}(y - \hat{y})^{2}}{\sum_{i=1}^{n}(y - \bar{y})^{2}}

进一步变形得到

R2 = 1 - \frac{\sum_{i=1}^{n}(y - \hat{y})^{2}/n}{\sum_{i=1}^{n}(y - \bar{y})^{2}/n} = 1 - \frac{RMSE}{Var}

分子就变成了常用的评价指标均方误差MSE,分母就变成了方差。

对于 R2 可以通俗地理解为使用均值作为误差基准,看预测误差是否大于或者小于均值基准误差。

R2_score = 1:样本中预测值和真实值完全相等,没有任何误差,表示回归分析中自变量对因变量的解释越好。

R2_score = 0:此时分子等于分母,样本的每项预测值都等于均值。

R2_score <  0:R2_score不是r的平方,也可能为负数(分子>分母),模型等于盲猜,还不如直接计算目标变量的平均值。

代码如下:

import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets, linear_model
from sklearn.metrics import r2_score
#导入数据
diabetes_X, diabetes_y = datasets.load_diabetes(return_X_y=True)
diabetes_X = diabetes_X[:, np.newaxis, 2]
#划分测试集验证集
diabetes_X_train = diabetes_X[:-20]
diabetes_X_test = diabetes_X[-20:]
diabetes_y_train = diabetes_y[:-20]
diabetes_y_test = diabetes_y[-20:]
# 创建线性回归模型
regr = linear_model.LinearRegression()
# 训练模型
regr.fit(diabetes_X_train, diabetes_y_train)
# 预测
diabetes_y_pred = regr.predict(diabetes_X_test)## r2 = mean_squared_error(y_test,y_preditc)/ np.var(y_test)# 模型评价
print('r2_score: %.2f'% r2_score(diabetes_y_test, diabetes_y_pred))# 绘制预测效果图
plt.scatter(diabetes_X_test, diabetes_y_test,  color='black')
plt.plot(diabetes_X_test, diabetes_y_pred, color='blue', linewidth=3)
plt.xticks(())
plt.yticks(())
plt.show()

注意:

1. r2  一般用在线性模型中(非线性模型也可以用)

2. r2 不能完全反映模型预测能力的高低,比如实际观测的自变量取值范围很窄(即var很小/分母很小),此时计算出来的 r2 值很大,但这并不代表模型在样本外应用时的效果很好;

3. 数据集的样本越大,r2 越大。因此,不同数据集的模型结果比较起来会有误差,这也是开头提到的问题,如果不同模型使用的因子数据不同,但是数据条数一致,即 shape1 = (10000,5) 和 shape2 =  (10000,8);

针对这种情况,可以使用 Adjusted R square(校正决定系数),对非显著变量给出惩罚

R_{adj}^{2} = 1 - (1 - R^{2})\frac{n-p-1}{n-1}

n 是样本个数,p是变量的个数。

ps: 关于  shape1 = (1000,5)  和 shape2 = (100,5)这种情况, r2 可能不合适作为评价指标,可以考虑RMSE(标准化的)去作为评价指标,或者有人有更好的方案可以讨论一下,我也很想学习!!!!!


http://www.ppmy.cn/ops/144221.html

相关文章

SQL SERVER日常运维巡检系列之-实例级参数

前言 做好日常巡检是数据库管理和维护的重要步骤&#xff0c;而且需要对每次巡检日期、结果进行登记&#xff0c;同时可能需要出一份巡检报告。 本系列旨在解决一些常见的困扰&#xff1a; 不知道巡检哪些东西不知道怎么样便捷体检机器太多体检麻烦生成报告困难&#xff0c;无…

前端XMLHttpRequest get请求能不能在body中传参数?

文档 查看mdn文档&#xff0c;文档XMLHttpRequest.send()有提到&#xff1a; XMLHttpRequest.send() 方法接受一个可选的参数&#xff0c;其作为请求主体&#xff1b;如果请求方法是 GET 或者 HEAD&#xff0c;则应将请求主体设置为 null。 测试 一个简单的nodejs服务器 var…

flutter --no-color pub get 超时解决方法

新建Flutter项目后&#xff0c;运行报错&#xff0c;需要执行pub get 点击Run ‘flutter pub get’ … … … 卡着&#xff0c;不动了&#xff0c;提示超时 是因为墙的问题 解决方案&#xff1a; 添加以下环境变量 变量名: PUB_HOSTED_URL 变量值: https://pub.flutter-io.cn …

android源码下载

如果是虚拟机 切换桥接模式 1 mkdir ~/bin、PATH~/bin:$PATH 2 curl https://mirrors.tuna.tsinghua.edu.cn/git/git-repo > ~/bin/repo 3 chmod x ~/bin/repo 4 设置git 全局用户名 邮箱 5 设置缓存 git config --global http.postBuffer 5000000000 6 设置清华源&#xf…

C05S07-Tomcat服务架设

一、Tomcat 1. Tomcat概述 Tomcat也是一个Web应用程序&#xff0c;具有三大核心功能。 Java Servlet&#xff1a;Tomcat是一个Servlet容器&#xff0c;负责管理和执行Java Servlet、服务端的Java程序&#xff0c;处理客户端的HTTP请求和响应。Java Server&#xff1a;服务端…

FFmpeg 框架简介和文件解复用

文章目录 ffmpeg框架简介libavformat库libavcodec库libavdevice库 复用&#xff08;muxers&#xff09;和解复用&#xff08;demuxers&#xff09;容器格式FLVScript Tag Data结构&#xff08;脚本类型、帧类型&#xff09;Audio Tag Data结构&#xff08;音频Tag&#xff09;V…

python飞机大战游戏.py

python飞机大战游戏.py import pygame import random# 游戏窗口大小 WINDOW_WIDTH 600 WINDOW_HEIGHT 800# 颜色定义 BLACK (0, 0, 0) WHITE (255, 255, 255)# 初始化Pygame pygame.init()# 创建游戏窗口 window pygame.display.set_mode((WINDOW_WIDTH, WINDOW_HEIGHT))…

使用 Marp 将 Markdown 导出为 PPT 后不可编辑的原因说明及解决方案

Marp 是一个流行的 Markdown 演示文稿工具&#xff0c;能够将 Markdown 文件转换为 PPTX 格式。然而&#xff0c;用户在使用 Marp 导出 PPT 时&#xff0c;可能会遇到以下问题&#xff1a; 导出 PPT 不可直接编辑的原因 根据 Marp GitHub 讨论&#xff0c;Marp 导出的 PPTX 文…