[已解决] 决定系数R2为何为负 from sklearn.metrics import r2_score

news/2024/11/20 7:16:13/

最近在炼丹发现一件很有趣的现象,决定系数R2竟然为负,小学生都知道任何一个常数的平方绝不可能为负,潜意识里告诉我这里面必有蹊跷,因此查阅许多资料得知,决定系数R2不是r相关系数的平方这么简单,实际上当非线性模型未捕获任何特征信息,而仅拟合随机噪声就会造成此类现象。

1、定义:

R2 决定系数(Coefficient of Determination)是一种用于评估回归模型拟合优度的指标。它表示模型能够解释数据方差的比例,通常用于比较不同模型的表现。

普遍来讲,R2决定系数的取值范围为[0,1],当R2为1时,表示模型完美预测了数据;当R2为0时,表示模型无法解释数据方差。在实际应用中,R2决定系数通常用于比较不同模型的表现,取值越接近1,表示模型解释的数据方差越多,表现越好。

以下三种公式表达含义一样,作为后续答案补充。

公式定义1:

假设有n个样本,真实值分别为y₁, y₂, ……, yₙ,预测值分别为ŷ₁, ŷ₂, ……, ŷₙ

首先定义总方差(Total Sum of Squares,TSS)为真实值y的方差,即:

TSS = Σ(yᵢ - ȳ)² / n,(i=1,2,…,n)

其中,ȳ为所有真实值的平均数。我们希望得到模型的解释方差,即预测值能够解释的数据方差。因此,定义残差平方和(Residual Sum of Squares,RSS)为:

RSS = Σ(yᵢ - ŷᵢ)² / n,(i=1,2,…,n)

其中,ŷᵢ为第i个样本预测值,yᵢ - ŷᵢ为第i个样本的残差,表示预测值与真实值之间的差。

R2决定系数为解释方差占总方差的比例,即:

R² = 1 - (RSS / TSS)

公式定义2:

公式定义3:

通过分析以上公式不难发现,当应用非线性回归模型时,SSE>SST 即预测值误差特别大,可能会导致R2为负数。

网络其他回答:

解决强多重共线性问题或设计矩阵是奇异的,R2可能为负数。

自变量、因变量间不具有线性关系会导致R2为负数。

 2、官方文档

def score(self, X, y, sample_weight=None):


"""Returns the coefficient of determination R^2 of the prediction.

The coefficient R^2 is defined as (1 - u/v), where u is the residual sum of squares ((y_true - y_pred) ** 2).sum() and v is the total sum of squares ((y_true - y_true.mean()) ** 2).sum().
The best possible score is 1.0 and it can be negative (because the model can be arbitrarily worse). A constant model that always predicts the expected value of y, disregarding the input features, would get a R^2 score of 0.0.

def score(self, X, y, sample_weight=None):

“”“返回预测的决定系数R^2。

决定系数R^2定义为(1-u/v),其中u是残差平方和((y_true-y_pred)**2).sum(),v是平方和总和((y_true-y_true.mean())**2).sum()。 

可能的最佳分数是1.0,也可能是负数(因为模型可能更差)。一个总是预测y的期望值的常数模型,忽略输入特征,会得到0.0的R^2分数。

3、何时R² = R * R

似乎只有在有限的情况下,R² = R * R。引用相关维基百科的解释:

R²有几个定义,其中一类情况包括使用 r² 而不是 R² 的简单线性回归。当仅包含一个截距时, r² 就是观测结果和预测变量值之间的样本相关系数(即 r)的平方。如果包括其他回归系数,则 R² 是多重相关系数的平方。在这两种情况下,确定系数通常范围为0到1。 

简而言之,R²只是相关系数的平方,如果我们恰好(1)使用线性回归模型,(2) 对它们拟合的相同数据进行评估。

所以只有当线性回归模型是拟合的,并且在拟合的相同数据上对其进行评估时,我们才能期望R²在0和1之间。否则,R² 的定义可能会导致负值出现。

参考:

(10条消息) R2决定系数_决定系数r2_丰。。的博客-CSDN博客

(10条消息) R2系数浅析_enginelong的博客-CSDN博客

九道门丨扒一扒机器学习中,R² 为何会出现负数? - 知乎 (zhihu.com) 


http://www.ppmy.cn/news/89111.html

相关文章

天猫订单之数据分析与挖掘——认识数据

天猫订单之数据分析与挖掘——认识数据 文章目录 天猫订单之数据分析与挖掘——认识数据0. 写在前面1. 案例(数据集)总体介绍1.1 案例介绍1.2 数据集大小2. 总体分析2.1 框架图2.2 认识数据2.2.1 数据集类型2.2.2 数据对象及数据属性2.2.3 数据的基本统计描述0. 写在前面 Win…

c++使用yaml -基于windows10

参考:Windows10下使用VS2017编译和使用yaml-cpp库_雪域迷影的博客-CSDN博客 1. 下载yaml-cpp 建议在github下载其最新的官方版本,不要在其他平台下载该工具软件,下载地址如下(其中的一个版本): Release …

C语言算法--桶排序

1-什么是桶排序法 什么是桶排序法?其实说白了就是把需要排列的元素分到不同的桶中,然后我们对这些桶里的元素进行排序的一种方式,然后我们在根据桶的顺序进行元素的合并。(不过前提是要确定桶的数量以及大小) 按照稍…

TLS 加速技术:Intel QuickAssist Technology(QAT)解决方案

作者:vivo 互联网服务器团队- Ye Feng 本文介绍了 Intel QAT 技术方案,通过Multi-Buffer技术和QAT硬件加速卡的两种方式实现对TLS的加速 一、背景 当前 TLS 已经成为了互联网安全的主要传输协议,TLS带来更高的安全性的同时,也带…

数字孪生智慧工厂可视化分析决策方案,打造智慧汽车工厂

智慧工厂是当前智能制造领域的热门话题之一,是一种集成数字技术、先进制造技术和现代管理技术的新型工厂模式。随着全球制造业的发展,智慧工厂逐渐成为未来工厂发展的一大趋势,越来越多的企业开始关注智慧工厂的建设。 该数字孪生智慧汽车工厂…

【分布族谱】正态分布和卡方分布的关系

文章目录 正态分布卡方分布卡方分布的极限 正态分布 正态分布,最早由棣莫弗在二项分布的渐近公式中得到,而真正奠定其地位的,应是高斯对测量误差的研究,故而又称Gauss分布。。测量是人类定量认识自然界的基础,测量误差…

使用cv2将图片转正

要点: 参考:如何用Python-OpenCV实现图片倾斜调整? 一 图片转正 比如一张纸的照片是倾斜的,用OpenCV如何实现自动检测出纸的轮廓并调整倾斜角度,让照片变“正”。 import cv2 import numpy as npdef click(event,x,y…

Seata AT模式源码解析二(Seata Client端启动流程)

文章目录 初始化TM和RM数据源代理 由于我们一般都是在springboot中使用的,而与springboot集成的我们一般就先看starter的spring.factories文件,看看它的自动装配 这里面主要关注SeataAutoConfiguration和SeataDataSourceAutoConfiguration。 SeataAutoCo…