sklearn【AUC-ROC】原理,以及绘制ROC曲线!

news/2024/9/24 13:23:34/

一、AUC-ROC 介绍

在分类任务中,特别是当数据集中的类别分布不平衡时,评估模型的性能变得尤为重要。AUC-ROC(Area Under the Receiver Operating Characteristic Curve,受试者工作特征曲线下的面积)是一种有效的评估指标,能够全面反映模型在不同分类阈值下的性能,并特别适用于不平衡类别的场景。本文将介绍如何使用sklearn库来计算AUC-ROC,并解释其背后的计算原理。

首先,我们需要理解AUC-ROC的计算方式和其背后的含义。AUC-ROC是通过绘制ROC曲线并计算其下的面积来得到的。

ROC曲线是真正例率(True Positive Rate,TPR)和假正例率(False Positive Rate,FPR)在不同分类阈值下的关系曲线。TPR是真正例占所有正例的比例,FPR是假正例占所有反例的比例。

AUC-ROC的值越接近1,表示模型的性能越好,能够更好地区分正例和反例。

sklearn库中,我们可以使用roc_auc_score函数来计算AUC-ROC。下面我们将通过一个简单的例子来演示如何使用这个函数。

二、案例学习

首先,我们需要准备数据集和分类模型。在这个例子中,我们将使用sklearn自带的乳腺癌数据集(Breast Cancer Wisconsin dataset),并使用逻辑回归作为分类器。

python">from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_curve, auc
import matplotlib.pyplot as plt# 加载乳腺癌数据集
cancer = datasets.load_breast_cancer()
X = cancer.data
y = cancer.target# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# 创建逻辑回归模型
model = LogisticRegression(solver='liblinear')# 使用训练数据进行训练
model.fit(X_train, y_train)

接下来,我们将使用模型对测试集进行预测,并计算预测为正例的概率。这些概率将用于绘制ROC曲线。

python"># 对测试集进行预测概率的估计
y_pred_prob = model.predict_proba(X_test)[:, 1]

然后,我们可以使用roc_curve函数来计算真正例率和假正例率,并使用这些值来绘制ROC曲线。

python"># 计算真正例率(TPR)和假正例率(FPR)
fpr, tpr, thresholds = roc_curve(y_test, y_pred_prob)# 计算AUC-ROC的值
roc_auc = auc(fpr, tpr)# 绘制ROC曲线
plt.figure()
lw = 2
plt.plot(fpr, tpr, color='darkorange', lw=lw, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic Example')
plt.legend(loc="lower right")
plt.show()

运行结果:
AUC-ROC曲线.png

在上面的代码中,我们首先使用roc_curve函数计算了真正例率和假正例率,并使用auc函数计算了AUC-ROC的值。然后,我们使用matplotlib库来绘制ROC曲线。曲线越接近左上角,表示模型的性能越好。对角线表示一个无用的模型,即随机猜测。

通过绘制ROC曲线,我们可以直观地看到模型在不同分类阈值下的性能表现。曲线的形状和AUC-ROC的值可以帮助我们评估模型在区分正例和反例时的能力。如果曲线越接近左上角,并且AUC-ROC的值越接近1,那么模型的性能就越好。

此外,我们还可以将ROC曲线与其他评估指标(如准确率、精确度、召回率等)进行比较,以更全面地了解模型的性能。ROC曲线的一个优点是它不受特定分类阈值的影响,因此可以提供更稳健的性能评估。

三、总结

在实际应用中,我们可以根据具体的问题和数据集选择合适的分类模型和评估指标,并使用Python和sklearn库来绘制ROC曲线,以便更好地了解模型的性能并进行优化。通过不断迭代和改进模型,我们可以提高模型的分类性能,并更好地应对不平衡类别等挑战。


http://www.ppmy.cn/news/1432501.html

相关文章

Selenium(二):WebDriver核心方法和属性

一、WebDriver核心属性 1.river.name 浏览器名称 2.driver.current_url 获取当前URL 3.driver.title 获得当前页面标题 4.driver.page_source 获得当前页面源码 5.driver.current_window_handle 获得当前窗口句柄 6.driver.window_handles 获得当前所有窗口句柄 二、Web…

前后端开发的非对称机密,Token加密加盐设置

在前后端开发中使用非对称加密技术和Token加密是一种提高数据传输和存储安全性的有效方法。这种方法不仅可以保护数据免受未授权访问,还可以确保数据在传输过程中的完整性和机密性。以下是一个关于如何在前后端系统中实现非对称加密和加盐Token的详细方案&#xff1…

js 数组的常用方法

目录 数组关注是否改变原数组 操作 增 会影响原数组 push() unshift() splice() 不会影响 concat() 删 会影响原数组 pop() shift() splice() 不会影响 slice() 改 splice() 查 indexOf() includes() find() 排序 reserve() sor…

Facebook的区块链应用深度分析

去中心化身份验证的意义 在当今数字化社会中,身份验证的重要性不言而喻。对于Facebook这样的大型社交媒体平台来说,确保用户的身份真实性和数据的安全性是至关重要的。传统的中心化身份验证方式存在一定的安全风险和可信性问题,而去中心化身…

贪心算法练习day.1

理论基础 贪心算法是一种常见的解决优化问题的方法,其基本思想就是在问题的每个决策阶段,都选择当前看起来最优的选择,即贪心地做出局部的最优决策,以此得到全局的最优解,例如在十张面额不同的钞票,让我们…

TypeError: Cannot read properties of undefined (reading ‘tapAsync‘)

项目启动,一直报tabAsync未定义,整个项目中没有找到引用的地方; 最终重新安装webpack4版本 解决问题; npm install webpack4

本地部署Docker容器可视化图形管理工具DockerUI并实现无公网IP远程访问——“cpolar内网穿透”

文章目录 前言1. 安装部署DockerUI2. 安装cpolar内网穿透3. 配置DockerUI公网访问地址4. 公网远程访问DockerUI5. 固定DockerUI公网地址 前言 DockerUI是一个docker容器镜像的可视化图形化管理工具。DockerUI可以用来轻松构建、管理和维护docker环境。它是完全开源且免费的。基…

相机1:如何系相机肩带

开始解锁新领域,多看几个相关视频,大概也就可以掌握一两种系相机肩带的方法,本质就是新知识的学习过程,不可能等着或者期待出来一个完整的教程,一步一步自己去探索,自己去查资料。 目录 总述 第一步&#…