西瓜书学习——对数几率回归

server/2024/9/23 6:22:47/

对数几率回归(Logistic Regression)是一种广泛应用于分类问题的统计方法,特别是用于二分类问题。尽管它的名字中包含“回归”,但它实际上是一种分类算法,用于估计一个样本属于某个类别的概率。

对数几率回归的核心是使用逻辑函数(Logistic Function),也称为 sigmoid 函数,将线性回归的输出映射到 0 和 1 之间的概率。sigmoid 函数定义为:

S ( x ) = 1 1 + e − x S(x) = \frac{1}{1 + e^{-x}} S(x)=1+ex1

在这个函数中, x x x 是线性回归模型的输出,即 w T x + b \mathbf{w}^T \mathbf{x} + b wTx+b,其中 w \mathbf{w} w 是权重向量, x \mathbf{x} x 是特征向量, b b b 是偏置项。

对数几率回归模型的输出可以解释为样本属于正类(通常标记为1)的概率:

P ( y = 1 ∣ x ) = 1 1 + e − ( w T x + b ) P(y=1 | \mathbf{x}) = \frac{1}{1 + e^{-(\mathbf{w}^T \mathbf{x} + b)}} P(y=1∣x)=1+e(wTx+b)1

对于二分类问题,负类(通常标记为0)的概率可以通过 1 减去正类的概率得到:

P ( y = 0 ∣ x ) = 1 − P ( y = 1 ∣ x ) P(y=0 | \mathbf{x}) = 1 - P(y=1 | \mathbf{x}) P(y=0∣x)=1P(y=1∣x)

在训练过程中,对数几率回归模型通过最大化对数似然函数来估计参数 w \mathbf{w} w b b b。对数似然函数定义为:

L ( w , b ) = ∑ i = 1 N y i log ⁡ ( P ( y i = 1 ∣ x i ) ) + ( 1 − y i ) log ⁡ ( P ( y i = 0 ∣ x i ) ) L(\mathbf{w}, b) = \sum_{i=1}^{N} y_i \log(P(y_i=1 | \mathbf{x}_i)) + (1 - y_i) \log(P(y_i=0 | \mathbf{x}_i)) L(w,b)=i=1Nyilog(P(yi=1∣xi))+(1yi)log(P(yi=0∣xi))

其中, N N N 是样本数量, y i y_i yi 是第 i i i 个样本的标签(0或1), x i \mathbf{x}_i xi是第 i i i 个样本的特征向量。

对数几率回归模型通常使用梯度下降法或者其变体(如随机梯度下降法、批量梯度下降法等)来求解最优参数。在实际应用中,对数几率回归因其模型简单、易于解释和实现而被广泛使用。


http://www.ppmy.cn/server/12175.html

相关文章

IOTOS物联中台衔接通信连接驱动和协议报文驱动,实现多个设备实例复用同一个TCP端口,以modbus rtu协议tcp透传方式采集数据

网站:UIOTOS前端零代码 原型即应用!支持页面嵌套、属性继承、节点编辑,真正实现页面即组件,支持无代码开发复杂的前端界面应用。 从前面驱动实例可以看出,设备连接通信和报文解析通常是在一个驱动里,这种方…

在docker容器中编译 rk3588 ubuntu固件

文件准备 Linux SDK ---- rk3588_linux_release_20230114_v1.0.6c_0*Ubuntu根文件系统 ---- Ubuntu22.04-Xfce_RK3588_v3.11-27_20240410.img.7z 硬件环境 一个可联网的linux机器,并且装有docker 打包一个docker编译环境 Dockerfile内容 直接通过dockerfile构…

HTML:PC和手机的自适应图形布局样例

作者:私语茶馆 1.前言 有时我们需要开发一个自适应PC和手机的HTML页面,由于屏幕大小不同,会涉及到自动部署。W3School提供了一个非常好的案例:Responsive Image Gallery。本文利用独立CSS文件详细介绍一下这个案例。 2.案例详细介绍 2.1.Project项目文件结构 企业级项目…

软考140-上午题-【软件工程】-软件工具

一、软件工具 用来辅助软件开发、运行、维护、管理和支持等过程中的活动的软件称为软件工具。 1-1、软件开发工具 对应于软件开发过程的各种活动,软件开发工具通常有:需求分析工具、设计工具、编码与 排错工具、测试工具等。 1-2、软件维护工具 辅助软…

项目实践---贪吃蛇小游戏(下)

对于贪吃蛇小游戏,最主要的还是主函数部分,这里就和大家一一列举出来,上一章已经写过头文件了,这里就不多介绍了。 首先就是打印桌面,也就是背景,则对应的代码为: void SetPos(short x, short …

Keil和VSCode协同开发STM32程序

系列文章 STM32单片机系列专栏 C语言术语和结构总结专栏 文章目录 1. 配置环境 2. 测试打开工程 3. 测试编译工程 随着项目的复杂度上升,开发者不仅需要强大的硬件支持,还需要一个高效和灵活的开发环境。 vscode是一款集成大量可以便携开发插件的代码…

理解CSS中的sticky与fixed定位

在CSS中,position: sticky; 和 position: fixed; 是两种常见的定位方式,它们可以让元素脱离文档流,并具有固定位置的效果。然而,它们在实际应用中有着不同的特点和使用场景。 sticky定位 特点:position: sticky; 允许…

Maven基础篇1

1.Maven依赖管理 2.依赖传递 项目2需要用到项目3 需要将项目三作为资源配置到项目二 也就是dependecy中加入项目三的gav 两点注意事项: 使用项目三,直接将其gav添加到依赖中, 使用项目三,项目三不能感知到,自己有…