大数据-205 数据挖掘 机器学习理论 - 线性回归 最小二乘法 多元线性

devtools/2024/11/8 18:39:00/

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

  • Hadoop(已更完)
  • HDFS(已更完)
  • MapReduce(已更完)
  • Hive(已更完)
  • Flume(已更完)
  • Sqoop(已更完)
  • Zookeeper(已更完)
  • HBase(已更完)
  • Redis (已更完)
  • Kafka(已更完)
  • Spark(已更完)
  • Flink(已更完)
  • ClickHouse(已更完)
  • Kudu(已更完)
  • Druid(已更完)
  • Kylin(已更完)
  • Elasticsearch(已更完)
  • DataX(已更完)
  • Tez(已更完)
  • 数据挖掘(正在更新…)

章节内容

上节我们完成了如下的内容:

在这里插入图片描述

概述

在正式进入到回归分析的相关算法讨论之前,我们需要对监督学习算法中的回归问题进一步进行分析和理解。虽然回归问题同属于有监督的学习范畴,但实际上,回归问题要远比分类问题更加复杂。
首先关于输出结果的对比,分类模型最终输出结果为离散变量,而离散变量本身包含信息量较少,其本身并不具备代数运算性质,因此其评价指标体系也较为简单,最常用的就是混淆矩阵以及ROC 曲线。
而回归问题最终输出的是连续变量,其本身不仅能够代表运算,且还具有更精致的方法,希望对事物运行的更底层原理进行挖掘。即回归问题的模型更加全面、完善的描绘了事物客观规律,从而能够得到更加细粒度的结论。因此,回归问题的模型往往更加复杂,建模所需要数据所提供的信息量也越多,进而在建模过程中可能遇到的问题也越多。

线性回归与机器学习

线性回归问题是解决回归类问题最常用使用的算法模型,其算法思想和基本原理都是由多元统计分析发展而来,但在数据挖掘机器学习领域中,也是不可多得的行之有效的算法模型。一方面,线性回归蕴藏的机器学习思想非常值得借鉴和学习,并且随着时间发展,在线性回归的基础上还诞生了许多强大的非线性模型。
因此,我们在进行机器学习算法学习过程中,仍然需要对线性回归这个统计分析算法进行系统深入的学习。但这需要说明的是,线性回归的建模思想有很多理解的角度,此处我们并不需要从统计学的角度上理解、掌握和应用线性回归算法,很多时候,利用机器学习的思维来理解线性回归,会是一种更好的理解方法,这也将是我们这部分内容讲解线性回归的切入角度。

线性回归的机器学习表示方法

核心逻辑

任何机器学习算法首先都有一个最底层的核心逻辑,当我们利用机器学习思维理解线性回归的时候,首先也是要探究其底层逻辑。值得庆幸的是,虽然线性回归源于统计分析,但其算法底层逻辑和机器学习算法高度契合。
在给定的 n 个属性描述的客观事物 X = (x1,x2,x3…)中,每个 xi 都用于描述某一次观测时事物在某个维度表现出来的数值属性值。
当我们建立机器学习模型捕捉事物运行的客观规律时,本质上是希望能够综合这些维度的属性来描述事物最终运行结果,而最简单的综合这些属性的方法就是对其进行加权求和汇总,这即是线性回归的方程式表达形式:
在这里插入图片描述
W 被统称为模型的参数,其中 W0 被称为截距(intercept),W1-Wn 被称为回归系数(regression conefficient),有时也是使用 β 或者 θ 来表示,其实就和我们小学时就无比熟悉的 y = ax + b 是同样的性质。其中 y 是我们的目标变量,也就是标签。Xi1 是样本 i 上的特征不同特征。
如果考虑我们有 m 个样本,则回归结果可以被写作:

在这里插入图片描述
其中 y 是包含了 m 个全部的样本回归结果的列向量(结构为(m,1),由于只有一列,以列的形式表示,所以叫做列向量)。注意,我们通常使用粗体的小写字母来表示向量,粗体的大写字母表示矩阵或者行列式。
我们可以使用矩阵来表示这个方程,其中 w 可以被看作是一个结构为(n+1,1)的列矩阵,X 是一个结构为(m,n+1)的特征矩阵,则有:

在这里插入图片描述
线性回归的任务,就是构造一个预测函数来映射输入的特征矩阵 X 和标签值 y 的线性关系,这个预测函数在不同的教材上写法不同,可能写作 f(x),y我(x),或者 h(x)等等形式,但无论如何,这个预测函数的本质就是我们需要构建的模型。

优化目标

对于线性回归而言,预测函数 y = Xw 就是我们的模型,在机器学习我们也称作“决策函数”。其中只有 w 是未知的,所以线性回归原理的核心就是找到模型的参数向量 w。但我们怎么才能求解呢?我们需要依赖一个概念叫:损失函数。

在之前的算法学习中,我们提到过两种模型表现:在训练集上的表现,和在测试集上的表现。我们建模,是追求模型在测试集上的表现最优,因此模型的评估指标往往是用来衡量模型在测试集上的表现的。然而,线性回归有着基于训练数据求解参数 w 的需求,并且希望训练出来模型尽可能的拟合训练数据,即模型在训练集上的预测准确率靠近 100% 越好。
因此,我们使用损失函数这个评估指标,来衡量系数为 w 的模型拟合训练集时产生的信息损失的大小,并以此衡量参数 w 的优劣。如果用一组参数建模后,模型在训练集上表现良好,那我们就说模型拟合过程中的损失很小,损失函数的值很小,这一组参数就优秀。相反,如果模型在训练集上表现糟糕,损失函数就会很大,模型就训练不足,效果较差,这一组参数也就比较差。
即使说,我们在求解参数 w 时,追求损失函数最小,让模型在训练数据上拟合效果最优,即预测准确率尽量靠近 100%。

对于有监督的学习算法而言,建模都是依据有标签的数据集,回归类问题则是对客观事物的一个定量判别。这里以 yi 作为第 i 行数据的标签,且 yi 为连续变量,xi 为第 i 行特征所组成的向量,则线性回归建模优化方向就是希望模型判别的 yi^ 尽可能接近实际的 yi。而对于连续型变量而言,领近度度量方法可采用 SSE 来进行计算,SSE 称做【残差平方和】,也称做【误差平方和】或者【离差平方和】,因此我们优化目标可以用下述方程来表示:
在这里插入图片描述
来看一个简单的例子,假设现在 w 为 [1,2] 这样的一个向量,求解出的模型:y = x1 + 2x2;

在这里插入图片描述
则我们的损失函数的值就是:
在这里插入图片描述

最小二乘法

现在问题转换成了求解让 SSE 最小化的参数向量 w,这种通过最小化真实值和预测值之间的 SSE来求解参数的方法叫做最小二乘法。

回顾一元线性回归的求解过程:

在这里插入图片描述
对上述的数据进行拟合,可以得到:
在这里插入图片描述
假设该拟合直线为 y^ = w0 + w1x,现在我们的目标是使得该拟合直线的总的残差和达到最小,也就是最小化 SSE。
我们令该直线是以均值为核心的【均值回归】,即散点的 x 平均和 y 平均必然经过这条直线:

在这里插入图片描述
对于真实值 y 来说,我们可以得到:
在这里插入图片描述
这里 ε 为【残差】,对其进行变形,则残差平方和 SSE 为:

在这里插入图片描述
要求残差平方和最小值,我们通过微积分求偏导算其极值来解决。
这里我们计算残差最小对应的参数 w1:

在这里插入图片描述

多元线性回归求解参数

更一般情况,如果我们在刚才的例子中有两列特征属性,则损失函数为:

在这里插入图片描述
这样的形式如果矩阵来表达,可以写成:
在这里插入图片描述
矩阵相乘是对应未知元素相乘相加,就会得到和上面的式子一模一样的结果。
我们同时对 w 求偏导:
在这里插入图片描述

最后得到:
在这里插入图片描述

求导后的一阶导数为 0:
在这里插入图片描述
到了这里,我们希望能够将w 留在等式的左边,其他与特征矩阵有关的部分都放到等式的右边,如此就可以求出 W 的最优解了。


http://www.ppmy.cn/devtools/132375.html

相关文章

jmeter里判断返回参数是否为空

用jmeter做接口自动化,怎么判断返回的参数是否为空 我们假如返回的参数是数组,有以下3个方向来判断 1、断言返回的字段为大于0的正整数 [1-9][0-9]* 2、返回data的数组长度 data_marchNr 表示数组长度 String datavars.get(“data_matchNr”); int tota…

领略CSS Flex布局的精髓:打造响应式与创新设计

引言 Flexbox 或弹性盒子布局,是 CSS 中的一项革命性特性,旨在简化复杂的多列布局和响应式设计过程。相比传统的 float 和 positioning 方法,Flexbox 提供更直观且强大的布局控制能力,尤其适用于现代网站的复杂结构。本文将深入解…

【go从零单排】go中的结构体struct和method

Don’t worry , just coding! 内耗与overthinking只会削弱你的精力,虚度你的光阴,每天迈出一小步,回头时发现已经走了很远。 概念 struct 在Go语言中,结构体(struct)是一种用户定义的数据类型&#xff0c…

汇聚全球前沿科技产品,北京智能科技产业展览会·世亚智博会

在北京这座古老而又充满现代气息的城市中,一场科技与创新的盛宴正悄然上演——北京智能科技产业展览会(简称:世亚智博会),作为全球前沿科技的汇聚地,不仅展示了人工智能、5G通信、虚拟现实等尖端技术的最新…

【数据集】【YOLO】【目标检测】交通事故识别数据集 8939 张,YOLO道路事故目标检测实战训练教程!

数据集介绍 【数据集】道路事故识别数据集 8939 张,目标检测,包含YOLO/VOC格式标注。数据集中包含2种分类:{0: accident, 1: non-accident}。数据集来自国内外图片网站和视频截图。检测范围道路事故检测、监控视角检测、无人机视角检测、等&…

解析Go切片:为何按值传递时会发生改变?|得物技术

一、前言 在Go语言中,切片是一个非常常用的数据结构,很多开发者在编写代码时都会频繁使用它。尽管切片很方便,但有一个问题常常让人感到困惑:当我们把切片作为参数传递给函数时,为什么有时候切片的内容会发生变化&…

嵌入式之C语言(基础篇)

首先,我们要知道什么是程序。程序:为了让计算机执行某操作或解决某个问题而编写的一系列有序指令的集合。 一、计算机语言简史 第一代是机器语言:时间实在1946年,第一台计算机ENIAC诞生,用的是穿孔卡片做的&#xff0c…

libuv的调用例子

(来自文心一言) Libuv 是一个多平台的异步 I/O 库,旨在提供事件驱动的编程模型,类似于 Node.js 的底层机制。以下是一个简单的例子,展示了如何使用 libuv 来创建一个 TCP 服务器和客户端。 首先,确保你已…