机器学习 day06(向量化应用于多元线性回归的梯度下降算法,正规方程)

news/2024/12/22 0:47:57/

1. 向量化多元线性回归,及梯度下降算法
在这里插入图片描述

  • 将W₁,…,Wn写成向量W,将X₁,…,Xn写成向量X,而b还是之前的b
  • 注意:在多元线性回归的梯度下降算法中,Wj是指从W₁到Wn中的某一项,因为多元线性回归有多个特征(变量),所以对于每一个特征X都有对应的W。而对于每一个W,梯度下降算法在每一步都要对其进行更新

2. 单元和向量化多元线性回归的梯度下降算法对比
在这里插入图片描述

  • 这里的多元和单元是指X的个数
  • 左边是单元线性回归的梯度下降算法,右边是向量化多元线性回归的梯度下降算法
  • 黄色内部是成本函数J对W₁的偏导

3. 正规方程的优缺点
在这里插入图片描述

  • 优点:只适用于线性回归,且求解w和b时不需要迭代梯度下降算法
  • 缺点:没有推广到其他的学习算法,如果特征数量过大,它的速度会很慢
  • 在某些机器学习库中可能会使用正规方程法,来求w和b,从而实现线性回归
  • 但是正规方程法了解即可,我们最好还是使用梯度下降算法来求w和b

http://www.ppmy.cn/news/48439.html

相关文章

通识哈夫曼树及其应用,一起来构造属于自己的哈夫曼树

1.哈夫曼树的背景 哈夫曼(霍夫曼、赫夫曼)David Albert Huffman(August9,1925-October7,1999)。计算机科学的先驱,以他的哈夫曼编码闻名,在他的一生中,对于有限状态自动机,开关电路,异步过程和信…

死磕“增长”:火山引擎的实用主义

作者 | 曾响铃 文 | 响铃说 在刘慈欣的科幻小说《三体》中,地外文明为了封锁地球科技,在天文台向地球科学家展现了「宇宙闪烁」这一奇观,试图颠覆人类的认知,从而影响科技进步,促使地球科技发展陷入停滞。 如今&…

playwright实战篇(tx、ali225)

人人都笑金角,人人都是金角推荐文章: 1、https://playwright.dev/python/docs/api/class-playwright //官方文档 2、https://cuiqingcai.com/36045.html //崔庆才教程 3、https://github.com/qqq732004709/ //实战参考 4、https://www.cnblogs.com/ca…

4.17~4.18学习总结

网络编程 概述 1.什么是网络编程 在网络通信协议下,不同计算机上运行的程序,进行的数据传输,计算机跟计算机之间可以通过网络进行数据传输。 2.常见的软件架构: B/S,C/S 3.通信的软件架构CS BS各有什么区别和优点…

java 快排算法详解,java 快排代码

快排是一种高效的数据结构,它使用一个关键字(Key)来表示数据元素的一个集合。也就是说,快排是一个有序数组,而这个有序数组由两个元素组成。 快排的基本思想是:如果数组元素的值比它前面的两个元素都大&…

一文搞懂Java中的异常问题

思考几个问题 1:JavaWeb系统中,我的代码未做任何处理,报错了还会往下执行吗? 2:JavaWeb系统中,我的代码做了 try catch finally, 报错了还会往下执行吗? 3:JavaWeb系统中&#xff0c…

制造业数字化转型评价指标体系构建与应用

数字化转型的过程不是机械简单性的线性组合,而是由一系列分叉、突变、自组织等复杂行为组成,是一个复杂性系统演变的过程。 本文从架构的理念出发,构建制造业数字化转型架构,并基于参考架构给出评估制造业数字化转型发展过程的评估…

mulesoft MCIA破釜沉舟备考 2023.04.19.19

mulesoft MCIA破釜沉舟备考 2023.04.19.19 1. A Kubernetes controller automatically adds another pod replica to the resource pool in response to increased application load.2. According to MuleSoft, what is a major distinguishing characteristic of an applicati…