机器学习之数学基础：线性代数、微积分、概率论

机器学习之数学基础：线性代数、微积分、概率论 | PyTorch 深度学习实战

ops/2025/2/6 22:31:42/

前一篇文章，使用线性回归模型逼近目标模型 | PyTorch 深度学习实战

本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started

本篇文章内容来自于强化学习必修课：引领人工智能新时代【梗直哥瞿炜】

线性代数、微积分、概率论

线性代数
- 单位向量
- 向量的内积
- 向量的外积
- 矩阵的乘法
- 矩阵的内积和哈达玛积（Hadamard product）
- 矩阵乘法的性质
微积分
- 微分
- 偏导数
- 梯度
- 链式法则
概率论
- 事件
- 随机变量与概率分布
- 概率密度
- 联合概率和条件概率
- 贝叶斯定理
- 极大似然估计

线性代数

单位向量

在这里插入图片描述

向量的内积

在这里插入图片描述

向量的外积

在这里插入图片描述

矩阵的乘法

在这里插入图片描述

矩阵的内积和哈达玛积（Hadamard product）

在这里插入图片描述

矩阵乘法的性质

在这里插入图片描述

微积分

微分

微分是指函数的局部变化的一种线性描述，自变量的微分记作 $d x$ ，函数 $y = f (x)$ 的微分记作 $d y = df (x) = f^{'} (x) d x$

在这里插入图片描述

导数是微分的比值 $f'(x)=\frac{df(x)}{dx}$ ，导数表示变化率，微分表示变化量。

偏导数

偏导数指的是多元函数在某一点处关于某一变量的导数
通常用符号 $\frac{\partial f(x,y)}{\partial x}$ 来表示多元函数 z = f(x,y) 关于 x 的偏导数

在这里插入图片描述

梯度

在这里插入图片描述

梯度下降算法的一个主要问题，就是没有考虑到变量和变量之间的相互影响，而是每维依靠自己的变化去调节。

链式法则

![[../assets/media/screenshot_20250205150802.png]]

在这里插入图片描述

概率论

事件

在这里插入图片描述

随机变量与概率分布

在这里插入图片描述

概率密度

在这里插入图片描述

联合概率和条件概率

在这里插入图片描述

贝叶斯定理

在这里插入图片描述

极大似然估计

在这里插入图片描述

理解极大似然估计，是重点。