机器学习的多元微积分跟高等数学中的多元微积分有很多不同之处。
矩阵求导也是一样的，本质就是每个函数分别对矩阵或者向量中的每个元素逐个求偏导，只不过写成了向量、矩阵形式而已。
- 机器学习中的变量都是向量或者矩阵
- 机器学习中的函数一般都是线性函数，而不是高数中的曲线和曲面、体积等函数。因此，机器学习中的微积分跟线性代数结合在一起。
- 机器学习中导数的分子分母都是范数。
知乎上相关的帖子：
打开链接
打开链接
定义：
定理1
此定理我也理解的不够深入，先放在这里，以后有机会仔细研究。
例子1：
复现：
例子2：
复现：
对上图的例子，计算导数时要先展开成图中的格式，然后根据导数的定义，|| f(x + delta x) - f(x) || / ||x||
定理2
验证：
