Hessian 矩阵（海森矩阵）是一个包含二阶偏导数信息的方阵，在数学和优化中起着重要作用。对于一个多元函数，其 Hessian 矩阵是由其各个变量的二阶偏导数组成的矩阵。
假设有一个函数 f ( x 1 , x 2 , … , x n ) f(x_1, x_2, \dots, x_n) f(x1,x2,…,xn)，其 Hessian 矩阵 (H) 的元素是：
H i j = ∂ 2 f ∂ x i ∂ x j H_{ij} = \frac{\partial^2 f}{\partial x_i \partial x_j} Hij=∂xi∂xj∂2f
其中 i i i 和 j j j 是变量的索引，表示函数对变量 x i x_i xi 和 x j x_j xj 进行求导两次得到的结果。
Hessian 矩阵提供了函数局部极值的信息。在优化问题中，通过分析 Hessian 矩阵的特征值和特征向量，可以判断局部极值点的性质。比如：
- 当 Hessian 矩阵在某点是正定（所有特征值均为正），这个点是局部最小值点。
- 当 Hessian 矩阵在某点是负定（所有特征值均为负），这个点是局部最大值点。
- 当 Hessian 矩阵在某点的特征值有正有负，这个点是鞍点（saddle point）。
Hessian 矩阵在优化算法中的应用非常广泛，特别是对于牛顿法等利用二阶导数信息的算法。
考虑一个简单的二元函数：
f ( x , y ) = x 2 + 2 y 2 f(x, y) = x^2 + 2y^2 f(x,y)=x2+2y2
这个函数的 Hessian 矩阵是：
H = [ 2 0 0 4 ] H = \begin{bmatrix} 2 & 0 \\ 0 & 4 \end{bmatrix} H=[2004]
这个矩阵中的元素 H i j H_{ij} Hij 表示函数对 x i x_i xi 和 x j x_j xj的二阶偏导数。在这个例子中， H 11 = 2 H_{11} = 2 H11=2、 H 22 = 4 H_{22} = 4 H22=4，其余元素为零。
观察 Hessian 矩阵的特征值：
det ( H − λ I ) = 0 \text{det}(H - \lambda I) = 0 det(H−λI)=0
其中 I I I 是单位矩阵， λ \lambda λ 是特征值。解这个方程可以得到 Hessian 矩阵的特征值。
对于这个例子，特征值为 λ 1 = 2 \lambda_1 = 2 λ1=2和 λ 2 = 4 \lambda_2 = 4 λ2=4，都是正值，说明这个函数在原点附近是一个局部最小值点。这与我们对函数形式的了解是一致的，因为 f ( x , y ) = x 2 + 2 y 2 f(x, y) = x^2 + 2y^2 f(x,y)=x2+2y2是一个沿着 x 方向开口朝上的二次型，所以原点是一个局部最小值点。
