最小二乘法(Least Squares Method)是一种数学优化技术,它通过最小化误差的平方和来寻找数据的最佳拟合函数。在统计学和线性回归中,最小二乘法被广泛应用于拟合数据并建立变量间的关系模型。
下面我们以一个简单的线性回归问题为例来说明最小二乘法的原理。
假设我们有一组数据点:(1, 1), (2, 2), (3, 2), (4, 3),我们想要找到一条直线 y = ax + b,使得这些数据点到直线的距离之和最小。
首先,我们需要确定误差(error)的度量。在最小二乘法中,误差被定义为实际值与预测值之间的差的平方。即,对于每个数据点 (x_i, y_i),误差为 e_i = (y_i - (ax_i + b))^2。
我们的目标是找到参数 a 和 b,使得所有数据点的误差平方和最小,即最小化下面的目标函数:
E(a, b) = Σ(y_i - (ax_i + b))^2
为了最小化这个目标函数,我们可以对 a 和 b 分别求偏导数,并令它们等于零:
∂E/∂a = Σ(-2x_i(y_i - (ax_i + b))) = 0
∂E/∂b = Σ(-2(y_i - (ax_i + b))) = 0
通过解这两个方程,我们可以得到适合这组数据点的最佳 a 和 b 值。在这个例子中,a ≈ 0.6,b ≈ 0.5。因此,我们找到的最佳拟合直线为 y = 0.6x + 0.5。
通过最小二乘法,我们找到了一条使得数据点到直线的距离之和最小的直线,从而实现了对数据的拟合。这种方法可以推广到多元线性回归和非线性回归等更复杂的问题。