• 梯度下降法，沿着一阶导方向（雅可比矩阵）走。二维搜索问题的话可以形象理解为用平面拟合当前位置，沿着切向肯定移动最快。主要问题收敛速度慢。
• 牛顿法，通过二阶泰勒展开求极值。二维搜索问题的话可以形象理解为用二次曲面，直接往这个曲面的最低点运动最快。主要问题是黑塞矩阵（二阶偏导）计算复杂度高，初值要求高，并且容易到局部最优。
• 高斯牛顿法，牛顿法在最小二乘问题上的应用，通过假设和推导可以利用雅可比矩阵表达黑塞矩阵，计算复杂度降低。主要问题“同样初值要求高，并且容易到局部最优”
• LM算法，梯度下降法和高斯牛顿法之间徘徊，选择一个合适的中间值，收敛速度相对高斯牛顿法下降，但是更容易找到局部最优。