最优化方法总结——梯度下降法、最速下降法、牛顿法、高斯牛顿法、LM法、拟牛顿法
发布时间：2024-05-26 点击量：65
目录
? ? ? 最优化问题的一般形式为：
其中
为决策变量，
是目标函数，
为约束集或可行域。特别地，如果
，则最优化问题成为无约束最优化问题。
? ? ? ? 最优化方法通常采用迭代法求它的最优解，其基本思想是：给定一个初始点，按照某一迭代规则产品一个点列{
}，使得当{
}是有穷点列时，其最后一个点是最优化模型问题的最优解。迭代规则由迭代公式决定，迭代公式的基本表示形式如下：
? ? ? ? 式中，为步长因子，
为搜索方向。在最优化算法中，搜索方向
是
在
点处的下降方向，即：
? ? ? ? 最优化方法的基本结构如下：
- 给定初始点
；
- 确定搜索方向
，即按照一定规则，构造?
在
点处的下降方向作为搜索方向；
- 确定步长因子
，使目标函数有某种意义的下降；
- 令?
，若
满足某种终止条件，则停止迭代，得到近似最优解
? ? ? ? 从迭代公式可知，最优化方法求解时的关键就是构造搜索方向和步长因子
。不同的搜索方向和不同的步长因子构成了不同的方法，常见的最优化方法有梯度下降法、最速下降法、牛顿法、高斯牛顿法、LM法、拟牛顿法，对应的迭代公式总结如下表：
| 迭代公式 | |
| 梯度下降法 | |
| 最速下降法 | |
| 牛顿法 | |
| 高斯牛顿法 | |
| LM法 | |
| 拟牛顿法 |
对比分析：
| 梯度下降法 | 最速下降法 | 牛顿法 | 高斯牛顿法 | LM法 | 拟牛顿法 | |
| 步长因子 | ? | ? | ||||
| 搜索方向 | ||||||
| 参数说明 | ?① 步长因子 | 步长因子是一个变化的常数 | H为二阶偏导矩阵，即海塞矩阵 | G矩阵用来近似替代H矩阵， | J矩阵替代G矩阵， | B矩阵用来近似替代H矩阵，B矩阵的形式有多种 |
| 目的 | 求解最优化问题的基本方法 | 梯度下降法的一种具体的实现方式 | 提高收敛速度 | 减小计算量 | 解决G矩阵不正定的问题 | 减小计算量以及H矩阵不正定的问题 |
?几种算法之间的关系总结如下：
- 最速下降法是梯度下降法的一种具体实现方式。梯度下降法的步长因子是固定值，最速下降法的步长因子?是一个变化的常数
- 牛顿法可以看成相对于梯度下降法的改进，提高了收敛速度。梯度下降法/最速下降法在确定搜索方向的时候，只用到了一阶导数，因此它的收敛速度是一阶收敛，收敛速度较慢。而牛顿法用到了二阶偏导，它的收敛速度是二阶收敛，收敛速度比梯度下降法快。
- 高斯牛顿法是相对于牛顿法改进，简化了计算。牛顿法中的H矩阵需要计算目标函数的二阶偏导，计算量巨大，高斯牛顿法采用G矩阵替代H矩阵，大大减小了计算量。
- LM法是相对于高斯牛顿法的改进，解决G矩阵正定问题。高斯-牛顿法的逼近步长由矩阵G的逆矩阵决定，如果矩阵G非正定，那么其逆矩阵不一定存在，即使存在逆矩阵，也会导致逼近方向出现偏差，严重影响优化方向。LM法正是为了解决矩阵G的正定问题而提出的，其将矩阵G加上单位矩阵I的倍数来解决正定问题。
- LM法相当于最速下降法和高斯牛顿法的结合体。当u很小时，矩阵J接近矩阵G，其相当于高斯-牛顿法，此时迭代收敛速度快，当u很大时，其相当于梯度下降法，此时迭代收敛速度慢。因此LM算法即具有高斯-牛顿法收敛速度快、不容易陷入局部极值的优点，也具有梯度下降法稳定逼近最优解的特点。
- 拟牛顿法是相对于牛顿法的改进。牛顿法虽然收敛速度快，但是需要计算海塞矩阵的逆矩阵?
?，而且有时目标函数的海塞矩阵无法保持正定，从而使得牛顿法失效。为了克服这两个问题，人们提出了拟牛顿法。这个方法的基本思想是：不用二阶偏导数而构造出可以近似海塞矩阵（或海塞矩阵的逆）的正定对称阵。不同的构造方法就产生了不同的拟牛顿法，常用的拟牛顿算法有：DFP算法、BFGS算法、L-BFGS算法。严格意义上讲高斯牛顿法和LM法都属于拟牛顿法。
参考链接：
