梯度下降法和牛顿法的异同梯度下降法与牛顿类算法各自的的优缺点有哪些？

2021-03-16

1415

梯度下降法与牛顿类算法各自的的优缺点有哪些？在二次规划理论中，牛顿法可以一步解决问题，但梯度法肯定不止一步，对于Hessian矩阵的最大和最小特征值相差很大的二次规划，梯度法的收敛效果很差，溶液不断振

梯度下降法与牛顿类算法各自的的优缺点有哪些？

在二次规划理论中，牛顿法可以一步解决问题，但梯度法肯定不止一步，对于Hessian矩阵的最大和最小特征值相差很大的二次规划，梯度法的收敛效果很差，溶液不断振荡