梯度法 机器学习为什么会使用梯度下降法？
机器学习为什么会使用梯度下降法？另外，在神经网络（非凸问题）的训练中，大多采用梯度下降法。梯度下降法和拟牛顿法可以用来训练logistic回归（凸问题）模型。在机器学习任务中，必须最小化损失函数L（θ
机器学习为什么会使用梯度下降法？
另外，在神经网络（非凸问题）的训练中，大多采用梯度下降法。梯度下降法和拟牛顿法可以用来训练logistic回归（凸问题）模型。
在机器学习任务中，必须最小化损失函数L（θ）Lleft（thetaright）L（θ），其中θthetaθ是要求解的模型参数。梯度下降法和牛顿/拟牛顿法都是迭代法。梯度下降法是梯度法，而牛顿法/拟牛顿法是由二阶Hessian矩阵的逆矩阵或伪逆矩阵求解的。
梯度下降法与牛顿法的比较