高斯-牛顿法：适合解决最小二乘问题。 拟牛顿法：要求低，速度快，需要占用的空间也少，牛逼，比如l-bfgs适合大规模问题，因为如果你用牛顿法，算法过程中产生的矩阵太大了，存储不下来。当然每一种拟牛顿法都有不同的使用情况，因为方法太多了。

文章浏览阅读1.3k次，点赞31次，收藏32次。本文详细探讨了牛顿法在机器学习中的应用，包括其原理、实现、优缺点分析，以及与梯度下降和其他算法的对比。着重介绍了牛顿法在高维优化和特定模型训练中的优势，同时指出了在大规模数据和复杂问题上的挑战，以及未来研究方向。

对于一些离根较远的初始估计，牛顿法常常不能收敛到我们想要的根，如下图↓. 只有足够接近p的初始值能收敛. 只有对于足够接近 p 的初值 p_0 才能收敛到我们想要的解。. 这点表明，牛顿法是一种 局部收敛 的方法. 定义 (局部收敛). 如果存在函数零点 p 的某个

牛顿法（英語： Newton's method ）又称为牛顿-拉弗森方法（英語： Newton-Raphson method ），它是一种在实数域和复数域上近似求解方程的方法。 方法使用函数 f ( x ) {\displaystyle f(x)} 的 泰勒级数 的前面几项来寻找方程 f ( x ) = 0 {\displaystyle f(x)=0} 的根。

一、概览概念牛顿法（Newton's Method）是一种用于求解数值优化和非线性方程求解问题的迭代数值方法。它基于泰勒级数展开，通过不断逼近函数的根或极小值点，以寻找函数的最优解。牛顿法在机器学习、数值分析…

牛顿法是 迭代算法，每一步需要求解目标函数的 Hessian 矩阵的逆矩阵，计算过程复杂。. 虽然牛顿法收敛速度很快，但是有两个很难处理的问题。. 一是要保证Hessian 矩阵正定。. 二是求Hessian 矩阵是很耗计算量的。. 因此，有许多 修正牛顿法 来保证矩阵正定或是