type
status
password
date
slug
summary
category
URL
tags
icon
牛顿法（Newton method）和拟牛顿法（quasi Newton method）也是求解无约束最优化问题的常用方法。方法使用函数 的二阶导数。具有收敛速度快、迭代次数少、计算量大的特点。
牛顿法
牛顿法经常作为一个和梯度下降做对比的求解机器学习收敛结果的方法。需要明确的是首先牛顿法本身是作为求解函数零点问题的一种方法。具体做法是：当想要求解 时，如果 可导，那么可以通过迭代公式：
来迭代求得零点。需要注意的是，牛顿法根据选取的初始值的不同，有可能会不收敛！通常选取在零点附近作为初始值。
推导
其中，。为的Hessian的逆矩阵。
因为 并非处处相等，而是只在 附近可以这么认为，这里求得的 并不能让 ，只能说 的值比 更接近于0，所以这就可以用迭代来逼近了！
