求最优化问题,在局部内用一个二次函数来近似
要求对称正定时,才是下降方向
拟牛顿法
对于拟牛顿法,采用mk(p)来近似f(xk+p)m_k(p)来近似f(x_k+p)mk?(p)来近似f(xk?+p)
Bk+1=yk/sk=Δfk+1?Δfkxk+1?xkB_{k+1}=y_k/s_k=\frac{\Delta f_{k+1}-\Delta f_k}{x_{k+1}-x_k}Bk+1?=yk?/sk?=xk+1??xk?Δfk+1??Δfk??,即用一阶导数的割线secant 来近似
曲率条件保证存在这样的对称正定矩阵,当使用线搜索方法时,保证Wolf 条件存在,就可以保证曲率条件的存在性
Bk+1=yk/sk=Δfk+1?Δfkxk+1?xkB_{k+1}=y_k/s_k=\frac{\Delta f_{k+1}-\Delta f_k}{x_{k+1}-x_k}Bk+1?=yk?/sk?=xk+1??xk?Δfk+1??Δfk??对应为n个方程,远小于B的未知个数
DFP是秩二修正
BFGS 方法