当前位置: 代码迷 >> 综合 >> Numerical Optimization---拟牛顿法
  详细解决方案

Numerical Optimization---拟牛顿法

热度:71   发布时间:2023-12-24 21:27:06.0

求最优化问题,在局部内用一个二次函数来近似在这里插入图片描述
要求对称正定时,才是下降方向
在这里插入图片描述

拟牛顿法

对于拟牛顿法,采用mk(p)来近似f(xk+p)m_k(p)来近似f(x_k+p)mk?(p)f(xk?+p)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Bk+1=yk/sk=Δfk+1?Δfkxk+1?xkB_{k+1}=y_k/s_k=\frac{\Delta f_{k+1}-\Delta f_k}{x_{k+1}-x_k}Bk+1?=yk?/sk?=xk+1??xk?Δfk+1??Δfk??,即用一阶导数的割线secant 来近似
曲率条件保证存在这样的对称正定矩阵,当使用线搜索方法时,保证Wolf 条件存在,就可以保证曲率条件的存在性
在这里插入图片描述
在这里插入图片描述
Bk+1=yk/sk=Δfk+1?Δfkxk+1?xkB_{k+1}=y_k/s_k=\frac{\Delta f_{k+1}-\Delta f_k}{x_{k+1}-x_k}Bk+1?=yk?/sk?=xk+1??xk?Δfk+1??Δfk??对应为n个方程,远小于B的未知个数
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
DFP是秩二修正

BFGS 方法
在这里插入图片描述

  相关解决方案