Numerical Optimization之Nonlinear Equations_综合

在这里插入图片描述
对于局部方法，当接近最优点时，才保证收敛。单位步长。
全局方法采用线搜索或信赖域方法

1 局部方法

1.1 牛顿方法

在这里插入图片描述

如上图，求解非线性方程组的根类似于求解无约束问题中的最优值，最优值在稳定点取到。

非精确牛顿法任然是local 的算法，没有使用精确的线搜索

不精确牛顿法余量不超过一个上界

1.1.2 Broyden’s Method

利用 $B_k$ 近似雅可比，不要求其对称
推导如下图，
在这里插入图片描述

2. 全局算法

在这里插入图片描述
出现在一个区间内震荡的原因是前面的牛顿方法没有采用精确的线搜索，得到P直接更新迭代点，无法保证向好的方向进行

2.1 价值函数

将原始问题转化为价值函数的优化。
在这里插入图片描述

如果雅可比非奇异，则r(x*)=0.对于价值函数的稳定点，如果雅可比非奇异，则稳定点对应r(x)=0的解，但如果奇异的化则有可能稳定点不对应r的根。
所以从价值函数角度（非线性最小二乘）求解会出现这样的问题，但是还是很有益的在很多方面
在这里插入图片描述

可以利用最小二乘中的SVD等避免求 $J^TJ$

2.1信赖域求解

在这里插入图片描述

3. Continuation/Homotopy Methods

在这里插入图片描述