Numerical Optimization---Nonlinear conjugate Gradient Methods

在线性共轭梯度法中${\alpha }_k$ 精确线搜索可以精确得到，当在非线性共轭梯度法中的${\alpha }_k$ 就不能采用精确线搜索，因为对于非线性复杂函数采用的精确线搜索关于${\alpha }_k$
的函数和原函数一样的复杂。

因此 可以使用非精确线搜索来得到对应的${\alpha }_k$




定理7 保证了$P_k$是下降方向的，if 参生一个坏的下下降方向（与负梯度方向接近90度，a tiny step）后面也不会 有很大的改善。

PR 方

即当梯度方向和$p_k$接近90度时，这$p_{k+1}$接近$p_k$,证明方法是 利用taylor 展开

PR 方法

对于PR 方法当前的不理想的迭代方向不会传递


pk是前面的所有的梯度的叠加，所有的历史信息可能太旧了，所以每n 步进行重开始，但一般在n 步就可以解决问题，因此实际中意义不大

用非线性共轭梯度求解非凸问题时，我们假定当接近问题解时，在解的附近时，目标函数接近二次函数，相应目标函数的梯度可能接近正交，当梯度接近正交的时，可以进行重开始，如何判断是否接近正交呢