项目说明
余弦退火学习率衰减的学习率曲线如下图所示：
除了在训练过程中进行学习率衰减以防止求得的最优解不断震荡之外，余弦退火衰减策略规定，学习率每次衰减到0之后，会迅速回升至初始值，这样可以避免陷入局部最优解。关于余弦退火学习率衰减策略的详细介绍可以参考文章：学习率衰减之余弦退火(CosineAnnealing）。
代码实现
在 Tensorflow2.0 中自定义学习率衰减策略其实很简单，可以参考文章：Tensorflow2.0学习率衰减详细汇总。
import tensorflow as tf