paddle 基础函数 cosine_decay

官方文档：https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/layers_cn/cosine_decay_cn.html

paddle.fluid.layers.cosine_decay(learning_rate, step_each_epoch, epochs)

使用 cosine decay 的衰减方式进行学习率调整。

在训练模型时，建议一边进行训练一边降低学习率。 通过使用此方法，学习速率将通过如下cosine衰减策略进行衰减：

参数

• learning_rate （Variable | float） - 初始学习率。
• step_each_epoch （int） - 一次迭代中的步数。
• epochs - 总迭代次数。

示例：

import paddle.fluid as fluidbase_lr = 0.1
lr = fluid.layers.cosine_decay(learning_rate = base_lr, \step_each_epoch=10000, \epochs=120)place = fluid.CPUPlace()
exe = fluid.Executor(place)
exe.run(fluid.default_startup_program())output = exe.run(fetch_list = [lr])
print(output)

结果：

[array([0.1], dtype=float32)]

发现无变化，仍为0.1，需要在训练模型时起作用。