当前位置: 代码迷 >> 综合 >> 机器学习速成课程笔记7:降低损失 (Reducing Loss)-优化学习速率
  详细解决方案

机器学习速成课程笔记7:降低损失 (Reducing Loss)-优化学习速率

热度:110   发布时间:2023-11-25 06:20:20.0

快速翻阅,快速学习

尝试不同的学习速率,看看不同的学习速率对到达损失曲线最低点所需的步数有何影响。请尝试进行图表下方的练习。


练习 1

在滑块上设置 0.1 的学习速率。不断按下“STEP”(步)按钮,直到梯度下降法算法到达损失曲线的最低点。一共走了多少步?

梯度下降法到达曲线的最低点需要 81 步。



练习 2

您可以使用更高的学习速率更快地到达最低点吗?将学习速率设为 1,然后不断按“STEP”(步)按钮,直到梯度下降法到达最低点。这次走了多少步?

梯度下降法到达曲线的最低点需要 6 步。


练习 3

如果采用更大的学习速率会怎么样?重置该图,将学习速率设为 4,然后尝试到达损失曲线的最低点。这次发生了什么情况?


梯度下降法从未到达最低点。结果是,步长逐渐增加。每一步都在曲线上来回跳跃,沿着曲线向上爬,而不是降到底部

可选挑战

您能否为该曲线找到金发姑娘般刚刚好的学习速率,让梯度下降法以最少的步数到达最低点?最少需要多少步才能到达最低点?

该数据的“金发姑娘般刚刚好”的学习速率为 1.6,1 步就能到达最低点。


注意在实践中,成功的模型训练并不意味着要找到“完美”(或接近完美)的学习速率。我们的目标是找到一个足够高的学习速率,该速率要能够使梯度下降过程高效收敛,但又不会高到使该过程永远无法收敛。


  相关解决方案