当前位置: 代码迷 >> 综合 >> 机器学习速成课程笔记9:降低损失 (Reducing Loss)-Playground 练习
  详细解决方案

机器学习速成课程笔记9:降低损失 (Reducing Loss)-Playground 练习

热度:94   发布时间:2023-11-25 06:19:47.0

快速翻阅,快速学习

学习速率和收敛

    这是一系列 Playground 练习中的第一个练习。Playground (链接为:http://playground.tensorflow.org/#activation=tanh&batchSize=10&dataset=circle&regDataset=reg-plane&learningRate=0.03&regularizationRate=0&noise=0&networkShape=4,2&seed=0.24016&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification&initZero=false&hideText=false)是专为机器学习速成课程开发的教程,旨在讲解机器学习原理。

      每个 Playground 练习都会生成一个数据集。此数据集的标签具有两个可能值。您可以将这两个可能值设想成垃圾邮件与非垃圾邮件,或者设想成健康的树与生病的树。大部分练习的目标调整各种超参数,以构建可成功划分(分开或区分)一个标签值和另一个标签值模型。请注意,大部分数据集都包含一定数量的杂乱样本,导致无法成功划分每个样本。

每个 Playground 练习都会显示模型当前状态的直观图示。例如,以下就是一个模型的直观图示:

请注意以下关于模型直观图示的说明:

  • 每个蓝点表示一类数据的一个样本(例如,一棵健康的树)。
  • 每个橙点表示另一类数据的一个样本(例如,一棵生病的树)。
  • 背景颜色表示该模型对于应该在何处找到相应颜色样本的预测。某个蓝点周围显示蓝色背景表示该模型正确地预测了该样本。相反,某个蓝点周围显示橙色背景则表示该模型错误地预测了该样本。
  • 背景的蓝色和橙色部分色调会有深浅之分。例如,直观图示的左侧是纯蓝色,但在直观图示的中心颜色则逐渐淡化为白色。您可以将颜色强度视为表明该模型对其猜测结果的自信程度。因此,纯蓝色表示该模型对其猜测结果非常自信,而浅蓝色则表示该模型的自信程度稍低。(图中所示的模型直观图示在预测方面的表现非常糟糕。)

可以通过直观图示来判断模型的进展。(“非常棒 - 大多数蓝点都有蓝色背景”或者“糟糕!蓝点有橙色背景。”)除了颜色之外,Playground 还会以数字形式显示模型的当前损失。(“糟糕!损失正在上升,而不是下降。”)

此练习的界面提供了 3 个按钮:

在这第一个 Playground 练习中,您将通过执行以下两个任务来尝试不同的学习速率。

任务 1:注意 Playgroud 右上角的学习速率菜单。指定学习速率为 3,这个值非常高。通过点击“步”按钮 10 或 20 次,观察这种较高的学习速率会如何影响您的模型。在早期的每次迭代之后,请注意模型的直观图示如何急剧变化。模型似乎已收敛后,您甚至可能看到出现不稳定的情况。另请注意从 x1 和 x2 到模型直观图示之间的线。这些线的权重表示模型中相应特征的权重。也就是说,线越粗,权重越高。

                           

任务 2:执行以下操作:

  1. 重置按钮。
  2. 降低学习速率
  3. 多次按“步”按钮。

较低的学习速率对收敛有何影响?了解模型收敛所需的步数,并了解模型收敛的顺滑平稳程度。尝试较低的学习速率。能否发现因过慢而无用的学习速率?(您将在练习的正下方找到相关讨论。)

由于 Playground 练习具有非确定性,我们无法始终提供与您的数据集完全一致的答案。即便如此,对于我们来说,0.1 的学习速率仍可有效收敛。学习速率越小,收敛所花费的时间越多;也就是说,较小的学习速率会因过慢而没有用处。



  相关解决方案