当前位置: 代码迷 >> 综合 >> torch.optim.Adam(parameters, lr)什么含义
  详细解决方案

torch.optim.Adam(parameters, lr)什么含义

热度:8   发布时间:2023-12-11 22:02:16.0

已知parameters代表每个神经网络的参数矩阵,lr代表学习率。

torch.optim.Adam是什么意思呢

这个算法来自https://arxiv.org/abs/1412.6980

以下黄色字体来自该文章的摘要

Adam,一种基于低阶矩的自适应估计的随机目标函数一阶梯度优化算法。该方法易于实现,计算效率高,内存要求低,对梯度的对角线重新缩放具有不变性,并且非常适用于数据和/或参数较大的问题。该方法也适用于非平稳目标和具有非常嘈杂和/或稀疏梯度的问题。超参数具有直观的解释,通常几乎不需要调整。

该方法是一个优化矩阵的方法,主要作用是提高计算效率,降低内存需求。

  相关解决方案