Loss scale
-
- 原理
- 主要修改点
精度计算中使用float16数据格式数据动态范围降低， 造成梯度计算出现浮点溢出，会导致部分参数更新失败。为了保证部分模型训练在混合精度训练过程中收敛，需要配置Loss Scale的方法。
原理
- 通过在前向计算所得的loss乘以loss scale系数S，起到在反向梯度计算过程中达到放大梯度的作用，从而最大程度规避浮点计算中较小梯度值无法用FP16表达而出现的溢出问题。
- 在参数梯度聚合之后以及优化器更新参数之前，将聚合后的参数梯度值除以loss scale系数S还原。
主要修改点
-
打开loss scale
i. 增加NPULossScaleOptimizer优化器。
ii. 在创建NPULossScaleOptimizer之前，实例化一个FixedLossScaleManager类进行指定Loss Scale的值，或者实例化一个ExponentialUpdateLossScaleManager类进行动态Loss Scale的配置。 -
更新global step
在开启Loss Scaling后，需要丢弃Loss Scaling溢出的step（具体需要看使用的优化器的更新step逻辑） -
打印loss scale值
sess.run模式下，可以通过get_tensor_by_name，通过tensor名称获取需要打印数据的tensor，然后把tensor作为sess.run的入参传进去，计算得到具体loss_scale值。
loss scale值是根据算子名称打印的，如果用户使用了scope等指定网络中部分算子的名称，则该hook需要相应更改为需要获取的算子名称。