AI芯片学习小结5-Enhanced OS Dataflow（EOS）
文章：An Energy-Efficient Deep Convolutional Neural Network Inference Processor With Enhanced Output Stationary Dataflow in 65-nm CMOS
时间：2020
根据Eyeriss V1中的分类，已有的AI加速器中的数据流大致可分为Weight Stationary（WS，权值固定）、Output Stationary（OS）、No Local Reuse(NLR，无本地复用)以及Row Stationary（RS，行固定）四种。其中OS数据流的定义如下：
Definition: The accumulation of each ofmap pixel stays stationary in a PE. The psums are stored in the same RF for accumulation to minimize the psum accumulation cost.
在我们今天的这篇文章中，作者对WS数据流进行了更加细致详细的介绍和说明。
由上图的上半部分可见，每一个PE单元负责了一个滑动窗口内所有数值的乘加。因此在这个例子中，当卷积核大小为3×3时，一个2×2的的PE阵列可以负责一个4×4尺寸的区域的二维卷积操作。当这一个4×4的区域数值计算完毕后，4×4的区域向右滑动2个像素（如果只滑动一个单位则会有部分卷积计算重复），然后重复以上操作。
由于fliter大小为3×3，因此每个PE单元需要经过9个cycle的计算后4×4的窗口才能移动。在这9个cycle内（如上图的下半部分所示），fliter的某一位置的权值会被依次发送至所有的PE单元内来进行运算。而输入图像的数值一部分会直接从GLB（蓝线）中获取到PE，一部分可以从相邻的PE单元中获取（绿线）。从数据复用的角度来分析，每一个cycle卷积权值会被广播到所有PE中，而部分输入图像激活值也会被相邻的PE单元重复利用。从数据移动和能耗的角度来看，由于psum始终保存在PE的RF中，因此在进行Psum累加时原本数据移动所带来的能耗此时会大大降低。
本文作者提出了EOS，一种可以进一步提高数据复用、减少数据移动带来的能耗损失的数据流。作者首先介绍了EOS的主要思想，就是将可复用的数据全部存储在专用的RF中，以减少GLB的访问次数。在上图中，OS使用数据流需要访问SRAM、相邻PE和RF获取数据的次数分别为10、6和0；而在EOS中，次数分别为4、6和6。由于从RF中获取数据比从SRAM（GLB）中获取耗能更少，因此这一设计有利于减少访存带来的能耗。
此外还引入了分组PE的概念。如果将PE阵列分组，每一组PE单元分别处理输入图像上不同区域（无重叠）部分的卷积运算，则相邻两个ARF覆盖区域的重叠部分会增大，数据复用次数也因此提高。上图右侧展示了具体的分组策略。在这个例子中，一个4×4的PE阵列被分为了4个2×2（即阵列规模为2×2×4）的PE组。每一个2×2的PE组负责处理图像上的4×4个像素的区域。而每一组PE工作的方式与上文提到的OS数据流中PE的工作方式相同。
这样分组的好处在于，如上图中Fig.6所示，两次连续的卷积运算可以共享更多的图像数值。然而缺点在于由于PE阵列被分组，并且每一组处理的图像区域不重叠，因此相比于完整的PE阵列其能覆盖的图像面积增大。然而一般图像为固定大小，因此分组后可能有部分PE单元无法被利用，造成了PE单元利用率下降的问题；并且如果分组越多，PE利用率总体呈下降趋势。
从上图的实验结果中不难看出，相较于OS数据流，EOS在能耗方面有着明显优势。然而缺点也就是我们上文所提到的，PE利用率随着分组数目的增加而逐渐降低。这也是EOS的未来改进方向之一。