原文链接：https://zhuanlan.zhihu.com/p/126780292
Lecture 14 Transformers and Self-Attention For Generative Models
guest lecture by Ashish Vaswani and Anna Huang
学习变长数据的表示，这是序列学习的基本组件（序列学习包括 NMT, text summarization, QA）
通常使用 RNN 学习变长的表示：RNN 本身适合句子和像素序列
- LSTMs, GRUs 和其变体在循环模型中占主导地位。
- 但是序列计算抑制了并行化。
- 没有对长期和短期依赖关系进行显式建模。
- 我们想要对层次结构建模。
- RNNs(顺序对齐的状态)看起来很浪费！
卷积神经网络
- 并行化(每层)很简单
- 利用局部依赖
- 不同位置的交互距离是线性或是对数的
- 远程依赖需要多层
注意力
NMT 中，编码器和解码器之间的 Attention 是至关重要的
那么为什么不把注意力用于表示呢？
Self-Attention
- 任何两个位置之间的路径长度都是常数级别的
- 门控 / 乘法 的交互
- 可以并行化（每层）
- 可以完全替代序列计算吗？
Text generation
Previous work
Classification & regression with self-attention:
Parikh et al. (2016), Lin et al. (2016)
Self-attention with RNNs:
Long et al. (2016), Shao, Gows et al. (2017)
Recurrent attention:
Sukhbaatar et al. (2015)
The Transformer
Encoder Self-Attention
Decoder Self-Attention
复杂度
由于计算只涉及到两个矩阵乘法，所以是序列长度的平方
当维度比长度大得多的时候，非常有效
Problem
上例中，我们想要知道谁对谁做了什么，通过卷积中的多个卷积核的不同的线性操作，我们可以分别获取到 who, did what, to whom 的信息。
但是对于 Attention 而言，如果只有一个Attention layer，那么对于一句话里的每个词都是同样的线性变换，不能够做到在不同的位置提取不同的信息
这就是多头注意力的来源，灵感来源于 CNN 中的多个卷积核的设计
Solution
Who, Did What, To Whom 分别拥有注意力头
- 将注意力层视为特征探测器
- 可以并行完成
- 为了效率，减少注意力头的维度，并行操作这些注意力层，弥补了计算 差距
Results
- 但我们并不一定比 LSTM 取得了更好的表示，只是我们更适合 SGD，可以更好的训练
- 我们可以对任意两个词之间构建连接
Importance of residuals
位置信息最初添加在了模型的输入处，通过残差连接将位置信息传递到每一层，可以不需要再每一层都添加位置信息
Training Details
- ADAM optimizer with a learning rate warmup (warmup + exponential decay)
- Dropout during training at every layer just before adding residual
- Layer-norm
- Attention dropout (for some experiments)
- Checkpoint-averaging
- Label smoothing
- Auto-regressive decoding with beam search and length biasing
- ……