Dialogue Summarization with Supporting Utterance Flow Modeling and Fact Regularization阅读笔记

Motivation

作者认为对话存在两个重要特性。
第一个特性：传统的文本摘要比如说新闻摘要，往往只关注新闻的前几句话，而对话摘要关注的焦点，则需要从对话的开始慢慢的转移到对话的结束，作者将这个特点称为supporting utterance flow。在这里，作者定义了supporting utterances这个概念，对于摘要中的每个句子，对话中包信息最多的utterances(与摘要句子的Jaccard相似度最高的utterances)被定义为supporting utterances。举个例子，下图给出了对话摘要SAMSUM数据集和新闻摘要CNN/Dairy数据集上supporting utterances的位置分布，S1代表摘要的第一个句子，S2代表摘要的第二个句子，position range代表utterances的位置范围，[0.1,0.2）代表前10%到前20%的utterances。从图中看出，对话摘要数据数据集上，摘要的第一条句子对应的supporting utterances主要分布在前10%到30%的范围，摘要的第二条句子对应的supporting utterances主要分布在前50%到前60%的范围，第三条句子对应的supporting utterances主要分布在80%后的范围。而在新闻摘要数据集上，摘要的三条句子对应的utterances主要分布在前30%的范围。
第二个特性，对话摘要相比一般的文本摘要，包含了更多的事实三元组结构(fact triplets,也就是主谓宾结构)，利用好这些三元组，可以让生成的摘要具有更好的事实一致性。现有的方法没有很好的考虑到对话的这两个特点，因此这篇文章提出了一个端到端的模型，引入了 supporting utterance flow module和fact regularization module这两个模块，从而有效的利用了对话的这两个特点。
图1：

Method

总体架构如下图所示，包含三部分basic model,supporting utterance modeling(SUFM),Fact Regularization(FR)

basic model

基本模型是hierarchical encoder decoder
首先将所有utterance连接在一起，通过embedding得到词嵌入向量[$e_{x_1}$,…$e_{x_i}$,…$e_{x_{L_x}}$]。通过hierarchical encoder得到world-level的向量表示$\left[{\mathbf{h}}_1,\dots ,{\mathbf{h}}_j,\dots ,{\mathbf{h}}_{L_{\mathbf{x}}}\right]$以及utterance-level的向量表示$\left[{\mathbf{u}}_1,\dots ,{\mathbf{u}}_i,\dots ,{\mathbf{u}}_{L_{\tilde{\mathbf{x}}}}\right]$。hierarchical decoder通过层次化的注意力机制结合word-level和utterance-level的信息生成最终的summary$\mathbf{y}=\left[y_1,\dots ,y_t,\dots ,y_{L_{\mathbf{y}}}\right]$,相关计算公式如下：
解码器隐藏状态：
$${\mathbf{s}}_t=\mathrm{GRU}\left({\mathbf{e}}_{y_{t?1}},{\mathbf{s}}_{t?1}\right)$$
utterance_level的attention：
$$\begin{array}{rl}{\beta }_{t,i}^u& ={\left({\mathbf{v}}^u\right)}^T\tanh \left({\mathbf{W}}_1^u{\mathbf{s}}_t+{\mathbf{W}}_2^u{\mathbf{u}}_i+{\mathbf{b}}^u\right),\\ {\alpha }_{t,i}^u& =\exp \left({\beta }_{t,i}^u\right)/\sum _{k=1}^{L_{\tilde{\mathbf{x}}}}\exp \left({\beta }_{t,k}\right)\\ {\mathbf{c}}_t^u& =\sum _{i=1}^{L_{\tilde{\mathbf{x}}}}{\alpha }_{t,i}^u{\mathbf{u}}_i\end{array}$$
word-level attention类似，将u变成h
$${\mathbf{c}}_t^w=\sum _{j=1}^{L_{\mathbf{x}}}{\bar{\alpha }}_{t,j}^w{\mathbf{h}}_j$$
通过MLP把所有表示合在一起：
$${\overline{\mathbf{s}}}_t=\mathrm{Dropout}\left({\mathbf{W}}^m\left[{\mathbf{s}}_t;{\mathbf{c}}_t^u;{\mathbf{c}}_t^w\right]+{\mathbf{b}}^m,r\right)$$
与pointer-generator一样，从原始输入中复制一部分词到输入中：
$$P\left(y_t\right)=\left(1?g_t\right)P_{\mathcal{V}}\left(y_t\right)+g_t{P}_{\mathcal{X}}\left(y_t\right)$$
$$g_t=\mathrm{sigmoid}\left({\mathbf{W}}^g{\overline{\mathbf{s}}}_t+b^g\right)$$
$$P_{\mathcal{V}}\left(y_t\right)=\mathrm{softmax}\left({\mathbf{W}}^{\mathcal{V}}{\overline{\mathbf{s}}}_t+{\mathbf{b}}^{\mathcal{V}}\right)$$
$$P_{\mathcal{X}}\left(y_t\right)=\sum _{j:x_j=y_t}{\bar{\alpha }}_{t,j}^w$$
使用负对数似然函数作为损失函数：
$$l_G=?\sum _{t=1}^{L_{\mathbf{y}}}\log P\left(y_t\mid y_1,\dots ,y_{t?1};\mathbf{x};\mathcal{F}\right)$$

SUFM

SUFM模块，包含两部分SUFM embedding和SUFM loss。
SUFM embedding表示utterance position和summary token position之间的correlation。在原来encoder输入的基础上增加了$e_i^u$,表示第i个utterance的position embedding，例如上图中，第一个token$x_1$第二个token$x_2$都属于第一个utterance,对应的position embedding就是$e_1^u$。在原来decoder输入的基础上增加了$e_t^s$，代表了第t个summary token对应的position embedding。SUFM embedding提供了生成的summary tokens和dialogue utterances之间的word-level alignment。
SUFM loss提供了生成的summary tokens和input utterances之间的sentence-level alignment,使得模型可以平滑的转移其在dialogue上的focus。先通过计算Jaccard相似度得到每条summary sentence对应的supporting utterances。定义当前的summary sentence句子为$CS{S}_k$,当前summary sentence对应的supporting utterances为$CS{U}_k$，上一个summary utterance对应的supporting utterances为$PS{U}_k$,SUFM loss包含两部分$l_{CS{U}_k}$和$l_{PS{U}_k}$,$l_{CS{U}_k}$使得模型关注当前summary sentence的supporting utterance，计算公式如下：
$$l_{CS{U}_K}=\log \left(\frac{{\sum }_{t:y_t\in CS{S}_k}{\sum }_{j:y_j\in CS{U}_k}\overline{{\alpha }_{t,j}^w}}{{\sum }_{t:y_t\in CS{S}_k}{\sum }_{j:y_j}\overline{{\alpha }_{t,j}^w}}\right)$$
$l_{PS{U}_k}$使得模型忽略上一个summary sentence的supporting utterance，计算公式如下：

最终的$l_{SUFM}$计算公式如下：
$$l_{SUFM}=\sum _{k=1}^n\left({\lambda }_1{l}_{CS{U}_k}+{\lambda }_2{l}_{PS{U}_k}\right)$$

FR:

FR模块，首先利用fact triplet extractor从gold summary中提取处fact triplets,同时在训练目标中增加一个正则项帮助模型提高生成摘要的事实一致性，fact triplet extractor基于dependency parse,增加的正则项计算公式如下：

s代表生成summary的hidden states,目标是使两项尽可能一致，类似于TransE的思想。$sub{j}_k$代表第k个fact triples中的subj的index,sverb,sobj类似
模型最终loss表示为：