词法分析之Bi-LSTM-CRF框架

词法分析是NLP的一项重要的基础技术，包括分词、词性标注、实体识别等，其主要算法结构为基于Bi-LSTM-CRF算法体系，下面对Bi-LSTM-CRF算法体系进行介绍。

引言

首先抛开深层的技术原因，来从宏观上看一下为什么LSTM（Bi-LSTM）后接CRF效果会好。
首先引用一篇英文文献关于这个问题的介绍：

For sequence labeling (or general structured prediction) tasks, it is beneficial to consider the corelations between labels in neighborhoods and jointly decode the best chain of labels for a given input sentence. For example, in POS tagging an adjective is more likely to be followed by a noun than a verb, and in NER with standard BIO2 annotation I-ORG cannot follow I-PER. Therefore, we model label sequence jointly using a conditional random field (CRF), instead of decoding each label independently

End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF

总结起来就是，用CRF是为获取全局最优的输出序列，相当于对lstm信息的再利用

另外，引用知乎用户“穆文”的回答，从网络结构上来讲，Bi-LSTM-CRF套用的还是CRF这个大框架，只不过把LSTM在每个$t$时刻在第$i$个tag上的输出，看作是CRF特征函数里的“点函数”（只与当前位置有关的特征函数），然后“边函数”（与前后位置有关的特征函数）还是用CRF自带的。这样就将线性链CRF里原始的$w*f$这种形式的特征函数（线性）变成LSTM的输出$f_1$（非线性），这就在原始CRF中引入了非线性，可以更好的拟合数据。

Bi-LSTM-CRF算法体系架构图

双向LSTM（Bi-LSTM）

双向LSTM的架构如下图所示：

与传统LSTM不同，双向LSTM同时考虑了过去的特征（通过前向过程提取）和未来的特征（通过后向过程提取）。看起来虽然很复杂，但是简单考虑一下，所谓的后向过程相当于将原始序列逆向输入到LSTM中。所以从这个角度来看，双向LSTM相当于两个LSTM，一个正向输入序列，一个反向输入序列，再将两者的输出结合起来作为最终的结果。

学习过程

Bi-LSTM layer的输出维度是tag size，这就相当于是每个词$w_i$映射到tag的发射概率值，设Bi-LSTM的输出矩阵为$P$，其中$P_{i,j}$代表词$w_i$映射到$tag_j$的非归一化概率。对于CRF来说，我们假定存在一个转移矩阵$A$，则$A_{i,j}$代表$tag_i$转移到$tag_j$的转移概率。

对于输入序列$X$对应的输出tag序列$y$，定义分数为:

$$s(X,y) = \sum\limits_{i=0}^nA_{y_i,y_{i+1}}+\sum\limits_{i=0}^nP_{i,y_i}$$

对输入序列$X$所对应的每个输出tag序列$y$计算这个分数，选择出分数最大的一个作为最终的输出tag序列。

可以看出优化目标为$\mathop{max}s(X,y)$，优化方法为动态优化算法，细节见 Conditional random fields: Probabilistic
models for segmenting and labeling sequence
data.

参考

Bidirectional LSTM-CRF Models for Sequence Tagging