fork from Datawhale零基础入门NLP赛事 - Task4 基于深度学习的文本分类1-fastText_综合

在上一章节，我们使用传统机器学习算法来解决了文本分类问题，从本章开始我们将尝试使用深度学习方法。

Task4 基于深度学习的文本分类1-fastText

与传统机器学习不同，深度学习既提供特征提取功能，也可以完成分类的功能。从本章开始我们将学习如何使用深度学习来完成文本表示。

学习目标

学习FastText的使用和基础原理
学会使用验证集进行调参

文本表示方法 Part2

现有文本表示方法的缺陷

在上一章节，我们介绍几种文本表示方法：

One-hot
Bag of Words
N-gram
TF-IDF

也通过sklean进行了相应的实践，相信你也有了初步的认知。但上述方法都或多或少存在一定的问题：转换得到的向量维度很高，需要较长的训练实践；没有考虑单词与单词之间的关系，只是进行了统计。

与这些表示方法不同，深度学习也可以用于文本表示，还可以将其映射到一个低纬空间。其中比较典型的例子有：FastText、Word2Vec和Bert。在本章我们将介绍FastText，将在后面的内容介绍Word2Vec和Bert。

FastText

FastText是一种典型的深度学习词向量的表示方法，它非常简单通过Embedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，进而完成分类操作。

所以FastText是一个三层的神经网络，输入层、隐含层和输出层。

下图是使用keras实现的FastText网络结构：

FastText在文本分类任务上，是优于TF-IDF的：

FastText用单词的Embedding叠加获得的文档向量，将相似的句子分为一类
FastText学习到的Embedding空间维度比较低，可以快速进行训练

如果想深度学习，可以参考论文：

Bag of Tricks for Efficient Text Classification, https://arxiv.org/abs/1607.01759

基于FastText的文本分类

FastText可以快速的在CPU上进行训练，最好的实践方法就是官方开源的版本：
https://github.com/facebookresearch/fastText/tree/master/python

pip安装

pip install fasttext

源码安装

git clone https://github.com/facebookresearch/fastText.git
cd fastText
sudo pip install .

两种安装方法都可以安装，如果你是初学者可以优先考虑使用pip安装。

import pandas as pd
from sklearn.metrics import f1_score# 转换为FastText需要的格式
train_df = pd.read_csv('./data/train_set.csv', sep='\t')# 读取数据
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)# 将标签转成要求的格式：__label__标签k
train_df[['text','label_ft']].iloc[:-5000].to_csv('train.csv', index=None, header=None, sep='\t')#写文件import fasttext# 导入fasetext
model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=2, verbose=2, minCount=1, epoch=25, loss="hs")#训练模型val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]# 预测
print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))#输出f1值
# 0.82

0.9095269303744286

此时数据量比较小得分为0.82，当不断增加训练集数量时，FastText的精度也会不断增加5w条训练样本时，验证集得分可以到0.89-0.90左右。

如何使用验证集调参

在使用TF-IDF和FastText中，有一些模型的参数需要选择，这些参数会在一定程度上影响模型的精度，那么如何选择这些参数呢？

通过阅读文档，要弄清楚这些参数的大致含义，那些参数会增加模型的复杂度
通过在验证集上进行验证模型精度，找到模型在是否过拟合还是欠拟合

这里我们使用10折交叉验证，每折使用9/10的数据进行训练，剩余1/10作为验证集检验模型的效果。这里需要注意每折的划分必须保证标签的分布与整个数据集的分布一致。

label2id = {}
for i in range(total):label = str(all_labels[i])if label not in label2id:label2id[label] = [i]else:label2id[label].append(i)

通过10折划分，我们一共得到了10份分布一致的数据，索引分别为0到9，每次通过将一份数据作为验证集，剩余数据作为训练集，获得了所有数据的10种分割。不失一般性，我们选择最后一份完成剩余的实验，即索引为9的一份做为验证集，索引为1-8的作为训练集，然后基于验证集的结果调整超参数，使得模型性能更优。

本章小结

本章介绍了FastText的原理和基础使用，并进行相应的实践。然后介绍了通过10折交叉验证划分数据集。

本章作业

阅读FastText的文档，尝试修改参数，得到更好的分数
基于验证集的结果调整超参数，使得模型性能更优

train_supervised parameters ：
input # training file path (required)
lr # learning rate [0.1]
dim # size of word vectors [100]
ws # size of the context window [5]
epoch # number of epochs [5]
minCount # minimal number of word occurences [1]
minCountLabel # minimal number of label occurences [1]
minn # min length of char ngram [0]
maxn # max length of char ngram [0]
neg # number of negatives sampled [5]
wordNgrams # max length of word ngram [1]
loss # loss function {ns, hs, softmax, ova} [softmax]
bucket # number of buckets [2000000]
thread # number of threads [number of cpus]
lrUpdateRate # change the rate of updates for the learning rate [100]
t # sampling threshold [0.0001]
label # label prefix [‘label’]
verbose # verbose [2]
pretrainedVectors # pretrained word vectors (.vec file) for supervised learning []

import pandas as pd
from sklearn.metrics import f1_score
from bayes_opt import BayesianOptimization
import fasttext# 导入fasetextdef rf_cv(lr, wordNgrams,epoch,dim):model = fasttext.train_supervised('train.csv', lr=lr, wordNgrams=int(wordNgrams), verbose=2, minCount=1, epoch=int(epoch),dim=int(dim))#训练模型val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]# 预测return f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro')#输出f1值

rf_bo = BayesianOptimization(rf_cv,{'lr':(0.001,2),'wordNgrams': (2, 6),'epoch': (8, 30),'dim':(60,600)}
)

rf_bo.maximize()

|   iter    |  target   |    dim    |   epoch   |    lr     | wordNg... |
-------------------------------------------------------------------------
| [0m 1       [0m | [0m 0.9354  [0m | [0m 209.7   [0m | [0m 14.41   [0m | [0m 1.49    [0m | [0m 5.667   [0m |
| [0m 2       [0m | [0m 0.9346  [0m | [0m 361.8   [0m | [0m 16.07   [0m | [0m 1.684   [0m | [0m 5.303   [0m |
| [0m 3       [0m | [0m 0.9256  [0m | [0m 489.7   [0m | [0m 21.76   [0m | [0m 0.137   [0m | [0m 4.586   [0m |
| [0m 4       [0m | [0m 0.9256  [0m | [0m 472.2   [0m | [0m 25.71   [0m | [0m 1.792   [0m | [0m 2.466   [0m |
| [0m 5       [0m | [0m 0.9192  [0m | [0m 71.77   [0m | [0m 19.73   [0m | [0m 0.09126 [0m | [0m 4.773   [0m |
| [0m 6       [0m | [0m 0.9263  [0m | [0m 314.0   [0m | [0m 8.005   [0m | [0m 1.346   [0m | [0m 2.067   [0m |
| [0m 7       [0m | [0m 0.9291  [0m | [0m 287.7   [0m | [0m 29.97   [0m | [0m 0.2691  [0m | [0m 5.853   [0m |
| [95m 8       [0m | [95m 0.9355  [0m | [95m 599.1   [0m | [95m 29.81   [0m | [95m 1.926   [0m | [95m 5.858   [0m |
| [95m 9       [0m | [95m 0.9367  [0m | [95m 599.5   [0m | [95m 8.271   [0m | [95m 1.777   [0m | [95m 5.708   [0m |
| [0m 10      [0m | [0m 0.9366  [0m | [0m 166.1   [0m | [0m 29.74   [0m | [0m 1.985   [0m | [0m 5.866   [0m |
| [95m 11      [0m | [95m 0.9369  [0m | [95m 145.9   [0m | [95m 8.204   [0m | [95m 1.916   [0m | [95m 5.823   [0m |
| [0m 12      [0m | [0m 0.9358  [0m | [0m 406.0   [0m | [0m 8.032   [0m | [0m 1.822   [0m | [0m 5.9     [0m |
| [0m 13      [0m | [0m 0.9353  [0m | [0m 163.3   [0m | [0m 8.01    [0m | [0m 1.915   [0m | [0m 5.879   [0m |
| [0m 14      [0m | [0m 0.9358  [0m | [0m 596.7   [0m | [0m 8.693   [0m | [0m 1.796   [0m | [0m 5.967   [0m |
| [0m 15      [0m | [0m 0.9343  [0m | [0m 399.3   [0m | [0m 29.1    [0m | [0m 1.988   [0m | [0m 5.94    [0m |
| [0m 16      [0m | [0m 0.9319  [0m | [0m 181.9   [0m | [0m 29.39   [0m | [0m 1.978   [0m | [0m 5.982   [0m |
| [95m 17      [0m | [95m 0.9375  [0m | [95m 208.6   [0m | [95m 8.476   [0m | [95m 1.868   [0m | [95m 5.911   [0m |
| [0m 18      [0m | [0m 0.9346  [0m | [0m 237.7   [0m | [0m 8.513   [0m | [0m 1.948   [0m | [0m 5.954   [0m |
| [0m 19      [0m | [0m 0.9355  [0m | [0m 187.0   [0m | [0m 8.106   [0m | [0m 1.959   [0m | [0m 5.899   [0m |
| [0m 20      [0m | [0m 0.936   [0m | [0m 368.5   [0m | [0m 8.323   [0m | [0m 1.98    [0m | [0m 5.854   [0m |
| [0m 21      [0m | [0m 0.9362  [0m | [0m 599.7   [0m | [0m 11.18   [0m | [0m 1.736   [0m | [0m 5.961   [0m |
| [0m 22      [0m | [0m 0.9361  [0m | [0m 167.9   [0m | [0m 9.412   [0m | [0m 1.921   [0m | [0m 5.955   [0m |
| [0m 23      [0m | [0m 0.9353  [0m | [0m 599.7   [0m | [0m 8.927   [0m | [0m 1.879   [0m | [0m 5.764   [0m |
| [0m 24      [0m | [0m 0.9369  [0m | [0m 377.6   [0m | [0m 8.067   [0m | [0m 1.947   [0m | [0m 5.958   [0m |
| [0m 25      [0m | [0m 0.9359  [0m | [0m 597.6   [0m | [0m 8.005   [0m | [0m 1.99    [0m | [0m 5.93    [0m |
| [0m 26      [0m | [0m 0.935   [0m | [0m 397.4   [0m | [0m 8.825   [0m | [0m 1.989   [0m | [0m 5.947   [0m |
| [0m 27      [0m | [0m 0.9334  [0m | [0m 599.1   [0m | [0m 29.82   [0m | [0m 1.922   [0m | [0m 5.953   [0m |
| [0m 28      [0m | [0m 0.9351  [0m | [0m 192.6   [0m | [0m 8.846   [0m | [0m 1.921   [0m | [0m 5.953   [0m |
| [0m 29      [0m | [0m 0.936   [0m | [0m 174.2   [0m | [0m 8.002   [0m | [0m 1.834   [0m | [0m 5.973   [0m |
| [0m 30      [0m | [0m 0.9363  [0m | [0m 153.5   [0m | [0m 11.25   [0m | [0m 1.996   [0m | [0m 5.983   [0m |
=========================================================================

最优分数是0.9375，超参数为 dim=208,epoch= 8,lr=1.868,wordNgram= 5.911