abstract
先生成前提，接着转换成文本段落，最终组合成故事
技术: 模型融合以及门控注意力机制
introduction
seq2seq容易退化成语言模型，很难关注到故事之间的依赖关系
融合机制，force on 在提示和故事之间的联系
dataset
？对未知的单词标记和文档标记结尾建模，提高词汇量
！稀有单词和拼写错误非常多
approch
summerization: 句子建模 根据高级提示进行条件化(condition on)
分层
提出原因: 语言模型没有结构
方法:1.卷积生成故事前提
2.seq2seq遵循前提，生成结构化的句子
使用卷积的seq2seq
并行
门控注意力
cnn无法完成长时间的建模
模型融合
思考: 融合方式几乎无法创新
在训练方法上进行创新，或者更换模型
related work
故事生成
- 使用各种内容激发故事，例如使用照片Kiros et al. (2015)
- 将一些描述链接到短故事中Jain et al. (2017)
- 文本->事件 对事件进行故事建模 ->文本Martin et al. (2017)
分层文本生成
- 使用LSTM分层学习单词，句子，段落嵌入，然后将段落嵌入转换为文本 Li et al. (2015b)
- 根据上下文生成离散的潜在变量，然后生成以其为条件的文本。 Yarats and Lewis (2017)
模型融合
- 语言模型独立初始化seq2seq的编解码器 Ramachandran et al.(2016)
- 仅在推理时将语言模型和seq2seq模型的预测结合在一起 Chorowski and Jaitly (2016)
- 连接在一起的门控功能 Gul-cehre et al. (2015)
- 给定固定语言模型的情况下训练seq2seq模型，然后学习门以从语言模型中过滤信息。 Sriram et al(2017)