2020.08.31
- 概念理解
- 不同点
- QA
- QA中的知识检索
- 社区问答系统
- 参考
概念理解
对话系统包括了问答，对话系统按任务进行分类包括了：问答型，任务型，闲聊型。当然，这种分类方式并不严格，很多对话中，人的目的是多重的。
不同点
| 内容 | 不同点 |
|---|---|
| 问答（Question Answering） | 以提问和解答为主，侧重于满足寻求知识 ；另外，QA答案一般是确切的或者没有找到答案 |
| 对话（Dialogue） | 输入不只是问题，也可以是打招呼，下指令，抒发情绪等 ；回答可以是多种多样。 |
QA
流程：
| 1、问题理解 | 2、知识检索 | 3、答案生成 |
|---|---|---|
| 问题分类；关键词识别；相似问题扩展 | 非结构化信息检索；结构化信息检索；推理 | 候选答案定位；答案抽取；答案摘要 |
QA中的知识检索
| 非结构化信息检索 | 结构化信息检索 |
|---|---|
| 文档的集合，可利用使用搜索引擎提取关键词，查询索引，如 Lucene开源搜索引擎框架 ；先圈定文档范围，再圈定文本范围，排序，提取答案 | 在论文应用中以KB形式为主 |
基于深度神经网络模型，自动学习知识和推理，是个有前景的研究方向，FaceBook设立了一个文本理解和推理的数据集bAbI；
社区问答系统
难点：相似问题检索和答案过滤；这两点在一般的问答系统中也会遇到
相似问题检索：基于深度神经网络的模型，学习句子的表示，将问句进行encode，将候选答案进行decode，得到相似度的表示，进而计算相似度的概率分布【Learning question similarity with recurrent neural networks】
参考
https://www.zhihu.com/question/68140485/answer/815211836
https://github.com/yanxionglu/text_pdf
《大数据智能-数据驱动的自然语言处理技术》（刘知远等 编著）