当前位置: 代码迷 >> 综合 >> 12An Interaction-aware Attention Network for Speech Emotion Recognition in Spoken Dialogs
  详细解决方案

12An Interaction-aware Attention Network for Speech Emotion Recognition in Spoken Dialogs

热度:94   发布时间:2023-11-24 10:08:01.0

文章目录

  • 前言
  • 一、文章内容
  • 二、文章总结
  • 三、相关代码


前言

原文地址—2019

一、文章内容

  • 文章想法:

    • 不同与其他的感情识别算法只考虑单独的话语识别,本文提出了一种新的语音表达机制,将语境信息融入到学习的声乐表达中,提出了一种交互感知网络(IAAN)
  • 输入数据:
    openSMILE toolkit [17], in-cluding features such as Mel-Frequency Cepstral Coefficients(MFCCs), pitch and their statistics in each short frame of anutterance. We obtain a sequence of a total of 45 dimensionalframe-level acoustic features for each utterance

  • 文章模型
    在这里插入图片描述

  • 训练方式:

    • 五倍交叉验证
  • 模型输出

  • 实验结果:
    在这里插入图片描述

  • 文章结论

二、文章总结

  • 文章novel和优势:
    • 把上下文的语境因素考虑进来了,不同于下面的相关文章,该文章使用注意力机制来融合上下文信息,使得当前的感情特征向量更加符合当前的语境,适合长文本的对话语音分析使用
  • 同其他文章比较的劣势:
    • 使用了较多的手工的特征

三、相关代码

  • Conversational Memory Network for Emotion Recognition in Dyadic Dialogue Videos-2018 这是一个多(三)模态的,融合上下文信息的感情识别框架,如下是识别结果,具体内容再说
    在这里插入图片描述
  • Interaction and transition model for speech emotionrecognition in dialogue-2017
    在这里插入图片描述
    在这里插入图片描述
  相关解决方案