当前位置: 代码迷 >> 综合 >> 阅读笔记 多模态情感分析 Low Rank Fusion based Transformers for Multimodal Sequences
  详细解决方案

阅读笔记 多模态情感分析 Low Rank Fusion based Transformers for Multimodal Sequences

热度:78   发布时间:2024-02-22 19:20:46.0

这一篇是讲 多模态情感分类的。

模型结构
在这里插入图片描述

  • Low Rank Fusion

借用了 ACL2018 Efficient Low-rank Multimodal Fusion with Modality-Specific Factors论文中的Low Rank Fusion

ACL2018的模型如下
在这里插入图片描述
作者在此基础上, 使用LSTM 对序列数据进行压缩 (为什么是时间序列, 是如何用LSTM 进行压缩的, 这个论文没有讲清楚)

  • Fusion-based Transformer
    在这里插入图片描述
    我们把三个模态的信息 经过LMF 得到融合后的信息, 然后对每个模态放到一个 Transformer中, 来做一个跨模态的attention, 然后得到的新的 融合向量 在进行self-attention, 使得得到最终的表示, 进行预测。
  相关解决方案