当前位置: 代码迷 >> 综合 >> MLP Architectures for Vision-and-Language Modeling: An Empirical Study 笔记
  详细解决方案

MLP Architectures for Vision-and-Language Modeling: An Empirical Study 笔记

热度:54   发布时间:2023-12-29 15:47:31.0

MLP Architectures for Vision-and-Language Modeling: An Empirical Study 笔记

  • 一、Abstract
  • 二、引言
  • 三、相关工作
  • 四、方法
  • 五、实验
  • 六、消融实验
  • 七、结论+展望
  • 八、附录
  • 博主认为的值得一阅的参考文献

写在前面
??这是一篇实验性质的论文,重点在于结论,这也是笔者第一次接触到这类文章,总体来说,重点关注实验结论,至于实验过程,还是尽量看懂其实验的步骤,无需过度理解。另外,参考文献中的一些文章值得细细阅读,会在博文最后面给出。

  • 论文地址:MLP Architectures for Vision-and-Language Modeling: An Empirical Study
  • 代码地址:Github,开源了但没完全开源~
  • 看论文的风格,盲猜一波:预计提交了2022年的CVPR~

这篇博文也不打算扯太多东西了,不切分 子标题了,也基本上无需再次翻阅原文了~

一、Abstract

??首次研究了MLP架构用于VL融合。在5个VL任务和5个数据集上进行实验。结果:

  • 没有预训练的情况下,MLPs相比于Transformer有明显的性能代沟;
  • VL预训练能够弥补这种代沟;
  • 多头注意力机制并非那么牛,只需要在MLPs上加个单头注意力就足以表现的和transformer差不多的性能;
  • 当进行鲁棒性VQA实验时,MLPs和Transform代沟会变小,这一点表明了使用MLPs用于VL融合能够泛化到和Transform类似的性能。

??这些发现证实了MLPs可以有效的对齐VL特征而不需要self-attention,那么问题来了,能够用MLPs代替VL模型结构吗?答案是不行,所有的MLPs相较于最先进的VL模型,处于预训练的情况下,精度是次优的,但是预训练的MLP能够超过没有预训练的transform(废话)。

二、引言

??前面的故事主要是讲一些MLP模型在分类任务中能够和Transform媲美,那么在多模态任务中呢?遂有了接下来的这篇论文。本文贡献如下:

  • 首次研究了MLPs用于VL;
  • 5个VL任务,收集了足够的证据证明摘要的结论以及MLPs存在的限制;
  • 在5个VQA数据集上进行分析,MLPs加上单个注意力头能够大致取得Transform差不多的性能。

三、相关工作

??两个部分的预训练介绍下:视觉-语言预训练,MLPs在视觉和语言方面的应用。

四、方法

在这里插入图片描述
??上图中 Or 的部分就是这一节的介绍内容。

五、实验

  • 实验步骤:
    预训练数据集:COCO、VG、VQA、GQA
    预训练目标:MLM、ITM、VQA
    其他训练设置:Batch-512, 16块 V100, 5-6天,得,又是个烧钱的工作,惹不起!
    下游任务:VQA、GQA、Visual Entailment(SNLI-VE)、NLVR、ITR(检索)
    鲁棒性数据集:VQA-Rephrasings、VQA-LOL、GQA-OOD
  • MLPs的结果
    摘要里面那些
  • 纯MLPs的结果
    仍有待进一步挖掘的空间(搁这挖坑呢)
  • 鲁棒性分析
    纯MLPs提升空间很大(搁这挖坑呢)

六、消融实验

  • 训练集的尺度
    当然越大越好啊
  • 参数尺度的影响
    当然到某个程度就饱和滴啦
  • 视觉和文本编码器的有效性
    MLP很有前景(搁这挖坑呢)
  • 主要发现
    MLP在分类上行不行?行
    MLP在VL任务上行不行?不行
  • MLP的变种比较
    正常灌水,总之比Transform低
  • 权重可视化
    越到后面越融合在一起滴啦

七、结论+展望

??结论:摘要里面那些
??展望:加大数据,加大模型,前提:钱烧的足够多!

八、附录

  • 更多的结果
    模型加变化
  • 图文匹配的结果
    正常分析,给出MLP的潜力(挖坑)
  • 参数量和浮点数
    这次我站MLP那边
  • 下游任务的实验设置
    VQA、Visual Entailment (SNLI-VE)、Natural Language for Visual Reasoning for Real (NLVR)、ImageText Retrieval、
  • 鲁棒性数据集介绍
    VQA-Rephrasings、VQA-LOL、Adversarial VQA、GQA-OOD
  • 额外的细节
    换成CNN

博主认为的值得一阅的参考文献

??以下这些文章我后面也会一一去阅读的,共同进步,奥利给!

【5】Jize Cao, Zhe Gan, Yu Cheng, Licheng Yu, Yen-Chun Chen, and Jingjing Liu. Behind the scene: Revealing the secrets of pre-trained vision-and-language models. In ECCV, 2020. 5
【10】Tejas Gokhale, Pratyay Banerjee, Chitta Baral, and Yezhou Yang. Vqa-lol: Visual question answering under the lens of logic. In ECCV, 2020. 2, 5, 15
【14】Lisa Anne Hendricks, John Mellor, Rosalia Schneider, Jean-Baptiste Alayrac, and Aida Nematzadeh. Decoupling the role of data, attention, and losses in multimodal transformers. arXiv preprint arXiv:2102.00529, 2021. 5
【32】Linjie Li, Zhe Gan, and Jingjing Liu. A closer look at the robustness of vision-and-language pre-trained models. arXiv preprint arXiv:2012.08673, 2020. 5, 15
【33】Linjie Li, Jie Lei, Zhe Gan, and Jingjing Liu. Adversarial vqa: A new benchmark for evaluating the robustness of vqa models. In ICCV, 2021. 2, 5, 15
【48】Meet Shah, Xinlei Chen, Marcus Rohrbach, and Devi Parikh. Cycle-consistency for robust visual question answering. In CVPR, 2019. 2, 5, 15
【50】Sasha Sheng, Amanpreet Singh, Vedanuj Goswami, Jose Alberto Lopez Magana, Wojciech Galuba, Devi Parikh, and Douwe Kiela. Human-adversarial visual question answering. In NeurIPS, 2021. 2, 5, 15

写在后面
??本篇博文就这样潦草结束了,还是那句话,结论重要,论文没时间看的就不用去阅读了。博文最后列出来的几篇参考文献还是值的一看滴~

  相关解决方案