计算机科学与探索

作者：王香, 毛力, 陈祺东, 孙俊

单位：1. 江南大学 人工智能与计算机学院，江苏 无锡 2141222. 无锡学院 物联网工程学院，江苏 无锡 210044

关键词：情感分析,多模态,注意力机制,特征融合

针对多模态情感分析中模态间优化不平衡和多模态特征融合不充分的问题，提出一种融合动态梯度机制和多视图协同注意力机制的多模态情感分析模型（DG-MCM），能够有效挖掘单模态特征并充分融合多模态信息。首先，模型使用预训练模型BERT和堆叠式长短期记忆神经网络（SLSTM）学习文本、音频和视频的特征，并提出动态梯度机制，通过监测各模态对学习目标的贡献差异和学习速度辅助各模态的特征学习。其次，将得到的不同模态的特征使用多视图协同注意力机制进行特征融合，通过将每两个模态投影到多个空间执行交互获得更加充分的融合特征。最后，拼接融合特征和单模态特征进行情感预测。在CMU-MOSI和CMU-MOSEI数据集的实验结果表明，该模型能够充分学习单模态和不同模态之间的信息，有效提升多模态情感分析的准确率。

来源：2024年第5期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2024年第5期