计算机科学与探索

作者：李梦云, 张景, 张换香, 张晓琳, 刘璐瑶

单位：1. 内蒙古科技大学 信息工程学院，内蒙古 包头 0140102. 内蒙古科技大学 理学院，内蒙古 包头 0140103. 内蒙古科技大学 创新创业教育学院，内蒙古 包头 0140104. 上海大学 计算机工程与科学学院，上海 200444

关键词：多模态情感分析,信息增强,信息交互,多头注意力机制,特征融合

随着社交网络的发展，人类通过不同的方式表达自己的情感，包括文本、视觉和语音，即多模态。针对以往的多模态情感分析方法未能有效地获取多模态情感特征表示，以及没有充分考虑在多模态特征融合过程中冗余信息对实验的影响，提出了一种基于跨模态语义信息增强的多模态情感分析模型。该模型采用BiLSTM网络挖掘各单模态内部存在的上下文信息。通过跨模态信息交互机制对多种模态间的信息交互进行建模，得到文本对语音、视觉，语音对文本、视觉，视觉对文本、语音六种信息交互特征，将目标模态相同的信息交互特征进行拼接，得到信息增强后的单模态特征向量，有效地获取模态间共享和补充的深度语义特征。另外，使用多头自注意力机制分别计算原始单模态特征向量和信息增强后的单模态特征向量间存在的语义相关性，提高识别关键情感特征的能力，降低冗余信息对情感分析的负面干扰。在公共数据集CMU-MOSI和CMU-MOSEI的实验结果表明，所提出的模型既能增强情感特征表示，也能有效降低冗余信息的干扰，在多模态情感分类准确率和泛化能力上的表现优于相关工作。

来源：2024年第9期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2024年第9期