计算机科学与探索

作者：李泽龙, 刘成恺, 生春雷, 卢树华

单位：1. 中国人民公安大学 信息网络安全学院，北京 1000382. 安全防范技术与风险评估公安部重点实验室，北京 100026

关键词：多模态情感分析,预训练语言模型,Transformer模型,跨模态注意力

基金：中央高校基本科研业务费项目（2024JKF10）。

针对三种模态特征融合不充分与音视频情感极性表达较弱的问题，提出一种基于模态对齐与音视频极性向量辅助的多模态情感分析方法（MA-PVA）。设计了模态对齐层，利用跨模态注意力机制，对音视频特征中与文本无关的情感信息进行过滤，减少不同模态间特征表达差异，将筛选结果用于增强文本模态，使文本与音视频模态特征充分融合。设计了音视频极性向量辅助任务，用于增强音视频情感极性。上述结构与预训练语言模型进行交互，能够得到更丰富的文本模态特征，以提升最终情感预测效果。所提方法在公开基准数据集CMU-MOSI与CMU-MOSEI上进行了大量实验，结果显示与最优基线方法相比，在CMU-MOSI数据集上二分类准确率分别为88.1%、89.9%，提升了0.6、0.3个百分点，七分类准确率为52.2%，提升了4.8个百分点；在CMU-MOSEI数据集上，二分类准确率分别为85.9%、87.5%，提升了1.2、0.4个百分点，七分类准确率为54.7%，提升了0.2个百分点。实验结果表明所提方法超越当前诸多性能先进的方法，有效地提高了情感分类的准确度。

来源：2025年第12期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2025年第12期