计算机科学与探索

作者：段宗涛, 黄俊臣, 朱晓乐

单位：长安大学 信息工程学院，西安 710018

关键词：情感分析,多模态,模态融合,模态对齐,模态噪声

基金：陕西省特支计划科技创新领军人才资助项目（TZ0336）；长安大学中央高校基本科研业务费专项资金（300102244301）。

情感分析是自动判定观点持有者所表现的态度或情绪倾向性的过程，其在商业、社交媒体分析和舆情监测等领域得到了广泛应用。在单一模态情感分析中，多数研究者使用文本、面部表情和音频信息来进行分析。然而，随着深度学习技术的快速发展，情感分析逐渐从单一模态扩展至多模态领域，综合多种模态，能够克服单一模态存在的局限性并更加准确和全面地理解人们所表达的情感。以三种单模态情感分析为基础对多模态情感分析中的关键技术进行了综述。简要介绍了多模态情感分析的背景和目前的研究现状；总结了常用的相关数据集；分别对基于文本、面部表情和音频信息的单模态情感分析进行了简要叙述；重点梳理了视频多模态情感分析中的关键技术，如多模态融合、对齐和模态噪声处理，并对这些技术的关系与应用进行了详细分析；对不同模型在三种常用数据集上的性能指标进行了分析，进一步验证了关键技术的有效性。讨论了多模态情感分析现存问题和未来的发展趋势。

来源：2025年第3期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2025年第3期