计算机科学与探索

作者：许威, 张晓琳, 张换香, 张景

单位：1. 内蒙古科技大学 数智产业学院，内蒙古 包头 0140102. 内蒙古科技大学 创新创业教育学院，内蒙古 包头 0140103. 上海大学 计算机工程与科学学院，上海 2004444. 内蒙古科技大学 理学院，内蒙古 包头 014010

关键词：多模态方面级情感分析,双粒度图像信息,多模态交互,多模态融合,跨模态注意力

基金：国家自然科学基金（62466045）；内蒙古自然科学基金（2023MS06012）；内蒙古自治区直属高校基本科研业务费项目（2024QNJS033，2024XKJX019）。

多模态方面级情感分析（MABSA）作为一种细粒度情感分析技术，旨在通过整合多种模态的特征数据来提高该领域的精度和效果。现有的多模态方面级情感分析的研究大多集中在文本和图像模态间的跨模态对齐上，忽略了图像的粗细粒度特征信息对MABSA子任务的潜在贡献。为此，提出一种联合双粒度图像信息的多模态方面级情感分析方法（CDGI）。在多模态方面词提取任务中，为增强图像与文本模态的交互，利用ClipCap获取图像的粗粒度特征描述文本，作为图像提示信息，辅助模型预测文本中的方面词及其属性。在多模态方面词情感分类中，为了捕获丰富的图像细粒度情感特征，通过跨模态注意力机制，将带有原始情感语义的图像底层特征与掩码后的文本经过多层深度交互，强化图像特征到文本特征的融合。在两个公共的Twitter数据集和Restaurant+数据集上的实验结果表明，CDGI的表现优于当前的基线模型，验证了图像粗细粒度特征对MABSA子任务不同贡献度的合理性。

来源：2025年第9期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2025年第9期