计算机科学与探索

作者：杨力, 文腾, 廖远, 姜春雨

单位：西南石油大学 计算机与软件学院，成都 610500

关键词：情感分析,多模态,方面,图卷积神经网络,注意力机制

基金：国家自然科学基金（61175122）；四川省科技计划（2022NSFSC0555）。

当前方面级多模态情感分析（MABSA）中普遍存在图像特征利用不足、模态间交互机制薄弱的问题。为此，提出一种新颖的图像双交互异构图神经网络模型（DIGN），以提升图像语义理解能力与跨模态特征融合效率。使用ResNet50和RoBERTa分别提取图像与文本的初始语义特征，并结合多头注意力机制增强文本的上下文表达；设计图卷积双交互模块，构建图像-文本与图像-方面两个异构图结构，利用GCN分别建模其语义关系，深入挖掘图像的局部与目标相关语义信息；引入注意力感知辅助模块，将两种交互特征通过多头注意力机制进行融合，并加入残差连接和归一化增强特征一致性与稳定性；提出多模态语义融合模块，结合全局注意力机制（GAM）与多层感知机（MLP），动态调控通道和特征维度权重，实现交互特征与原始方面特征的深层融合；通过Softmax函数完成情感分类任务。在Twitter-2015与Twitter-2017两个数据集上进行的对比实验和消融实验验证了该模型在精确度、鲁棒性及泛化能力上的显著提升。

来源：2026年第4期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2026年第4期