计算机科学与探索

作者：荆博祥, 王海荣, 王彤, 杨振业

单位：1. 北方民族大学 计算机科学与工程学院，银川 7500212. 北方民族大学 图像图形智能处理国家民委重点实验室，银川 750021

关键词：多模态知识图谱,链接预测,知识推理,多模态特征融合

基金：宁夏自然科学基金（2023AAC03316）；宁夏回族自治区教育厅高等学校科学研究重点项目（NYG2022051）；北方民族大学中央高校基本科研业务费专项资金（2021KJCX10）。

现有的多模态知识推理方法大多采用拼接或注意力的方式，将预训练模型提取到的多模态特征直接进行融合，往往忽略了不同模态之间的异构性和交互的复杂性。为此，提出了一种多模态特征增强的双层融合知识推理方法。结构信息嵌入模块采用自适应图注意力机制筛选并聚合关键的邻居信息，用来增强实体和关系嵌入的语义表达；多模态嵌入信息模块使用不同的注意力机制关注不同模态数据的独有特征，以及多模态数据间的共性特征，利用共性特征的互补信息进行模态交互，以减少模态间异构性差异；多模态特征融合模块采用将低秩多模态特征融合和决策融合相结合的双层融合策略，实现了多模态数据在模态间和模态内的动态复杂交互，并综合考虑每种模态在推理中的贡献度，得到更全面的预测结果。为了验证方法的有效性，分别在FB15K-237、DB15K和YAGO15K数据集上进行了实验。结果表明：该方法相比多模态推理方法，在FB15K-237数据集上MRR和Hits@1分别平均提升3.6%和2.2%；相比单模态推理方法，MRR和Hits@1分别平均提升13.7%和14.6%。

来源：2025年第2期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2025年第2期