计算机科学与探索

作者：葛依琳, 孙海春, 袁得嵛

单位：中国人民公安大学 信息网络安全学院，北京 100038

关键词：视觉问答,知识检索,跨模态,外部知识

基金：中国人民公安大学基本科研业务费（2024JKF02）。

视觉问答任务旨在通过理解图像内容回答问题，具有广泛的应用前景。然而，传统模型仍存在以下问题：依赖基础视觉特征，难以充分捕捉图像中的复杂信息，在图像语义理解和外部知识融合上存在不足；引入的外部知识常伴随噪声，影响检索和答案生成的准确性；缺乏有效的监督机制，有益知识难以得到充分利用，从而降低整体问答性能。针对以上问题，提出了一种融合多模态知识与有监督检索的视觉问答模型。该模型由多模态特征提取、基于多模态语义推理的知识检索和基于BLIP的阅读推理模块构成。其中，多模态特征提取模块通过融合图像语义特征、图像基础视觉特征、问题语义特征及知识特征，实现对“问题-图像”的全面理解。基于多模态语义推理的知识检索模块采用多层注意力机制，实现对“问题-图像”相关知识的精准检索。BLIP阅读推理模块则利用预训练的BLIP模型进行答案推理，提升答案生成的准确性。此外，结合有监督训练优化检索过程，减少噪声干扰。实验在OK-VQA、FVQA和VQA2.0等多个基准数据集上均表现优异，通过消融实验进一步验证了模型中各组件的有效性。为融合知识的视觉问答领域提供了新的解决方案，展示了多模态知识融合与有监督检索在提升视觉问答模型性能方面的潜力。

来源：2025年第8期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2025年第8期