计算机科学与探索

作者：时振普, 吕潇, 董彦如, 刘静, 王晓燕

单位：1. 山东中医药大学 医学信息工程学院，济南 2503552. 山东省中医院 信息科，济南 250014

关键词：多模态知识图谱,知识图谱融合,多模态大语言模型,智能医疗

基金：国家自然科学基金（82174528）；山东省中医药科技项目（2021M146）；山东中医药大学科学研究基金（KYZK2024M13）。

多模态知识图谱利用文本、视觉等多模态数据对实体、关系及事件进行建模，展现出强大的数据处理能力，为人工智能领域提供更丰富、深入的理解，也因此备受医学领域瞩目，其在医学数据处理、潜在价值挖掘等多类研究中均取得显著成效。为更好地厘清多模态知识图谱在医学领域的研究现状，阐述多模态知识图谱基本知识及医学领域多模态知识图谱构建难点与相关数据集；从传统方法及深度学习方法两个角度分析多模态知识图谱融合涉及的多模态实体对齐与多模态实体链接等关键技术，重点分析文本、图像、音频三个模态的特征提取及融合方法，总结各多模态融合方法优缺点并阐述多模态大语言模型在多模态融合中的应用；详细梳理多模态知识图谱在医学视觉问答、药物研发、影像辅助诊断等领域的研究进展。在此基础上，分析归纳医学领域多模态知识图谱在多模态融合与数据集方面的局限性及面临的挑战，并对未来研究方向进行展望。

来源：2025年第7期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2025年第7期