计算机科学与探索

作者：刘军, 冷芳玲, 吴旺旺, 鲍玉斌

单位：1. 东北大学 信息化建设与网络安全办公室，沈阳 1108192. 东北大学 计算机科学与工程学院，沈阳 110169

关键词：大语言模型,学科知识图谱,实体关系抽取,多模态命名实体识别,知识蒸馏

为了高效构建教育领域多模态学科知识图谱，提出了基于大模型知识蒸馏和多模型协作推理的教材文本实体关系抽取算法。在模型训练阶段，利用闭源的千亿参数模型对文本数据进行标注，实现隐式知识蒸馏。然后对开源十亿规模参数模型进行领域数据指令微调，提升开源模型实体关系抽取任务的指令遵循能力。在模型推理阶段，闭源模型作为指导模型，开源的十亿规模参数模型作为执行模型。实验结果表明知识蒸馏、多模型协作、领域数据指令微调具有有效性，显著提高了基于指令提示的教材文本实体关系抽取任务的效果。提出了显隐式知识增强的教材示意图多模态命名实体识别算法。利用图像OCR、视觉语言模型等技术提取了教材示意图中的文字信息、全局内容描述信息。通过显式知识库检索增强和隐式LLM提示增强的方法，得到图像-标题对中可能关联的辅助知识，并将显式知识库和隐式LLM得到的知识进一步融合，形成最终的辅助知识。将示意图辅助知识和示意图标题进行拼接，实现教材示意图标题的多模态命名实体识别。实验结果表明，该算法具有先进性，同时增强了算法的可解释性。

来源：2024年第11期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2024年第11期