计算机科学与探索

作者：纪贵阳, 王裴岩, 余卓

单位：1. 沈阳航空航天大学 计算机学院，沈阳 1101362. 上海飞机制造有限公司 航空制造技术研究所，上海 201324

关键词：工艺规范,大语言模型,知识注入,有监督微调

使用大语言模型进行工艺规范的应用是解决工艺知识查询不准确的有效途径。现阶段通过领域知识图谱嵌入或指令数据微调的领域模型构建方法效果不佳，难点在于工艺规范中工艺知识涉及多种工艺要素间关系，复杂度较高。各规范间仅通过引文方式使用导致数据稀疏。工艺知识复杂度高及数据稀疏导致模型对工艺领域概念、概念与属性间关系、概念与概念间关系、多概念间关系及参考依据知识的学习受限。针对该难点，提出一种面向工艺规范文本的大语言模型知识注入方法。根据工艺规范数据特点设计了包含辅助句判别任务、概念-篇章生成任务、篇章续写任务及篇章-摘要生成任务的知识注入数据，结合问答对数据对模型进行有监督微调，为模型注入领域概念、属性、多概念间关系及参考依据知识。实验结果表明，结合知识注入数据和问答对数据训练的模型对比只使用问答对数据训练的模型ACC（准确率）提升7.3个百分点，ROUGE-L提升7.4个百分点，BLEU-4提升6.2个百分点，表明提出的知识注入方法的有效性。

来源：2024年第9期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2024年第9期