计算机科学与探索

作者：韩毅, 乔林波, 李东升, 廖湘科

单位：1.国防科技大学 气象海洋学院,长沙 410073；2.国防科学大学 计算机学院,长沙 410073

关键词：知识图谱,预训练语言模型,自然语言处理

基金：并行与分布处理重点实验室（PDL）科技开放基金(6142110200203);并行与分布处理重点实验室（PDL）科技开放基金(WDZC20205500101)

知识增强型预训练语言模型旨在利用知识图谱中的结构化知识来强化预训练语言模型,使之既能学习到自由文本中的通用语义知识,又能够学习到文本背后的现实实体知识,从而有效应对下游知识驱动型任务。虽然该方向研究潜力巨大,但相关工作目前尚处初期探索阶段,并未出现全面的总结和系统的梳理。为填补该方向综述性文章的空白,在归纳整理大量相关文献的基础上,首先从引入知识的原因、引入知识的优势、引入知识的难点三方面说明了知识增强型预训练语言模型产生的背景信息,总结了其中涉及的基本概念;随后列举了利用知识扩充输入特征、利用知识改进模型架构以及利用知识约束训练任务等三大类知识增强方法;最后统计了各类知识增强型预训练语言模型在评估任务上的得分情况,分析了知识增强模型的性能指标、目前面临的困难挑战以及未来可能的发展方向。

来源：2022年第7期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2022年第7期