计算机科学与探索

作者：赵红磊, 唐焕玲, 张玉, 孙雪源, 鲁明羽

单位：1. 山东工商学院 信息与电子工程学院，山东 烟台 2640052. 山东工商学院 计算机科学与技术学院，山东 烟台 2640053. 山东省高等学校协同创新中心：未来智能计算，山东 烟台 2640054. 山东省高校智能信息处理重点实验室（山东工商学院），山东 烟台 2640055. 大连海事大学 信息科学技术学院，辽宁 大连 116026

关键词：命名实体识别（NER）,知识蒸馏,k-best维特比解码,数据增强

为提升命名实体识别（NER）模型的性能，可采用知识蒸馏方法，但是传统知识蒸馏损失函数因内部存在的耦合关系会导致蒸馏效果较差。为了解除耦合关系，有效提升输出层特征知识蒸馏的效果，提出一种结合k-best维特比解码的解耦合知识蒸馏方法（kvDKD），该方法利用k-best维特比算法提高计算效率，能够有效提升模型性能。另外，基于深度学习的命名实体识别在数据增强时易引入噪声，因此提出了融合数据筛选和实体再平衡算法的数据增强方法，旨在减少因原数据集引入噪声和增强数据错误标注的问题，提高数据集质量，减少过度拟合。最后在上述方法的基础上，提出了一种新的命名实体识别模型NER-kvDKD。在MSRA、Resume、Weibo、CLUENER和CoNLL-2003数据集上的对比实验结果表明，该方法能够提高模型的泛化能力，同时也有效提高了学生模型性能。

来源：2024年第3期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2024年第3期