计算机科学与探索

作者：崔健, 汪永伟, 李飞扬, 李强, 苏北荣, 张小健

单位：网络空间部队信息工程大学，郑州 450099

关键词：文本摘要,知识蒸馏,提示工程,大语言模型

文本摘要生成是自然语言处理领域的主要研究方向之一。针对当前中文摘要模型语义提取能力弱、大模型生成质量不稳定、部署资源要求高等问题，提出了结合知识蒸馏的中文文本摘要生成方法。采取多线程调用大模型接口的方式对训练数据进行增强，引入提示工程，对齐摘要质量并生成参考标签；利用蒸馏技术在知识迁移方面的优势，采取离线知识蒸馏方法，将大模型输出作为知识传授给学生网络，提升学生网络摘要准确性和可读性，同时降低训练成本和资源消耗；对学生网络进行改进，使用复制机制缓解未登录词问题，并对输出结果进行双向相似度计算以优化损失函数，进一步提升模型稳定性。在NLPCC2017数据集上的实验表明，所提方法在ROUGE评价指标上的综合性能优于现有主流的摘要生成方法。在摘要生成质量方面，提出的方法在中文摘要过程中提高了准确率，提升了流畅度；在模型部署要求方面，所提方法具备较小参数量，能够满足轻量级低开销离线部署。

来源：2025年第7期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2025年第7期