计算机科学与探索

作者：张瑶, 李阳, 潘志松

单位：中国人民解放军陆军工程大学 指挥控制工程学院，南京 210000

关键词：知识蒸馏,反蒸馏,反向最大化学习,二元概率分布,模型保护

基金：国家自然科学基金（62076251）。

知识蒸馏是一种通过传递教师模型的学习表征能力来增强学生模型性能的技术。然而，随着无数据知识蒸馏技术的发展，这种技术也可能被用于不正当的模型复制或增强，导致模型知识产权受到侵害，模型安全面临挑战。为应对这一挑战，反蒸馏技术应运而生，旨在去除教师模型中的暗知识，防止潜在的盗窃者通过知识蒸馏学习到教师模型的特征提取能力。现有研究主要通过生成多峰的输出来混淆学生模型，然而这种方法可能会在反蒸馏模型的训练过程中引入噪声，从而影响模型性能。为了解决这一问题，提出了一种名为反向最大化学习的方法，旨在训练一个能够保持原模型性能的反蒸馏模型，降低知识蒸馏过程中的潜在风险。该方法通过二元概率机制将原模型输出中的正负类解耦，同时通过反向排序模块学习原模型反向的负类输出，消除反蒸馏模型输出中负类之间的置信度差异以破坏知识蒸馏，同时保持正类的置信度优势以维持原始性能。在Cifar-100和ImageNet200等数据集以及多种模型上的实验表明提出的方法在有数据和无数据两种知识蒸馏场景下均具有显著的有效性，优于对比方法。

来源：2026年第1期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2026年第1期