计算机科学与探索

作者：吴楚, 王士同

单位：1. 江南大学 人工智能与计算机学院，江苏 无锡 2141222. 江苏省物联网应用技术重点建设实验室，江苏 无锡 214122

关键词：灾难性遗忘,持续学习,深度网络,渐进神经网络

持续学习旨在连续地学习多个任务，且在不发生灾难性遗忘的情况下，能够利用先前任务的知识帮助当前任务的学习。渐进神经网络是一种参数独立的持续学习方法，渐进地为每个任务分配额外的网络来提升持续学习的性能，但是这种方法未能直接利用任务间相似度的影响。而在持续学习过程中，通过对比任务间的相似度，并以此对先前任务的参数进行修剪再迁移可能会显著提高当前任务的性能。因此，提出了一种任务相似度引导的渐进深度神经网络（TSGPNN）及其学习方法，它包括了任务相似度评估和渐进学习两个阶段。其中，任务相似度评估阶段定义了一个参照值来衡量目标任务域之间的相似度，并以此作为任务间知识迁移量的参照；渐进过程通过吸收先前任务中的知识重新学习，以此提升学习新任务的能力。对CIFAR-100、MNIST-Permutation和MNIST-Rotation数据集做任务切分，实验表明，TSGPNN的性能与单任务学习、多任务学习和其他基准持续学习方法相比更好、更稳定。

来源：2023年第5期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2023年第5期