摘要
人类具有从任务复杂多样的现实场景中快速学习新知识而不影响所学知识稳定性的天赋，但对当前的机器学习而言拥有这样的天赋仍然具有挑战性。当在旧任务上训练好的神经网络对新任务进行训练时，新任务将严重干扰旧任务的性能，这就是著名的灾难性遗忘问题。为了解决现实场景中的灾难性遗忘问题，广义持续学习（GeneralContinualLearning,GCL）应运而生并逐渐受到关注。广义持续学习的目标是从非平稳的无限数据流中巩固所学知识，并快速地学习新知识。本文以基于经验回放的持续学习框架为基础，提出了两种基于知识蒸馏和对比学习的模型，并以图像分类任务为研究对象来实现广义持续学习。 首先，本文提出了一种基于协作知识蒸馏和协作对比学习的补偿校正框架（ComplementaryCalibration，CoCa）来探索互补的模型输出和特征表示。具体地，协作知识蒸馏旨在解决离线知识蒸馏方法中教师模型的响应偏差问题，它借助学生模型的响应来校正教师模型的响应，使得校正后的教师模型能够很好地帮助学生模型巩固所学知识，平衡类别间的关系。协作对比学习利用了自监督的上下文实例对比学习和监督的实例间对比学习间的互补优势，学习所有类别完整的和判别性的特征来解决新旧类的特征表示间缺乏区分性的问题。 其次，本文提出了一种在线对比蒸馏网络（OnlineContrastiveDistillationNet-work，OCD-Net）来避免离线知识蒸馏中教师模型分类器权重偏差问题。教师模型通过随机动量更新的策略在线累积学生模型的权重，因而能有效缓解离线教师模型中的分类器权重偏差问题。学生模型通过向教师模型蒸馏保存样本的类别间对比关系和自适应模型响应来巩固所学知识，这在帮助学生模型缓解分类器权重偏差问题的同时也间接阻隔了教师模型在累积学生模型权重时累积有偏差的分类器权重。 最后，本文在六个广义持续学习基准数据集上进行训练和测试，以验证两种所提广义持续学习方法的有效性。此外，本文也分别在任务、领域和类别增量学习等三个传统的场景对所提方法的通用性进行了验证。实验表明，提出的两种广义持续学习方法在不同的持续学习任务中都具有优越性。
NETL