摘要
近年来，深度学习已在视觉领域任务中取得了巨大成果。但在很多现实场景中，只有少量有标注样本可以获取，而标注大量无标签样本需要耗费巨大的人力。为解决这一困难，旨在通过少量样本就能使模型快速区分新类的小样本学习，成了广泛关注的热点。其中，原型网络将每类所获得的有标签样本特征求均值作为“原型”，计算测试样本到每个原型的距离来实现分类。由于其简单与有效，在小样本学习领域中取得了显著成功，在此基础上的许多方法取得了优秀成绩。然而，这些方法在有效利用基类中学到的知识方面仍存在困难，同时，如何避免少量样本下原型估计不准导致过拟合的问题也没有得到好的处理。针对原型网络在小样本中存在的上述问题，本文的具体工作如下： （1）针对原型网络中支持集样本数量过少，导致求平均生成的原型偏差过大，从而产生错误的分类结果的问题，提出了利用类内类间信息的原型补足小样本学习网络。将同类支持集样本重构生成类内信息特征图并提取得到类别描述信息，从而补全原型，避免了远离类中心的样本影响。同时，由于测试集与训练集存在较大的领域间隙，跨类任务无法较好达成，模型还通过生成额外样本辅助训练以更好适应类间关系，构建更合理的映射关系，从而提升模型的特征表示质量。 （2）针对模型提取特征时易受背景等无关因素干扰，导致生成的特征嵌入质量不佳，从而在小样本学习任务表现差的问题，提出了基于Transformer的前景特征对齐小样本学习网络。在该网络中，本文提出了一种改进的Transformer模块，用于匹配同类支持集样本特征图的最大共享信息并增强，增强后的特征图将对测试样本特征图匹配以对齐特征，最终增强前景和排除后景干扰。而为了保证获取高质量的特征图，在预训练阶段引入了对比学习模块帮助获取更好的视觉表示。通过两个模块的结合，取得了较好的小样本实验结果。 （3）小样本学习任务的一大难点在于，被测试的新类与训练用的基类数据种类、形态等差距过大，这一跨域任务导致的领域间隙问题难以缓解。针对该问题，提出了原始知识补全的原型网络。该网络将基类中所学习到的类中心知识记录下来并命名为“原始知识”，并通过 Transformer 模块对任务中的嵌入进行重构，将其转换为与原始知识的组合以帮助快速适应偏差较大的新类任务。
NETL