摘要
探索大脑功能活动和理解认知机制一直是神经科学的主要研究热点之一，功能磁共振成像(functional Magnetic Resonance Imaging,fMRI)作为一种非侵入性的全脑功能成像方法，在探究大脑功能活动中发挥了重要的作用。近年来，深度神经网络在多个领域展示出的优越性能促进了深度学习与fMRI研究的结合。在深度学习中，监督学习是最常见的形式之一，其训练过程需要大量标注数据,这与fMRI数据集往往拥有小数据量相冲突。并且，进行大量数据标注成本较高，且需要较强的专业知识。而自监督学习的出现避免了深度学习算法中对于数据标注的需求。因此，亟需构建一个适用于小型fMRI数据集进行认知功能研究的自监督学习框架。 本文围绕着自监督学习框架的构建、模型预训练、小数据集的迁移应用以及深度学习在fMRI解码中的可解释性问题等方面展开研究，研究内容如下: 首先，一个符合数据内在特性的自监督学习模式是实现神经网络有效特征提取最重要的部分，对于fMRI数据，其特定时间点的值没有意义，而其随着时间的变化能够反映大脑功能活动特性。考虑到人脑内部神经状态的连续性，即在时间上两个相互靠近的神经信号相关性比时间距离远的神经信号之间的相关性大。本研究提出，一段fMRI序列中部与后部的相关性大于前部与后部的相关性，由此基于时域设计单个fMRI数据内部的对比损失函数。使用在含有1034位参与者的人脑连接组计划(Human Connectome Project,HCP)数据集上的五个任务进行模型的预训练。接着使用该预训练模型进行了一系列的下游任务验证，在HCP的运动和关系任务分类上仅使用12位参与者数据微调模型实现了模型的收敛。最后，我们将预训练模型迁移到包含来自30位参与者未经预处理的fMRI小数据集上，在面部与房子刺激任务分类中达到了 80.2±4.7％的准确率。 此外，为了探究深度学习在fMRI中可解释性问题，本研究使用多领域任务数据集(Multiple Domain Task Battery,MDTB)进一步验证了该模型的性能。在具体实验设置上，将7个大脑功能网络作为输入，对认知任务的解码能力作为输出。结果显示，使用视觉网络输入，模型的性能与使用全脑输入相当，而使用边缘网络解码的性能几乎为随机水平。为了对结果进一步验证，使用相同范式在HCP数据集上进行评估，研究结果与MDTB数据集一致。 综上，本研究基于时域构建自监督框架并迁移至fMRI小数据集，验证了该方法在fMRI数据上的有效性;同时，研究发现，可以通过将脑功能网络fMRI数据作为神经网络的输入进而分析区域fMRI活动和认知任务之间的相关性，为深度学习在fMRI解码的可解释性研究提供了新的思路。
NETL