摘要
近年来，睡眠障碍对我国居民的身心健康构成了严重的威胁。研究自动睡眠分期算法是监测睡眠状态、评估睡眠质量、诊断睡眠相关疾病的重要过程，具有重大的临床价值，是当前备受关注的研究领域。现有的基于深度学习方法的自动睡眠分期方法中，大多数研究只考虑单通道的睡眠数据，没有考虑多通道数据。因此，本文重点放在多模态数据在睡眠分期中的研究，主要包括研究多模态数据的关联性，多模态特征的融合策略等。本文的主要研究内容主要有以下几个方面： (1)为了更加准确地预测睡眠分期，本文采用U2-Net架构提取EEG和EOG特征波。在不同的睡眠阶段，EEG和EOG会呈现不同的特征波。因此，自动睡眠分期的第一步就是构建多模态数据的特征提取网络。 (2)为了更加充分的利用多模态数据的信息，捕捉多模态特征之间的关联性，本文提出了多层次的多模态特征融合方法。该方法分别在两个特征层进行了特征融合。第一，对U2-Net的编码器输出的低层特征进行拼接，然后以卷积的方式进行融合。第二，对U2-Net的解码器输出的高层特征加上偏置后，以乘积的方式进行融合，其中权重由模型自适应地学习和调整，保证模型更好地关注重要特征；此外还利用注意力机制对融合后的特征进行筛选，使模型关注更具有判别力的融合特征。低层特征包含更多的细节信息，而高层特征包含更丰富的语义信息，采用多层次的多模态特征融合方法可以充分地结合两者的优势。在基于多模态融合的模型中，在Sleep-EDF-13数据集中各睡眠阶段(W，N1，N2，N3，REM)的F1分数达到了90.7%，61.0%，91.6%，88.8%，88.3%，总体F1分数达到了84.1%，平均准确率达到了87.8%；在Sleep-EDF-18数据集中，各睡眠阶段(W，N1，N2，N3，REM)的F1分数达到了93.5%，55.3%，86.2%，77.1%，88.4%，总体F1分数达到了80.1%，平均准确率达到了84.5%。 (3)针对EEG和EOG在睡眠分期中的相关性，本文提出了睡眠生理信号互重构的睡眠分期模型。本文利用U2-Net的编码器和解码器对EEG和EOG进行互重构，即EEG和EOG利用彼此的信息进行数据重构。在睡眠分期的分类任务中增加多模态数据的重构任务，可以强化特征学习、增加模型的鲁棒性、提高模型泛化能力和增加数据效率等。在基于多模态融合和睡眠生理信号互重构的睡眠分期模型中，在Sleep-EDF-13数据集中各睡眠阶段(W，N1，N2，N3，REM)的F1分数达到了91.8%，63.1%，91.9%，91.4%，88.7%，总体F1分数达到了85.4%，平均准确率达到了88.5%；在Sleep-EDF-18数据集中，各睡眠阶段(W，N1，N2，N3，REM)的F1分数达到了92.8%，56.6%，86.7%，82.2%，89.3%，总体F1分数达到了81.5%，平均准确率达到了84.9%。 (4)为了更加有效地学习多模态融合特征，本文采用了通道注意力机制模块和提出了帧间注意力机制模块以及帧内注意力机制模块。本文在高层特征融合的模块中加入了注意力机制对融合后的特征进行进一步的学习。本文使用了三种注意力机制：一是通道注意力机制模块，该模块关注的是融合特征通道之间的交互和联系；二是帧间注意力机制，该模块关注的是融合特征帧间的交互和联系；三是帧内注意力机制，该模块关注的是融合特征帧内的交互和联系。接着，基于这三种注意力机制，设计了三种模型，分别是CAM模型(包含了通道注意力机制)，CInterAM模型(包含了通道注意力机制和帧间注意力机制)和CInterIntraAM模型(包含了通道注意力机制、帧间注意力机制和帧内注意力机制)。在基于三种注意力机制模块构建的三种模型中，在Sleep-EDF-13数集中，性能表现最好的是CInterAM模型，各睡眠阶段(W，N1，N2，N3，REM)的F1分数达到了93.3%，63.9%，91.6%，91.4%，88.9%，总体F1分数达到了85.8%，平均准确率达到了88.8%；在Sleep-EDF-18数据集中，性能表现最好的是CInterIntraAM模型，各睡眠阶段(W，N1，N2，N3，REM)的F1分数达到了93.7%，57.0%，88.0%，81.9%，89.4%，总体F1分数达到了82.0%，平均准确率达到了86.4%。 综上，本文提出的多层次的多模态特征融合方法和睡眠生理信号互重构方法以及对于融合特征模块中注意力机制的改进可以提高模型的准确性、鲁棒性和泛化能力。
NETL