摘要
随着计算机技术的飞速发展，数据量的爆炸式增长已经成为各个领域的常态。然而，海量数据中的宝贵信息往往深藏在复杂的数据结构和高维空间中。使用这些数据训练机器学习任务不仅造成时间和存储资源的巨大浪费，而且会导致维度灾难问题。因此，特征提取作为一种高效的数据预处理方法，对于获取判别信息以提升下游机器学习任务的性能至关重要。 近年来，对比学习作为深度学习领域内一种有效的自监督学习策略，展现出了在挖掘数据关键特征方面的卓越性能。将其优势应用于传统的单视图与多视图数据特征提取领域的探索，无疑是一项具有重要研究价值的工作。然而，经过深入分析后发现，尽管对比学习在深度学习领域得到了广泛的发展，但将其应用到特征提取中仍面临一些挑战。当前大多数对比学习的研究都集中在优化神经网络上，这在一定程度上限制了它们在传统特征提取领域中的应用潜力。许多现有的对比学习方法主要针对多视图数据设计，例如通过数据增强获取的两视图图像来构建对比损失。然而，单视图学习凭借其在计算效率和训练速度上的优势，也有其独特的适用场景。当前的对比学习方法大多依靠数据增强技术来定义正负样本，这可能会忽视数据的结构信息，从而导致伪正负样本问题的产生。 面对当前的挑战，本研究提出了一系列创新的基于对比学习的单视图和多视图数据特征提取方法。这些方法旨在提升特征提取性能，为解决特征提取问题开辟新的视角和工具。研究内容主要围绕以下四个核心方面展开: 1.针对现有单视图特征提取方法过分依赖线性关系，以及对比学习方法难以适用于传统特征提取领域的问题，提出了一种基于对比学习的单视图联合特征提取框架（UnifiedFeatureExtractionFrameworkbasedonContrastiveLearning,CL-UFEF）。CL-UFEF摒弃了传统的数据增强策略，而是依据单视图数据特点构建对比学习图，并以此定义正负样本。基于此，它有效地解决了对比学习中伪正负样本的问题，从而促使同类样本在子空间中更加紧密，异类样本更加分散。CL-UFEF同时适用于无监督和有监督特征提取问题，并在三种对比学习图的基础上具体阐述了框架的应用方式。从理论上证明，CL-UFEF成功度量了对比学习图中正样本的互信息，捕捉到了样本间的非线性复杂依赖关系。多个数据集上的数值实验表明CL-UFEF相比其它特征提取方法具有较强的性能，同时与数据增强的对比学习方法相比也具有明显优势。 2.针对原始空间中构建的对比学习图不精确，以及正负样本的定义与特征提取过程相分离的问题，提出了一种基于自适应正负样本的对比学习特征提取框架（FeatureExtractionFrameworkbasedonContrastiveLearningwithAdaptivePositiveandNegativeSamples,CL-FEFA）。CL-FEFA学习子空间中的潜在结构信息，以此在对比学习过程中自适应地定义正负样本。CL-FEFA有效地解决了由于特征冗余和数据噪声导致的正负样本不精确的问题，并显示出对噪声数据更强的鲁棒性。CL-FEFA同时适用于无监督、半监督和有监督特征提取问题。理论上证明了CL-FEFA度量了潜在结构空间中正样本的互信息，捕捉到了子空间样本表示的非线性复杂依赖关系。多个公开数据集上的数值实验表明了CL-FEFA的优越性能，特别是在处理噪声数据集时的鲁棒性也尤为显著。 3.针对现有对比学习方法不能充分探索多视图数据一致性信息的问题，提出了一种基于双对比学习头的多视图特征提取方法（Multi-viewFeatureExtractionMethodbasedonDualContrastiveHeads,DCH）。DCH构建一个结构级对比学习头，不仅学习每个视图子空间中的潜在结构信息，还探索视图间结构信息的一致性。DCH将结构级对比学习头与样本级对比学习头相结合，从而增强了对多视图一致性信息的探索。从理论上深入探讨了结构级对比学习头与互信息及概率性类内类间散度之间的联系，这揭示了所提方法的内在工作机制并为其性能优势提供了理论基础。多个多视图数据集上的数值实验验证了DCH的优越性能，尤其是通过组合实验进一步验证了结构级对比学习头的广泛适用性。 4.针对现有对比学习方法探索多视图一致性信息不可避免地造成信息重复表示即含有冗余信息的问题，以及未能充分考虑每个视图特有的判别信息的问题，提出了基于三对比学习头的多视图特征提取方法（Multi-viewFeatureExtractionMethodbasedonTripleContrastiveHeads,TCH）。TCH从信息论的角度出发，构建特征级对比学习头去除冗余信息，从而促使样本级对比学习头实现子空间判别信息的最小化。此外，TCH还构建了重构级对比学习头，以捕获视图特有的判别信息，从而促使子空间判别信息的充分性。理论上证明了特征级和恢复级对比学习头能够延续样本级对比学习头在互信息度量上的优势，为该方法提够了有效的理论支撑。多个多视图数据集上的数值实验表明TCH具有优越性能，消融实验也进一步证明了结构级和恢复级对比学习头的重要作用。
NETL