摘要
基于传统机器学习算法构建的矿井通风系统阻变型故障诊断模型通过被动学习输入与输出之间的非线性映射关系实现故障诊断，智能性差、泛化能力弱，且在数据分布失衡时表现能力欠佳，因此迫切需要开发一种新的故障诊断技术。深度强化学习算法无需人工提取特征，通过智能体与环境的交互进行学习，可以实现由原始数据到目标输出的端到端学习，是实现智能决策的有效方法。因此，本文采用深度强化学习算法对矿井通风系统阻变型故障进行智能诊断，并为了验证深度强化学习算法在矿井故障诊断领域的有效性、智能性和强大的泛化能力，开展了如下研究： （1）深度强化学习是深度学习和强化学习的结合，为了确定合适的深度学习网络结构和超参数，构建了基于一维卷积神经网络（1DCNN）的矿井通风系统阻变型故障诊断深度学习模型，并探究了网络结构、超参数、样本属性对模型故障诊断性能的影响，发现模型性能受到样本属性、网络结构和参数的影响显著，采用基于贝叶斯优化算法（BO）对模型的超参数进行优化，将优化后的模型作为构建深度强化学习的Q网络。 （2）构建了基于深度强化学习的矿井通风系统故障诊断模型，实现了由矿井通风系统状态参数到故障类别的端到端的智能自主决策。该方法以故障后矿井的风量数据作为模型的输入，以故障分支编号或故障量作为当前输入的可选动作，通过深度学习网络完成故障特征的提取，并拟合当前状态-动作对的Q值；以强化学习模型完成对故障位置和故障量的识别，通过仿真实验和现场实证应用证明了该方法在矿井通风系统阻变型故障诊断领域的智能性、泛化性和应用于现场实际的可行性，并通过与基于传统机器学习、深度学习故障诊断模型结果的对比，证明了深度强化学习模型在智能性和泛化能力方面的优势。 （3）针对故障样本非均衡的问题，提出了一种结合KMeans++算法和空间距离构建强化学习奖励函数的方法。该方法利用KMeans++算法对样本进行聚类分析，以失衡比为基准设计质心的奖励函数，以同一簇中样本和质心的欧式距离作强化学习回报值的偏置，实现了为每一个样本构建个性化的奖励函数。DQN模型对不同失衡比的样本集UB1、UB2、UB3的故障位置诊断准确率分别为98.75%、97.50%、95.00%，有效的避免了智能模型对多数类样本的“偏心”现象，实现了对非均衡样本故障位置的准确预测。 基于深度强化学习算法构建的矿井通风系统阻变型故障诊断模型具有强大的表征能力、泛化能力和自主决策能力，依据此方法有望建立矿井通风系统阻变型故障诊断的通用体系结构，为实现矿井智能通风提供理论指导和技术支撑。
NETL