摘要
近年来随着我国煤矿作业深度的增加，冲击地压矿井数量也随之增多，由冲击地压引发的煤矿事故频发，造成严重的人员伤亡和财产损失。目前，主要依赖人工操作钻进进行卸压作业，一旦事故发生，将会带来严重的人员伤亡，实现智能化卸压是冲击地压矿井安全高效生产的必由之路。防冲钻孔机器人作为智能化卸压的关键设备，可以有效降低煤矿冲击地压事故发生率并减少人员伤亡。然而由于井下环境恶劣，巷道狭长，防冲钻孔机器人在自主前往目标点的行进过程及作业过程中，仅依赖人工视频监控往往难以及时发现人员闯入等违章行为，进而引发严重的人身安全事故，因此对防冲钻孔机器人作业区域人员违章行为进行及时识别和预警，对实现防冲钻孔机器人自主行进和作业过程中的人员保护具有重要意义。 由于井下环境恶劣，能见度低，基于单一模态的人员监测系统往往存在准确性和鲁棒性不足的问题。为此本文针对防冲钻孔机器人在煤矿复杂环境下作业中识别人员违章行为的需求，设计了基于多模态图像感知的钻孔机器人作业区域人员监测防护系统，实现了人员违章行为的精确检测，为钻孔机器人智能化、自主化钻进奠定了基础。论文的主要工作及研究成果如下： （1）设计了防冲钻孔机器人作业区域人员监测系统总体架构，对系统设备进行选型，结合防冲钻孔机器人作业区域的实际工况，对人员监测系统工作流程及相关的深度学习算法进行了设计。 （2）针对多模态图像光学成像存在差异的问题，设计了图像标定配准的预处理方法，提出了基于改进STDFusionNet网络的多源图像融合方法，并从主客观角度对改进后网络模型在图像融合过程中的有效性和适用性进行了实验验证。 （3）针对现有单模态目标检测方法识别准确率低的问题，提出了集成特征交互模块和深度可分离卷积的改进双模融合YOLOv5人员检测方法，设计了融合非局部注意力机制的改进TSM人员行为实时识别方法，并通过数据集测试分析，验证了所设计网络模型在人员目标检测和行为识别任务中的可行性和优越性。 （4）在山东能源集团兖州菏泽能化有限公司赵楼煤矿开展了钻孔机器人作业区域的人员入侵检测和行为识别相关实验验证，开发了防冲钻孔机器人作业区域人员监测系统软件。实验结果表明，该系统能够在复杂井下环境中准确地检测和识别人员，为防冲钻孔机器人提供了有效的视觉感知支持，有助于提高井下作业人员的安全性和工作效率。 综上所述，本文对防冲钻孔机器人作业区域人员监测技术进行了深入研究，改进了多源图像融合，双模目标检测及时序行为识别的深度学习模型。通过实验验证，证明了所提出的技术在煤矿井下人员监测方面的可行性和有效性，对于提高防冲钻孔机器人安全高效钻孔和预防事故的发生具有重要意义。
NETL