摘要
在电线老化的大型仓库、工厂或老式平层居民房等中小型火灾场景，消防机器人可代替消防员进入火灾现场进行灭火。火灾环境下消防机器人除扑灭火势外，还应找到伤员位置，这便要求消防机器人具有场景理解和伤员识别能力。而普通RGB相机拍摄出的火灾现场会因火焰和烟雾遮挡视线等问题使得识别无法正常进行，当前也未有学者研究适用于该场景的数据集和网络模型，针对上述需求，本文开发了具有环境和伤员感知、远程遥控和消防灭火等功能的消防机器人，并创建了火灾场景下的多模态数据集供机器人完成特殊场景的神经网络模型训练，使之具备稳定的语义地图创建与伤员探测能力。 首先，通过分析消防机器人的应用场景及功能需求，根据相应技术指标设计和搭建消防机器人硬件平台及控制系统，研发消防机器人样机，并基于样机研究场景理解等关键技术。机器人软硬件系统主要分为五大模块:移动底盘及驱动模块、消防水炮及控制模块、相机及图像传输模块、遥控操作通讯模块和深度学习图像处理模块。 其次，针对当前并未有公开的适用于场景理解的火灾现场数据集，本文创建了火灾场景下的伤员分割数据集供语义分割网络训练使用，包含火灾环境下伤员情况的RGB图像、深度图像和红外图像，数据集的制作与处理主要包括图像采集、预处理、人工标注及图像增强等。 然后，针对消防场景中RGB图失效的问题，利用深度图不受火焰烟雾干扰的优势,本文提出一种以深度图为主导的语义分割网络DDNet,该网络充分利用RGB-D数据集中深度图像的几何信息来解析和分割室内场景。RGB图特征和深度图特征分别由两个卷积神经网络分支提取并以一定的权重比例融合。为进一步增强网络泛化能力，本文首先在普通室内开源数据集上进行训练，以证明深度图主导网络的有效性和普适性。在NYUv2和ScanNetv2开源数据集上的实验结果表明DDNet比同样架构的RGB图主导的语义分割网络训练效果更好，这也证明了深度图在场景理解中更加适合于分割任务。 最后，在搭建的训练环境下使用本文设计的网络模型对采集的不同图像模态进行训练和对比，该实验验证了红外图像在火灾场景下做语义分割性能最佳，全局精度可达98.7％。此外，将不同模态数据以加权融合方式进行训练，信息融合实验结果表明其性能优于单一RGB图或单一深度图语义分割。实验验证了消防机器人在火灾场景下具有良好的伤员识别能力。
NETL