摘要
随着火星探索技术的发展，各国的漫游车陆续成功着陆火星，开启了对火星地表的探索。火星车成本昂贵，难以同时设置多个进行分布式探索，从而降低了信息收集的效率。为提高信息采集效率，可同时布置多个造价低的小型机器人进行探索任务。在探测过程中，机器人的环境感知很大程度上影响了探测任务完成的质量。小型机器人由于体积问题难以携带过多的传感器进行环境感知，同时其缺少足够的算力和存储能力去处理和储存复杂的传感器信息。用单目相机作为小型机器人的环境感知传感器，仅处理和存储单张单目场景图像，减少机器人载荷负担的同时还可降低机器人造价。 现有利用单目相机进行环境感知的方法中，在室内环境以及城市道路等结构化场景中已经有较为成熟的发展。在非结构化的自然场景中，由于地貌以及障碍物的无规则性等原因，很难将结构化场景的感知方案迁移到非结构化场景中。环境感知要从传感器中尽可能获取更多的场景信息，单目图像中有丰富的场景颜色信息和纹理信息，但缺乏地形语义信息和深度信息。利用深度学习的方法可从单目图像中获得上述信息，但网络精度的提升伴随着实时性的下降。为此，本文考虑小型机器人环境感知需求，研究一种基于单目图像的语义分割和三维生成的环境感知方案，旨在实现一种兼顾精度和实时性的火星三维重构方法。本文的重点研究内容分为实时语义地形分割和实时三维信息生成两个部分，具体研究内容如下： 1、基于短期密级联网络的语义分割方法：语义分割技术能够获得更多的场景信息，如地貌类别和地貌边界信息。训练好的语义分割模型能预测出场景图中的每个像素的语义标签，现有的准确率高的模型计算量庞大，实时性低。针对本文对网络精确度和实时性的需求，采用短期密级联网络完成语义分割任务。该网络在训练过程添加指导模块，推理时去掉这些模块，通过这种策略，提升了网络精度，减少了网络计算量。 2、基于双编码器pix2pix网络的三维地形生成方法：条件生成对抗网络结合有监督的训练方式，通过特定的输入，能完成指定的生成任务。利用条件生成网络强大的生成能力，通过向网络输入单目图像和语义图生成图像场景的三维信息。网络训练过程中，判别器网络判断生成器网络输出结果的真实性，利用判断结果调整生成器网络参数，增强生成器的生成能力。网络训练完成后，仅用生成器模型进行推理，同时生成器网络采用轻量结构，得到实时三维信息生成器模型。 3、火星平面-立体数据集构建及基于语义分割和三维重构的环境感知实验：本文为实现基于语义分割和三维生成的环境感知方案，在火星语义分割数据集AI4MARS的基础上，构建了火星平面-立体数据集。该数据集中拥有匹配的单目火星近景图、语义分割图以及深度图。利用该数据集进行语义分割网络和三维生成网络的训练，得到的语义分割模型精度可达到58%mIoU，同时速度可到达152FPS；三维生成模型生成深度图与真值间的像素绝对相对误差为0.273，均方根误差为0.454，模型速度150FPS。整体环境感知方案速度为7FPS。
NETL