摘要
随着人工智能和机器人技术的发展，人们对机器人代替人类完成各类智能化任务的需求日益增加。家庭环境通常具有半结构化、半静态性、高噪声等特点，对服务机器人高质量完成服务任务带来了极大的挑战。三维场景理解技术通过分析处理传感器的数据，提取环境中高层次的语义、实例以及物体间关系等信息，帮助机器人充分的理解周围环境，是其执行多样化、智能化任务的基础。因此，针对室内服务机器人三维全景地图和场景图的构建及拓展问题进行以下研究: (1)高效准确的三维全景建图方法研究:高效准确的家庭场景全景地图是机器人执行智能任务的基础。为促进机器人在实际场景中的部署和应用，提出了一种新的三维全景地图构建框架。首先，提出一种神经网络和几何方法结合的高效全景感知算法，通过有效的融合多种感知数据实现图像中物体全景掩膜的推理。其次，基于多目标跟踪(MultipleObjectTracking,MOT)的时序信息、全景感知的语义信息及点云的空间信息，提出一种多源数据关联算法，实现多帧图像中实例物体的关联。然后，提出一种基于截断符号距离函数(TruncatedSignedDistanceFunction,TSDF)地图的高效数据融合及全景建图算法，利用地图中实例物体的包围盒有效地提高了地图中实例物体的完整性。最后，基于公共大规模室内数据集和实际场景进行了大量对比实验，实验结果表明，相比现有最新方法，所提框架能够在保证建图准确性的前提下大幅提升感知的实时性。 (2)增量三维场景图构建及地图更新方法研究:虽然三维全景地图能够全面的表征环境的度量信息，但信息不够简洁，三维场景图能够有效的将场景中的信息以精简的形式表示出来。此外，根据环境的最新状态更新地图模型能够有效地使机器人在半静态家庭环境中获取最新的场景信息。因此，提出了一种增量式三维场景图构建和地图更新框架。首先，基于图神经网络并根据图像投影的三维实例物体的特征预测出物体间的关系，进而构建出局部三维场景图，基于全景地图构建的数据关联和语义信息实现全景三维场景图的融合。然后，提出一种实例物体的变化检测方法，判断机器人实时观测数据和历史地图数据之间的差异。最后，设计了一种地图更新算法，综合多帧观测数据中检测出的物体状态，实现地图的更新维护。在长期变化的室内场景中，大量对比实验表明所提方法不但能够高效的获取环境的三维场景图信息，而且能够有效的维护全景地图的准确性。 (3)基于不可见物体定位算法的场景信息拓展方法研究:尽管长期维护的全景地图和三维场景图已经能够保证移动机器人对场景的准确感知能力，但场景中依然存在部分物体无法实时标注于地图中。因此，为了进一步提高机器人对场景的理解能力，提出一种基于不可见物体定位的场景信息拓展方法。首先，为了充分利用已构建物体的先验信息减少搜索空间，构建了融合常识知识的增广三维场景图。其次，提出一种基于图神经网络的不可见物体定位模型，预测出目标物体与场景中先验物体可能存在的空间关系及对应的置信度。然后，为了缓解训练数据集中关系的类别不平衡问题，提出一种新的损失函数以提高模型的预测性能。最后，为了充分评估关系预测模型在拓展不可见物体时的效果，提出一种新评价指标以评估模型能否判断应该优先拓展场景中的哪些先验物体。基于公共数据集和实际场景的实验结果表明，所提框架能够有效的依据场景先验信息，合理预测不可见物体的潜在位置，实现三维地图和场景图的有效拓展，相比对比方法具有明显优势。
NETL