摘要
家庭服务机器人通过搭载多模态传感设备感知外界信息，继而结合决策完成共融式人机交互、工具操作等宜人化服务任务。本文针对家庭服务机器人工具操作过程中的目标识别和滑动检测问题展开研究，基于机器人抓取操作过程中的触觉和视觉模态信息，并结合深度学习理论构建高效的机器人目标识别和滑动检测框架，提高机器人基于触视觉信息的感知能力，具体研究内容如下。 首先，针对服务机器人基于触觉模态特征识别家庭物品对象准确率和精度较低等问题，提出一种基于触觉模态特征的脉冲图残差卷积神经网络SNN-Atten-ResGCN的目标识别方法。首先，使用图残差网络ResGCN模型训练触觉时间序列表征信息；其次，引入深度学习模型中的注意力机制，拟合触觉数据图形结构的局部特征；通过SNN脉冲神经网络对重构的触觉图形拟合得到目标识别特征；最后，采用Vote投票层解码网络特征检测家庭物品类别。在家庭物品-容器数据集上进行对比实验，验证了SNN-Atten-ResGCN算法的有效性。 其次，针对使用触觉模态特征的深度学习方法在滑动检测任务中存在检测准确率和精度较低的问题，提出一种基于触觉模态特征的CNN-Mogrifier-BIGRU滑动检测算法。首先，通过预训练网络CNN提取目标抓取过程中的触觉时间序列数据特征；其次，通过Mogrifier耦合模块拟合当前时刻输入和上一时刻隐藏层输出；最后，使用双向门控循环单元网络BIGRU比较特征序列并做出决策，判断家庭物体是否发生滑动。在家庭物品-容器数据集上进行对比实验，验证了该算法的有效性。 最后，针对单一模态下滑动检测精度不够理想的问题，提出一种基于混合多头自注意力机制MMSA的触视觉融合滑动检测算法。首先，使用预训练网络CNN分别提取视觉和触觉特征图信息；其次，将视觉和触觉特征图按照位置编码成初步触视觉融合特征；引入混合多头自注意力机制拟合初步触视觉融合特征内部自相关性，生成触视觉融合特征序列；最后，通过Mogrifier-BIGRU比较触视觉融合特征序列生成滑动检测标签。在家庭物品视觉-触觉数据集上进行对比实验，验证了MMSA算法的有效性。
NETL