MULTI-MODAL SCENE INSTRUCTION CLASSIFICATION METHOD BASED ON HYBRID DEEP LEARNING
扫码查看
点击上方二维码区域，可以放大扫码查看
原文链接
国家科技期刊平台
NETL
NSTL
万方数据
维普
为提高家庭服务机器人指令中目标对象预测的准确率,提出一种基于混合深度学习的多模态自然语言理处理(Natural Language Processing,NLP)指令分类方法.该方法从语言特征、视觉特征和关系特征多模态入手,采用两种深度学习方法分别以多模态特征进行编码.对于语言指令,采用多层双向长短期记忆(Bi-LSTM)进行子词嵌入和编码;对于非语言场景,使用卷积神经网络进行编码.最终得到每个目标-源对可能性的区域范围.实验结果表明,该方法能够提高机器人接收指令任务中目标对象预测的准确率且性能优于现有其他方法.
国家科技期刊平台
NSTL
万方数据
维普
