基于双目仿鹰眼视觉与超分辨的果园三维点云重建
A mapping method using 3D orchard point cloud based on hawk-eye-inspired stereo vision and super resolution
张自超 1陈建2
作者信息
- 1. 中国农业大学 工学院,北京 100083;自然资源部 超大城市自然资源时空大数据分析应用重点实验室,上海 200063
- 2. 中国农业大学 工学院,北京 100083
- 折叠
摘要
针对双目视觉受限于分辨率与基线距,对远距离目标感知精度不足,在室外光照条件复杂的情况下,无法完成稳定感知,获取三维点云质量无法满足果园作业需求的问题,提出一种基于双目仿鹰眼视觉与超分辨的果园三维点云重建方法.本文模拟鹰眼双中央凹高清成像,通过超分辨率重建改善感知精度;模拟捕食经验所得鹰眼注意力机制,融合参考目标图像特征,提高目标候选区域感知精度与稳定性.针对果园三维点云导航地图,在多种光照条件下,误差比最大降幅为12.2%,标准差最大降幅为2.305.针对果树作业三维点云,点云质量改善较大,可以提供精确的三维空间信息,较为完整地还原果树各枝干三维空间信息.
Abstract
The binocular vision sensor suffers from the weakness of long-distance measurement and unstable perception in various outdoor environment,the application of binocular vision is widely but limitedly.Inspired by hawk eyes,by simulating the physiological structure of dual fovea and the search experience which trained by predation,the modified reference-based super resolution is employed for enhancing the binocular vision perception ability and the accuracy of target candidates.The super resolution part aims to improve the global perception ability in vision field,the reference-based super resolution part aims to enhance the specified target candidates by manual references addition.For the orchard 3D point cloud navigation map,the maximum decrease of error ratio and standard deviation is 12.2%and 2.305 under various lighting conditions.For the 3D point cloud reconstruction of fruit tree operation,the quality of point cloud is greatly improved,which can provide accurate 3D spatial information,and restore the 3D spatial information of each branch of fruit tree more completely,which meet the needs of orchard operation.
关键词
机器视觉/仿鹰眼感知/超分辨率重建/双目视觉/果园三维点云Key words
machine vision/hawk-eye-inspired sensing/super-resolution reconstruction/binocular vision/3D point cloud of orchard引用本文复制引用
基金项目
国家重点研发计划(2022YFD2001405)
国家自然科学基金(51979275)
浙江省农业智能装备与机器人重点实验室开放基金(2023ZJZD2306)
自然资源部超大城市自然资源时空大数据分析应用重点实验室开放基金(KFKT-2022-05)
深圳市科技计划(ZDSYS20210623091808026)
虚拟现实技术与系统国家重点实验室(北京航空航天大学)开放课题(VRLAB2022C10)
能源清洁利用国家重点实验室开放基金(ZJUCEU2022002)
农业农村部长三角智慧农业技术重点实验室开放基金(KSAT-YRD2023005)
农业农村部华南热带智慧农业技术重点实验室开放基金(HNZH-NY-KFKT-202202)
高等教育科研规划重点项目(23XXK0304)
中国农业大学"2115"人才培育发展支持工程项目()
出版年
2024
NETL
NSTL
万方数据