基于数字孪生与迁移学习的结构光条纹图像分析(特邀)
Structured Illumination Fringe-Pattern Analysis Based on Digital Twin and Transfer Learning(Invited)
金子蘅 1徐可 1张宁远 1邓潇 1左超 1陈钱 2冯世杰1
作者信息
- 1. 南京理工大学电子工程与光电技术学院智能计算成像实验室,江苏 南京 210094;南京理工大学智能计算成像研究院,江苏 南京 210019;南京理工大学江苏省光谱成像与智能感知重点实验室,江苏 南京 210094
- 2. 南京理工大学电子工程与光电技术学院智能计算成像实验室,江苏 南京 210094;南京理工大学江苏省光谱成像与智能感知重点实验室,江苏 南京 210094
- 折叠
摘要
近年来,深度学习技术广泛应用于计算光学三维成像的研究中.在条纹投影轮廓术中,通过训练深度学习网络,可从单幅条纹图像中恢复高精度的相位信息.然而,为了训练神经网络模型,通常需要耗费大量的时间成本和人力成本来采集训练数据集.为了解决该问题:首先,建立数字孪生条纹投影系统,并利用域随机化技术对虚拟照明光栅进行增强,使用计算机进行虚拟扫描,生成大量仿真光栅条纹图像;其次,利用仿真光栅图像对U-Net神经网络进行预训练;最后,引入迁移学习,采用少量真实光栅条纹图像对神经网络进行参数微调.由于U-Net的结构特殊性,提出并分析了"从左至右""从上至下""全局微调"等3种U-Net神经网络微调策略.实验结果表明,采用"从上至下"策略微调U-Net"瓶颈"网络模块的方法可获得最佳的迁移学习结果,神经网络的相位预测精度可得到显著提升.相比于使用大量真实数据进行训练,所述方法仅利用20%的数据就可训练神经网络获得高精度的相位重建结果.
Abstract
In recent years,deep learning techniques have been widely applied in computational optical three-dimensional imaging.Fringe projection profilometry uses a trained deep neural network to recover high-precision phase information from a single fringe image.However,collecting the training dataset for a neural network expends a considerable amount of time and human resources.To mitigate this problem,we establish a digital twin-fringe projection system that enhances virtual fringe patterns using domain randomization techniques.A U-Net neural network is pretrained using a large number of simulated fringe-pattern images generated through virtual scanning.Next,transfer learning is introduced and the neural network parameters are fine-tuned using a small number of real fringe-pattern images.Targeting fringe analysis applications,this study proposes and analyzes three U-Net neural network fine-tuning schemes:"from left to right""from top to bottom""global fine-tuning".The experimental results demonstrate that fine-tuning the bottleneck network module of the U-Net under the"from top to bottom"strategy optimizes the transfer learning results,largely improving the phase prediction accuracy of the neural network.The proposed method achieves high-precision phase reconstruction results after training the neural network on only 20%of the real data,thus avoiding the need for a large real dataset.
关键词
计算成像/条纹投影/深度学习/迁移学习/条纹分析Key words
computational imaging/fringe projection/deep learning/transfer learning/fringe analysis引用本文复制引用
基金项目
国家重点研发计划(2022YFB2804600)
国家重点研发计划(2022YFB2804603)
国家自然科学基金(62075096)
国家自然科学基金(62005121)
国家自然科学基金(U21B2033)
江苏省基础研究计划前沿引领技术项目(BK20192003)
江苏省"333高层次人才培养工程"项目(BRA2016407)
中央高校基本科研业务费专项(30921011208)
中央高校基本科研业务费专项(30919011222)
中央高校基本科研业务费专项(30920032101)
中央高校基本科研业务费专项(2023102001)
中国博士后科学基金(2023T160318)
江苏省光谱成像与智能感知重点实验室开放基金(JSGP202105)
江苏省光谱成像与智能感知重点实验室开放基金(JSGP202201)
出版年
2024
NETL
NSTL
万方数据