首页|基于数字孪生与迁移学习的结构光条纹图像分析(特邀)

基于数字孪生与迁移学习的结构光条纹图像分析(特邀)

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
近年来，深度学习技术广泛应用于计算光学三维成像的研究中。在条纹投影轮廓术中，通过训练深度学习网络，可从单幅条纹图像中恢复高精度的相位信息。然而，为了训练神经网络模型，通常需要耗费大量的时间成本和人力成本来采集训练数据集。为了解决该问题:首先，建立数字孪生条纹投影系统，并利用域随机化技术对虚拟照明光栅进行增强，使用计算机进行虚拟扫描，生成大量仿真光栅条纹图像;其次，利用仿真光栅图像对U-Net神经网络进行预训练;最后，引入迁移学习，采用少量真实光栅条纹图像对神经网络进行参数微调。由于U-Net的结构特殊性，提出并分析了"从左至右""从上至下""全局微调"等3种U-Net神经网络微调策略。实验结果表明，采用"从上至下"策略微调U-Net"瓶颈"网络模块的方法可获得最佳的迁移学习结果，神经网络的相位预测精度可得到显著提升。相比于使用大量真实数据进行训练，所述方法仅利用20%的数据就可训练神经网络获得高精度的相位重建结果。
Structured Illumination Fringe-Pattern Analysis Based on Digital Twin and Transfer Learning(Invited)
In recent years,deep learning techniques have been widely applied in computational optical three-dimensional imaging.Fringe projection profilometry uses a trained deep neural network to recover high-precision phase information from a single fringe image.However,collecting the training dataset for a neural network expends a considerable amount of time and human resources.To mitigate this problem,we establish a digital twin-fringe projection system that enhances virtual fringe patterns using domain randomization techniques.A U-Net neural network is pretrained using a large number of simulated fringe-pattern images generated through virtual scanning.Next,transfer learning is introduced and the neural network parameters are fine-tuned using a small number of real fringe-pattern images.Targeting fringe analysis applications,this study proposes and analyzes three U-Net neural network fine-tuning schemes:"from left to right""from top to bottom""global fine-tuning".The experimental results demonstrate that fine-tuning the bottleneck network module of the U-Net under the"from top to bottom"strategy optimizes the transfer learning results,largely improving the phase prediction accuracy of the neural network.The proposed method achieves high-precision phase reconstruction results after training the neural network on only 20%of the real data,thus avoiding the need for a large real dataset.

computational imagingfringe projectiondeep learningtransfer learningfringe analysis

金子蘅、徐可、张宁远、邓潇、左超、陈钱、冯世杰

展开 >

南京理工大学电子工程与光电技术学院智能计算成像实验室,江苏 南京 210094

南京理工大学智能计算成像研究院,江苏 南京 210019

南京理工大学江苏省光谱成像与智能感知重点实验室,江苏 南京 210094

计算成像 条纹投影 深度学习 迁移学习 条纹分析

国家重点研发计划国家重点研发计划国家自然科学基金国家自然科学基金国家自然科学基金江苏省基础研究计划前沿引领技术项目江苏省"333高层次人才培养工程"项目中央高校基本科研业务费专项中央高校基本科研业务费专项中央高校基本科研业务费专项中央高校基本科研业务费专项中国博士后科学基金江苏省光谱成像与智能感知重点实验室开放基金江苏省光谱成像与智能感知重点实验室开放基金

2022YFB28046002022YFB28046036207509662005121U21B2033BK20192003BRA201640730921011208309190112223092003210120231020012023T160318JSGP202105JSGP202201

2024

10.3788/LOP232430

激光与光电子学进展
中国科学院上海光学精密机械研究所

激光与光电子学进展

CSTPCD北大核心
影响因子：1.153
ISSN：1006-4125
年,卷(期)：2024.61(2)
  • 32