首页|基于改进多层感知机的神经辐射场三维重建方法

基于改进多层感知机的神经辐射场三维重建方法

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
相比传统的三维重建方法，神经辐射场(NeRF)在隐式三维重建方面显示出了优异的性能，然而简单的多层感知机(MLP)模型在采样过程中缺乏局部信息，产生细节模糊的三维重建场景。为解决这一问题，提出一种基于MLP的多特征联合学习方法。首先，在NeRF嵌入层和采样层之间构造多特征联合学习(MFJL)模块，有效解码输入的多视图编码数据，补充MLP模型缺失的局部特征信息。然后，在NeRF采样层和推理层之间建立门控通道变换多层感知机(GCT-MLP)模块，学习高阶特征交互关系，并控制反馈给MLP层的信息流，实现对歧义特征的选择。实验结果表明:所提基于改进MLP的神经辐射场可以避免三维重建中的视图模糊和混叠现象;在Real Forward-Facing数据集部分场景上的平均峰值信噪比(PSNR)、结构相似度(SSIM)、学习感知图像块相似度(LPIPS)分别为 28。08 dB、0。887、0。061;在Realistic Synthetic 360°数据集部分场景上的PSNR、SSIM、LPIPS分别为 32。75 dB、0。960、0。026;在DTU数据集部分场景上的PSNR、SSIM、LPIPS分别为25。96 dB、0。807、0。208;与NeRF相比，具有更好的视图重建性能，并且在主观视觉效果上得到更加清晰的图像和细节纹理特征。
3D Reconstruction of Neural Radiation Field Based on Improved Multiple Layer Perceptron
Neural radiation field(NeRF)exhibits excellent performances in implicit 3D reconstruction compared with traditional 3D reconstruction methods.However,the simple multilayer perceptron(MLP)model lacks local information in the sampling process,resulting in a fuzzy 3D reconstruction scene.To solve this issue,a multifeature joint learning(MFJL)method based on MLP is proposed in this study.First,an MFJL module was constructed between the embedding layer and the sampling layer of NeRF to effectively decode the multiview encoded input and supplement the missing local information of MLP model.Then,a gated channel transformation MLP(GCT-MLP)module was built between the sampling layer and the inference layer of NeRF to learn the interaction relations between higher-order features and control the information flow fed back to the MLP layer for the selection of ambiguous features.The experimental results reveal that the NeRF based on the improved MLP can avoid blurred views and aliasing in 3D reconstruction.The average peak signal-to-noise ratio(PSNR),structural similarity(SSIM),and learned perceptual image patch similarity(LPIPS)values on the Real Forward-Facing dataset are 28.08 dB,0.887,and 0.061;on the Realistic Synthetic 360° dataset are 32.75 dB,0.960,and 0.026;and on the DTU dataset are 25.96 dB,0.807,and 0.208,respectively.Overall,the proposed method has a better view reconstruction performance and can obtain clearer images and detailed texture features in subjective visual effects compared with NeRF.

neural radiation fieldmultiple-layer perceptronjoint learning3D reconstruction

侯耀斐、黄海松、范青松、肖婧、韩正功

展开 >

贵州大学现代制造技术教育部重点实验室,贵州 贵阳 550025

重庆机电职业技术大学信息工程学院,重庆 402760

神经辐射场 多层感知机 联合学习 三维重建

贵州省科技计划贵州省科技计划贵州省科技计划贵州省科技计划贵州省科技计划贵州省科技计划重庆市自然科学基金面上项目

黔科合平台人才-GCC[2022]006-1黔科合支撑[2022]一般165黔科合支撑[2021]一般445黔科合支撑[2021]一般172黔科合支撑[2021]一般397黔科合支撑[202CSTB2022NSCQ-MSX1600

2024

10.3788/LOP223312

激光与光电子学进展
中国科学院上海光学精密机械研究所

激光与光电子学进展

CSTPCD北大核心
影响因子：1.153
ISSN：1006-4125
年,卷(期)：2024.61(4)
  • 26