期刊,中国图象图形学报 2024年卷9期_国家学术搜索

期刊信息/Journal information

中国图象图形学报

主　　编：李小文

出版周期：月刊

国际刊号：1006-8961

电子邮箱：jig@irsa.ac.cn

电　　话：010-64807995 8261442

邮政编码：100101

地　　址：北京9718信箱

中国图象图形学报/Journal Journal of Image and GraphicsCSCD北大核心CSTPCD

查看更多>>本刊是集计算机图象图形高科技理论与应用研究成果、成果产品化与商情动态于一体的综合性学术期刊。是核心期刊、权威性杂志。作为中国图象图形学学会的会刊，利用学会在国内外广泛的科技信息渠道、全方位多层面的学科交叉应用，积极向产业界宣传科技成果，热心向科技界推荐最新产品。

正式出版

收录年代

《中国图象图形学报》数字人建模、生成与渲染技术专栏简介

刘利刚高林郭裕兰李策...

2439-2440页

原文链接:

NETL
NSTL
万方数据

查看更多>>摘要：得益于新型三维视觉测量技术及深度学习模型的飞速发展，三维视觉成为人工智能、虚拟现实等领域的重要支撑技术，三维人脸成像及重建技术取得了突破性进展，不仅能够更好地应对光照、遮挡、表情和姿态等变化，同时增大了伪造攻击难度，大大推动了真实感"虚拟数字人"的重建与渲染，有效提升了人脸系统的安全性。本文对三维人脸成像技术和重建模型进行了全面综述，尤其对基于深度学习的三维人脸重建进行系统深入地分析。首先，对三维人脸成像设备及采集系统进行详细梳理及对比归纳，并介绍了基于新传感技术的人脸成像系统;然后，对基于深度学习的三维人脸重建模型进行系统分析，从输入数据源角度分为基于单目图像、基于多目图像、基于视频和基于语音的三维人脸重建算法4类。通过深入分析，总结三维人脸成像的研究现状及面临的难点与挑战，对未来发展方向及应用进行积极探讨与展望。本文涵盖了近5年经典的三维人脸成像及重建相关的技术与研究，为人脸研究、发展和应用提供了很好的参考。

关键词：

三维人脸成像三维人脸重建深度学习(DL)生成对抗网络(GAN)隐式神经表示(INR)

原文链接:

NETL
NSTL
万方数据

数字室内三维场景构建综述

岳亮谈皓黄俊凯张少魁...

2471-2493页

查看更多>>摘要：在计算机图形学发展过程中，数字三维场景长期对于学术界和工业界都起着至关重要的作用。其作用体现在展示渲染效果、支持应用环境以及充当交互载体等多个方面。然而，三维场景本身作为一种数据形式，其结构复杂且没有统一的数据结构，故难以像诸如图像、文本数据集一样被大量获取与应用。已有一些工作尝试让计算机自动构建场景或是让计算机辅助构建场景。而在众多场景之中，室内场景尤为重要。本文总结归纳了这些数字室内三维场景构建工作。提出从3个方面调研和总结场景构建的主要工作:场景自动构建、基于用户交互的场景辅助构建以及基于多通道与丰富输入的场景构建。自动构建在于让计算机直接基于当前三维内容给出场景构建结果;交互构建在于让用户控制计算机并辅助构建场景;多通道构建在于让构建的场景参考输入的图像、文本和点云。最后，本文总结了科研工作的应用场景和关键技术，并介绍了一些其他应用情景与未来面对的诸多挑战。数字室内三维场景构建的发展前景十分广阔，随着新算法的不断提出以及三维场景数据集日益完善，数字室内三维场景构建领域也将持续发展。

关键词：

室内场景三维场景构建三维场景交互三维场景智能编辑计算机图形学

原文链接:

NETL
NSTL
万方数据

多模态数字人建模、合成与驱动综述

高玄刘东宇张举勇

2494-2512页

查看更多>>摘要：多模态数字人是指具备多模态认知与交互能力，且有类人的思维和行为逻辑的真实自然虚拟人。近年来随着计算机视觉与自然语言处理等领域的交叉融合以及蓬勃发展，相关技术取得显著进步。本文讨论在图形学和视觉领域比较重要的多模态人头动画、多模态人体动画以及多模态数字人形象构建3个主题，介绍其方法论和代表工作。在多模态人头动画主题下介绍语音驱动人头和表情驱动人头两个问题的相关工作。在多模态人体动画主题下介绍基于循环神经网络(recurrent neural networks，RNN)的、基于Transformer的和基于降噪扩散模型的人体动画生成。在多模态数字人形象构建主题下介绍视觉语言相似性引导的虚拟形象构建、基于多模态降噪扩散模型引导的虚拟形象构建以及三维多模态虚拟人生成模型。本文将相关方向的代表性工作进行介绍和归类，对已有方法进行总结，并展望未来可能的研究方向。

关键词：

虚拟数字人建模多模态角色动画多模态生成与编辑神经渲染生成模型神经隐式表示

原文链接:

NETL
NSTL
万方数据

数字人脸渲染与外观恢复方法综述

郝琮晖杜悠扬王璐王贝贝...

2513-2540页

查看更多>>摘要：数字人技术引起了数字孪生、元宇宙等领域的广泛关注，其中人脸作为数字人的重要构成部分，其数字化生成和呈现成为人们关注的焦点，且相关技术已经在电影、游戏等领域得到了广阔应用。人们对实现逼真的人脸效果以及精确恢复人脸的需求日益增长，但由于人脸的多层材质结构、复杂的半透明皮肤效果以及毛孔、褶皱等微观特征的综合影响，实现高保真的、高效的人脸渲染一直是领域内的难题。此外，通过采集设备对人脸的几何和外观进行恢复是构建人脸数据的重要方式，然而对人脸的高品质恢复也同样受限于高成本的采集设备和相关数据集的不足。本文对数字人脸的渲染与恢复的相关方法进行综述。首先介绍了真实感人脸的渲染方法，根据其不同的渲染原理，将它们分为基于扩散近似的渲染方法和基于蒙特卡洛采样的渲染方法，并着重分析了基于近似扩散渲染方法的发展现状及面临的问题。进一步，将人脸恢复工作分类为基于专业采集设备的高精度恢复和基于深度学习的低精度恢复。针对高精度人脸恢复，从主动照明和被动捕获两个分支，对相应的工作进行了总结。针对结合深度学习的低精度人脸恢复方法，将其分类为几何细节的恢复、纹理贴图的恢复以及人脸材质信息的恢复3个方面进行介绍。本文系统地论述了各类方法的核心思路，并进行了横向对比和分析。最后，对未来人脸渲染及恢复方法的发展趋势进行了展望。希望本文可以为人脸渲染和外观恢复的初学者提供一些背景知识和思路启发。

关键词：

人脸真实感渲染次表面散射人脸逆向恢复主动照明被动捕获深度学习

原文链接:

NETL
NSTL
万方数据

多模态信息引导的三维数字人运动生成综述

赵宝全付一愉苏卓王若梅...

2541-2565页

查看更多>>摘要：基于多模态信息的三维数字人运动生成技术旨在通过文本、音频、图像和视频等数据实现特定输入条件下的人体运动生成。这项技术在电影、动画、游戏制作和元宇宙等领域具有重要的应用价值和广泛的经济社会效益，是近年来计算机图形学和计算机视觉等领域研究的热点问题之一。然而，基于多模态信息的三维数字人运动生成面临着诸多挑战，包括跨模态信息的表征和融合困难、高质量数据集缺乏、生成的运动质量较差(如抖动、穿模和脚部滑动等)以及生成效率低等问题。虽然近年来研究者们提出了各式各样的解决方案来应对上述挑战，但如何根据不同模态数据的特点实现高效、高质量的三维数字人运动生成仍然是一个开放性问题。本文以数字人运动生成所采用的模型架构为分类标准，将现有的主流方法分为基于生成对抗网络(generative adversarial network，GAN)的方法、基于自编码器(autoencoder，AE)的方法、基于变分自编码器(variational autoencoder，VAE)的方法以及基于扩散模型的方法，总结并形成了一种数字人运动生成通用框架。本文还介绍了该领域常见的参数化人体模型、数据集以及评估指标。对于一些具有代表性的工作，本文在一些常用数据集上进行了对比实验，评估这些方法的性能表现。最后综合现有的数据集、算法和代表性研究，总结了该领域的问题和挑战，探讨了完善数据集、优化运动质量和多样性、融合跨模态信息和提高生成效率等潜在的研究方向。

关键词：

三维数字人运动生成多模态信息参数化人体模型生成对抗网络(GAN)自编码器(AE)变分自编码器(VAE)扩散模型

原文链接:

NETL
NSTL
万方数据

三维穿衣人体重建综述——从传统方法到高保真模型

陈鸿鹄陶云帆张举勇

2566-2595页

查看更多>>摘要：三维穿衣人体重建，在计算机图形学和三维视觉领域占有重要地位，广泛应用于多个方向。人体穿衣的多样性和动作的复杂性使得穿衣人体的高保真重建变得极其困难。深度学习技术优化了数据特征提取、隐式几何表示和神经渲染等关键环节，也推动了高保真穿衣人体重建技术的革命性进步。本文综述了人体重建的基本流程和组成模块，如各类输入数据、人体几何与动作表示、参数化模型以及三维到二维的渲染技术。同时，介绍了公开的穿衣人体数据集，简要回顾了近10年来人体重建算法的快速发展。本文详细探讨了几种主要的重建方法:稠密视角重建、非刚性运动重建(non-rigid structure from motion，NRSFM)、基于像素对齐的隐式几何重建以及生成模型方法。特别是，稠密视角重建能够生成高质量的人体几何，而NRSFM方法减少了对多视角的需求。基于像素对齐的方法重建细节丰富的人体几何，而生成模型方法利用多模态输入信息实现重建。最后总结了现有方法，并展望了未来研究方向，包括实现低成本高保真重建、加速重建过程和增强重建结果的可编辑性，以及在自然环境下进行重建的可能性。本文总结了近年来穿衣人体重建技术的进步，同时指出了未来研究可能集中的方向。

关键词：

三维人体重建深度学习参数化模型隐式几何表示非刚性运动重建方法生成模型

原文链接:

NETL
NSTL
万方数据

室内稀疏全景图的神经辐射场重建

肖强陈铭林张晔黄小红...

2596-2609页

查看更多>>摘要：目的神经辐射场(NeRF)可以为数字人、交互游戏等虚拟现实应用提供沉浸式环境。然而，现有神经辐射场算法往往依赖大量位置的全景图进行大规模室内场景重建，在稀疏全景图条件下的重建效果不佳。为此，提出了一种用于室内稀疏全景图的神经辐射场重建算法，以实现低开销、高质量的室内新视角合成。方法针对稀疏输入问题，本文首先设计了深度监督策略，以分配更多的采样点在物体表面，从而获取更精细的几何重建结构。然后，引入了未观测视角下的射线形变损失来增强射线约束，从而有效提升了稀疏输入下的室内场景重建质量。结果本文算法在多个室内全景数据集上与较新的神经辐射场重建算法进行了比较。在两幅Replica数据集全景图输入条件下，本文算法在峰值信噪比(peak signal-to-noise ratio，PSNR)指标上比基准算法提升了 6％。即使在单幅PNVS数据集全景图输入条件下，本文算法在PSNR指标上也比基准算法提升了 11％。结论实验结果表明，本文提出的神经辐射场重建算法能够从稀疏室内全景图中重建高质量场景，实现高真实感的新视角合成。

关键词：

神经辐射场(NeRF)重建稀疏输入全景图新视角合成虚拟现实数字人

原文链接:

NETL
NSTL
万方数据

单视角三维人体重建的着装特征学习

黄千芃刘骊付晓东刘利军...

2610-2624页

查看更多>>摘要：目的由于单视角着装人体重建中存在肢体遮挡、着装姿态复杂，且现有方法仅能精确提取和表示着装人体图像中的视觉特征，未考虑复杂的着装姿态引起的动态细节表达，较难生成具有动态褶皱的着装人体模型。因此，提出一种单视角三维人体重建的着装特征学习方法。方法首先对着装人体图像集中的单视角图像进行肢体特征表示，通过二维关节点预测与姿态特征深度回归，提取人体的着装姿态特征;再基于着装姿态特征，定义以柔性变形关节点为中心的着装褶皱采样空间和柔性变形损失函数，通过引入服装模板对输入的着装人体真值模型学习着装柔性变形，获得着装褶皱特征;然后，结合姿态参数回归、特征图采样特征和编解码器，构建联合着装人体像素和体素的人体形状特征学习模块，得到着装人体形状特征;最后结合褶皱特征、着装人体形状特征和计算的三维采样空间，通过定义有向距离场进行三维人体重建，输出最终的着装人体模型。结果为了验证方法的有效性，在公开的THuman2。0数据集进行对比实验。结果显示，构建姿态特征学习模块有助于重建完整的肢体与正确的姿态，以褶皱特征学习对形状特征进行优化，可以获得高精度的重建结果。与当前先进的单视角三维人体重建方法比较，相比于性能第2的模型，本文方法重建结果的点到面距离与倒角距离分别降低了 4。4％和2。6％。结论本文提出的单视角三维人体重建的着装特征学习方法，能有效学习单视角三维人体重建的着装特征，生成具有复杂姿态和动态褶皱的着装人体模型。

关键词：

单视角三维人体重建着装特征学习采样空间柔性变形有向距离场

原文链接:

NETL
NSTL
万方数据

单帧红外图像多尺度小目标检测技术综述

寇人可王春平罗迎张勇...

2625-2649页

查看更多>>摘要：在复杂背景和噪声干扰下，如何利用红外探测系统快速且准确发现特征少、强度低、尺度变化以及运动状态未知的非合作小目标是一项具有挑战性的任务，备受学者关注。为了让读者全面了解该领域的研究现状，本综述将从算法原理、文献、数据集、评价指标、实验和发展方向等方面进行总结概括。首先，解释了以"红外多尺度小目标(点源和小面源)"为对象进行研究的原因并分析了红外多尺度小目标及背景的成像特性;其次，分别讨论了基于经典算法和深度学习算法的原理、设计策略和相关文献，并对比分析了这两类算法的优缺点;然后，总结了现有的红外小目标公开数据集和算法评价指标;最后，分别选取7种经典算法和15种深度学习算法进行定性和定量的对比分析。通过对单帧红外图像多尺度小目标检测技术的全面回顾，对该领域下一步的研究方向给出了9条具体建议。本综述不仅可以帮助初学者快速了解该领域的研究现状和发展趋势，也可作为其他研究的参考资料。此外，在本领域研究过程中，还将现有的20种经典算法、15种深度学习算法和9种评价指标集成在人机交互系统中，相关系统的视频介绍发布可由以下链接得到:https://github。com/kourenke/GUI-system-for-infrared-small-target-detection。

关键词：

红外图像多尺度小目标目标检测经典算法深度学习算法

原文链接:

NETL
NSTL
万方数据