首页期刊导航|中国图象图形学报
期刊信息/Journal information
中国图象图形学报
中国图象图形学报

李小文

月刊

1006-8961

jig@irsa.ac.cn

010-64807995 8261442

100101

北京9718信箱

中国图象图形学报/Journal Journal of Image and GraphicsCSCD北大核心CSTPCD
查看更多>>本刊是集计算机图象图形高科技理论与应用研究成果、成果产品化与商情动态于一体的综合性学术期刊。是核心期刊、权威性杂志。作为中国图象图形学学会的会刊，利用学会在国内外广泛的科技信息渠道、全方位多层面的学科交叉应用，积极向产业界宣传科技成果，热心向科技界推荐最新产品。
正式出版
收录年代

    显微光学模糊图像的景物深度提取及应用

    苗国超魏阳杰侯威翰
    461-474页
    查看更多>>摘要：目的 显微光学成像有景深小和易模糊等缺陷,很难根据几何光学中的点扩散函数准确评估图像的模糊程度,进而很难计算景物深度.同时,传统的使用边缘检测算子衡量图像模糊程度变化的方法缺少与景物深度之间的函数关系,影响深度计算的精度.为此,本文提出一种显微光学系统成像模糊程度与景物深度关系曲线的获取方法.方法 从显微光学系统中的光学传递特性出发,建立光学传递函数中的光程差、高频能量参数和景物深度之间的数学关系,并通过归一化和曲线拟合得到显微光学系统的成像模糊程度与景物深度之间的解析函数.结果 为了验证本文获取的图像模糊程度和景物深度之间的函数关系,首先使用纳米方形栅格的模糊图像进行深度计算,实验测得的深度平均误差为0.008μm,即相对误差为0.8％,与通过清晰图像和模糊图像的逐个像素亮度值比较,根据最小二乘方法搜索两幅图像的亮度差最小时求得深度的方法相比,精度提高了约73％.然后基于深度测量结果进行模糊栅格图像的清晰重构,重构后的图像在平均梯度和拉普拉斯值两个方面都明显提高,且相对于传统基于高斯点扩散函数清晰重构方法,本文方法的重构精度更高,稳定性更强;最后通过多种不同形状和亮度特性的栅格模糊图像的深度计算,证明了本文的模糊程度—深度变化曲线对不同景物的通用性.结论 本文建立的函数关系能够更加直观地反映系统参数对光学模糊成像过程的影响.使用高频能量参数表征图像的模糊特性,既可以准确测量图像模糊程度,也与景物深度具有直接的函数关系.固定光学系统参数后,建立的归一化系统成像模糊程度与景物深度之间的函数关系不会受到景物图像的纹理、亮度等特性差异的影响,鲁棒性强、更方便、更省时.

    光学显微系统模糊程度景物深度解析函数光学传递特性高频能量参数

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    融合注意力机制和多层U-Net的多视图立体重建

    刘会杰柏正尧程威李俊杰...
    475-485页
    查看更多>>摘要：目的 针对多视图立体(multi-view stereo,MVS)重建效果整体性不理想的问题,本文对MVS 3D重建中的特征提取模块和代价体正则化模块进行研究,提出一种基于注意力机制的端到端深度学习架构.方法 首先从输入的源图像和参考图像中提取深度特征,在每一级特征提取模块中均加入注意力层,以捕获深度推理任务的远程依赖关系;然后通过可微分单应性变换构建参考视锥的特征量,并构建代价体;最后利用多层U-Net体系结构正则化代价体,并通过回归结合参考图像边缘信息生成最终的细化深度图.结果 在DTU(Technical University of Den-mark)数据集上进行测试,与现有的几种方法相比,本文方法相较于Colmap、Gipuma和Tola方法,整体性指标分别提高8.5％、13.1％和31.9％,完整性指标分别提高20.7％、41.6％和73.3％;相较于Camp、Furu和SurfaceNet方法,整体性指标分别提高24.8％、33％和29.8％,准确性指标分别提高39.8％、17.6％和1.3％,完整性指标分别提高9.7％、48.4％和58.3％;相较于PruMvsnet方法,整体性指标提高1.7％,准确性指标提高5.8％;相较于Mvsnet方法,整体性指标提高1.5％,完整性标提高7％.结论 在DTU数据集上的测试结果表明,本文提出的网络架构在整体性指标上得到了目前最优的结果,完整性和准确性指标得到较大提升,3 D重建质量更好.

    注意力机制多层U-Net可微分单应性变换代价体正则化多视图立体(MVS)

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    单目相机轨迹的真实尺度恢复

    刘思博房立金
    486-499页
    查看更多>>摘要：目的 单目相机运动轨迹恢复由于输入只有单目视频序列而缺乏尺度信息,生成的轨迹存在严重漂移而无法进行高精度应用.为了能够运用单目相机普及度高、成本低的优势,提出一种基于场景几何的方法在自动驾驶领域进行真实尺度恢复.方法 首先使用深度估计网络对连续图像进行相对深度估计,利用估计的深度值将像素点从2维平面投影到3维空间.然后对光流网络估计出的光流进行前后光流一致性计算得到有效匹配点,使用传统方法求解位姿,使相对深度与位姿尺度统一.再利用相对深度值计算表面法向量图求解地面点群,通过几何关系计算相同尺度的相机高度后引入相机先验高度得到初始尺度.最后为了减小图像噪声对尺度造成的偏差,由额外的车辆检测模块计算出的补偿尺度与初始尺度加权得到最终尺度.结果 实验在KITTI(Karlsruhe Institute of Technology and Toyota Technological at Chicago)自动驾驶数据集上进行,相机运动轨迹和图像深度均在精度上得到提高.使用深度真实值尺度还原后的相对深度的绝对误差为0.114,使用本文方法进行尺度恢复后的绝对深度的绝对误差为0.116.对得到的相机运动轨迹在不同复杂路径中进行对比测试,使用尺度恢复的距离与真实距离误差为2.67％,恢复出的轨迹相比传统方法的ORB-SLAM2(oriented FAST and rotated BRIEF-simultaneous localization and mapping)更接近真实轨迹.结论 本文仅以单目相机图像作为输入,在自动驾驶数据集中利用自监督学习方法,不需要真实深度标签进行训练,利用场景中的几何约束对真实尺度进行恢复,恢复出的绝对深度和真实轨迹均在精度上有所提高.相比于传统方法在加入真实尺度后偏移量误差更低,且计算速度快、鲁棒性高.

    自监督学习自动驾驶单目深度估计位姿估计尺度恢复

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    基于显著性图的点云替换对抗攻击

    刘复昌南博缪永伟
    500-510页
    查看更多>>摘要：目的 传统针对对抗攻击的研究通常集中于2维图像领域,而对3维物体进行修改会直接影响该物体的3维特性,生成令人无法察觉的扰动是十分困难的,因此针对3维点云数据的对抗攻击研究并不多.点云对抗样本,如点云物体分类、点云物体分割等的深度神经网络通常容易受到攻击,致使网络做出错误判断.因此,提出一种基于显著性图的点云替换对抗攻击方法.方法 由于现有点云分类网络通常需要获取点云模型中的关键点,该方法通过将点移动到点云中心计算点的显著性值,从而构建点云显著性图,选择具有最高显著性值的采样点集作为关键点集,以确保对网络分类结果造成更大的影响;利用Chamfer距离衡量点云模型之间的差异性,并选择与点云模型库中具有最近Chamfer距离的模型关键点集进行替换,从而实现最小化点云扰动并使得人眼难以察觉.结果 使用ModelNet40数据集,分别在点云分类网络PointNet和PointNet++上进行对比实验.在PointNet网络上,对比FGSM(fast gradient sign method)、I-FGSM(iterative fast gradient sign method)和JSMA(Jacobian-based saliency map attack)方法,本文方法攻击成功率分别提高38.6％、7.3％和41％;若扰动100个采样点,本文方法将使网络准确率下降到6.2％.在PointNet++网络上,对比FGSM和JSMA,本文方法的攻击成功率分别提高58.6％ 和85.3％;若扰动100个采样点,本文方法将使网络准确率下降到12.8％.结论 本文提出的点云对抗攻击方法,不仅考虑到对抗攻击的效率,而且考虑了对抗样本的不可察觉性,能够高效攻击主流的点云深度神经网络.

    点云对抗攻击显著性图Chamfer距离PointNetPointNet++

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    边收缩池化的网格变分自编码器

    袁宇杰来煜坤杨洁段琦...
    511-524页
    查看更多>>摘要：目的 3D形状分析是计算机视觉和图形学的一个重要研究课题.虽然现有方法使用基于图的卷积将基于图像的深度学习推广到3维网格,但缺乏有效的池化操作限制了其网络的学习能力.针对具有相同连通性,但几何形状不同的网格模型数据集,本文利用网格简化的边收缩操作建立网格层次结构,提出了一种新的网格池化操作.方法 本文改进了传统的网格简化方法,以避免生成高度不规则的三角形,利用改进的网格简化方法定义了新的网格池化操作.网格简化的边收缩操作建立的网格层次结构之间存在对应关系,有利于网格池化的定义.新定义的池化操作有效地编码了层次结构中较粗糙和较稠密网格之间的对应关系.最后提出了一种带有边收缩池化和图卷积的变分自编码器(variational auto-encoder,VAE)结构,以探索3D形状的隐空间并用于3D形状的生成.结果 由于引入了新定义的池化操作和图卷积操作,提出的网络结构比原始MeshVAE需要的参数更少,因此可以处理更稠密的网格模型.结论 实验表明提出的方法具有更好的泛化能力,并且在各种应用中更可靠,包括形状生成、形状插值和形状嵌入.

    网格生成网格插值变分自编码器(VAE)网格池化边收缩

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    雅可比矩阵引导的无翻转体映射生成

    徐茂峰刘利刚
    525-537页
    查看更多>>摘要：目的 体映射建立了两个3维体网格之间的对应关系,是计算机图形学中的重要研究方向.很多应用要求体映射是无翻转的,即其雅可比矩阵的行列式处处大于0.然而,现有的无翻转体映射生成算法经常无法完全消除翻转.挑战主要在于很难在保证满足位置约束的前提下消除映射的翻转.为此,提出一种新的无翻转体映射计算方法,核心是一种新的变形方法.方法 首先放松位置约束,然后在变形过程中通过线搜索的方式保证不产生翻转,最后将网格无翻转地变形到满足位置约束.为实现这个变形过程,提出一种雅可比矩阵引导的变形算法.虽然现有的无翻转体映射方法不能完全消除翻转,但其雅可比矩阵可以作为本文变形算法的指导.此外,优化了位置能量,使得变形网格最终能够满足位置约束要求.为了满足体映射低扭曲的要求,算法最后在固定位置约束的前提下进一步优化了体映射的扭曲能量.结果 对大量复杂网格进行实验,本文算法能够保证生成无翻转的体映射,并且通过多步优化最终结果均能满足给定的位置约束要求.结论 通过与现有其他算法的优点和局限性对比,结果表明本文算法具有较好的鲁棒性.本文算法从一个全新的角度促进了无翻转体映射生成技术的进步与发展.

    体映射无翻转雅可比引导变形优化位置约束低扭曲

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    嵌入Transformer结构的多尺度点云补全

    刘心溥马燕新许可万建伟...
    538-549页
    查看更多>>摘要：目的 当前点云补全的深度学习算法多采用自编码器结构,然而编码器端常用的多层感知器(multilayer perceptron,MLP)网络往往只聚焦于点云整体形状,很难对物体的细节特征进行有效提取,使点云残缺结构的补全效果不佳.因此需要一种准确的点云局部特征提取算法,用于点云补全任务.方法 为解决该问题,本文提出了嵌入注意力模块的多尺度点云补全算法.网络整体采用编码器—解码器结构,通过编码器端的特征嵌入层和Transformer层提取并融合3种不同分辨率的残缺点云特征信息,将其输入到全连接网络的解码器中,输出逐级补全的缺失点云.最后在解码器端添加注意力鉴别器,借鉴生成对抗网络(generative adversarial networks,GAN)的思想,优化网络补全性能.结果 采用倒角距离(Chamfer distance,CD)作为评价标准,本文算法在2个数据集上与相关的4种方法进行了实验比较,在ShapeNet数据集上,相比于性能第2的PF-Net(point fractal network)模型,本文算法的类别平均CD值降低了3.73％;在ModelNet10数据集上,相比于PF-Net模型,本文算法的类别平均CD值降低了12.75％.不同算法的可视化补全效果图,验证了本文算法具有更精准的细节结构补全能力和面对类别中特殊样本的强泛化能力.结论 本文所提出的基于Transformer结构的多尺度点云补全算法,更好地提取了残缺点云的局部特征信息,使得点云补全的结果更加准确.

    3维点云点云补全自编码器注意力机制生成对抗网络(GAN)

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    利用隐式解码器的三维模型簇协同分割

    杨军张敏敏
    550-561页
    查看更多>>摘要：目的 为建立3维模型语义部件之间的对应关系并实现模型自动分割,提出一种利用隐式解码器(implicit decoder,IM-decoder)的无监督3维模型簇协同分割网络.方法 首先对3维点云模型进行体素化操作,进而由CNN-encoder(convolutional neural network encoder)提取体素化点云模型的特征,并将模型信息映射至特征空间.然后使用注意力模块聚合3维模型相邻点特征,将聚合特征与3维点坐标作为IM-decoder的输入来增强模型的空间感知能力,并输出采样点相对于模型部件的内外状态.最后使用max pooling聚合解码器生成的隐式场,以得到模型的协同分割结果.结果 实验结果表明,本文算法在ShapeNet Part数据集上的mIoU(mean intersection-over-union)为62.1％,与目前已知的两类无监督3维点云模型分割方法相比,分别提高了22.5％和18.9％,分割性能得到了极大提升.与两种有监督方法相比,分别降低了19.3％和20.2％,但其在部件数较少的模型上可获得更优的分割效果.相比于使用交叉熵函数作为重构损失函数,本文使用均方差函数可获得更高的分割准确率,mIoU提高了26.3％.结论 与当前主流的无监督分割算法相比,本文利用隐式解码器进行3维模型簇协同分割的无监督方法分割准确率更高.

    协同分割模型簇隐式解码器注意力模块无监督

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    面向形状特征的多维度多层级点云分析

    徐嘉利方志军伍世虔
    562-573页
    查看更多>>摘要：目的 3维点云是编码几何信息的主要数据结构,与2维视觉数据不同的是,点云中隐藏了3维物体中重要的形状特征.为更好地从无序的点云中挖掘形状特征,本文提出一种能够端到端且鲁棒地处理点云数据的多维度多层级神经网络(multi-dimensional multi-layer neural network,MM-Net).方法 多维度特征修正与融合(multi-dimensional feature correction and fusion module,MDCF)模块从多个维度自适应地修正局部特征和逐点特征,并将其整合至高维空间以获得丰富的区域形状.另一方面,多层级特征衔接(multi-layer feature articulation module,MLFA)模块利用多个层级间的远程依赖关系,推理得到网络所需的全局形状.此外设计了两种分别应用于点云分类与分割任务的网络结构MM-Net-C(multi-dimensional multi-layer feature classification network)和MM-Net-S(multi-dimen-sional multi-layer feature segmentation network).结果 在公开的ModelNet40数据集与ShapeNet数据集上进行测试,并与多种方法进行比较.在ModelNet40数据集中,MM-Net-C的分类精度较PointNet++和DGCNN(dynamic graph convolutional neural network)方法分别提高了2.2％ 和1.9％;在ShapeNet数据集中,MM-Net-S的分割精度较ELM(extreme learning machine)和A-CNN(annularly convolutional neural networks)方法分别提高了1.2％和0.4％.此外,在ModelNet40数据集中的消融实验验证了多维度多层级神经网络(MM-Net)架构的可靠性,消融实验的结果也表明了多维度特征修正与融合(MDCF)模块和多层级特征衔接(MLFA)模块设计的必要性.结论 本文提出的多维度多层级神经网络(MM-Net)在分类与分割任务中取得了优秀的性能.

    3维点云点云分类与分割深度学习形状特征多维度特征多层级特征

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    多特征融合与几何卷积的机载LiDAR点云地物分类

    戴莫凡邢帅徐青李鹏程...
    574-585页
    查看更多>>摘要：目的 点云分类传统方法中大量依赖人工设计特征,缺乏深层次特征,难以进一步提高精度,基于深度学习的方法大部分利用结构化网络,转化为其他表征造成了3维空间结构信息的丢失,部分利用局部结构学习多层次特征的方法也因为忽略了机载数据的几何信息,难以实现精细分类.针对上述问题,本文提出了一种基于多特征融合几何卷积神经网络(multi-feature fusion and geometric convolutional neural network,MFFGCNN)的机载LiDAR(light detection and ranging)点云地物分类方法.方法 提取并融合有效的浅层传统特征,并结合坐标尺度等预处理方法,称为APD模块(airporne laser scanning point cloud design module),在输入特征层面对典型地物有针对性地进行信息补充,来提高网络对大区域、低密度的机载LiDAR点云原始数据的适应能力和基础分类精度,基于多特征融合的几何卷积模块,称为FGC(multi-feature fusion and geometric convolution)算子,编码点的全局和局部空间几何结构,实现对大区域点云层次化几何结构的获取,最终与多尺度全局的逐点深度特征聚合提取高级语义特征,并基于空间上采样获得逐点的多尺度深度特征实现机载LiDAR点云的语义分割.结果 在ISPRS(International Society for Photogrammetry and Remote Sensing)提供的3维标记基准数据集上进行模型训练与测试,由于面向建筑物、地面和植被3类典型地物,对ISPRS的9类数据集进行了类别划分.本文算法在全局准确率上取得了81.42％ 的较高精度,消融实验结果证明FGC模块可以提高8％的全局准确率,能够有效地提取局部几何特性,相较仅基于点的3维空间坐标方法,本文方法可提高15％的整体分类精度.结论 提出的MFFCGNN网络综合了传统特征的优势和深度学习模型的优点,能够实现机载LiDAR点云的城市重要地物快速分类.

    点云分类机载LiDARPointNet++深度学习多特征融合几何卷积网络(GCN)

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普