首页期刊导航|中国图象图形学报
期刊信息/Journal information
中国图象图形学报
中国图象图形学报

李小文

月刊

1006-8961

jig@irsa.ac.cn

010-64807995 8261442

100101

北京9718信箱

中国图象图形学报/Journal Journal of Image and GraphicsCSCD北大核心CSTPCD
查看更多>>本刊是集计算机图象图形高科技理论与应用研究成果、成果产品化与商情动态于一体的综合性学术期刊。是核心期刊、权威性杂志。作为中国图象图形学学会的会刊，利用学会在国内外广泛的科技信息渠道、全方位多层面的学科交叉应用，积极向产业界宣传科技成果，热心向科技界推荐最新产品。
正式出版
收录年代

    聚合细粒度特征的深度注意力自动裁图

    方玉明钟裕鄢杰斌刘丽霞...
    586-601页
    查看更多>>摘要：目的 从图像中裁剪出构图更佳的区域是提升图像美感的有效手段之一,也是计算机视觉领域极具挑战性的问题.为提升自动裁图的视觉效果,本文提出了聚合细粒度特征的深度注意力自动裁图方法(deep attention guided image cropping network with fine-grained feature aggregation,DAIC-Net).方法 整体模型结构由通道校准的语义特征提取(semantic feature extraction with channel calibration,ECC)、细粒度特征聚合(fine-grained feature aggrega-tion,FFA)和上下文注意力融合(contextual attention fusion,CAF)3个模块构成,采用端到端的训练方式,核心思想是多尺度逐级增强不同细粒度区域特征,融合全局和局部注意力特征,强化上下文语义信息表征.ECC模块在通用语义特征的通道维度上进行自适应校准,融合了通道注意力;FFA模块将多尺度区域特征级联互补,产生富含图像构成和空间位置信息的特征表示;CAF模块模拟人眼观看图像的规律,从不同方向、不同尺度显式编码图像空间不同像素块之间的记忆上下文关系;此外,定义了多项损失函数以指导模型训练,进行多任务监督学习.结果 在3个数据集上与最新的6种方法进行对比实验,本文方法优于现有的自动裁图方法,在最新裁图数据集GAICD(grid anchor based image cropping database)上,斯皮尔曼相关性和皮尔森相关性指标分别提升了2.0％和1.9％,其他最佳回报率指标最高提升了4.1％.在ICDB(image cropping database)和FCDB(flickr cropping database)上的跨数据集测试结果进一步表明了本文提出的DAIC-Net的泛化性能.此外,消融实验验证了各模块的有效性,用户主观实验及定性分析也表明DAIC-Net能裁剪出视觉效果更佳的裁图结果.结论 本文提出的DAIC-Net在GAICD数据集上多种评价指标均取得最优的预测结果,在ICDB和FCDB测试集上展现出较强的泛化能力,能有效提升裁图效果.

    自动裁图图像美学评价(IAA)感兴趣区域(RoI)空间金字塔池化(SPP)注意力机制多任务学习

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    单幅人脸图像的全景纹理图生成方法

    刘洋樊养余郭哲吕国云...
    602-613页
    查看更多>>摘要：目的 针对从单幅人脸图像中恢复面部纹理图时获得的信息不完整、纹理细节不够真实等问题,提出一种基于生成对抗网络的人脸全景纹理图生成方法.方法 将2维人脸图像与3维人脸模型之间的特征关系转换为编码器中的条件参数,从图像数据与人脸条件参数的多元高斯分布中得到隐层数据的概率分布,用于在生成器中学习人物的头面部纹理特征.在新创建的人脸纹理图数据集上训练一个全景纹理图生成模型,利用不同属性的鉴别器对输出结果进行评估反馈,提升生成纹理图的完整性和真实性.结果 实验与当前最新方法进行了比较,在CelebA-HQ和LFW(labled faces in the wild)数据集中随机选取单幅正面人脸测试图像,经生成结果的可视化对比及3维映射显示效果对比,纹理图的完整度和显示效果均优于其他方法.通过全局和面部区域的像素量化指标进行数据比较,相比于UVGAN,全局峰值信噪比(peak signal to noise ratio,PSNR)和全局结构相似性(structural similarity index,SSIM)分别提高了7.9 dB和0.088,局部PSNR和局部SSIM分别提高了2.8 dB和0.053;相比于OSTeC,全局PSNR和全局SSIM分别提高了5.45 dB和0.043,局部PSNR和局部SSIM分别提高了0.4 dB和0.044;相比于MVF-Net(multi-view 3D face network),局部PSNR和局部SSIM分别提高了0.6和0.119.实验结果证明,提出的人脸全景纹理图生成方法解决了从单幅人脸图像中重建面部纹理不完整的问题,改善了生成纹理图的显示细节.结论 本文提出的人脸全景纹理图生成方法,利用人脸参数和网络模型的特性,使生成的人脸纹理图更完整,尤其是对原图不可见区域,像素恢复自然连贯,纹理细节更真实.

    人脸图像人脸纹理图生成对抗网络(GAN)纹理映射3维可变人脸模型(3DMM)

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    时空联合视差优化的立体视频重定向

    金康俊柴雄力邵枫
    614-627页
    查看更多>>摘要：目的 智能适配显示的图像/视频重定向技术近年受到广泛关注.与图像重定向以及2D视频重定向相比,3 D视频重定向需要同时考虑视差保持和时域保持.现有的3 D视频重定向方法虽然考虑了视差保持却忽略了对视差舒适度的调整,针对因视差过大和视差突变造成视觉不舒适度这一问题,提出了一种基于时空联合视差优化的立体视频重定向方法,将视频视差范围控制在舒适区间.方法 在原始视频上建立均匀网格,并提取显著信息和视差,进而得到每个网格的平均显著值;根据相似性变化原理构建形状保持能量项,利用目标轨迹以及原始视频的视差变化构建时域保持能量项,并结合人眼辐辏调节原理构建视差舒适度调整能量项;结合各个网格的显著性,联合求解所有能量项得到优化后的网格顶点坐标,将其用于确定网格形变,从而生成指定宽高比的视频.结果 实验结果表明,与基于细缝裁剪的立体视频重定向方法对比,本文方法在形状保持、时域保持及视差舒适度方面均具有更好的性能.另外,使用现有的客观质量评价方法对重定向结果进行评价,本文方法客观质量评价指标性能优于均匀缩放和细缝裁剪的视频重定向方法,时间复杂度较低,每帧的时间复杂度至少比细缝裁剪方法降低了98％.结论 提出的时空联合的视差优化方法同时在时域和舒适度上对视差进行优化,并考虑了时域保持,具有良好的视差优化与时域保持效果,展现了较高的稳定性和鲁棒性.本文方法能够用于3D视频的重定向,在保持立体视觉舒适性的同时适配不同尺寸的3D显示屏幕.

    立体视频重定向网格形变时空视差优化视频时间一致性立体视觉舒适度立体显著

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    形状的全尺度可视化表示与识别

    闵睿朋李一凡黄瑶杨剑宇...
    628-641页
    查看更多>>摘要：目的 视觉目标的形状特征表示和识别是图像领域中的重要问题.在实际应用中,视角、形变、遮挡和噪声等干扰因素造成识别精度较低,且大数据场景需要算法具有较高的学习效率.针对这些问题,本文提出一种全尺度可视化形状表示方法.方法 在尺度空间的所有尺度上对形状轮廓提取形状的不变量特征,获得形状的全尺度特征.将获得的全部特征紧凑地表示为单幅彩色图像,得到形状特征的可视化表示.将表示形状特征的彩色图像输入双路卷积网络模型,完成形状分类和检索任务.结果 通过对原始形状加入旋转、遮挡和噪声等不同干扰的定性实验,验证了本文方法具有旋转和缩放不变性,以及对铰接变换、遮挡和噪声等干扰的鲁棒性.在通用数据集上进行形状分类和形状检索的定量实验,所得准确率在不同数据集上均超过对比算法.在MPEG-7数据集上精度达到99.57％,对比算法的最好结果为98.84％.在铰接和射影变换数据集上皆达到100％的识别精度,而对比算法的最好结果分别为89.75％和95％.结论 本文提出的全尺度可视化形状表示方法,通过一幅彩色图像紧凑地表达了全部形状信息.通过卷积模型既学习了轮廓点间的形状特征关系,又学习了不同尺度间的形状特征关系.本文方法在视角变化、局部遮挡、铰接变形和噪声等干扰下能保持较高的识别正确率,可应用于图像采集干扰较多以及红外或深度图像的目标识别,并适用于大数据场景下的识别任务.

    形状表示尺度空间不变量形状识别目标识别目标检索

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    结合掩码定位和漏斗网络的6D姿态估计

    李冬冬郑河荣刘复昌潘翔...
    642-652页
    查看更多>>摘要：目的 6D姿态估计是3D目标识别及重建中的一个重要问题.由于很多物体表面光滑、无纹理,特征难以提取,导致检测难度大.很多算法依赖后处理过程提高姿态估计精度,导致算法速度降低.针对以上问题,本文提出一种基于热力图的6D物体姿态估计算法.方法 首先,采用分割掩码避免遮挡造成的热力图污染导致的特征点预测准确率下降问题.其次,基于漏斗网络架构,无需后处理过程,保证算法具有高效性能.在物体检测阶段,采用一个分割网络结构,使用速度较快的YOLOv3(you only look once v3)作为网络骨架,目的在于预测目标物体掩码分割图,从而减少其他不相关物体通过遮挡带来的影响.为了提高掩码的准确度,增加反卷积层提高特征层的分辨率并对它们进行融合.然后,针对关键点采用漏斗网络进行特征点预测,避免残差网络模块由于局部特征丢失导致的关键点检测准确率下降问题.最后,对检测得到的关键点进行位姿计算,通过PnP(perspective-n-point)算法恢复物体的6D姿态.结果 在有挑战的Linemod数据集上进行实验.实验结果表明,本文算法的3D误差准确性为82.7％,与热力图方法相比提高了10％;2D投影准确性为98.9％,比主流算法提高了4％;同时达到了15帧/s的检测速度.结论 本文提出的基于掩码和关键点检测算法不仅有效提高了6D姿态估计准确性,而且可以维持高效的检测速度.

    姿态估计目标分割关键点定位漏斗网络特征融合

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普