首页期刊导航|中国图象图形学报
期刊信息/Journal information
中国图象图形学报
中国图象图形学报

李小文

月刊

1006-8961

jig@irsa.ac.cn

010-64807995 8261442

100101

北京9718信箱

中国图象图形学报/Journal Journal of Image and GraphicsCSCD北大核心CSTPCD
查看更多>>本刊是集计算机图象图形高科技理论与应用研究成果、成果产品化与商情动态于一体的综合性学术期刊。是核心期刊、权威性杂志。作为中国图象图形学学会的会刊，利用学会在国内外广泛的科技信息渠道、全方位多层面的学科交叉应用，积极向产业界宣传科技成果，热心向科技界推荐最新产品。
正式出版
收录年代

    多通道递归残差网络的图像超分辨率重建

    程德强郭昕陈亮亮寇旗旗...
    605-618页
    查看更多>>摘要：目的 基于神经网络的图像超分辨率重建技术主要是通过单一网络非线性映射学习得到高低分辨率之间特征信息关系来进行重建,在此过程中较浅网络的图像特征信息很容易丢失,加深网络深度又会增加网络训练时间和训练难度.针对此过程出现的训练时间长、重建结果细节信息较模糊等问题,提出一种多通道递归残差学习机制,以提高网络训练效率和图像重建质量.方法 设计一种多通道递归残差网络模型,该模型首先利用递归方法将残差网络块进行复用,形成32层递归网络,来减少网络参数、增加网络深度,以加速网络收敛并获取更丰富的特征信息.然后采集不同卷积核下的特征信息,输入到各通道对应的递归残差网络后再一起输入到共用的重建网络中,提高对细节信息的重建能力.最后引入一种交叉学习机制,将通道1、2、3两两排列组合交叉相连,进一步加速不同通道特征信息融合、促进参数传递、提高网络重建性能.结果 本文模型使用DIV2K(DIVerse 2 K)数据集进行训练,在Set5、Set14、BSD100和Urban100数据集上进行测试,并与Bicubic、SRCNN(super-resolution convolutional neural network)、VDSR (super-resolution using very deep convolutional network)、LapSRN (deep Laplacian pyramid networks for fast and accurate super-resolution)和EDSR_baseline(enhanced deep residual networks for single image super-resolution_baseline)等方法的实验结果进行对比,结果显示前者获取细节特征信息能力提高,图像有了更清晰丰富的细节信息;客观数据方面,本文算法的数据有明显的提升,尤其在细节信息较多的Urban100数据集中PSNR(peaksignal-to-noise ratio)平均分别提升了3.87 dB、1.93 dB、1.00 dB、1.12 dB和0.48 dB,网络训练效率相较非递归残差网络提升30％.结论 本文模型可获得更好的视觉效果和客观质量评价,而且相较非递归残差网络训练过程耗时更短,可用于复杂场景下图像的超分辨率重建.

    超分辨重建多通道递归交叉残差网络模型

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    降水时空关联特征可视分析

    周志光谢琬滢郑微桦陈圆圆...
    619-632页
    查看更多>>摘要：目的 降水是影响全球气候变化和系统环境的重要因素,面向降水数据开展时空关联分析,对于区域气候特征探索及异常情况监测具有重要的意义.然而,降水时空关联特征的分析是一个复杂且耗时的过程,与气象站点的空间分布以及降水的时间序列密切相关.本文综合考虑降水的时空变化特征,研究和设计面向降水数据时空关联特征分析的可视化系统工具.方法 利用地图和矩阵图呈现降水数据的空间分布和周期变化特征,设计径向盒须图对降水数据的时空变化异常特征进行捕获;通过局部Moran's Ⅰ指数的计算和热力图的呈现表达降水的空间相关性,支持用户交互式地探索空间相关性的时序变化特征;利用普通克里金插值模型获得降水空间插值图,并对插值结果的准确性进行可视化评估.结果 以中国安徽省1971-2014年气象观测站长时间序列月降水数据集为例进行分析,实验结果证明本研究可视化交互系统能够直观高效地探索区域降水长时间序列时空变化特征和极端降水情况;有效探究区域降水空间分布模式、不同站点降水信息间空间依赖性和异质性,并快速发现降水奇异点;分析区域不同时间尺度降水气候特征空间变化.结论 系统工具集成便捷的交互模式,支持用户探索式地分析降水数据的时空关联特征,进而有效地探究区域气候变化规律和特征分布关系.基于真实降水数据的实验结果以及降水领域专家的反馈,进一步验证了本文系统工具的有效性和实用性.

    降水时空关联特征周期变化特征Moran'sⅠ指数普通克里金插值

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    结合残差路径及密集连接的乳腺超声肿瘤分割

    陈杨怀陈胜姚莉萍
    633-643页
    查看更多>>摘要：目的 乳腺癌是常见的高发病率肿瘤疾病,早期确诊是预防乳腺癌的关键.为获得肿瘤准确的边缘和形状信息,提高乳腺肿瘤诊断的准确性,本文提出了一种结合残差路径及密集连接的乳腺超声肿瘤分割方法.方法 基于经典的深度学习分割模型U-Net,添加残差路径,减少编码器和解码器特征映射之间的差异.在此基础上,在特征输入层到解码器最后一步之间引入密集块,通过密集块组成从输入特征映射到解码最后一层的新连接,减少输入特征图与解码特征图之间的差距,减少特征损失并保存更有效信息.结果 将本文模型与经典的U-Net模型、引入残差路径的U-Net(U-Net with Res paths)模型在上海新华医院崇明分院乳腺肿瘤超声数据集上进行10-fold交叉验证实验.本文模型的真阳率(true positive,TP)、杰卡德相似系数(Jaccard similarity,JS)和骰子系数(Dice coefficients,DC)分别为0.870 7、0.803 7和0.882 4,相比U-Net模型分别提高了1.08％、2.14％和2.01％;假阳率(false positive,FP)和豪斯多夫距离(Hausdorff distance,HD)分别为0.1040和22.311 4,相比U-Net模型分别下降了1.68％和1.410 2.在54幅图像的测试集中,评价指标JS ＞0.75的肿瘤图像数量的总平均数为42.1,最大值为46.对比实验结果表明,提出的算法有效改善了分割结果,提高了分割的准确性.结论 本文提出的基于U-Net结构并结合残差路径与新的连接的分割模型,改善了乳腺超声肿瘤图像分割的精确度.

    肿瘤分割乳腺超声卷积网络残差路径密集块

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    增强小目标特征的航空遥感目标检测

    赵文清孔子旭周震东赵振兵...
    644-653页
    查看更多>>摘要：目的 航空遥感图像中多为尺寸小、方向错乱和背景复杂的目标.传统的目标检测算法由于模型的特征提取网络对输入图像进行多次下采样,分辨率大幅降低,容易造成目标特征信息丢失,而且不同尺度的特征图未能有效融合,检测目标之间存在的相似特征不能有效关联,不仅时间复杂度高,而且提取的特征信息不足,导致目标漏检率和误检率偏高.为了提升算法对航空遥感图像目标的检测准确率,本文提出一种基于并行高分辨率结构结合长短期记忆网络(long short-term memory,LSTM)的目标检测算法.方法 首先,构建并行高分辨率网络结构,由高分辨率子网络作为第1阶段,分辨率从高到低逐步增加子网络,将多个子网并行连接,构建子网时对不同分辨率的特征图反复融合,以增强目标特征表达;其次,对各个子网提取的特征图进行双线性插值上采样,并拼接通道特征;最后,使用双向LSTM整合通道特征信息,完成多尺度检测.结果 将本文提出的检测算法在COCO(common objects in context)2017数据集、KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago)车辆检测和UCAS-AOD(University of Chinese Academy of Sciences-Aerial Object Detection)航空遥感数据集上进行实验验证,平均检测准确率(mean average precision,mAP)分别为41.6％、69.4％和69.3％.在COC0 2017、KITTI和VCAS-AOD数据集上,本文算法与SSD513算法相比,平均检测准确率分别提升10.46％、7.3％、8.8％.结论 本文方法有效提高了航空遥感图像中目标的平均检测准确率.

    航空遥感图像机器视觉小目标检测并行高分辨率网络长短期记忆网络COCO数据集UCAS-AOD数据集

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    密集子区域切割的任意方向舰船快速检测

    陈华杰吴栋谷雨
    654-662页
    查看更多>>摘要：目的 遥感图像上任意方向舰船目标的检测,是给出舰船在图像上的最小外切矩形边界框.基于双阶段深度网络的任意方向舰船检测算法速度较慢;基于单阶段深度网络的任意方向舰船检测算法速度较快,但由于舰船具有较大长宽比的形态特点,导致虚警率较高.为了降低单阶段目标检测的虚警率,进一步提升检测速度,针对舰船目标的形态特点,提出了基于密集子区域切割的快速检测算法.方法 沿长轴方向,将舰船整体密集切割为若干个包含在正方形标注框内的局部子区域,确保标注框内最佳的子区域面积有效占比,保证核心检测网络的泛化能力;以子区域为检测目标,训练核心网络,在训练过程对重叠子区域进行整合;基于子图分割将检测得到的子区域进行合并,进而估计方向角度等关键舰船目标参数.其中采用子区域合并后处理替代了非极大值抑制后处理,保证了检测速度.结果 在HRSC2016(high resolution ship collections)实测数据集上,与最新的改进YOLOv3(you only look once)、RRCNN (rotated region convolutional neural network)、RRPN(rotation region proposal networks)、R-DFPN-3 (rotation dense feature pyramid network)和R-DFPN-4等5种算法进行了比较,相较于检测精度最高的R-DFPN-4对照算法,本文算法的mAP(mean average precision)(IOU(inter section over union)=0.5)值提高了1.9％,平均耗时降低了57.9％;相较于检测速度最快的改进YOLOv3对照算法,本文算法的mAP (IOU =0.5)值提高了3.6％,平均耗时降低了31.4％.结论 本文所提出的任意方向舰船检测算法,结合了舰船目标的形态特点,在检测精度与检测速度均优于当前主流任意方向舰船检测算法,检测速度有明显提升.

    任意方向舰船检测密集子区域切割子图分割子区域合并快速检测

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    CGAN样本生成的遥感图像飞机识别

    王耀领王宏琦许滔
    663-673页
    查看更多>>摘要：目的 基于深度学习的飞机目标识别方法在遥感图像解译领域取得了很大进步,但其泛化能力依赖于大规模数据集.条件生成对抗网络(conditional generative adversarial network,CGAN)可用于产生逼真的生成样本以扩充真实数据集,但对复杂遥感场景的建模能力有限,生成样本质量低.针对这些问题,提出了一种结合CGAN样本生成的飞机识别框架.方法 改进条件生成对抗网络,利用感知损失提高生成器对遥感图像的建模能力,提出了基于掩膜的结构相似性(structural similarity,SSIM)度量损失函数(masked-SSIM loss)以提高生成样本中飞机区域的图像质量,该损失函数与飞机的掩膜相结合以保证只作用于图像中的飞机区域而不影响背景区域.选取一个基于残差网络的识别模型,与改进后的生成模型结合,构成飞机识别框架,训练过程中利用生成样本代替真实的卫星图像,降低了对实际卫星数据规模的需求.结果 采用生成样本与真实样本训练的识别模型在真实样本上的进行实验,前者的准确率比后者低0.33％;对于生成模型,在加入感知损失后,生成样本的峰值信噪比(peak signal to noise ratio,PSNR)提高了0.79 dB,SSIM提高了0.094;在加入基于掩膜的结构相似性度量损失函数后,生成样本的PSNR提高了0.09 dB,SSIM提高了0.252.结论 本文提出的基于样本生成的飞机识别框架生成了质量更高的样本,这些样本可以替代真实样本对识别模型进行训练,有效地解决了飞机识别任务中的样本不足问题.

    深度学习卷积神经网络生成对抗网络光学遥感图像目标识别

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    高分辨率遥感影像的边缘损失增强地物分割

    陈琴朱磊吕燧栋吴谨...
    674-685页
    查看更多>>摘要：目的 针对高分辨率遥感影像语义分割中普遍存在的分割精度不高、目标边界模糊等问题,提出一种综合利用边界信息和网络多尺度特征的边缘损失增强语义分割方法.方法 对单幅高分辨率遥感影像,首先通过对VGG-16(visual geometry group 16-layer net)网络引入侧边输出结构,提取到图像丰富的特征细节;然后使用深度监督的短连接结构将从深层到浅层的侧边输出组合起来,实现多层次和多尺度特征融合;最后添加边缘损失增强结构,用以获得较为清晰的目标边界,提高分割结果的准确性和完整性.结果 为了验证所提方法的有效性,选取中国北方种植大棚遥感影像和Google Earth上的光伏板组件遥感影像进行人工标注,并制作实验数据集.在这两个数据集上,将所提方法与几种常用的语义分割方法进行对比实验.实验结果表明,所提方法的精度在召回率为0～0.9之间时均在0.8以上,在2个数据集上的平均绝对误差分别为0.079 1和0.036 2.同时,通过消融实验分析了各个功能模块对最终结果的贡献.结论 与当前先进方法相比,本文提出的边缘损失增强地物分割方法能够更加精确地从遥感影像的复杂背景中提取目标区域,使分割时提取到的目标拥有更加清晰的边缘.

    高分辨率遥感影像卷积神经网络语义分割多特征融合边缘损失增强网络平均绝对误差

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    含多级通道注意力机制的CGAN遥感图像建筑物分割

    余帅汪西莉
    686-699页
    查看更多>>摘要：目的 遥感图像建筑物分割是图像处理中的一项重要应用,卷积神经网络在遥感图像建筑物分割中展现出优秀性能,但仍存在建筑物漏分、错分,尤其是小建筑物漏分以及建筑物边缘不平滑等问题.针对上述问题,本文提出一种含多级通道注意力机制的条件生成对抗网络(conditional generative adversarial network,CGAN)模型Ra-CGAN,用于分割遥感图像建筑物.方法 首先构建一个具有多级通道注意力机制的生成模型G,通过融合包含注意力机制的深层语义与浅层细节信息,使网络提取丰富的上下文信息,更好地应对建筑物的尺度变化,改善小建筑物漏分问题.其次,构建一个判别网络D,通过矫正真实标签图与生成模型生成的分割图之间的差异来改善分割结果.最后,通过带有条件约束的G和D之间的对抗训练,学习高阶数据分布特征,使建筑物空间连续性更强,提升分割结果的边界准确性及平滑性.结果 在WHU Building Dataset和Satellite Dataset Ⅱ数据集上进行实验,并与优秀方法对比.在WHU数据集中,分割性能相对于未加入通道注意力机制和对抗训练的模型明显提高,且在复杂建筑物的空间连续性、小建筑物完整性以及建筑物边缘准确和平滑性上表现更好;相比性能第2的模型,交并比(intersection over union,IOU)值提高了1.1％,F1-score提高了1.1％.在Satellite数据集中,相比其他模型,准确率更高,尤其是在数据样本不充足的条件下,得益于生成对抗训练,分割效果得到了大幅提升;相比性能第2的模型,IOU值提高了1.7％,F1-score提高了1.6％.结论 本文提出的含多级通道注意力机制的CGAN遥感图像建筑物分割模型,综合了多级通道注意力机制生成模型与条件生成对抗网络的优点,在不同数据集上均获得了更精确的遥感图像建筑物分割结果.

    深度卷积神经网络遥感图像分割条件生成对抗网络(CGAN)注意力机制多尺度特征融合

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    面向GF-2遥感影像的U-Net城市绿地分类

    徐知宇周艺王世新王丽涛...
    700-713页
    查看更多>>摘要：目的 高分2号卫星(GF-2)是首颗民用高空间分辨率光学卫星,具有亚米级高空间分辨率与宽覆盖结合的显著特点,为城市绿地信息提取等多领域提供了重要的数据支撑.本文利用GF-2卫星多光谱遥感影像,将一种改进的U-Net卷积神经网络首次应用于城市绿地分类,提出一种面向高分遥感影像的城市绿地自动分类提取技术.方法 先针对小样本训练集容易产生的过拟合问题对U-Net网络进行改进,添加批标准化(batch normalization,BN)和dropout层获得U-Net+模型;再采用随机裁剪和随机数据增强的方式扩充数据集,使得在充分利用影像信息的同时保证样本随机性,增强模型稳定性.结果 将U-Net+模型与最大似然法(maximum likelihood estimation,MLE)、神经网络(neural networks,NNs)和支持向量机(support vector machine,SVM)3种传统分类方法以及U-Net、SegNet和DeepLabv3+这3种深度学习语义分割模型进行分类结果精度对比.改进后的U-Net+模型能有效防止过拟合,模型总体分类精度比改进前提高了1.06％.基于改进的U-Net+模型的城市绿地总体分类精度为92.73％,平均F1分数为91.85％.各分类方法按照总体分类精度从大到小依次为U-Net+(92.73％)、U-Net(91.67％)、SegNet(88.98％)、DeepLabv3+ (87.41％)、SVM(81.32％)、NNs(79.92％)和MLE(77.21％).深度学习城市绿地分类方法能充分挖掘数据的光谱、纹理及潜在特征信息,有效降低分类过程中产生的“椒盐噪声”,具有较好的样本容错能力,比传统遥感分类方法更适用于城市绿地信息提取.结论 改进后的U-Net+卷积神经网络模型能够有效提升高分遥感影像城市绿地自动分类提取精度,为城市绿地分类提供了一种新的智能解译方法.

    城市绿地卷积神经网络U-Net高分遥感语义分割

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    条件生成对抗遥感图像时空融合

    李昌洁宋慧慧张开华张晓露...
    714-726页
    查看更多>>摘要：目的 卫星遥感技术在硬件方面的局限导致获取的遥感图像在时间与空间分辨率之间存在矛盾,而时空融合提供了一种高效、低成本的方式来融合具有时空互补性的两类遥感图像数据(典型代表是Landsat和MODIS(moderate-resolution imaging spectroradiometer)图像),生成同时具有高时空分辨率的融合数据,解决该问题.方法 提出了一种基于条件生成对抗网络的时空融合方法,可高效处理实际应用中的大量遥感数据.与现有的学习模型相比,该模型具有以下优点:1)通过学习一个非线性映射关系来显式地关联MODIS图像和Landsat图像;2)自动学习有效的图像特征;3)将特征提取、非线性映射和图像重建统一到一个框架下进行优化.在训练阶段,使用条件生成对抗网络建立降采样Landsat和MODIS图像之间的非线性映射,然后在原始Landsat和降采样Landsat之间训练多尺度超分条件生成对抗网络.预测过程包含两层:每层均包括基于条件生成对抗网络的预测和融合模型.分别实现从MODIS到降采样Landsat数据之间的非线性映射以及降采样Landsat与原始Landsat之间的超分辨率首建.结果 在基准数据集CIA(coleam bally irrigation area)和LGC (lower Gwydir catchment)上的结果表明,条件生成对抗网络的方法在4种评测指标上均达到领先结果,例如在CIA数据集上,RMSE(root mean squared error)、SAM(spectral angle mapper)、SSIM(structural similarit)和ERGAS(erreur relative global adimensionnelle desynthese)分别平均提高了0.001、0.15、0.008和0.065;在LGC数据集上分别平均提高了0.001 2、0.7、0.018和0.008 9.明显优于现有基于稀疏表示的方法与基于卷积神经网络的方法.结论 本文提出的条件生成对抗融合模型,能够充分学习Landsat和MODIS图像之间复杂的非线性映射,产生更加准确的融合结果.

    时空融合深度学习条件生成对抗网络(CGAN)拉普拉斯金字塔遥感图像处理

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普