首页期刊导航|中国图象图形学报
期刊信息/Journal information
中国图象图形学报
中国图象图形学报

李小文

月刊

1006-8961

jig@irsa.ac.cn

010-64807995 8261442

100101

北京9718信箱

中国图象图形学报/Journal Journal of Image and GraphicsCSCD北大核心CSTPCD
查看更多>>本刊是集计算机图象图形高科技理论与应用研究成果、成果产品化与商情动态于一体的综合性学术期刊。是核心期刊、权威性杂志。作为中国图象图形学学会的会刊，利用学会在国内外广泛的科技信息渠道、全方位多层面的学科交叉应用，积极向产业界宣传科技成果，热心向科技界推荐最新产品。
正式出版
收录年代

    U-Net通道变换网络在腺体图像分割中的应用

    曹伟杰段先华许振伟盛帅...
    713-724页
    查看更多>>摘要：目的 腺体医学图像分割是将医学图像中的腺体区域与周围组织分离出来的过程,对分割精度有极高要求.传统模型在对腺体医学图像分割时,因腺体形态多样性和小目标众多的特点,容易出现分割不精细或误分割等问题,对此根据腺体医学图像的特点对U-Net型通道变换网络分割模型进行改进,实现对腺体图像更高精度分割.方法 首先在U-Net型通道变换网络的编码器前端加入 ASPP_SE(spatial pyramid pooling_squeeze-and-excitation net-works)模块与ConvBatchNorm模块的组合,在增强编码器提取小目标特征信息能力的同时,防止模型训练出现过拟合现象.其次在编码器与跳跃连接中嵌入简化后的密集连接,增强编码器相邻模块特征信息融合.最后在通道融合变换器(channel cross fusion with Transformer,CCT)中加入细化器,将自注意力图投射到更高维度,提高自注意机制能力,增强编码器全局模块特征信息融合.简化后的密集连接与CCT结合使用,模型可以达到更好效果.结果 改进算法在公开腺体数据集 MoNuSeg(multi-organ nuclei segmentation challenge)和 Glas(gland segmentation)上进行实验.以Dice系数和IoU(intersection over union)系数为主要指标,在MoNuSeg的结果为80.55％和67.32％,在Glas数据集的结果为92.23％和86.39％,比原U-Net型通道变换网络分别提升了 0.88％、1.06％和1.53％、2.43％.结论 本文提出的改进算法在腺体医学分割上优于其他现有分割算法,能满足临床医学腺体图像分割要求.

    医学图像分割U-Net型通道变换网络(UCTransNet)密集连接注意力机制细化器

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    单域泛化X-ray乳腺肿瘤检测

    史彩娟郑远帆任弼娟孔凡跃...
    725-740页
    查看更多>>摘要：目的 由于乳腺肿瘤病灶的隐蔽性强且极易转移,目前采用医学辅助诊断(computer-aided diagnosis,CAD)来尽早地发现肿瘤并诊断.然而,医学图像数据量少且标注昂贵,导致全监督场景下的基于深度学习的X-ray乳腺肿瘤检测方法的性能非常有限,且模型泛化能力弱;此外,噪声产生的域偏移(domain shift)也降低了不同环境下肿瘤检测的性能.针对上述挑战,提出一种单域泛化X-ray乳腺肿瘤检测方法.方法 提出了一种单域泛化模型(single-domain generalization model,SDGM)进行X-ray乳腺肿瘤检测,采用 ResNet-50(residual network-50)作为主干特征提取网络,设计了域特征增强模块(domain feature enhancement module,DFEM)来有效融合上采样与下采样中的全局信息以抑制噪声,然后在检测头处设计了实例泛化模块(instance generalization module,IGM),对每个实例的类别语义信息进行正则化与白化处理来提升模型的泛化性能,通过学习少量的有标注医学图像对不可预见的噪声图像进行迁移学习,缓解因有标记医学图像匮乏而导致的泛化能力弱的问题;同时避免模型的冗余训练,进一步增强模型在不同环境下的鲁棒性.结果 为了验证所提模型SDGM的域内泛化性能,将INbreast的单域X-ray图像作为训练集,多种域偏移的图像为测试集,实验结果表明在域内泛化场景下SDGM性能优于FCOS(fully convolutional one-stage object detection)、Cascade-RCNN、FoveaBox、ATSS、TOOD(task-aligned one-stage object detection)、PVTv2-Transformer等方法,泛化性能比baseline方法的mAP(mean average precision)提升了 9.7％;在训练数据量更小的前提下,单域泛化性能优于INbreast全监督场景下的baseline方法的性能.此外,为了进一步验证SDGM在不同数据集的域间的泛化性能,将CBIS-DDSM(curated breast imaging subset of DDSM)数据集作为训练集而多种域偏移的INbreast数据集作为测试集进行实验,所提方法SDGM比baseline方法提升了 5.8％.结论 所提单域泛化模型SDGM能够有效缓解域偏移对模型性能的影响,并能够针对医学数据域未知且数量少的特点进行泛化,能够较灵活地迁移至临床实践中未知域下的噪声场景.

    X-ray乳腺肿瘤检测单域泛化域偏移正则化与白化特征增强

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    TransAS-UNet:融合Swin Transformer和UNet的乳腺癌区域分割

    徐旺旺许良凤李博凯周曦...
    741-754页
    查看更多>>摘要：目的 乳腺癌在女性中是致病严重且发病率较高的疾病,早期乳腺癌症检测是全世界需要解决的重要难题.如今乳腺癌的诊断方法有临床检查、影像学检查和组织病理学检查.在影像学检查中常用的方式是X光、CT(computed tomography)、磁共振等,其中乳房X光片已用于检测早期癌症,然而从本地乳房X线照片中手动分割肿块是一项非常耗时且容易出错的任务.因此,需要一个集成的计算机辅助诊断(computer aided diagnosis,CAD)系统来帮助放射科医生进行自动和精确的乳房肿块识别.方法 基于深度学习图像分割框架,对比了不同图像分割模型,同时在UNet结构上采用了 Swin架构来代替分割任务中的下采样和上采样过程,实现局部和全局特征的交互.利用Transformer来获取更多的全局信息和不同层次特征来取代短连接,实现多尺度特征融合,从而精准分割.在分割模型阶段也采用了 Multi-Attention ResNet分类网络对癌症区域的等级识别,更好地对乳腺癌进行诊断医疗.结果 本文模型在乳腺癌X光数据集INbreast上实现肿块的准确分割,IoU(intersection over union)值达到95.58％,Dice系数为93.45％,与其他的分割模型相比提高了 4％～6％,将得到的二值化分割图像进行四分类,Accuracy值达到95.24％.结论 本文提出的TransAS-UNet图像分割方法具有良好的性能和临床意义,该方法优于对比的二维图像医学分割方法.

    乳腺癌深度学习医学图像分割TransAS-UNet图像分类

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    基于边缘信息增强的前列腺MR图像分割网络

    张蝶黄慧马燕黄丙仓...
    755-767页
    查看更多>>摘要：目的 前列腺图像精确分割对评估患者健康和制定治疗方案至关重要.然而传统U-Net模型在前列腺MR(magnetic resonance)图像分割上存在过拟合、边缘信息丢失等问题.针对上述问题,提出一种改进的U-Net 2D分割模型,旨在增强边缘信息、降低噪声影响,进而提高前列腺分割效果.方法 为缓解过拟合现象,新模型通过对标准U-Net架构进行修改,将普通卷积替换为深度可分离卷积,重新设计编码器和解码器结构,降低模型参数量;为保存分割结果中的边缘信息,新模型通过ECA(efficient channel attention)注意力机制对U-Net解码器特征进行优化,以放大并保存小尺度目标的信息,并提出边缘信息模块和边缘信息金字塔模块,恢复并增强边缘信息,以缓解频繁下采样带来的边缘信息衰退以及编码器和解码器特征之间的语义差距问题;利用空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)模块对特征进行重采样,扩大感受野,以消除特征噪声.结果 在PROMISE 12(prostate MR image segmentation 2012)数据集上验证模型的有效性,并与6种基于U-Net的图像分割方法进行对比,实验证明其分割结果在 Dice 系数(Dice coefficient,DC)、HD95(95％Hausdorff distance)、召回率(recall)、Jaccard 系数和准确度(accuracy)等指标上均有提高,DC较U-Net提高了 8.87％,HD95较U-Net++和 Attention U-Net分别降低了 12.04 mm和3.03 mm.结论 提出一种基于边缘信息增强的前列腺MR图像分割网络(attention mechanism and marginal infor-mation fusion U-Net,AIM-U-Net),其生成的分割图像具有丰富的边缘信息和空间信息,其主观效果和客观评价指标均优于其他同类方法,为提高临床诊断的准确度提供帮助.

    医学图像分割前列腺MR图像U-Net边缘信息

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    自适应模态融合双编码器MRI脑肿瘤分割网络

    张奕涵柏正尧尤逸琳李泽锴...
    768-781页
    查看更多>>摘要：目的 评估肿瘤的恶性程度是临床诊断中的一项具有挑战性的任务.因脑肿瘤的磁共振成像呈现出不同的形状和大小,肿瘤的边缘模糊不清,导致肿瘤分割具有挑战性.为有效辅助临床医生进行肿瘤评估和诊断,提高脑肿瘤分割精度,提出一种自适应模态融合双编码器分割网络D3D-Net(double3DNet).方法 本文提出的网络使用多个编码器和特定的特征融合的策略,采用双层编码器用于充分提取不同模态组合的图像特征,并在编码部分利用特定的融合策略将来自上下两个子编码器的特征信息充分融合,去除冗余特征.此外,在编码解码部分使用扩张多纤维模块在不增加计算开销的前提下捕获多尺度的图像特征,并引入注意力门控以保留细节信息.结果 采用BraTS2018(brain tumor segmentation 2018)、BraTS2019 和 BraTS2020数据集对 D3D-Net 网络进行训练和测试,并进行了消融实验.在BraTS2018数据集上,本模型在增强肿瘤、整个肿瘤、肿瘤核心的平均Dice值与3D U-Net相比分别提高了 3.6％,1.0％,11.5％,与 DMF-Net(dilated multi-fiber network)相比分别提高了 2.2％,0.2％,0.1％.在BraTS2019数据集上进行实验,增强肿瘤、整个肿瘤、肿瘤核心的平均Dice值与3D U-Net相比分别提高了 2.2％,0.6％,7.1％.在BraTS2020数据集上,增强肿瘤、整个肿瘤、肿瘤核心的平均Dice值与3D U-Net相比分别提高了2.5％,1.9％,2.2％.结论 本文提出的双编码器融合网络能够充分融合多模态特征可以有效地分割小肿瘤部位.

    脑肿瘤分割多模态融合双编码器MRI注意力门控

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    融合帧间时序关系的标准胎儿四腔心超声切面自动获取

    徐光柱吴梦琦钱奕凡王阳...
    782-797页
    查看更多>>摘要：目的 超声医师手动探查与采集胎儿心脏切面图像时,常因频繁的手动暂停与截图操作而错失心脏切面最佳获取时机.而单纯采用深层视觉目标检测或分类网络自动获取切面时,因无法确保网络重点关注切面图像中相对较小的心脏区域的细粒度特征,导致高误检率;另外,不同的心脏解剖部件的最佳成像时刻也常常不同步.针对上述问题,提出一种目标检测与分类网络相结合,同时融合关键帧间时序关系的标准四腔心(four-chamber,4CH)切面图像自动获取算法.方法 首先,利用自行构建的胎儿心脏超声切面数据集训练目标检测网络,实现四腔心区域和降主动脉区域的快速准确定位.接着,当检测到在一定时间窗内的视频帧存在降主动脉区域时,将包含四腔心目标的候选区域提取后送入利用自建的标准四腔心区域图像集训练好的分类网络,进一步分类出标准四腔心区域.最后,通过时序关系确定出可靠的降主动脉区域,将可靠降主动脉的检测置信度及同一时间窗内各个切面图像中四腔心区域在分类模型中的输出,加权计算得到标准四腔心切面图像的得分.结果 采用本文构建的数据集训练的YOLOv5x(you only look once version 5 extra large)和Darknet53模型,在四腔心区域和降主动脉区域的检测任务上分别达到94.0％的mAP@0.5和61.1％的mAP@[.5:.95],以及69.5％的recall@0.5-0.95;在四腔心区域标准性分类任务上TOP-1准确率达到92.4％.将检测与分类模块结合后,系统对四腔心区域的误检率降低了 29.38％.结论 目标检测与分类网络相结合的策略及帧间时序信息的加入能够有效调和错检与漏检间的矛盾,同时大幅降低误检率.另外,所提算法除可自动获取标准的四腔心切面图像外,还可同时给出最佳切面,具有较好的实际应用价值.

    深度学习卷积神经网络(CNN)目标检测图像分类帧间时序关系

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    自适应迁移鲁棒特征的个性化联邦医学图像分类

    陆森良冯宝徐坤财陈业航...
    798-810页
    查看更多>>摘要：目的 针对联邦学习中多中心医学数据的异质性特征导致全局模型性能不佳的问题,提出一种基于特征迁移的自适应个性化联邦学习算法(adaptive personalized federated learning via feature transfer,APFFT).方法 首先,为降低全局模型中异质性特征信息影响,提出鲁棒特征选择网络(robust feature selection network,RFS-Net)构建个性化本地模型.RFS-Net通过学习两个迁移权重分别确定全局模型向本地模型迁移时的有效特征以及特征迁移的目的地,并构建基于迁移权重的迁移损失函数以加强本地模型对全局模型中有效特征的注意力,从而构建个性化本地模型.然后,为过滤各本地模型中异质性特征信息,利用自适应聚合网络(adaptive aggregation network,AA-Net)聚合全局模型.AA-Net基于全局模型交叉熵变化更新迁移权重并构建聚合损失,使各本地模型向全局模型迁移鲁棒特征,提高全局模型的特征表达能力.结果 在3种医学图像分类任务上与4种现有方法进行比较实验,在肺结核肺腺癌分类任务中,各中心曲线下面积(area under the curve,AUC)分别为0.791 5,0.798 1,0.760 0,0.705 7和0.806 9;在乳腺癌组织学图像分类任务中,各中心准确率分别为0.984 9、0.980 8、0.983 5、0.9826和0.983 4;在肺结节良恶性分类任务中,各中心AUC分别为0.809 7,0.849 8,0.784 8和0.792 3.结论 所提出的联邦学习方法,降低了多中心的异质性特征影响,实现基于鲁棒特征的个性化本地模型自适应构建和全局模型自适应聚合,模型性能有较大提升.

    特征迁移联邦学习异质性特征鲁棒特征选择网络自适应聚合网络医学图像分类

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    用于组织病理图像分类的双层多实例学习模型

    陆浩陈金令陈杰陈百合...
    811-822页
    查看更多>>摘要：目的 分析组织病理学全玻片图像(whole slide images,WSIs)是病理学诊断的金标准.WSIs具有千兆像素,且通常缺乏像素级标注.弱监督多实例学习是分析WSIs的主流方法,其关键是怎样从大量实例中精确识别出触发类别预测的关键实例.以前的WSIs分析方法主要是在独立同分布假设下设计的,忽略了实例间的相关性和肿瘤的异质性.针对上述问题,提出一种新的双层多实例学习模型.方法 具体地,提出的模型由自适应特征挖掘器和双路交叉检测模块级联构成.首先,第1层的自适应特征挖掘器检索包中的区分性特征,为后续的实例特征聚合生成可靠的内部查询;然后,第2层的双路交叉检测模块通过建模内部查询与实例间的相关性,聚合包中所有实例生成最终的包级表示.此外,在特征提取部分中引入了自监督对比学习方法SimCLR以生成高质量的实例特征.结果 在两个公共可用的数据集CAMELYON-16和TCGA(the cancer genome atlas)肺癌上评估了提出的模型,对比分析6种经典的多实例学习模型,结果显示本文模型的性能最优.在准确率方面,所提方法在CAMELYON-16和TCGA肺癌两个数据集上分别达到了 95.35％和91.87％,较对比方法中最优的分别高出2.33％和0.96％.结论 提出的模型可以较好地挖掘组织病理学图像的内部特征信息,显著提升检测精度,表明其在病理学诊断应用中的有效性,并能够准确定位病变区域,在病理辅助诊断场景下有较高的应用价值.

    多实例学习(MIL)组织病理学图像自监督对比学习弱监督学习深度学习

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    JIR-Net:用于光声层析图像重建的联合迭代重建网络

    候英飒孙正孙美晨
    823-838页
    查看更多>>摘要：目的 高质量的图像重建是光声层析成像(photoacoustic tomography,PAT)技术的关键,有限角度稀疏测量和组织非均匀的声学特性都会影响重建图像质量.采用迭代重建技术可在一定程度上提高图像质量,但是其结果依赖于有关成像目标的先验假设模型.而且在迭代优化过程中需要反复计算前向成像算子及其伴随算子,因此计算成本较高,需要合理选择正则化方法及其参数.为了解决该问题,提出一种根据不完备光声测量信号联合重建光吸收能量分布图和声速分布图的深度学习方法.方法 设计并搭建基于学习迭代策略的联合迭代重建网络(joint iterative reconstruction network,JIR-Net),网络由4个结构单元组成,每个单元包括特征提取、特征融合和重建3个模块.网络的输入是探测器在成像平面中采集的不完备光声信号和预设的常数声速,输出是重建的光吸收能量分布图和声速分布图.分别构建仿真、仿体和在体数据集,用于训练、验证和测试网络.在训练网络的过程中,将光吸收能量密度和声速的梯度下降信息整合到网络训练中,并利用反向传播梯度下降法求解非线性最小二乘问题.结果 数值仿真、仿体和在体实验结果表明:与交替优化法、U-Net后处理法和深度梯度下降法相比,JIR-Net重建的光吸收能量分布图的结构相似度可分别提高约39.5％、26.4％和7.6％,峰值信噪比可分别提高约95.6％、71.4％和15.5％.与交替优化法相比,JIR-Net重建的声速分布图的结构相似度和峰值信噪比可分别提高约34.4％和22.6％.结论 JIR-Net解决了由于有限角度稀疏测量和组织声速分布不均匀所致的光声图像质量下降问题,实现了从光声信号到高质量光吸收能量分布图和声速分布图的映射.

    图像重建技术光声层析成像(PAT)深度学习光吸收能量密度声速(SoS)联合重建梯度下降

      原文链接:
    • NETL
    • NSTL
    • 万方数据