首页期刊导航|中国图象图形学报
期刊信息/Journal information
中国图象图形学报
中国图象图形学报

李小文

月刊

1006-8961

jig@irsa.ac.cn

010-64807995 8261442

100101

北京9718信箱

中国图象图形学报/Journal Journal of Image and GraphicsCSCD北大核心CSTPCD
查看更多>>本刊是集计算机图象图形高科技理论与应用研究成果、成果产品化与商情动态于一体的综合性学术期刊。是核心期刊、权威性杂志。作为中国图象图形学学会的会刊，利用学会在国内外广泛的科技信息渠道、全方位多层面的学科交叉应用，积极向产业界宣传科技成果，热心向科技界推荐最新产品。
正式出版
收录年代

    三维多尺度嵌套U结构CT影像肺结节检测

    许正玺张少敏支力佳周涛...
    797-811页
    查看更多>>摘要：目的 肺结节检测在低剂量肺部计算机断层扫描(computed tomography,CT)筛查肺癌中具有重要意义.但由于结节大小、形状和密度的变化十分复杂,导致难以在低假阳性率下保证高的灵敏度,这限制了深度学习算法在常规临床实践中的肺结节自动诊断,建立具有良好结节检测性能的深度学习模型仍然是一个挑战.针对此问题,本文提出了一种基于3D ReSidual U(3D RSU)块的嵌套U结构的肺结节检测框架.方法 3D RSU块通过混合不同大小的感受场获得多尺度特征来丰富特征信息.而嵌套U结构允许网络获得更大分辨率的特征图,从而具有多层次深度特征,获得丰富的局部和全局信息,增强网络区分前景和背景的能力,进而提高微小结节等非显著性目标的检测性能.结果 该框架在公共肺结节(lung nodule analysis 16)挑战数据集上进行了评价.方法 能够准确地检测出肺结节,灵敏度达到了97.2％,与基准方法相比,该方法灵敏度提高了2.6％,具有很高的灵敏度和特异性,在0.125、0.25、0.5、1、2、4、8共7个假阳率点的灵敏度平均值为86.4％,尤其是在每扫描0.25个假阳性上,灵敏度达到80.9％,优于基准算法76.9％的结果.结论 本文所提出的结节检测模型,由于在低假阳率上有较高的灵敏度,可以使本网络在常规临床实践中为医生辅助诊断提供更加可靠清晰的早期肺癌参考信息.

    肺结节检测嵌套结构特征金字塔网络非显著性目标检测10折交叉验证

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    融合多尺度残差和注意力机制的特发性肺纤维化进展预测

    陈舞孙军梅李秀梅
    812-826页
    查看更多>>摘要：目的 特发性肺纤维化(idiopathic pulmonary fibrosis,IPF)是一种致死率极高的肺间质疾病,呈渐进式发展且诊断手段有限,给病情的预后带来极大的困难.目前已有的肺功能衰退严重程度预测方法仍存在准确率较低的问题.方法 提出了一种融合多尺度残差和注意力机制的特发性肺纤维化进展预测模型,包括计算机断层扫描(computed tomography,CT)特征提取网络和多模态特征预测网络,以此预测IPF患者不同周数的用力肺活量(forced vital capacity,FVC).CT特征提取网络以InceptionV1为骨干网络,添加残差模块和改进的CBAM通道注意力模块(improved channel attention of convolutional block attention module,CBAM-ICA)来扩大网络的感受野,关注肺部区域的有效特征,添加与卷积层并行的空洞卷积模块,补充丢失的细节信息,并对改进的多尺度CT特征融合模块进行两次串联堆叠,提升网络获取CT特征的能力,最终获得更加有效的多尺度CT特征信息.多模态预测网络利用CT特征和临床特征进行融合形成的多模态特征对IPF患者不同周数的FVC值进行预测,提高了网络的预测性能.结果 在OSIC(Open Source Imaging Consortium)提供的肺纤维化测试数据集上的实验结果表明,本文提出的特发性肺纤维化进展预测模型得到了-6.8107的拉普拉斯对数似然得分,较其他方法具有更好的性能.结论 提出的融合多尺度残差和注意力机制的特发性肺纤维化进展预测模型对预测IPF患者不同周数的FVC值具有一定的有效性,可以帮助医生更好地了解IPF患者肺功能衰退的严重程度,对IPF患者的预后具有指导意义.

    特发性肺纤维化(IPF)预测模型多尺度残差用力肺活量(FVC)注意力机制

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    COVID-19肺部CT图像多尺度编解码分割

    陆倩杰柏正尧樊圣澜周雪...
    827-837页
    查看更多>>摘要：目的 新型冠状病毒肺炎(corona virus disease 2019,COVID-19)患者肺部计算机断层扫描(computed tomo-graphy,CT)图像具有明显的病变特征,快速而准确地从患者肺部CT图像中分割出病灶部位,对COVID-19患者快速诊断和监护具有重要意义.COVID-19肺炎病灶区域复杂多变,现有方法分割精度不高,且对假阴性的关注不够,导致分割结果往往具有较高的特异度,但灵敏度却很低.方法 本文提出了一个基于深度学习的多尺度编解码网络(MED-Net(multiscale encode decode network)),该网络采用资源利用率高、计算速度快的HarDNet68(harmonic densely connected network)作为主干,它主要由5个harmonic dense block(HDB)组成,首先通过5个空洞空间卷积池化金字塔(atrous spatial pyramid pooling,ASPP)对HarDNet68的第1个卷积层和第1、3、4、5个HDB提取多尺度特征.接着在并行解码器(paralleled partial decoder,PPD)基础上设计了一个多尺度的并行解码器(multiscale parallel partial decoder,MPPD),通过对3个不同感受野的分支进行解码,解决了编码器部分的信息丢失及小病灶分割困难等问题.为了提升CT图像分割精度,降低网络学习难度,网络加入了深度监督机制,配合多尺度解码器,增加了对假阴性的关注,从而提高模型的灵敏度.结果 在COVID-19 CT segmentation数据集上对本文网络进行了测试.实验结果表明,MED-Net可以有效地应对数据集样本少,以及分割目标的纹理、尺寸和位置变异大等问题.在只有50幅训练图像和50幅测试图像的数据集上,分割结果的Dice系数为73.8％,灵敏度为77.7％,特异度为94.3％;与Inf-Net(lung infection segmentation deep network)网络相比,分别提升了8.21％、12.28％、7.76％.其中,Dice系数和灵敏度达到了目前基于该数据集相同划分方式的先进水平.结论 本文网络提高了COVID-19肺炎CT图像分割精确度,有效解决了数据集的数据量少、小病灶分割难度大等问题,具有全自动分割COVID-19肺炎CT图像的能力.

    新型冠状病毒肺炎(COVID-19)CT图像分割多尺度编解码深度监督机制小病灶分割

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    基于特征选择与残差融合的肝肿瘤分割模型

    乔伟晨黄冕刘利军黄青松...
    838-849页
    查看更多>>摘要：目的 高效的肝肿瘤计算机断层扫描(computed tomography,CT)图像自动分割方法是临床实践的迫切需求,但由于肝肿瘤边界不清晰、体积相对较小且位置无规律,要求分割模型能够细致准确地发掘类间差异.对此,本文提出一种基于特征选择与残差融合的2D肝肿瘤分割模型,提高了2D模型在肝肿瘤分割任务中的表现.方法 该模型通过注意力机制对U-Net瓶颈特征及跳跃链接进行优化,为符合肝肿瘤分割任务特点优化传统注意力模块进,提出以全局特征压缩操作(global feature squeeze,GFS)为基础的瓶颈特征选择模块,即全局特征选择模块(fea-ture selection module,FS)和邻近特征选择模块(neighbor feature selection module,NFS).跳跃链接先通过空间注意力模块(spatial attention module,SAM)进行特征重标定,再通过空间特征残差融合(spatial feature residual fusion module,SFRF)模块解决前后空间特征的语义不匹配问题,在保持低复杂度的同时使特征高效表达.结果 在LiTS(liver tumor segmentation)公开数据集上进行组件消融测试并与当前方法进行对比测试,在肝脏及肝肿瘤分割任务中的平均Dice得分分别为96.2％和68.4％,与部分2.5D和3D模型的效果相当,比当前最佳的2D肝肿瘤分割模型平均Dice得分高0.8％.结论 提出的FSF-U-Net(feature selection and residual fusion U-Net)模型通过改进的注意力机制与优化U-Net模型结构的方法,使2D肝肿瘤分割的结果更加准确.

    肝肿瘤自动分割注意力机制U-Net结构特征选择残差融合

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    面向多模态MRI脑胶质瘤区域三维分割与生存期预测的级联U-Net网络

    余力刘宵雪闫朝阳李建瑞...
    850-861页
    查看更多>>摘要：目的 针对常见方法对脑胶质瘤的肿瘤分割和生存预测需要单独建模的问题,提出一种带有变分自编码器(variational auto-encoder,VAE)分支的两阶段级联U-Net算法,旨在分割肿瘤的同时提取鲁棒的特征预测患者生存期,有助于患者的精准治疗.方法 提出的两阶段级联U-Net网络,第1阶段实现初步粗分割,第2阶段实现精细化分割.此外,在第2阶段添加变分自编码器分支以提取更加鲁棒的特征并提高模型泛化性.其中,变分自编码器分支获取的特征被送入随机森林算法以进行生存期预测.另外,在两个阶段的解码器部分都添加了SE(squeeze-and-excitation)-残差模块以及注意力门模块,提高了分割精度.结果 在Brain Tumor Segmentation(BraTS)竞赛官网分别评估了本文方法在BraTS2020验证集上分割以及总体生存期预测两大任务的结果,本文算法在该验证集的全肿瘤区域、肿瘤核心区域以及增强型肿瘤区域分别取得了90.66％、85.09％和79.02％的Dice相似系数.相较3DU-Net在3个肿瘤子区域的Dice相似系数分别提高了4.3％、1.37％和5.36％.对于总体生存期的预测准确率达到了55.2％,相较性能最佳算法的预测准确率虽然低3.4％,但是从均方误差这一评估指标来看略有优势.结论 为了防止出现过拟合,提出带有VAE分支的两阶段级联U-Net网络结构,同时该分支能够提取肿瘤的鲁棒特征用于后续生存分析.实验表明,该网络能够较为准确地分割脑肿瘤,并且其提取的特征能够准确地预测患者生存期,可以为临床医生进行脑胶质瘤诊断提供有力的参考.

    脑胶质瘤3维自动分割生存期预测级联神经网络变分自编码器注意力机制

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    心脏动态MRI图像分割的时空多尺度网络

    徐佳陈肖志勇
    862-872页
    查看更多>>摘要：目的 心脏磁共振成像(magnetic resonance imaging,MRI)的自动分割技术有利于在临床诊断中评估心脏的功能参数.然而由于心脏磁共振成像技术产生的图像边界不清晰、各向分辨率异性等特性,现有的大多数方法依旧存在类内不确定、类间不清晰问题.针对这一问题,提出了一种利用时间信息进行特征增强,并利用空间信息进行特征矫正的多输入、多分支和多任务的分割网络(spatio-temporal UNet,ST UNet).方法 为充分获取动态心脏MRI图像的时间信息,提出了全新的时间增强编码模块,将需要进行分割的目标帧和一段包含了目标帧的连续时间片段作为关键序列一同输入网络.关键序列用于获取更丰富的时间特征,目标帧提供更精准的边缘特征.为了聚集更多有益的特征,更好地融合时域特征和边缘特征,采用可变形全局连接代替传统的长连接,为网络的解码部分提供更广泛的多维特征信息.在训练过程中额外学习空间方向场特征,并使用该特征对原有的分割结果进行矫正.结果 在ACDC(Automated Cardiac Diagnosis Challenge)心脏分割挑战中,以Dice系数和HD(Hausdorff dis-tance)距离为评价指标,该方法在左心室、右心室和左心肌分割的平均Dice系数分别为95％、91.5％和91％,HD距离的平均值分别为6.77、11.39和8.54.结论 实验表明,提出的新型网络能够充分地利用心脏MRI图像的时空信息,有效地提升目标器官的分割效果,更有助于医生对于心脏诊断.

    医学影像心脏磁共振成像(CMRI)特征增强空间方向场U型网络(UNet)

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    融合跨阶段深度学习的脑肿瘤MRI图像分割

    夏峰邵海见邓星
    873-884页
    查看更多>>摘要：目的 磁共振成像(magnetic resonance imaging,MRI)作为一种非侵入性的软组织对比成像方式,可以提供有关脑肿瘤的形状、大小和位置等有价值的信息,是用于脑肿瘤患者检查的主要方法,在脑肿瘤分割任务中发挥着重要作用.由于脑肿瘤本身复杂多变的形态、模糊的边界、低对比度以及样本梯度复杂等问题,导致高精度脑肿瘤MRI图像分割非常具有挑战性,目前主要依靠专业医师手动分割,费时且可重复性差.对此,本文提出一种基于U-Net的改进模型,即CSPU-Net(cross stage partial U-Net)脑肿瘤分割网络,以实现高精度的脑肿瘤MRI图像分割.方法 CSPU-Net在U-Net结构的上下采样中分别加入两种跨阶段局部网络结构(cross stage partial module,CSP)提取图像特征,结合GDL(general Dice loss)和WCE(weighted cross entropy)两种损失函数解决训练样本类别不平衡问题.结果 在BraTS(brain tumor segmentation)2018和BraTS 2019两个数据集上进行实验,在BraTS 2018数据集中的整体肿瘤分割精度、核心肿瘤分割精度和增强肿瘤分割精度分别为87.9％、80.6％ 和77.3％,相比于传统U-Net的改进模型(ResU-Net)分别提升了0.80％、1.60％ 和2.20％.在BraTS 2019数据集中的整体肿瘤分割精度、核心肿瘤分割精度和增强肿瘤分割精度分别为87.8％、77.9％和70.7％,相比于ResU-Net模型提升了0.70％、1.30％和1.40％.结论 本文提出的跨阶段局部网络结构,通过增加梯度路径、减少信息损失,可以有效提高脑肿瘤分割精度,实验结果证明了该模块对脑肿瘤分割任务的有效性.

    脑肿瘤分割深度学习U-Net跨阶段局部网络结构残差模块

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    融入平滑组稀疏化的脑部MRI图像分类

    黄帅辉王金凤
    885-897页
    查看更多>>摘要：目的 阿尔茨海默症(Alzheimer's disease,AD)是主要的老年病之一,并正向年轻化发展.早期通过核磁共振(magnetic resonance imaging,MRI)图像识别AD的发病阶段,有助于在AD初期及时采取相关干预措施和治疗手段,控制和延缓AD疾病恶化.为此,提出了基于平滑函数的组L1/2稀疏正则化(smooth group L1/2,SGL1/2)方法.方法 通过引入平滑组L1/2正则化实现组内稀疏,并将原先组L1/2方法中含有的非平滑的绝对值函数向平滑函数逼近,解决了组L1/2方法中数值计算振荡和收敛难的缺点.SGL1/2方法能够在保持分类精度的前提下,加速对模型的求解.同时在分类方法中,引入一个校准hinge函数(calibrated hinge,Chinge)代替标准支持向量机(support vector machine,SVM)中的hinge函数,形成校准SVM(calibrated SVM,C-SVM)用于疾病的分类,使处于分类平面附近的样本更倾向于分类的正确一侧,对一些难以区分的样本能够进行更好的分类.结果 与其他组级别上的正则化方法相比,SGL1/2与校准支持向量机结合的分类模型对AD的识别具有更高的分类性能,分类准确率高达94.70％.结论 本文提出的组稀疏分类模型,实现了组间稀疏和组内稀疏的优点,为未来AD的自动诊断提供了客观参照.

    阿尔茨海默症(AD)组L1/2稀疏正则化校准支持向量机(C-SVM)结构化磁共振组间稀疏组内稀疏

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    面向乳腺超声计算机辅助诊断的两阶段深度迁移学习

    贡荣麟施俊周玮珺汪程...
    898-910页
    查看更多>>摘要：目的 为了提升基于单模态B型超声(B超)的乳腺癌计算机辅助诊断(computer-aided diagnosis,CAD)模型性能,提出一种基于两阶段深度迁移学习(two-stage deep transfer learning,TSDTL)的乳腺超声CAD算法,将超声弹性图像中的有效信息迁移至基于B超的乳腺癌CAD模型之中,进一步提升该CAD模型的性能.方法 在第1阶段的深度迁移学习中,提出将双模态超声图像重建任务作为一种自监督学习任务,训练一个关联多模态深度卷积神经网络模型,实现B超图像和超声弹性图像之间的信息交互迁移;在第2阶段的深度迁移学习中,基于隐式的特权信息学习(learning using privilaged information,LUPI)范式,进行基于双模态超声图像的乳腺肿瘤分类任务,通过标签信息引导下的分类进一步加强两个模态之间的特征融合与信息交互;采用单模态B超数据对所对应通道的分类网络进行微调,实现最终的乳腺癌B超图像分类模型.结果 实验在一个乳腺肿瘤双模超声数据集上进行算法性能验证.实验结果表明,通过迁移超声弹性图像的信息,TSDTL在基于B超的乳腺癌诊断任务中取得的平均分类准确率为87.84±2.08％、平均敏感度为88.89±3.70％、平均特异度为86.71±2.21％、平均约登指数为75.60±4.07％,优于直接基于单模态B超训练的分类模型以及多种典型迁移学习算法.结论 提出的TSDTL算法通过两阶段的深度迁移学习,将超声弹性图像的信息有效迁移至基于B超的乳腺癌CAD模型,提升了模型的诊断性能,具备潜在的应用可行性.

    B型超声成像超声弹性成像乳腺癌计算机辅助诊断特权信息学习(LUPI)深度迁移学习自监督学习(SSL)

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    结合注意力机制的乳腺双模态超声分类网络

    赵绪龚勋樊琳罗俊...
    911-922页
    查看更多>>摘要：目的 影像学医师通常通过观察乳腺B型超声(brightness-mode ultrasound)肿瘤区域进行良恶性分析,针对难以辨别的病例则融合其对应的超声造影(contrast-enhanced ultrasound,CEUS)特征进一步判别.由于超声图像灰度值范围变化小、良恶性表现重叠,特征提取模型如果不能关注到病灶区域将导致分类错误.为增强网络模型对重点区域的分析,本文提出一种基于病灶区域引导的注意力机制,同时融合双模态数据,实现乳腺超声良恶性的精准判别.方法 通过对比实验,选取一个适合超声图像特征提取的主干分类模型ResNet34;为学习到更有分类意义的特征,以分割结节的掩膜图(region of interest,ROI-mask)作为引导注意力来修正浅层空间特征;将具有分类意义的超声造影各项评价特征向量化,与网络提取的深层特征进行融合分类.结果 首先构建一个从医院收集的真实病例的乳腺超声数据集BM-Breast(breast ultrasound images dataset),与常见分类框架ResNet、Inception等进行对比实验,并与相关最新乳腺分类研究成果对比,结果显示本文设计的算法在各项指标上都有较大优势.本文提出的融合算法的分类准确性为87.45％,AUC(area under curve)为0.905.为了评估对注意力引导机制算法设计的结果,在本文实验数据集和公开数据集上分别进行实验,精度相比对比算法提升了3％,表明本文算法具有较好的泛化能力.实验结果表明,融合两种模态超声数据的特征可以提升最终分类精度.结论 本文提出的注意力引导模型能够针对乳腺超声成像特点学习到可鉴别的分类特征,双模态数据特征融合诊断方法进一步提升了模型的分类能力.高特异性指标表现出模型对噪声样本的鲁棒性,能够较为准确地辨别出难以判别的病例,本文算法具有较高的临床指导价值.

    注意力机制特征融合与分类乳腺超声双模态数据智能诊断

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普