摘要
近年来，深度学习模型在乳腺癌超声图像的分析预测不断取得突破，使得通过超声图像进行的乳腺癌分子分型预测的准确率不断提升。但是，现有的乳腺癌超声图像及其对应的乳腺癌分子分型标签组成的数据集存在数据量不足和样本不均衡问题。并且，医学图像数据在标记方面常面临长耗时且成本较高的问题，往往难以获得足够大规模的数据集来支撑深度学习模型的训练。 常用基于图像生成的数据增强方法来增加医学图像样本数量。生成对抗网络（GAN）具有出色的图像生成能力，但是，受限于乳腺癌超声图像样本数量不足，不能够充分发挥GAN生成图像的能力。 针对现有乳腺癌超声数据集样本数量的局限，本文提出了基于VQ-VAEs的乳腺癌超声图像融合模型——VAEFuse。通过使用图像融合模型，充分利用有限的数据集，生成乳腺癌超声融合图像，增加训练样本，可以更好地支撑深度学习模型的训练，提升模型对乳腺癌分子分型预测的准确率。 为了有效扩展乳腺癌超声数据集，本文提出乳腺癌超声图像融合策略，将同一个肿瘤的多张超声图像两两融合，生成与源图像高度相关，又存在视觉差异的融合图像。采用基于通道增强的融合模块，保留图像的层次信息。并对融合模块的位置进行优化，使得图像的码本表示直接集成融合图像特征。相应地在损失函数引入权重参数，引导模型更好地学习不同源图像的特征，提升融合图像质量。 为了验证上述方法的有效性，使用VAEFuse生成乳腺癌超声融合图像，并进行消融实验。使用乳腺癌超声图像策略后，生成融合图像在评估指标PSNR、SSIM、CC、UQI上有显著提升。融合模块位置改动后，能够保留更多图像边缘信息。在验证乳腺癌超声融合图像作为扩展数据量方法的有效性实验，融合图像作为训练集中样本数量较少类别的补充，增加样本数量。实验结果显示，加入融合图像后，图像分类模型评估指标Accuracy、Precision、Recall、F1-score和AUC的值呈现提升，证明了乳腺癌超声融合图像能够有效扩展乳腺癌超声数据集。
NETL