摘要
目的： 收集来自广东医科大学附属南山医院超声科2019年至2021年中均含有二维、血流及弹性图像的甲状腺结节超声图像，运用深度学习的方法设计基于上述不同模态超声图像的智能诊断模型，探讨甲状腺多模态人工智能超声对提高人工智能诊断甲状腺癌的价值。 方法： 回顾性收集2019年8月至2021年11月在广东医科大学附属南山医院（华中科技大学协和深圳医院）超声科采集中均含有二维、弹性及血流图像的甲状腺结节的病例，共486个结节，386个结节按照十折算法随机分为训练集和验证集，其余100个结节（不参与模型训练）作为测试集。由一名超声医师对所有训练集和验证集中的目标结节进行标注，用于AI模型训练，测试集无需标注。AI模型训练、构建完成后，得到四个AI模型，分别是二维AI模型（Ultrasound Artificial Intelligence Model，US-AI）、二维联合血流AI模型（Ultrasound United Colour Doppler flow imaging Artificial Intelligence Model，US+CDFI-AI）、二维联合弹性AI模型（Ultrasound United Ultrasound elastography Artificial Intelligence Model，US+UE-AI）以及多模态AI模型（Multimodal Artificial Intelligence Model，Multimodal-AI）。AI研究人员先进行验证，后进行测试。恶性结节均以病理结果为金标准，统计各AI模型验证集及外部测试集的相关统计学指标。 结果： 1.验证集结果：US-AI模型、US+CDFI-AI模型、US+UE-AI模型、Multimodal-AI模型的灵敏度、特异度、准确度、阳性预测值、阴性预测值、假阳性率、假阴性率分别为72.84%、86.61%、80.83%、79.73%、81.51%、13.39%、27.16%；71.64%、93.75%、84.46%、89.23%、82.03%、6.25%、28.39%；90.12%、75.89%、81.87%、73.00%、91.40%、24.11%、9.88%；93.83%、93.75%、93.78%、91.57%、95.45%、6.25%、6.17%。US-AI模型、US+CDFI-AI模型、US+UE-AI模型、Multimodal-AI模型的ROC曲线下面积（area under curve，AUC）分别为0.797、0.827、0.830、0.938。 2.验证集结果：Multimodal-AI模型的灵敏度、特异度、准确度、阳性预测值、阴性预测值均高于US-AI模型、US+CDFI-AI模型以及US+UE-AI模型；Multimodal-AI模型诊断AUC（0.938）大于以上任一模型，差异有统计学意义(P＜0.05)。 3.测试集结果：US-AI模型、US+CDFI-AI模型、US+UE-AI模型以及Multimodal-AI模型诊断诊断灵敏度、特异度、准确度、阳性预测值、阴性预测值、假阳性率、假阴性率分别为70.21%、88.68%、80.00%、84.62%、77.05%、11.32%、29.79%；85.11%、75.47%、80.00%、75.47%、85.11%、24.53%、14.89%；87.23%、77.36%、82.00%、77.36%、87.23%、22.64%、12.76%；85.11%、92.45%、89.00%、90.91%、87.50%、7.54%、14.89%。 4.测试集结果：US-AI模型、US+CDFI-AI模型、US+UE-AI模型、Multimodal-AI模型诊断的ROC曲线下面积AUC分别为0.794、0.803、0.823、0.888，其中Multimodal-AI模型诊断AUC（0.888）大于以上任一模型，差异有统计学意义(P＜0.05)。 5．Kappa一致性检验：各AI模型对外部测试的100个结节诊断结果与病理结果一致性检验中，US-AI模型、US+CDFI-AI模型、US+UE-AI模型以及Multimodal-AI模型的Kappa值分别为0.595、0.601、0.641、0.778，Multimodal-AI与病理诊断一致性最好。 结论： 1.本研究基于甲状腺结节不同模态图像，以ResNet18为网络主干进行研究，研究结果得出，运用甲状腺结节不同模态图像可以构建一款多模态AI模型。 2.甲状腺多模态人工智能可以更加全面准确地诊断甲状腺癌，可为多模态人工智能超声在甲状腺疾病的诊断和研究奠定重要基础。
NETL