医学信息学杂志2024,Vol.45Issue(1) :33-38.DOI:10.3969/j.issn.1673-6036.2024.01.006

医学影像与自然语言处理多模态探索研究

An Exploratory Study of Multimodality in Medical Imaging and Natural Language Processing

龚宇新 向菲 应葵
医学信息学杂志2024,Vol.45Issue(1) :33-38.DOI:10.3969/j.issn.1673-6036.2024.01.006

医学影像与自然语言处理多模态探索研究

An Exploratory Study of Multimodality in Medical Imaging and Natural Language Processing

龚宇新 1向菲 1应葵2
扫码查看

作者信息

  • 1. 华中科技大学同济医学院医药卫生管理学院 武汉 430000
  • 2. 清华大学工程物理系 北京 100084
  • 折叠

摘要

目的/意义 实现医学影像报告的自动生成对减轻放射科医生工作负担、促进临床工作流程标准化具有重要意义.方法/过程 重点查找近几年公开源代码的胸部报告生成模型,开发一种基于CDGPT 2 模型的医学影像报告自动生成方法.结果/结论 大参数量的语言模型在报告生成方面的优势仍有待挖掘,对模型的解码器输入进行修改后生成报告的质量不高.未来研究可采用大型数据集并结合更多临床信息来提高模型性能.

Abstract

Purpose/Significance Achieving automatic generation of medical imaging reports is important for reducing the workload of radiologists and promoting the standardization of clinical workflow.Method/Process Focusing on finding the chest report generation mod-els with open source code in recent years,the paper develops an automatic medical image report generation method based on the CDGPT2 model.Result/Conclusion The advantages of the model in report generation are still to be explored,the quality of reports generated after modifications to the decoder inputs of the model is not high.Future research could improve the performance of the model by using large datasets and incorporating more clinical information.

关键词

胸片/多模态/报告自动生成/注意力机制/自然语言处理

Key words

chest radiograph/multimodal/automatic report generation/attention mechanism/natural language processing

引用本文复制引用

出版年

2024
医学信息学杂志
中国医学科学院

医学信息学杂志

CSTPCD
影响因子:1.348
ISSN:1673-6036
被引量1
参考文献量1
段落导航相关论文