查看更多>>摘要：[目的]评价人工智能(artificial intelligence,AI)大模型应用于宫颈癌科普工作的优势及潜在问题.[方法]选择已获批上市的3个生成式中文AI大模型,盲法设置为模型1～3.就宫颈癌领域常见科普问题进行人机交互对话并生成科普文本.由宫颈癌领域知名科普专家对模型生成科普文本盲法进行5个维度(科学准确性、逻辑清晰度、实用价值、参考依据、立场与价值观)评分.采用SPSS 22.0进行数据分析,评分两两比较采用配对t检验,P＜0.05为差异有统计学意义.对备注中的特殊情况单独讨论.通过中国知网学术不端检测平台对生成科普文本进行重复率测评以明确其内容来源.[结果]3个模型生成科普文本在5个维度评分分别为:模型1:16.14±0.72,18.71±0.31,17.00±0.60,10.86±2.58,19.00±0.33,总评分为 81.71±3.85;模型 2:16.57±0.46,17.43±0.70,17.00±0.60,10.86±2.58,18.57±0.70,总 评分为 80.43±3.00;模型 3:16.29±0.41,17.86±0.61,17.14±0.74,11.43±2.75,18.86±0.61,总评分为81.57±3.92.各模型评分无统计学差异.5个维度整体平均分从高到底分别为立场与价值观(18.86±0.61)、逻辑清晰度(17.86±0.61)、实用价值(17.14±0.74)、科学准确性(16.29±0.41)和参考依据(11.43±2.75).专家提出相关质疑:如变换提问语句、反复提问或提问时间不同等变量可能导致生成科普文本存在差异,部分知识点未及时更新,文本未提供参考依据等.3个模型生成科普文本总文字复制比分别为38.6％、44.9％和38.9％.生成科普文本主要来源为互联网公开资料,来源于专业期刊及论著的内容极少.[结论]AI大模型生成科普文本对常见宫颈癌科普问题具备一定的参考价值,未发现严重的误导,但参考来源模糊.未来需要开展更多研究确定其实际应用价值.医务工作者需要加大互联网科普力度,以确保在线互联网生态系统准确性.
NETL
NSTL
万方数据