首页|"真实"的鸿沟:人类认知与大语言模型判定新闻真实的比较研究

"真实"的鸿沟:人类认知与大语言模型判定新闻真实的比较研究

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
随着ChatGPT等生成式人工智能技术日益嵌入人们的生产生活中,技术背后可能带来的算法偏向、虚假信息等诸多问题愈发为人们所重视.为了更好地评估大语言模型的认识能力和潜在偏见,本文引入"图灵实验"(Turing Experiment)的方法,让大语言模型模拟人类的态度和行为,将"新闻真实性判定"作为测量人类认知与大语言模型的特定任务,在针对中美德三国民众的问卷调查(N=3000)中设计判定新闻真实性的调查实验(政治新闻组/非政治新闻组),并通过大语言模型GPT-3.5依据性别、国别等人口学因素生成与人类样本相对应的3000份"硅样本"(silicon sample),进而对比分析其在判定新闻真实性上的认知能力和潜在偏见.研究发现,ChatGPT在判定新闻真实性这一复杂认知任务上有着明显的优势,同时也存在薄弱环节,在政治新闻、真实新闻的判断上表现得比人类更准确,但在判别非政治新闻、虚假新闻上表现得不如人类.ChatGPT还存在着一定的代际偏见和语言偏见.就公众本身而言,政治新闻、虚假新闻仍是人们鉴别新闻的薄弱环节.

虞鑫、王金鹏

展开 >

清华大学新闻与传播学院

大语言模型 ChatGPT 人工智能 虚假新闻 图灵实验

国家社会科学基金青年项目清华大学自主科研计划

21CXW0012023THZWYY05

2024

当代传播
新疆日报社,新疆新闻工作者协会

当代传播

CSSCI北大核心
影响因子：0.754
ISSN：1009-5322
年,卷(期)：2024.(5)
  • 1