摘要
随着ChatGPT等生成式人工智能技术日益嵌入人们的生产生活中,技术背后可能带来的算法偏向、虚假信息等诸多问题愈发为人们所重视.为了更好地评估大语言模型的认识能力和潜在偏见,本文引入"图灵实验"(Turing Experiment)的方法,让大语言模型模拟人类的态度和行为,将"新闻真实性判定"作为测量人类认知与大语言模型的特定任务,在针对中美德三国民众的问卷调查(N=3000)中设计判定新闻真实性的调查实验(政治新闻组/非政治新闻组),并通过大语言模型GPT-3.5依据性别、国别等人口学因素生成与人类样本相对应的3000份"硅样本"(silicon sample),进而对比分析其在判定新闻真实性上的认知能力和潜在偏见.研究发现,ChatGPT在判定新闻真实性这一复杂认知任务上有着明显的优势,同时也存在薄弱环节,在政治新闻、真实新闻的判断上表现得比人类更准确,但在判别非政治新闻、虚假新闻上表现得不如人类.ChatGPT还存在着一定的代际偏见和语言偏见.就公众本身而言,政治新闻、虚假新闻仍是人们鉴别新闻的薄弱环节.
NETL
NSTL
万方数据