首页|基于大语言模型与检索增强的学科试题生成方法

基于大语言模型与检索增强的学科试题生成方法

扫码查看
智能命题是自然语言处理与智能教育交叉领域的一项重要任务.现有问题生成方法过于聚焦材料文本细节,而忽略了对知识点本身的考察.该文提出了一种基于大语言模型与检索增强技术的学科试题生成方法.该方法设计了明确的指令提问方式,并融合少样本语境学习与检索得到的教材相关信息,以激发大语言模型的潜力,让生成试题在风格和难度等方面符合实用需求.两种题型的试题生成结果表明,该文方法在自动评价和人工评价中较基线模型取得了更高的可用率和多样性,直接可用率达到了人类专家的77.5%,且高质量试题的比例略超过人工结果,基本满足大规模试题生成的应用需求.
Exam Question Generation Based on Large Language Models and Retrieval-Augmentation Techniques
Automatic question generation is an important task in intelligent education.Current question generation methods overly focus on textual details while neglecting assessment of knowledge points.This paper introduce a method that leverages large language models and retrieval-augmentation technology for generating exam questions.This approach uses precise instruction with few-shot in-context learning and textbook retrieval to enhance the capa-bilities of large language models,ensuring the generated questions match real-world requirements in style and diffi-culty.Tested on two types of questions,the method outperforms existing benchmarks in both automatic and manual evaluations,achieving 77.5%of human expert effectiveness and generating a higher proportion of high-quality ques-tions.

large language modelretrieval-augmentation techniquesquestion generationsmart education

来雨轩、王艺丹、王立

展开 >

国家开放大学 理工学院,北京 100039

数字化学习技术集成与应用教育部工程研究中心,北京 100039

大语言模型 检索增强技术 问题生成 智慧教育

2024

中文信息学报
中国中文信息学会,中国科学院软件研究所

中文信息学报

CSTPCDCHSSCD北大核心
影响因子:0.8
ISSN:1003-0077
年,卷(期):2024.38(12)