摘要
自然语言处理(Natural Language Processing,NLP)始于上世纪50年代,是人工智能(AI)研究的重要方向.2018年以来,NLP从预训练语言模型PLMs(Pre-trained Language Models)进化到大规模语言模型LLMs(Large Language Models),语料库达到百亿规模,参数超过千亿,特别是随着ChatGPT 3.5和GPT 4的横空出世,LLMs的发展和应用进入新纪元,以其为代表的AI已成为经济社会发展的重要驱动力.本文首先回顾了AI、NLP的发展过程,对LLMs发展现状、训练优化、创新应用、发展趋势进行了全面综述,总结了LLMs的发展进程、模型规模、技术架构,分析了LLMs的训练数据集构建、训练优化技术,讨论了LLMs创新形态—智能体的典型案例,梳理了LLMs在制造、金融、医疗、教育、营销、外贸等行业的应用情况,最后探讨了LLMs的发展趋势.LLMs以其强大的能力,赋能众多行业和场景,必将成为我国经济高质量发展的重要抓手.
维普
万方数据