自然语言处理(Natural Language Processing，NLP)始于上世纪50年代，是人工智能(AI)研究的重要方向。2018年以来，NLP从预训练语言模型PLMs(Pre-trained Language Models)进化到大规模语言模型LLMs(Large Language Models)，语料库达到百亿规模，参数超过千亿，特别是随着ChatGPT 3。5和GPT 4的横空出世，LLMs的发展和应用进入新纪元，以其为代表的AI已成为经济社会发展的重要驱动力。本文首先回顾了AI、NLP的发展过程，对LLMs发展现状、训练优化、创新应用、发展趋势进行了全面综述，总结了LLMs的发展进程、模型规模、技术架构，分析了LLMs的训练数据集构建、训练优化技术，讨论了LLMs创新形态—智能体的典型案例，梳理了LLMs在制造、金融、医疗、教育、营销、外贸等行业的应用情况，最后探讨了LLMs的发展趋势。LLMs以其强大的能力，赋能众多行业和场景，必将成为我国经济高质量发展的重要抓手。
万方数据
维普
