大数据2024,Vol.10Issue(5) :11-27.DOI:10.11959/j.issn.2096-0271.2024057

面向法律领域的大模型微调与应用

Fine-tuning and application of large language model in law domain

沈晨晨 岳盛斌 刘书隽 周宇轩 王思远 陈伟 萧尧 李秉轩 宋鋆 沈晓宇 黄萱菁 魏忠钰
大数据2024,Vol.10Issue(5) :11-27.DOI:10.11959/j.issn.2096-0271.2024057

面向法律领域的大模型微调与应用

Fine-tuning and application of large language model in law domain

沈晨晨 1岳盛斌 2刘书隽 1周宇轩 1王思远 3陈伟 4萧尧 5李秉轩 1宋鋆 6沈晓宇 7黄萱菁 8魏忠钰1
扫码查看

作者信息

  • 1. 复旦大学大数据学院,上海 200433
  • 2. 复旦大学上海数学中心,上海 200433
  • 3. 南加州大学INK实验室,加利福尼亚州 洛杉矶 CA 90089-0915
  • 4. 华中科技大学软件学院,湖北 武汉 430074
  • 5. 上海纽约大学文理学院,上海 200124
  • 6. 西北政法大学法治学院,陕西 西安 710122
  • 7. 宁波东方理工大学(暂名)数字孪生研究院,浙江 宁波 315200
  • 8. 复旦大学计算机科学技术学院,上海 200433
  • 折叠

摘要

近年来,大语言模型在多个自然语言处理任务上展现出了出色的能力,为智慧法律系统的发展带来巨大的帮助.现有法律领域的大模型,通过微调通用大模型能够实现利用法律知识进行简单的问题回答,即大多以法律咨询问答为主,没有考虑到法律领域的其他使用场景,如法律信息抽取、判决预测等,而真实世界中的法律服务要比对话服务复杂得多.提出中文法律智慧大模型LawLLM,该模型可以面向不同用户群体,提供多样的法律服务.同时,探究了针对法律领域裁判文书的长文本信息抽取的应用.LawLLM在Lawbench上的Zero-shot的平均表现超过了所有对比的大模型,均值比具有175×109个参数的GPT-3.5-Turbo高0.19%,LawLLM在Lawbench上的Few-shot的平均表现仅次于GPT-3.5-Turbo,相比其低0.02%.

Abstract

In recent years,large language model have demonstrated outstanding capabilities across multiple natural language processing tasks,greatly aiding the development of intelligent law systems.Existing large language model in the law domain,primarily focuses on fine-tuning foundation model for simple question answering tasks in legal consultation,have not considered other application scenarios in the legal field,such as legal information extraction,judgment prediction,etc.Real world law services are far more complex than dialogues.LawLLM was proposed,a Chinese law intelligent large language model,capable of providing diverse law services for different user groups.Additionally,the application of information extraction on long-context judicial documents in the law domain was explored.The average performance of LawLLM on Lawbench outperforms all the compared large language models,being 0.19%higher than the 175 billion parameter GPT-3.5-Turbo model.LawLLM's average performance on few-shot tasks on Lawbench is slightly lower than GPT-3.5-Turbo,by 0.02%.

关键词

大语言模型/智慧法律/自然语言处理

Key words

large language model/intelligent law/natural language processing

引用本文复制引用

出版年

2024
大数据
人民邮电出版社

大数据

CSTPCD
ISSN:2096-0271
段落导航相关论文