竞争与合作视角下的多Agent强化学习研究进展
RECENT PROCESS AND PROSPECT OF MULTI-AGENT REINFORCEMENT LEARNING UNDER THE PERSPECTIVE OF COMPETITION AND COOPERATION
田小禾 1李伟 1许铮 2刘天星 1戚骁亚 3甘中学1
作者信息
- 1. 复旦大学工程与应用技术研究院 上海 200433;上海智能机器人工程技术研究中心 上海 200433;智能机器人教育部工程研究中心 上海 200433;季华实验室 广东佛山 528000
- 2. 北京深度奇点科技有限公司 北京 100089
- 3. 复旦大学工程与应用技术研究院 上海 200433;上海智能机器人工程技术研究中心 上海 200433;智能机器人教育部工程研究中心 上海 200433;季华实验室 广东佛山 528000;北京深度奇点科技有限公司 北京 100089
- 折叠
摘要
随着深度学习和强化学习研究取得长足的进展,多Agent强化学习已成为解决大规模复杂序贯决策问题的通用方法.为了推动该领域的发展,从竞争与合作的视角收集并总结近期相关的研究成果.该文介绍单Agent强化学习;分别介绍多Agent强化学习的基本理论框架——马尔可夫博弈以及扩展式博弈,并重点阐述了其在竞争、合作和混合三种场景下经典算法及其近期研究进展;讨论多Agent强化学习面临的核心挑战——环境的不稳定性,并通过一个例子对其解决思路进行总结与展望.
Abstract
With the rapid development of deep learning and reinforcement learning,multi-agent reinforcement learning(MARL)has become a common approach to solve the large scale complex sequential decision-making problem.In order to promote the development of this field,this paper collects and reviews recent research results from the perspective of competition and cooperation.This paper introduced deep reinforcement learning and introduced the basic theoretical framework of MARL-Markov game and extensive game,and especially emphasized the reinforcement learning algorithms developed recently in three scenarios of competition,cooperation and mixture.This paper discussed the core challenge of MARL that was non-stationary of the environment,and an example was given to summarize and prospect its solutions.
关键词
深度学习/强化学习/多Agent强化学习/环境的不稳定性Key words
Deep learning/Reinforcement learning/Multi-agent reinforcement learning/Non-stationary of the environment引用本文复制引用
基金项目
广东省季华实验室基金项目(X190021TB190)
上海市科学技术委员会项目(1951113200)
出版年
2024
国家科技期刊平台
NSTL
维普
万方数据