移动通信2025,Vol.49Issue(1) :75-80,108.DOI:10.3969/j.issn.1006-1010.20241202-0001

基于联邦强化学习的数据中心网络拥塞控制算法

A Federated Reinforcement Learning-Based Congestion Control Algorithm for Data Center Networks

何升涛 李莹玉 张鹏 高雅玙 刘焱 俞亮 许瀚 朱锐
移动通信2025,Vol.49Issue(1) :75-80,108.DOI:10.3969/j.issn.1006-1010.20241202-0001

基于联邦强化学习的数据中心网络拥塞控制算法

A Federated Reinforcement Learning-Based Congestion Control Algorithm for Data Center Networks

何升涛 1李莹玉 1张鹏 2高雅玙 3刘焱 4俞亮 4许瀚 4朱锐4
扫码查看

作者信息

  • 1. 中国地质大学(武汉)机械与电子信息学院,湖北 武汉 430074
  • 2. 华中科技大学电信学院,湖北 武汉 430074;烽火通信科技股份有限公司,湖北 武汉 430074
  • 3. 华中科技大学电信学院,湖北 武汉 430074
  • 4. 湖北华中电力科技开发有限责任公司,湖北 武汉 430070
  • 折叠

摘要

拥塞控制算法对于确保数据中心网络实现高效且可靠的数据传输至关重要.然而,传统算法由于采用固定的参数设置,难以在动态变化的网络环境下实现高效的数据传输.现有的基于强化学习的拥塞控制方案虽然有效,但大都采用集中式学习训练的方式,存在数据孤岛问题以及原始数据共享引发的隐私泄露风险.为此,提出了一种基于联邦强化学习的拥塞控制框架.该框架充分利用分布式网络架构的优势,将每个网络设备视作独立的智能体,并通过联邦学习技术实现多智能体间的协同训练.这种方法不仅有效保护了各参与方的数据隐私,而且通过整合各个智能体的成果和策略,提升了模型适应性和泛化能力.在此基础上,以基于联邦强化学习的显示拥塞通知阈值调优为案例进行研究,在多种实验场景下验证了所提架构的性能.

Abstract

Congestion control algorithms are critical for ensuring efficient and reliable data transmission in data center networks.However,traditional algorithms with fixed parameter settings often fail to achieve high performance in dynamic network environments.Existing reinforcement learning-based congestion control schemes,while effective,typically rely on centralized training methods,leading to data silo issues and privacy concerns associated with sharing raw data.To address these challenges,this paper proposes a federated reinforcement learning-based congestion control framework.This framework leverages the advantages of distributed network architectures by treating each network device as an independent agent and enabling collaborative training among agents through federated learning techniques.This approach not only protects the privacy of each participant's data but also enhances the adaptability and generalization of the model by integrating the knowledge and strategies of individual agents.As a case study,we apply this framework to explicit congestion notification threshold optimization,and experimental results across various scenarios demonstrate the superior performance of the proposed framework.

关键词

数据中心网络/拥塞控制/强化学习/联邦学习

Key words

data center networks/congestion control/reinforcement learning/federated learning

引用本文复制引用

出版年

2025
移动通信
广州通信研究所(中国电子科技集团公司第七研究所)

移动通信

影响因子:0.47
ISSN:1006-1010
段落导航相关论文