首页|面向异构工业任务高并发计算卸载的深度强化学习算法

面向异构工业任务高并发计算卸载的深度强化学习算法

Deep Reinforcement Learning-Based High Concurrent Computing Off loading for Heterogeneous Industrial Tasks

扫码查看
原文链接
  • NETL
  • NSTL
  • 维普
  • 万方数据
进入工业4.0时代,大规模互联分布式智能工业设备产生了海量的具有时延敏感和计算负载差异的异构工业任务,终端侧有限的计算能力难以支持任务的实时高效处理.通过工业无线网络将任务卸载到网络边缘侧服务器进行多接入边缘计算成为解决终端侧算力受限问题的一种有效手段.然而,工业无线网络有限的时频资源难以支持大规模分布式工业设备的高并发任务卸载.本文充分考虑异构工业任务高并发计算卸载中有限时频资源约束和建模难的问题,提出一种基于深度强化学习的动态优先级并发接入算法(Deep Reinforcement Learning-based Concurrent Access Algorithm with Dynamic Priority,CADP DRL).该算法首先分析异构工业任务的时延敏感性和计算负载时变性,为工业设备分配不同的优先级,动态地改变工业设备接入信道进行计算卸载的概率.然后,利用Markov决策过程形式化动态优先级高并发计算卸载问题,并采用深度强化学习方法建立高维状态空间下状态到动作的映射关系.针对动态优先级和并发卸载的多目标决策问题,设计了包含优先级奖励和卸载奖励的复合奖励函数.为保证训练数据的独立同分布,同时提高算法收敛速度,提出了带经验权重的经验回放方法.对比实验结果表明,CADP DRL能够快速收敛,实时响应,在实现最小卸载冲突的情况下为高优先级工业设备提供最高的成功卸载概率保证,性能优于slotted-Aloha、DQN、DDQN和D3QN算法.

刘晓宇、许驰、曾鹏、于海斌

展开 >

中国科学院沈阳自动化研究所机器人学国家重点实验室 沈阳110016

中国科学院网络化控制系统重点实验室 沈阳 110016

中国科学院机器人与智能制造创新研究院 沈阳110169

中国科学院大学 北京100049

展开 >

多接入边缘计算 工业无线网络 动态优先级 任务卸载 深度强化学习

本课题得到国家重点研发计划国家自然科学基金国家自然科学基金国家自然科学基金国家自然科学基金国家自然科学基金中国博士后科学基金辽宁省"兴辽英才计划"项目中国科学院青年创新促进会资助

2020YFB171090062173322618033686197238961903356U19082122019M661156XLYC1801001

2021

10.11897/SP.J.1016.2021.02367

计算机学报
中国计算机学会 中国科学院计算技术研究所

计算机学报

CSTPCDCSCD北大核心
影响因子：3.18
ISSN：0254-4164
年,卷(期)：2021.44(12)
  • 12
  • 2