摘要
日益复杂的新兴移动应用和服务的增加使移动边缘计算(MobileEdgeComputation,MEC)受到越来越广泛的关注。移动边缘计算是指将计算和存储资源分布在用户设备和云端设备之间，以便更好地支持移动应用的计算需求。计算卸载技术作为MEC中的关键技术之一，旨在将计算密集型或延迟敏感型应用卸载至边缘节点进行处理。而依赖性任务卸载策略是计算卸载中的一个重要问题，需要考虑任务之间的依赖关系、任务的优先级和执行延迟与能耗要求等因素。传统的启发式算法在处理复杂的决策问题时存在容易陷入局部最优和计算时间复杂度高等问题，而深度强化学习(DeepReinforcementLearning,DRL)可以通过自适应性和高效率的学习方式来解决传统启发式算法所存在的问题。因此，本文采用深度强化学习对MEC系统中依赖性任务卸载策略进行研究。本文的主要研究工作如下: 1、针对单用户单MEC服务器中，单一MEC服务器负载过重导致任务执行延迟延长、系统性能下降等问题，设计并提出了一种基于近端策略优化(ProximalPolicyOptimization,PPO)的多MEC服务器依赖性任务并行卸载(DependentTaskParallelOffloading,DTPO)算法。该算法旨在遵循任务依赖关系的前提下，将任务卸载到不同的MEC服务器并行执行从而减轻单一MEC服务器的负载，以获得最小延迟。首先,将移动设备(MobileDevice,MD)端生成的应用程序抽象为一个有向无环图(DirectedAcyclicGraph,DAG),并确定任务优先级排序方法得出任务的调度序列。其次，将任务序列输入至序列到序列(Sequencetosequence,Seq2seq)网络中，采用PPO算法对Seq2seq网络进行训练，以获得使延迟最小化的最佳卸载决策。最后，通过仿真获得并行卸载调度策略，分析了系统执行延迟与任务数量、上下行链路传输速率之间的关系，并与其他基线算法进行比较，说明本章所提算法通过合理的任务并行卸载策略降低卸载执行延迟，优化系统性能和任务执行效率。 2、针对多用户多MEC服务器场景下存在的计算资源竞争问题以及用户设备电池容量和寿命限制的挑战，设计并提出一种基于多智能体近端策略优化(Multi-agentProximalPolicyOptimization,MAPPO)的多用户卸载调度和资源分配算法。该算法将每个用户视为一个智能体，旨在找到最佳的任务卸载决策方案，以实现整个系统执行成本最小化的目标。首先，将每个用户端生成的应用程序抽象为DAG,并确定单个DAG中任务卸载调度优先级。其次，针对不同用户卸载至同一MEC服务器中的任务，采用最短作业优先(ShortestJobFirst,SJF)算法进行优先级排序，以确定单个MEC服务器中的执行方案。最后，使用基于Seq2seq网络的MAPPO算法来获得最优的多用户到多MEC服务器的任务卸载调度策略，以实现所有用户执行成本最小化的目标。通过仿真实验证明了本算法能够有效地优化多用户多MEC服务器系统中依赖性任务的卸载调度和资源分配，从而降低用户执行成本，提高系统的性能和效率。
NETL