摘要
移动边缘计算（MobileEdgeComputing，MEC）被学术界以及工业界广泛认为是6G发展的核心技术。在传统的云计算架构中，服务器通常部署在远离用户的地方，因此用户与服务器之间存在着较长的通信延迟。而MEC通过将服务器部署在离用户较近的位置，可以提供更快、更安全和更低延迟的计算与存储服务。近年来，由于海上作业场景复杂、活动区域易变、通信基建设施无法完全覆盖海洋等原因，海上边缘计算系统一直存在部署困难的问题。随着无人机（UnmannedAerialVehicle,UAV）技术的广泛发展，其高灵活、低成本以及易于部署的特性为解决这一问题提供了思路，越来越多的海上边缘计算系统通过将边缘服务器部署在UAV上来为海上用户提供计算服务。海上用户可以将自身任务信息、船舶状态等数据传输到UAV上，UAV利用自身的计算能力辅助海上用户完成任务的计算。因此，针对UAV辅助的海上边缘计算系统进行深入研究具有重要的意义和价值。 本文考虑了海上边缘计算场景下的任务卸载问题，在海上边缘计算系统中引入UAV作为系统中的边缘服务器，通过与海上用户建立无线连接为海上用户提供任务计算服务。本文针对边缘计算服务器的系统资源相对受限以及海上用户任务时延敏感的情况，对海上边缘计算系统在通信资源、计算资源、用户服务质量以及系统能耗管理等方面的挑战进行了研究。针对海上用户的任务卸载和UAV的资源分配、轨迹规划以及系统能耗管理等方面建立优化问题，在资源有限的条件下为海上用户提供良好的计算服务。本文的主要研究内容以及贡献总结如下： (1)针对单UAV辅助的海上边缘计算场景下的多用户任务卸载问题，建立了考虑UAV资源管理、能耗控制以及轨迹规划的长期用户总体时延最小化的优化问题。在满足UAV的能量约束和资源约束的前提下，通过联合优化UAV的资源管理和飞行控制决策，及时处理由海上用户卸载的部分任务，为海上用户提供良好的计算服务。考虑到无人机的能源具有马尔可夫性质，本文将上述问题转换为马尔可夫决策过程，同时基于SumTree数据结构提出了基于优先级经验回放机制的PRL-COTP深度强化学习算法，最后能够快速收敛并给出任务卸载方案，同时仿真实验结果验证了算法在系统总体时延优化上的可行性以及有效性。 (2)针对用户数量庞大，单UAV无法满足海上用户任务计算需求的场景，本文在海上边缘计算系统中引入多架UAV卸载海上用户的计算任务，并为保障无人机的服务周期建立了多UAV总体能耗成本的最小化问题。同时本文引入虚拟机技术来支持多海上用户任务的并行计算，并考虑了虚拟机并行处理任务时的I/O干扰导致的计算性能下降，最终将其与计算资源的关系进行系统建模。通过将优化变量拆分，本文提出了一种名为MA-RMTP的多智能体深度强化学习算法。该算法基于两类智能体的相互协作来卸载海上用户的计算任务，并提供多UAV的资源管理与轨迹规划方案。通过仿真实验说明了不同类型智能体在训练时的收敛性能表现的关联性，并验证了本文提出算法在任务卸载、轨迹规划以及能耗管理方面的有效性以及优越性。
NETL