摘要
云计算是一个异构的分布式计算平台，通过虚拟化技术为用户提供方便可扩展的网络、服务器、存储、软件等资源服务。近年来，随着云计算作为信息技术产业的发展重点，全球的各行各业都开始利用云计算，并依此开展信息化转型的进程。同时随着互联网的发展与5G技术的逐渐普及，高速的网络通道与廉价的算力这些优点都使将计算移交到云端成为一种必然趋势。 随着云计算业务的日益增长，其庞大的负载规模与动态变化的特性为其任务调度带来了严峻的挑战。合理的任务调度策略能将任务分配到合适的处理资源上以满足用户需求、提高资源利用率、降低运营成本，因此任务调度算法对云平台的性能稳定及平台收益有着重要影响，具有重要研究意义。 由于云环境的动态性与复杂性，云任务调度问题已被证明是NP完全难题。如何在复杂的云环境中分配任务以有效地利用分布式资源，实现计算系统的负载均衡，降低能耗以及确保服务质量都是云任务调度研究的重点目标。大多数调度算法都需要精确的数学建模，并且难以应对大规模动态调度问题，同时在云计算环境中任务和资源是动态变化的，这导致其建立精确模型的难度很高。深度强化学习将深度学习的感知力与强化学习的决策力相结合，展现出对于云任务调度这类复杂决策问题进行学习控制的潜力。本文的主要研究内容如下： （1）对云计算的在线任务调度问题进行建模，提出了一种在服务水平协议约束下的基于双深度Q学习算法的自适应在线任务调度算法。算法中考虑了云计算环境和任务负载的动态变化情况，通过状态空间和奖励函数的设计，利用强化学习最大化累积奖励的特点使其能在任务负载和虚拟机数量可变的情况下自适应地学习具有长期收益的决策策略。实验表明该方法能根据不同负载切换主要优化目标，能以权重影响成本与吞吐量二者的优化主次，在完工时间、成本、逾期时间等优化目标上具有不错的表现。 （2）针对云计算环境中的大规模任务调度问题，提出了一种基于分层深度强化学习算法的分层任务调度框架。该框架将若干虚拟机组成的集合称为虚拟机集群，并以分层调度的方式缩小问题规模，当调度框架在接收到任务请求时先将任务分配到集群，再经由集群内的任务调度器分配到虚拟机。该调度框架中使用深度强化学习设计了调度器，调度器通过对各层的状态空间与回报函数的设计使其能适应云计算环境动态的变化，并通过不断学习调整自身的调度策略。实验表明能有效的根据负载权衡成本与性能之间的关系，在负载均衡、成本、逾期时间等优化目标上有明显的优化效果。
NETL