摘要
随着网络规模的增大和新型网络应用的不断出现，网络流量呈指数级增长，如何根据网络的状态和需求找到一种实时的自适应的智能路由是提高网络资源利用和服务质量的关键。SDN(SoftwareDefinedNetworks)的出现提供了灵活高效的网络控制，降低了路由优化的难度。数据驱动的方法适应并优化了网络的实际状态，随着机器学习在很多领域取得了非常不错的进展，许多研究者开始尝试使用机器学习来解决路由优化问题。深度强化学习在路由优化中利用黑盒方法计算路由，可以适应高度动态的时变环境。但在训练之前开销较大，随着网络规模的增大，网络中的服务和应用将变得越来越多，每当出现新的服务时，需要重新训练收敛，这限制了智能路由的灵活性和扩展性。因此需要进一步对SDN路由优化进行完善。 本文对SDN路由优化进行了深入研究，提出了基于数据驱动流量感知的SDN智能路由方案，通过结合流量感知、深度强化学习和图神经网络，对SDN中的流量传输进行优化，实现实时、动态、自适应路由，使网络资源得到充分利用，链路利用率更高，网络负载更均衡，网络服务质量也有所提高。本文的主要研究内容和创新点如下： （1）基于数据驱动流量感知的SDN智能路由优化 针对流量预测中时空依赖关系考虑单一的问题，本文提出了利用扩散卷积门控单元(DiffusionConvolutionalGatedRecurrentUnit,DCGRU)对流量进行预测，由数据驱动，通过捕获历史数据的时间依赖性和空间相关性，对流量进行提前感知。在此基础上提出了基于TADDPG(Traffic-AwareDeepDeterministicPolicyGradient)的SDN路由优化模型，将流量感知结果作为智能体的输入，通过与网络环境的不断交互产生相应的路由策略，实现了SDN路由的实时、动态优化。 （2）基于图神经网络的深度强化学习的SDN智能路由优化 针对TADDPG模型在SDN路由优化中泛化性不足的问题，本文提出了基于图神经网络的深度强化学习的SDN智能路由优化方法DGDPG(DeepGraphDeterministicPolicyGradient)。利用图神经网络的特点，学习拓扑中节点与链路之间的关系，将流量请求信息作为输入，链路负载和中介中心度作为智能体的状态，路由路径作为动作，链路利用率和中介中心度作为奖励，提高了模型的泛化能力。即使面对训练过程中未见过的拓扑也能具有良好的性能。 （3）基于改进型DGDPG的SDN智能路由优化 针对DGDPG在SDN智能路由优化中动作空间探索不足和学习过程缓慢的问题，为了更加贴合路由优化的场景，使模型收敛效率更高，本文在初始化，经验回放和动作探索过程中进行了一定的改进，提出了IDGDPG算法(ImprovedDGDPG)。主要在DGDPG的基础上提出了初始化学习阶段使用启发式算法进行加速、优先经验回放机制和增加噪声增大动作空间探索的可能性，提高了样本利用率，减少了训练时间，提升了核心算法的收敛速度。 为了验证基于数据驱动流量感知的SDN智能路由优化的有效性、收敛性和泛化性，本文搭建了SDN智能路由优化架构的仿真平台。通过实验，对比GCN、GRU等方法，结果表明DCGRU在流量预测方面具有更好的预测精度，准确率可以达到90%以上。将训练好的TADDPG和DGDPG模型用于训练中未见过的拓扑中，结果表明在80%的实验中，DGDPG模型的性能相对TADDPG模型实现了50%的改进，具有一定的泛化性。对比OSPF、DDPG和TADDPG等路由算法，结果表明IDGDPG模型具有更快的收敛速度，并且在训练一定次数后，平均时延降低了21%，吞吐量提高了16%，有效改善了网络质量，验证了该模型在不同流量强度下具有一定的有效性。
NETL