摘要
随着互联网的高速发展，不断出现的新兴业务导致网络流量大幅增长。与此同时，网络基础设备的增加和接入网络节点的倍增，传统的路径选择算法将难以满足复杂多变的网络业务需求。软件定义网络(SoftwareDefinedNetwork，SDN)这种新的架构打破了传统的分布式结构，将数据层和控制层分离，同时提供可编程的应用平面，可根据网络服务需求设计相应路径算法，进而改善网络服务性能，为未来网络发展带来更多的可能。因此本文就如何针对软件定义网络实现更加智能化路由策略，提高网络性能展开研究，主要内容如下： (1)研究了软件定义网络相关技术和强化学习算法原理，搭建了基于深度强化学习的SDN路由系统模型，在该模型下，智能体通过与网络环境的不断交互，获得最优的决策能力。在有新的数据流到达时，它可以快速地计算出适当的路由路径，从而提高网络性能。 (2)提出了一种基于改进深度强化学习的SDN路由算法(R_DQN)，针对传统图论方法难以适应未来网络中复杂图形问题，采用图神经网络去学习网络拓扑结构。同时选择优先经验回放算法去提高样本学习效率。在OpenAI的Gym平台下仿真SDN网络环境与智能体的交互过程，对本文算法进行有效性验证。实验结果表明，R_DQN算法相比于传统的路由算法，不论在面对网络拓扑还是面对不同比例的业务，都具有较强的泛化能力，同时网络通信量性能得到提升。并且该算法提高了样本学习效率。 (3)提出了一种基于多优化目标的工业SDN智能路由算法(MOO_DQN)，首先针对网络拓扑结构及业务特点，构建以长期最大化通信量、链路介数最小化、满足业务时延跳数为目标的组合奖励函数。然后针对组合奖励函数权重分配问题设计一种结合ε贪婪的动态权重分配方法。实验结果表明，MOO_DQN算法能够实现三个优化目标组合协调，满足业务需求。且该算法在网络通信量性能和负载均衡方面明显优于Dijkstra和LB算法。同时该算法具有较强的泛化能力，能够良好的适应网络线路变化。
NETL