摘要
由于无人机具有高移动性，其网络拓扑结构呈现高频动态变化，这使得固定路径进行数据传输变得困难，从而让无人机网络路由协议的设计面临极大的挑战。传统路由协议主要分为基于拓扑的路由协议和基于地理位置的路由协议。其中基于拓扑的路由协议通常采用最短路径算法构建端到端路由路径，而链路断开会导致路由重建，无法适应于高动态无人机网络;基于地理位置的路由协议仅使用邻居节点位置信息贪心地选择下一跳，很难发现最优传输路径。近年来，强化学习凭借其对动态网络环境特征提取的优势，被用于解决动态网络下的自适应路由选择。然而，现有的基于强化学习的路由协议，如QGrid、QGeo、QSRP等，需要节点之间周期性地交互Hello包以获取邻居位置、速度、数据包队列长度等信息，以选择最优下一跳节点。在高动态的无人机网络中，无人机节点需要频繁广播Hello包来获取最新的邻居信息进行路由，导致路由开销较大。随着无人机网络负载增大，部分节点会出现数据包接收队列溢出问题，导致数据包到达率降低、端到端时延上升等问题。针对上述问题，本文的主要贡献如下: 1.提出了基于移动预测的深度强化学习路由协议（PARouting） 在高动态的无人机网络中，现有的路由协议需要频繁地交互Hello包以更新邻居表，这引入了大量的路由开销。为此，本文首先提出了新的移动预测算法DL-UMP。通过对无人机轨迹数据进行深入分析，发现无人机加速度符合高斯分布。传统的移动预测算法如LNMP、GPMOR等，通常假设节点速度服从匀速直线或者速度服从高斯分布，与实际无人机移动情况不符，导致预测准确率低。DL-UMP基于加速度服从高斯分布的特性，实现了高斯参数随无人机状态变化而变化。在此基础上，本文提出了基于移动预测的深度强化学习路由协议PARouting。该协议通过设计基于DL-UMP的自适应Hello包机制来降低频繁位置信息广播的路由开销。同时，将路由过程建模为部分可观察马尔可夫决策过程，并使用循环神经网络和全连接网络提取自身轨迹数据和邻居位置、速度数据，提高其通过观察推断状态的能力，从而优化在部分可观察场景下无人机网络的数据包到达率和端到端时延表现。实验结果表明，DL-UMP相对于对比算法降低了49.4％的预测误差，PARouting在数据包到达率、平均端到端时延和路由开销方面表现更好。 2.提出了基于队列预测的深度强化学习路由协议（LB-PARouting） 在高动态且高负载网络中，现有路由协议未考虑邻居的数据包队列长度变化，造成部分无人机节点数据包排队和队列溢出的问题，导致数据包到达率下降和端到端时延增大，难以适应其高动态且高负载的无人机网络。因此，本文提出了一种新的队列预测算法DL-QUP。该算法既考虑了节点的流量模型，也考虑了节点之间的邻接关系，以适应高动态且高负载的无人机网络环境。在此基础上，本文提出了基于队列预测的深度强化学习路由协议LB-PARouting。该协议使用DL-QUP与自适应Hello包机制相结合，通过预测每个节点在最大Hello广播间隔内的队列变化率来降低队列信息广播所带来的路由开销。本文采用现有路由协议作为专家，并将其部分经验存储到专家回放经验池中，以提高LB-PARouting的训练速度。此外，LB-PARouting根据邻居的队列变化率实现自适应负载均衡，以提高数据包到达率并降低端到端时延。实验结果表明，DL-QUP算法具有更低的均方根误差和更高的决定系数。同时，LB-PARouting协议在高动态且高负载环境下表现出了良好的性能，未引入额外路由开销，有效提高了数据包到达率并降低了平均端到端时延。 3.在多种平台上对路由协议进行验证和分析 为验证本文所提出的路由协议在不同架构和计算资源实物平台上的可行性，本文选用了RaspberryPi4B和JetsonXavierNX两种无人机机载计算机平台，并通过CPU使用率、内存使用率等指标来评估路由协议的效果。实验结果表明，不同路由协议在平台上的数据包到达率和路由开销的均方根误差在10-3至10-4之间，平均端到端时延在10-1至10-2之间。PARouting和LB-PARouting在JetsonXavierNX上的表现更好，CPU使用率分别低于13.5％和19.8％,内存使用率分别低于3.3％和3.4％，决策时间分别低于1.79ms和1.88ms。实验结果进一步验证了本文提出的路由协议的有效性，并证明了其在实际部署中的可行性。
NETL