摘要
近年来，物联网(InternetofThings,IOT)的发展不断渗透到各个方面，环境监测、工业生产或生活社区等领域越来越智能化，作为其关键技术的无线传感网络技术获得了广泛的应用与关注。由于地面节点分散部署于不同的区域收集信息，故而对位置分散且能量受限的地面节点进行信息采集是一个值得深入研究的挑战。另一方面，蜂窝网联无人机(Cellular-connectedUnmannedAerialVehicle,UAV)具备灵活性与低操作成本的优势，且能够实时与基站和通信设备进行通讯，在实际的应用中具有很大的发展潜力和实用价值。本文将蜂窝网联无人机引入无线传感网络执行数据采集的任务，对蜂窝网联无人机在数据采集场景下的轨迹优化问题进行了研究，通过合理设计无人机的轨迹来提升无人机辅助的无线传感网络的服务质量(QualityofService,QoS)，主要研究内容如下： 一、研究了网联无人机在数据采集场景的路径规划问题，其中无人机需满足飞行轨迹约束和信号连接受限的约束，本文以最小化节点的总耗能与无人机飞行中断时间为优化目标建立优化问题，联合设计节点的睡眠唤醒机制和无人机的飞行轨迹。由于该优化问题属于NP-hard问题，用传统方法难以求解，我们提出了一种基于多步DuelingDDQN的深度强化学习方法，将问题转换为马尔可夫决策过程(MarkovDecisionProcess,MDP)对原问题进行求解，考虑到基站信号覆盖有限的问题，本文还在DuelingDDQN的基础上提出了无线电地图实时导航框架，让无人机能够学习生成本地的信号覆盖地图，进一步加快学习过程，满足约束下的通信稳定要求。最后的仿真实验结果证实了算法的有效性，减少了无线传感网络系统的能量消耗。 二、研究了无人机辅助数据采集场景的信息年龄(AgeofInformation,AoI)最小化路径规划问题，该系统需要满足采集节点信息新鲜度的要求，同时也受无人机和地面节点的能量限制。本文以信息年龄作为信息新鲜度的衡量，首先建立了节点信息年龄模型，之后，以最小化信息年龄加权和为优化目标建立优化问题，提出了基于DuelingDDQN的深度强化学习算法，通过合理设计无人机与节点的状态空间、动作空间与奖励函数，将飞行过程转换为马尔可夫决策过程来解决待优化的问题，找到满足信息年龄最佳的策略，依据该策略来设计无人机的轨迹和无人机与节点的通信规划。最后通过与基准策略的比较，验证了通过提出的DuelingDDQN算法找到的策略的有效性。
NETL