摘要
车联网作为智慧交通的一个重要技术，近几年得到国家政策的大力支持且发展迅速，计算密集型及时延敏感型的车载应用层出不穷。然而计算资源受限的单个车辆难以满足车载应用的时延需求。将车联网与边缘计算结合可以有效解决这个难题。利用边缘计算实现任务卸载，将超出车辆本身计算能力的任务卸载到路边单元配备的边缘服务器以协助车辆计算，可以有效满足车载应用的时延需求。 但是由于车联网环境的动态性及不确定性，传统的启发式算法无法完全的适应环境的变化，因此本文采用深度强化学习算法，设计计算任务卸载方案，使车辆能够自适应作出卸载决策，智能判断任务卸载节点及任务传输量，有效降低车辆任务的时延并获得最佳的长期回报。进一步地，考虑到静态优化任务卸载方案往往需要获取全部任务信息，但由于网络传输环境的未知性、多变性及复杂性，直到卸载任务完成前将无法提前获取真实的带宽和任务量等信息，从而造成决策方案不准确，因此本文通过提前预测下一时刻的任务，来对任务进行高效的卸载决策，进一步降低了任务的响应延迟，增强了系统的卸载性能。本文的研究工作及相应成果总结如下： 第一，针对如何在动态环境下作出最佳卸载决策问题，本论文提出了一个基于边缘智能的车联网任务卸载架构。为了降低系统时延，本文建立自动驾驶汽车与边缘服务器之间的通信及计算模型，并将该问题转化为长期总任务处理延迟最小化问题。为解决该问题，本文设计了MDPCO算法，实现最小化车辆计算任务的处理时延。本文将卸载过程描述为马尔科夫决策过程，并制定相应的奖励机制，使车辆在最小任务处理时延下获得最佳卸载决策。仿真结果表明，与其他基线方案相比，MDPCO算法在不同场景下均能够获得最低的任务处理总时延。 第二，针对如何通过提前预测下一时刻的任务来提高卸载效率，进一步降低时延问题，本文提出了一种基于深度强化学习和任务预测的TP-DRL系统。该系统包括预测模块和决策模块两部分。预测模块采用SRU算法，通过收集历史任务量信息来预测下一时刻的任务量；决策模块采用TD3算法将预测任务量作为模型的输入，根据预测结果提前作出卸载策略。仿真实验表明，在不同的任务数量下，加入预测要比不加预测的任务处理时延更低；与其他基线方案相比，TP-DRL方案对于降低任务处理总时延的优化效果更佳。
NETL