摘要
随着自动驾驶和车联网技术的不断发展，智能网联汽车正逐渐成为未来智能交通的重要组成部分。智能网联汽车采用先进的感知、通信和控制技术，实现了车辆、道路和互联网的智能互联。但要实现智能网联汽车在道路上的安全高效行驶，还有很多问题需要解决。在智能网联车辆的组成系统中，决策控制系统对车辆十分重要，好的控制策略能够提高车辆的行驶效率，但要实现较优的控制算法是具有挑战性的。 高速公路匝道汇流区是智能网联车辆的行驶场景之一，由于匝道车辆向主线汇流过程中会对主线上车辆产生影响，容易出现拥堵和事故等交通安全问题，因此在匝道汇流区对智能网联车辆实现有效控制有重要研究意义。针对匝道汇流区智能网联车辆的控制问题，现有研究主要关注单个智能网联车辆如何安全高效的从匝道汇入主线，缺乏针对智能网联车辆协作决策控制的研究。鉴于此，本文首先基于强化学习建立智能网联车辆匝道汇流区协作决策控制模型，将车辆换道决策和速度控制设置为模型动作空间，将车辆自身信息和周围车辆信息相结合作为模型状态空间，以匝道汇流区的路段特性、车辆的个体收益和车辆的协作收益为目标，对模型奖励函数进行设计。其次，将强化学习方法与跟驰理论相结合，建立融合强化学习和跟驰理论的智能网联车辆匝道汇流区协作决策控制模型，对车辆换道决策和速度控制进行解耦，在强化学习模型中考虑车辆之间的协作。最后，使用交通仿真软件SUMO和Python编程语言搭建了模型的仿真训练和验证环境，并对结果进行了分析。 研究结果表明：基于强化学习的智能网联车辆匝道汇流区协作决策控制模型能够同时有效控制从场景中驶入的所有车辆高效的通过该区域。对比未协作模型，考虑协作的模型能够提高车辆整体平均行驶速度、减少碰撞次数。此外，本文建立的融合强化学习和跟驰理论的智能网联车辆匝道汇流区协作决策控制模型，该模型不仅能够有效控制所有车辆安全、高效的通过匝道汇流区，而且通过模型控制的智能网联车辆速度变化更平滑，符合车辆运动学约束，具有实际落地意义。对比SUMO中的车辆控制模型，该模型也能保证所有车辆安全通过匝道汇流区而且整体的平均速度更高，从而提高道路的使用效率。此外，本文提出的两个模型具有一定泛化能力，均能在不同车流流量下的交通场景中学习到较优的控制策略。
NETL