摘要
随着航运业的快速发展，海峡水域的船舶交通事故发生频率逐渐增高。本文以海峡水域为主要研究背景，针对该水域船舶密度大，通航环境复杂的问题采用在复杂环境下表现良好的深度强化学习算法并将遵守国际海上避碰规则，对大小不同的船舶进行不同幅度的避让，避碰结束后归航等功能融入算法中。为加快算法的收敛速度设计了一种增强截断函数，提高算法学习率，并结合并行计算的思想采用多进程架构实现算法，最终得到遵守国际海上避碰规则和海峡水域的归航要求以及可以对不同大小的船舶进行不同幅度避让的避碰算法，提高了海峡水域船舶航行的安全性。 本文的主要研究内容如下： （1）分析现有智能算法的特点，选择最适合本文应用场景的深度强化学习算法为应用算法，使用Python环境对海峡水域出现频率最高的三船会遇局面进行仿真，采用Q学习算法和近端策略优化算法结合避碰规则奖励函数和转向幅度奖励函数，对比两算法的奖励值曲线和避碰路径的碰撞危险度曲线，得出本文选用的近端策略优化算法在船舶避碰问题中表现更好。 （2）针对海峡水域通航环境复杂的问题，设计与船舶大小呈正相关的船舶避碰边界，以此设计船舶边界距离奖励函数，从而可以对大小不同的船舶进行不同幅度的避让以提升船舶在海峡水域的航行安全性。针对海峡水域对船舶在无碰撞风险时要按指定航线行驶的需求，设计归航奖励函数，为算法增加避碰结束后归航的功能。针对海峡水域出现的他船在本船的行驶路径上突现的问题，在算法训练时为障碍船设计两个终点使其随机先后抵达以模拟他船突现的情况，提高算法对船舶突现场景的的适用性。针对解决复杂问题时算法收敛速度变慢的问题，设计增强截断函数以提高算法学习率，并采用多进程实现了并行近端策略优化算法，比较改进前后算法的奖励值收敛曲线，改进后的算法明显加快了收敛速度。 （3）在海峡水域场景下设计可以模拟接近真实场景的海峡水域船舶会遇局面，将本文设计的并行近端策略优化算法与Q学习算法进行仿真并对比，通过船舶避碰期间的与海峡边界的最小距离和碰撞危险度以及船舶抵达航线时与终点的距离和此时与航线的夹角作为评价指标，验证本文算法在遵守国际海上避碰规则的同时可以对不同大小的船舶进行不同幅度的避让且可以和海峡边界保持安全距离并在避碰结束后归航，符合海峡水域对船舶行驶的要求，提高了船舶在海峡水域行驶的安全性。
NETL