摘要
随着快速增长的飞行流量和有限的空域资源之间的矛盾日益突出，扇区管制员的工作负荷日益增大，而飞行冲突调配是其主要的工作负荷来源。未来交通量增长将导致飞行冲突数量增加，现行的细分扇区策略将无法持续，需要高效的管制辅助决策系统以解决飞行冲突调配问题。鉴于现存的冲突调配算法存在求解效率不高、与管制运行规则匹配度不够等问题，尚未在实际运行中得到广泛应用，因此有必要深入研究更高效、更适用的智能化飞行冲突调配方法，以支持管制辅助决策系统。 本文研究了多机飞行冲突智能调配问题，提出使用深度强化学习方法解决航路阶段的飞行冲突问题。首先明确了多机飞行冲突的定义，并分析了多机飞行冲突调配问题的特点。其次将多机飞行冲突场景抽象为多智能体系统，基于马尔可夫决策过程对多机飞行冲突调配问题建模。分别采用深度强化学习中独立学习方式的IDQN算法和合作学习方式的MADDPG算法对模型求解，寻找最佳冲突调配策略。在算法中设计出支持冲突航空器数量动态变化的“向下兼容”型调配框架。通过大量多机飞行冲突训练样本对调配模型进行充分训练，训练结果呈现出较好的稳定性和收敛性。利用测试样本和相关指标对调配模型的测试效果进行分析，在700个测试场景中，IDQN模型和MADDPG模型的冲突成功调配率分别为85.67%和91%，冲突调配后实际到达目的地时间在原定时间±150秒范围内的航空器比例分别为71.51%和75.63%。选择遗传算法作为基准，对比实验表明深度强化学习方法在求解时间上具有极大的优势。最后使用空中交通运行仿真系统对训练成熟的模型进行多机飞行冲突调配模拟实验，直观展示了多机飞行冲突的调配动作和航空器的冲突解脱运动过程。本文的研究为管制员在未来高密度空域环境下的决策支持提供了可能，并对减少管制员的工作负荷、提升航空运行安全性有重要的意义。
NETL