摘要
面对环境污染、全球变暖、石油资源枯竭等问题，新能源汽车成为各大汽车厂商的重点研究对象。随着燃料电池技术发展，燃料电池汽车充分发挥新能源汽车零排放与节能优势，得到了国内外研究者的广泛关注。能量管理策略是具有多能量源燃料电池汽车的核心控制技术，直接决定着整车性能。深度强化学习算法能有效处理多目标能量管理问题，在优化效果、实时性以及自学习等具有显著优势；为此，本文将开展基于深度强化学习的燃料电池汽车多目标能量管理研究，具体研究内容如下： 首先，燃料电池汽车动力系统建模研究。搭建整车纵向动力学模型与面向控制的传动部件模型;分析影响动力源耐久性的因素，建立燃料电池退化模型与电池老化模型；阐述全局优化算法-动态规划（DynamicProgramming,DP）基本原理，实现DP求解能量管理问题，分析全局优化策略下各动力源的工作特性。 其次，基于深度强化学习的能量管理策略研究。基于强化学习概念与原理，分别阐述深度Q网络（DeepQ-Network，DQN）与深度确定性策略梯度（Deepdeterministicpolicygradient,DDPG）的基本理论，构建基于深度强化学习的燃料电池汽车能量管理框架；分析UDDS工况下基于DQN与基于DDPG的离线训练结果，将训练完成的策略在线应用于验证驾驶工况，进一步表明所提策略的自适应性。 再次，基于软约束演员评论家(Softactorcritic,SAC)的寿命意识能量管理策略研究。阐述SAC算法的基本概念，分析能量管理框架下SAC算法与传统深度强化学习算法的优劣；基于燃料电池退化模型和电池老化模型，构建以氢耗、SOC维持、燃料电池退化以及电池老化为多目标的能量管理优化问题，确定动力源老化与氢耗的折中方案，分析基于SAC的寿命意识能量管理结果，验证拼接工况下所提策略的有效性。 最后，计及空调系统协同能量管理研究。基于热力学平衡理论，建立空调系统模型与车舱热负荷模型，搭建计及空调系统的协同能量管理框架，利用SAC算法实现协同能量管理问题的求解；对比分析高温制冷以及低温制热下协同能量管理结果，进一步验证拼接工况下策略的有效性。
NETL