首页|基于深度强化学习的微能源网优化调度

基于深度强化学习的微能源网优化调度

徐万欣

基于深度强化学习的微能源网优化调度

徐万欣1
扫码查看

作者信息

  • 1. 华北电力大学(北京)
  • 折叠

摘要

大规模新能源的接入给电力系统带来了严峻的安全稳定运行挑战。因此,研究和构建以微能源网为代表的新型能源系统,为可再生能源的优化利用提供了新的解决方案。高效可靠的优化调度方法能够合理配置各设备的运行方式和输出功率,降低运营成本,并促进对可再生能源的利用,减少对传统化石能源的依赖,提高微能源网能量管理质量和系统整体性能,最终达到降低碳排放、改善环境质量的目的。本文以包含冷热电负荷的微能源网系统为研究对象,对日前和实时调度进行优化。 首先,建立微能源网中各设备的模型,得出日前的调度方案,从而确保微能源网的经济运行,并对实时调度起到指导作用。在此基础上,提出了基于模型预测控制方法(MPC)的日前-实时两阶段优化调度模型。实时调度以设备出力与日前计划参考值的偏差以及相邻时间步设备出力调整量之和最小作为综合目标,并通过滚动优化得到实时调度方案。该实时调度方案能够良好地跟随日前计划,并且具备良好的经济性、环保性和高能效性。 其次,将微能源网的优化调度问题描述为离散时间步长的马尔可夫决策过程,并给出环境、智能体、状态、动作、状态转移和奖励的具体表达。考虑到设备出力的连续性,构建基于深度确定性策略梯度算法(DDPG)的微能源网优化调度模型。在离线训练过程中,采用经验回放机制,同时引入噪声增大动作探索。在线决策过程中,使用保存好的模型,输入实时数据,得到调度结果。通过算例验证了所提出的模型和算法的有效性。 最后,考虑到工程实际应用,进一步分析了考虑热网能流的质量流量调节方式下微能源网优化调度问题。对供热网络中的设备进行了精确建模,并建立了太阳能集热器系统的非实时换热模型。采用质量流量调节的方式,可以对热网管道流量和温度进行调节,从而提高微能源网的经济性和灵活性。针对质量流量和温度乘积的双线性项,运用DDPG算法求解。算例表明该方案具有较好的经济性、环保性和灵活性。

关键词

电力系统/微能源网/优化调度/深度强化学习/模型预测控制

引用本文复制引用

授予学位

硕士

学科专业

电气工程

导师

刘念

学位年度

2023

学位授予单位

华北电力大学(北京)

语种

中文

中图分类号

TM
段落导航相关论文