首页|基于深度强化学习的室内环境控制技术研究

基于深度强化学习的室内环境控制技术研究

罗丹峰

基于深度强化学习的室内环境控制技术研究

罗丹峰1
扫码查看

作者信息

  • 1. 北京邮电大学
  • 折叠

摘要

建筑室内环境复杂多变,维持室内的环境参数稳定具有重要意义,不仅能提高人们的生活和工作质量,对保护室内物品和降低能耗有着重要作用。目前大多数室内环境管理系统只有监测没有控制,而控制方面多数是基于室内环境的单点监测并用集中式的控制方法,这种控制方法难以确保室内环境参数的均匀和稳定。为了解决这些挑战,本文从室内环境智能控制和室内环境预测两个方面进行研究,并衍生出数字孪生的控制模型,论文主要内容如下: 首先提出了一种基于无模型深度强化学习的智能分布式环境控制系统。该系统由三个部分组成:智能控制器、分布式设备和分布式传感器。分布式传感器用于实时监测环境参数。并以湿度环境控制为例,将RH-rainbow算法部署在分布式设备中。在RH-rainbow中,奖励由湿度的平均绝对差和分布式设备的能耗组成。智能体的动作是恒湿机的湿度和风机档位设定值。该算法在两个不同出风口的场景,不同的传感器数量、传感器的不同上报时间间隔和具有外部风团的干扰模式下进行评估与比较。实验结果表明,RH-rainbow在抗干扰能力和能耗等综合水平优于固定策略和条件控制策略、深度Q网络(DQN)和比例积分微分控制(PID)。 其次提出一种基于时空自适应图卷积预测模型,用于预测室内分布式传感器的温湿度环境参数。该模型对原始数据进行窗口化,生成一堆子序列,将这些序列放入模型中进行训练。使用归一化自适应邻接矩阵自动学习空间中各个节点之间位置相关性,利用门控循环单元学习子序列内的时间相关性,最终利用节点嵌入矩阵学习多个特征之间的关系,这些特征包括温湿度的耦合,外部天气对室内环境参数的影响。该模型在多个数据集进行验证,MAGCRN的预测效果最佳。然后将该预测模型融合条件控制策略,在两个场景中进行评估,控制效果优于比传统的PID。 最后提出一种数字孪生的控制模型,用于减少模型训练的时间和服务器以及设备的能耗成本。基于时空自适应图卷积预测算法对历史的温湿度数据进行学习,生成数字化的温湿度预测模型。将预测模型与深度强化学习的智能分布式环境控制算法进行组合,生成数字化温湿度控制模型。将该控制模型在实际场景中进行验证,最终虚拟化的数据与真实环境相近。

关键词

室内环境/智能控制系统/深度强化学习/数字孪生

引用本文复制引用

授予学位

硕士

学科专业

通信工程(含宽带网络、移动通信等)

导师

郭达

学位年度

2023

学位授予单位

北京邮电大学

语种

中文

中图分类号

TP
段落导航相关论文