首页|扩展目标跟踪中基于深度强化学习的传感器管理方法

扩展目标跟踪中基于深度强化学习的传感器管理方法

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
针对扩展目标跟踪(Extended target tracking，ETT)优化中的传感器管理问题，基于随机矩阵模型(Random matrices model，RMM)建模扩展目标，提出一种基于深度强化学习(Deep reinforcement learning，DRL)的传感器管理方法。首先，在部分可观测马尔科夫决策过程(Partially observed Markov decision process，POMDP)理论框架下，给出基于双延迟深度确定性策略梯度(Twin delayed deep deterministic policy gradient，TD3)算法的扩展目标跟踪传感器管理的基本方法;其次，利用高斯瓦瑟斯坦距离(Gaussian Wasserstein distance，GWD)求解扩展目标先验概率密度与后验概率密度之间的信息增益，对扩展目标多特征估计信息进行综合评价，进而以信息增益作为TD3算法奖励函数的构建;然后，通过推导出的奖励函数，进行基于深度强化学习的传感器管理方法的最优决策;最后，通过构造扩展目标跟踪优化仿真实验，验证了所提方法的有效性。
Sensor Management Method Based on Deep Reinforcement Learning in Extended Target Tracking
To solve the problem of sensor management in the optimization of extended target tracking(ETT),this paper proposes a sensor management method based on deep reinforcement learning(DRL)by modeling the exten-ded target based on random matrices model(RMM).First,in the theoretical framework of partially observed Markov decision process(POMDP),a elementary method of sensor management for extended target tracking based on twin delayed deep deterministic policy gradient(TD3)algorithm is presented.After that,the Gaussian Wasser-stein distance(GWD)is used to calculate the information gain between the prior probability density and the pos-terior probability density of the extended target,which is used to comprehensively evaluate the multi-feature estim-ation information of the extended target,and then the information gain is used as the reward function of TD3 al-gorithm.Furthermore,the optimal sensor management scheme based on deep reinforcement learning is decided by the derived reward function.Finally,the effectiveness of the proposed algorithm is verified by constructing an ex-tended target tracking optimization simulation experiment.

Sensor managementextended target tracking(ETT)deep reinforcement learning(DRL)twin delayed deep deterministic policy gradient(TD3)information gain

张虹芸、陈辉、张文旭

展开 >

兰州理工大学电气工程与信息工程学院 兰州 730050

传感器管理 扩展目标跟踪 深度强化学习 双延迟深度确定性策略梯度 信息增益

国家自然科学基金国家自然科学基金国家自然科学基金国家自然科学基金甘肃省教育厅产业支撑计划项目2024年度甘肃省重点人才项目

621630236236603162363023618731162021CYZC-02

2024

10.16383/j.aas.c230591

自动化学报
中国自动化学会 中国科学院自动化研究所

自动化学报

CSTPCD北大核心
影响因子：1.762
ISSN：0254-4156
年,卷(期)：2024.50(7)