自动化学报2024,Vol.50Issue(9) :1736-1746.DOI:10.16383/j.aas.c210095

基于层次特征复用的视频超分辨率重建

Video Super-resolution via Hierarchical Feature Reuse

周圆 王明非 杜晓婷 陈艳芳
自动化学报2024,Vol.50Issue(9) :1736-1746.DOI:10.16383/j.aas.c210095

基于层次特征复用的视频超分辨率重建

Video Super-resolution via Hierarchical Feature Reuse

周圆 1王明非 1杜晓婷 1陈艳芳1
扫码查看

作者信息

  • 1. 天津大学电气自动化与信息工程学院 天津 300072
  • 折叠

摘要

当前的深度卷积神经网络方法,在视频超分辨率任务上实现的性能提升相对于图像超分辨率任务略低,部分原因是它们对层次结构特征中的某些关键帧间信息的利用不够充分.为此,提出一个称作层次特征复用网络(Hierarchical fea-ture reuse network,HFRNet)的结构,用以解决上述问题.该网络保留运动补偿帧的低频内容,并采用密集层次特征块(Dense hierarchical feature block,DHFB)自适应地融合其内部每个残差块的特征,之后用长距离特征复用融合多个DHFB间的特征,从而促进高频细节信息的恢复.实验结果表明,提出的方法在定量和定性指标上均优于当前的方法.

Abstract

The performance improvement of current deep convolution neural network methods in video super-resol-ution task is slightly lower than that in image super-resolution task,partly because they do not make full use of some key inter-frame information in hierarchical structure features.In this paper,we propose hierarchical feature re-use network(HFRNet)to solve the problem mentioned above.The network retains the low-frequency content of the motion compensation frame,and use dense hierarchical feature block(DHFB)to adaptively fuse the features of each residual block within it,then long-term feature reuse is proposed to fuse the features between multiple dense hier-archical feature block,so as to promote the recovery of high-frequency detail information.Experimental results show that the proposed method is superior to the current method in both quantitative and qualitative metrics.

关键词

层次特征复用/卷积神经网络/特征融合/视频超分辨率重建

Key words

Hierarchical feature reuse/convolutional neural network(CNN)/feature fusion/video super-resolution

引用本文复制引用

基金项目

国家自然科学基金联合基金项目(U2006211)

国家重点研发计划(2020YFC1523204)

出版年

2024
自动化学报
中国自动化学会 中国科学院自动化研究所

自动化学报

CSTPCD北大核心
影响因子:1.762
ISSN:0254-4156
段落导航相关论文