工业控制计算机2024,Vol.37Issue(3) :81-83,86.

基于光流估计和核估计结合的4K视频插帧

4K Video Frame Interpolation Based on Combination of Optical Flow Estimation and Kernel Estimation

冯子威 宁欣 丁友东
工业控制计算机2024,Vol.37Issue(3) :81-83,86.

基于光流估计和核估计结合的4K视频插帧

4K Video Frame Interpolation Based on Combination of Optical Flow Estimation and Kernel Estimation

冯子威 1宁欣 1丁友东2
扫码查看

作者信息

  • 1. 上海大学上海电影学院,上海 200072
  • 2. 上海大学上海电影学院,上海 200072;上海电影特效工程技术研究中心,上海 200072
  • 折叠

摘要

为了满足观众日渐增长的对于超高清分辨率下帧率的需求,视频插帧技术成为了提升视频帧速率的主要手段之一.目前多数视频插帧技术取得了不错的效果,但由于缺少4K视频数据集,这些方法对超高清视频的处理并不理想.为了解决上述问题,创建了一个超高清视频数据集UHD4K120FPS.同时,针对4K视频,提出一种联合基于核估计和光流估计的视频插帧模型.具体来说,两个输入帧分别通过输入核估计子网络和光流估计子网络,提取核估计和光流估计的特征,将提取的特征经过处理后输入后处理融合子网络,通过立方卷积翘曲和多次卷积输出最终的结果.在不同的数据集上进行了训练和验证测试,实验结果表明,与其他主流方法相比该方法可以获得更好的插帧效果.同时,提出的数据集相比其他数据集也能获得更好的插帧结果.

Abstract

At present,most video frame interpolation technologies have achieved good results,but due to the lack of 4K video data sets,these methods are not ideal for ultra-high-definition video processing.In order to solve the above prob-lems,this paper creates an ultra-high-definition video dataset UHD4K120FPS.At the same time,for 4K video,this paper proposes a video frame interpolation model based on kernel estimation and optical flow estimation.Specifically,the two in-put frames are respectively input into the kernel estimation sub-network and the optical flow estimation sub-network to ex-tract the features of kernel estimation and optical flow estimation,and the extracted features are processed and input into the post-processing fusion sub-network,and warped by cubic convolution and multiple convolutions output the final result.In this paper,training and verification tests are carried out on different data sets.

关键词

视频插帧/深度学习/光流法/4K视频

Key words

video frame interpolation/deep learning/optical flow/4K video

引用本文复制引用

基金项目

上海市自然科学基金会赞助项目(19ZR1419100)

出版年

2024
工业控制计算机
中国计算机学会工业控制计算机专业委员会 江苏省计算技术研究所有限责任公司

工业控制计算机

影响因子:0.258
ISSN:1001-182X
参考文献量17
段落导航相关论文