首页|基于光流估计和核估计结合的4K视频插帧

基于光流估计和核估计结合的4K视频插帧

扫码查看
为了满足观众日渐增长的对于超高清分辨率下帧率的需求,视频插帧技术成为了提升视频帧速率的主要手段之一.目前多数视频插帧技术取得了不错的效果,但由于缺少4K视频数据集,这些方法对超高清视频的处理并不理想.为了解决上述问题,创建了一个超高清视频数据集UHD4K120FPS.同时,针对4K视频,提出一种联合基于核估计和光流估计的视频插帧模型.具体来说,两个输入帧分别通过输入核估计子网络和光流估计子网络,提取核估计和光流估计的特征,将提取的特征经过处理后输入后处理融合子网络,通过立方卷积翘曲和多次卷积输出最终的结果.在不同的数据集上进行了训练和验证测试,实验结果表明,与其他主流方法相比该方法可以获得更好的插帧效果.同时,提出的数据集相比其他数据集也能获得更好的插帧结果.
4K Video Frame Interpolation Based on Combination of Optical Flow Estimation and Kernel Estimation
At present,most video frame interpolation technologies have achieved good results,but due to the lack of 4K video data sets,these methods are not ideal for ultra-high-definition video processing.In order to solve the above prob-lems,this paper creates an ultra-high-definition video dataset UHD4K120FPS.At the same time,for 4K video,this paper proposes a video frame interpolation model based on kernel estimation and optical flow estimation.Specifically,the two in-put frames are respectively input into the kernel estimation sub-network and the optical flow estimation sub-network to ex-tract the features of kernel estimation and optical flow estimation,and the extracted features are processed and input into the post-processing fusion sub-network,and warped by cubic convolution and multiple convolutions output the final result.In this paper,training and verification tests are carried out on different data sets.

video frame interpolationdeep learningoptical flow4K video

冯子威、宁欣、丁友东

展开 >

上海大学上海电影学院,上海 200072

上海电影特效工程技术研究中心,上海 200072

视频插帧 深度学习 光流法 4K视频

上海市自然科学基金会赞助项目

19ZR1419100

2024

工业控制计算机
中国计算机学会工业控制计算机专业委员会 江苏省计算技术研究所有限责任公司

工业控制计算机

影响因子:0.258
ISSN:1001-182X
年,卷(期):2024.37(3)
  • 17