电子与信息学报2024,Vol.46Issue(2) :602-614.DOI:10.11999/JEIT230097

沉浸式视频编码技术综述

Overview of Immersive Video Coding

曾焕强 孔庆玮 陈婧 朱建清 施一帆 侯军辉
电子与信息学报2024,Vol.46Issue(2) :602-614.DOI:10.11999/JEIT230097

沉浸式视频编码技术综述

Overview of Immersive Video Coding

曾焕强 1孔庆玮 2陈婧 2朱建清 3施一帆 3侯军辉4
扫码查看

作者信息

  • 1. 华侨大学信息科学与工程学院 厦门 361021;华侨大学工学院 泉州 362021
  • 2. 华侨大学信息科学与工程学院 厦门 361021
  • 3. 华侨大学工学院 泉州 362021
  • 4. 香港城市大学计算机科学系 香港 999077
  • 折叠

摘要

随着虚拟现实、增强现实等沉浸式媒体技术的发展,沉浸式视频的表示、存储、传输和显示等各个环节都受到了科研及产业界的广泛关注.沉浸式视频更复杂的视频特性和庞大的数据量,对传统视频编码技术提出了挑战,新的编码技术应运而生.该文从视频自由度(DoF)出发,分别从3DoF和6DoF两个方面介绍沉浸式视频编码技术的最新成果.3DoF视频相关编码技术包括投影模型、运动估计模型和3DoF视频编码标准.6DoF视频相关编码技术包括视频表示形式、虚拟视点合成技术、6DoF视频编码技术及运动图像专家组沉浸式视频(MPEG,MIV)编码标准.最后,对沉浸式视频及其编码技术的发展进行总结和展望.

Abstract

With the development of immersive media technologies such as virtual reality and augmented reality,the presentationm, storage and transmission of immersive video has received a lot of attention in both research and industry field. Due to the more complex video characteristics and huge data volume, the traditional coding techniques are not efficient for immersive video coding. How to present and encode the immersive video more efficiently is a challenge. Based on the Degree of Freedom (DoF), 3DoF and 6DoF formats of immersive video are introduced respectively in this paper. Firstly, 3DoF video related coding techniques including projection model, motion estimation are introduced, and then, 3DoF video coding standard is discussed. In 6DoF format video coding, the video representation, virtual viewpoint synthesis techniques, 6DoF video coding techniques and Moving Picture Experts Group Immersive Video (MPEG, MIV) video coding standard are illustrated.Finally, the development of immersive video and its coding technology is summarized and prospected.

关键词

视频编码/沉浸式视频/全景视频/自由视点视频

Key words

Video coding/Immersive video/Panoramic video/Free-view video

引用本文复制引用

基金项目

国家重点研发计划(2021YFE0205400)

福建省自然科学基金(2023J02022)

福建省自然科学基金(2022J06023)

福建省自然科学基金(2022J01294)

福厦泉国家自主创新示范区协同创新平台项目(2021FX03)

福建省教学改革项目(FBJY20230328)

出版年

2024
电子与信息学报
中国科学院电子学研究所 国家自然科学基金委员会信息科学部

电子与信息学报

CSTPCDCSCD北大核心
影响因子:1.302
ISSN:1009-5896
被引量1
参考文献量72
段落导航相关论文