基于多模态融合与注意力机制的实时视频通信延迟补偿方法

扫码查看

原文链接

万方数据
维普

中文摘要：在实时视频通信中,网络环境往往复杂多变,导致视频数据的传输出现不同程度延迟,影响用户体验.为此,提出基于多模态融合与注意力机制的实时视频通信延迟补偿方法.利用多模态融合技术与注意力机制深度提取并强化了实时视频通信延迟中关键的延迟特征,以此准确预测并计算实时视频通信的延迟.基于这些精准数据,建立延迟补偿器模型,进一步优化数据帧处理路径,实现实时视频通信的延迟补偿.仿真测试表明,所提出的方法能够将视频通信整体延迟时间控制在0.3 s内,证明基于多模态融合与注意力机制的实时视频通信延迟补偿方法能够显著减少延迟,确保通信流畅无阻,给用户带来即时互动的极致体验.

作者：

李元好、张如青、薛峰

展开 >

作者单位：

郑州经贸学院大数据与人工智能学院河南郑州 451191

河南省多模态感知与智能交互技术工程研究中心河南郑州 451191

关键词：

多模态融合注意力机制实时视频通信延迟延迟补偿

出版年：

2024

DOI：

10.3969/j.issn.1672-9528.2024.11.023

信息技术与信息化

山东电子学会

信息技术与信息化

影响因子：0.29

ISSN：1672-9528

年,卷(期)：2024.(11)