摘要
跨媒体网络视频热点话题检测成为新的研究热点.然而,描述视频的文本信息较少,使得文本语义特征空间稀疏,导致文本语义特征间关联强度较弱,增加了挖掘热点话题的难度.现有方法主要通过视觉信息丰富文本语义特征空间.然而,由于视觉与文本信息间的异构性,导致同一话题下文本与视觉语义特征差异较大,这进一步降低了同一话题下文本语义间的关联强度,也给跨媒体网络视频热点话题检测带来巨大挑战.因此,提出一种新的跨媒体语义关联增强方法.首先,通过双层注意力,从单词和句子 2个级别捕捉文本核心语义特征;其次,通过理解视觉内容,生成大量与视频内容高度相关的文本描述,丰富文本语义空间;然后,分别通过文本语义相似性和视觉语义相似性,构建文本语义图和视觉语义图,并构造时间衰减函数,从时间维度建立跨媒体数据间的相关性,以此增强文本与视觉语义间的关联强度,平滑地将2种语义图融合为混合语义图,实现跨媒体语义互补;最后,通过图聚类方法检测出热点话题.大量实验结果表明,提出的模型优于现有方法.
基金项目
国家社会科学基金一般项目(22BXW081)
国家自然科学基金面上项目(G041401)
教育部人文社会科学研究青年基金(20YJC860040)
湖北省高等学校哲学社会科学研究重大项目(21ZD018)
武汉市科技局应用基础前沿项目(2020)(2020010 601012183)
湖北省高等学校实验室研究项目(HBSY2021-58)
中央高校基本科研业务费专项中南财经政法大学项目(202211411)
中央高校基本科研业务费专项中南财经政法大学项目(202151423)
中央高校基本科研业务费专项中南财经政法大学项目(202211415)
中央高校基本科研业务费专项中南财经政法大学项目(202211405)
NETL
NSTL
维普
万方数据