首页|自适应多任务学习的自动艺术分析

自适应多任务学习的自动艺术分析

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
目的 艺术品数字化为从计算机视觉角度对艺术品研究提供了巨大机会.为更好地为数字艺术品博物馆提供艺术作品分类和艺术检索功能,使人们深入理解艺术品内涵,弘扬传统文化,促进文化遗产保护,本文将多任务学习引入自动艺术分析任务,基于贝叶斯理论提出一种原创性的自适应多任务学习方法.方法 基于层次贝叶斯理论利用各任务之间的相关性引入任务簇约束损失函数模型.依据贝叶斯建模方法,通过最大化不确定性的高斯似然构造多任务损失函数,最终构建了一种自适应多任务学习模型.这种自适应多任务学习模型能够很便利地扩展至任意同类学习任务,相比其他最新模型能够更好地提升学习的性能,取得更佳的分析效果.结果 本文方法解决了多任务学习中每个任务损失之间相对权重难以决策这一难题,能够自动决策损失函数的权重.为了评估本文方法的性能,在多模态艺术语义理解SemArt数据库上进行艺术作品分类以及跨模态艺术检索实验.艺术作品分类实验结果表明,本文方法相比于固定权重的多任务学习方法,在"时间范围"属性上提升了4.43％,同时本文方法的效果也优于自动确定损失权重的现有方法.跨模态艺术检索实验结果也表明,与使用"作者"属性的最新的基于知识图谱模型相比较,本文方法的改进幅度为9.91％,性能与分类的结果一致.结论 本文方法可以在多任务学习框架内自适应地学习每个任务的权重,与目前流行的方法相比能显著提高自动艺术分析任务的性能.
Automatic art analysis based on adaptive multi-task learning

杨冰、向学勤、孔万增、施妍、姚金良

展开 >

杭州电子科技大学计算机学院,杭州 310018

杭州凌感科技有限公司,杭州 310051

浙江省脑机协同智能重点实验室,杭州 310018

杭州电子科技大学人文艺术与数字媒体学院,杭州 310018

展开 >

自动艺术分析 自适应多任务学习 贝叶斯理论 艺术分类 跨模态艺术检索

国家自然科学基金国家自然科学基金浙江省基础公益研究计划浙江省重点研发计划浙江省脑机协同智能重点实验室项目

61633010U1909202LGG22F0200272020C040092020E10010

2022

中国图象图形学报
中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心
影响因子：1.111
ISSN：1006-8961
年,卷(期)：2022.27(4)
  • 3