计算机研究与发展2023,Vol.60Issue(12) :2814-2831.DOI:10.7544/issn1000-1239.202220648

基于多路编码器和双重注意力的古画修复算法

Ancient Painting Inpainting Algorithm Based on Multi-Channel Encoder and Dual Attention

赵磊 吉柏言 邢卫 林怀忠 林志洁
计算机研究与发展2023,Vol.60Issue(12) :2814-2831.DOI:10.7544/issn1000-1239.202220648

基于多路编码器和双重注意力的古画修复算法

Ancient Painting Inpainting Algorithm Based on Multi-Channel Encoder and Dual Attention

赵磊 1吉柏言 1邢卫 1林怀忠 1林志洁2
扫码查看

作者信息

  • 1. 浙江大学计算机科学与技术学院 杭州 310027
  • 2. 浙江科技学院信息与电子工程学院 杭州 310023
  • 折叠

摘要

绘画是重要的文化艺术形式,数千年以来,我国古代产生了大量的绘画作品,包含有丰富的文化、艺术、科学与历史价值,但是由于自然灾害(地震)与自然风化以及人类越来越多的经济活动等种种原因导致部分绘画作品存在或多或少的残损或者大块缺失,严重影响了基于这些绘画作品的鉴赏、文化创意、文化传播等活动.与自然图像相比,古画图像的自相似性通常较高,有着明显的风格特点、丰富和细腻的纹理.尽管目前在自然图像上的修复技术已经取得了令人印象深刻的进展,但是这些算法还不能直接用于中国古画的修复.结合中国古画的特点对算法和模型结构进行设计,提出了基于多路编码器和双重注意力机制的中国古画修复算法,目标是对内容受损的古画进行自动化修复.为了能够较好地从多个尺度来修复古画,采用了多路编码器来学习古画不同尺度的语义特征,通过学习到的宏观、中观、微观的语义特征来对古画进行修复,解决了古画丰富和细腻的纹理修复困难问题.为了更好地学习古画的全局语义特征,使得修复后的古画整体更加和谐一致,采用了双重注意力模块分别从风格和内容 2个方面来学习古画的全局语义特征.为了验证提出的算法的先进性,制作了一个古画数据集,在该数据集上的实验证明,提出的算法相对于目前最先进的算法而言具有较好的修复质量.

关键词

绘画图像修复/多路编码器/双重注意力机制/风格表达/多尺度修复

Key words

painting image inpainting/multi-channel encoder/dual attention mechanism/style expression/multi-scale reatoration

引用本文复制引用

基金项目

浙江省尖兵计划项目(2022C01222)

国家重点研发计划项目(2020YFC1522704)

国家自然科学基金(62172365)

浙江省自然科学基金(LY21F020005)

浙江省自然科学基金(LY19F020049)

国家社科基金重大项目(19ZDA197)

浙江省文物保护科技项目(2019011)

石窟寺文物数字化保护国家文物局重点科研基地项目()

浙江大学教育部脑与脑机融合前沿科学中心项目(2021008)

出版年

2023
计算机研究与发展
中国科学院计算技术研究所 中国计算机学会

计算机研究与发展

CSTPCDCSCD北大核心
影响因子:2.649
ISSN:1000-1239
参考文献量1
段落导航相关论文