重庆理工大学学报(自然科学) ›› 2024, Vol. 38 ›› Issue (11): 129-137.

• 信息·计算机 • 上一篇    下一篇

面向图像修复的注意力协同调制对抗网络

章勇勤,李若彤,杜林格,苏静怡   

  1. 1.郑州大学 考古与文化遗产学院,郑州 450001; 2.西北大学 信息科学与技术学院,西安 710127; 3.东北大学秦皇岛分校 计算机与通信工程学院,河北 秦皇岛 066004
  • 发布日期:2024-12-31
  • 作者简介:章勇勤,男,博士,教授,主要从事机器学习、图像图形处理、数字文化遗产研究,Email:zhangyongqin@nwu.edu.cn

  • Published:2024-12-31

摘要: 以往的虚拟修复方法在不伤害壁画本体的前提下取得了令人瞩目的结果,但存在已知破损区域位置的假设,而现实中破损区域是未知的且难以准确获取。对于含有复杂结构的破损区域,现有图像修复方法会产生严重的伪影失真。为解决这个问题,提出了一种基于注意力协同调制对抗网络的古代壁画图像盲修复模型。该模型包括破损检测和孔洞修复 2个阶段,在破损检测阶段,设计了多路径注意力模块,联合区域候选网络和预测分支模块,估计破损区域的位置掩模;在孔洞修复阶段,采用了融入门控卷积的协同调制生成对抗网络修复破损区域。在古代壁画数据集上进行实验,并与最新的 4种方法进行了比较,AP值比性能第二的破损检测模型提高了 15%,FID值比性能第二的孔洞修复模型降低了 4.6%。实验结果证明:所提方法改善了壁画图像修复结果,在定性和定量评估上超过现有流行方法,能够准确检测古代壁画破损区域的位置掩模,生成高逼真的壁画图像修复结果。

关键词: 图像补全;深度学习;对抗网络;古代壁画;颜料脱落

中图分类号: 

  • TP391.4