Dual image degradation repair network based on adaptive multifeature fusion

Abstract

摘要 当前图像修复方法大多局限于处理某个单一特定任务,比如:超分辨率、去噪、着色等,很少有网络模型同时具备处理双重退化的能力.而现存可以解决多重图像退化问题的算法普遍结构复杂、训练时间长、人力成本较大.本文提出一种基于自适应多特征融合的双重图像退化修复网络——AMFNet(Adaptive Multi-Feature Fusion Dual Degradation Restoration Network),利用自引导模块(SGM)融合图像的多尺度信息,有效去除了图像中的部分缺陷;使用带有空洞卷积的编码解码器模块巩固图像的语义信息,实现了中间图像的着色;引入带有自适应多特征融合模块(AMF)的中间信息传输机制(ITM)链接以上两大结构,自适应选择保留网络递进过程的图像特征以避免有用信息的丢失.实验结果表明,基于自适应多特征融合的双重图像退化修复网络模型视觉生成效果最优,通过在CelebA和Landscape数据集上的测试分析,其结构相似度(SSIM)与感知图像补丁相似度(LPIPS)优于同类方法,而峰值信噪比(PSNR)则远超同类方法高达5dB.