基于深度学习的图像增强综述(2)
【作者】网站采编
【关键词】
【摘要】实验结果如下: 本文提出的算法WESPE是一种弱监督的方式,因此它可以适用于任何户外的数据集,不需要成对的增强图像来训练,还用到的数据集有以下几
实验结果如下:
本文提出的算法WESPE是一种弱监督的方式,因此它可以适用于任何户外的数据集,不需要成对的增强图像来训练,还用到的数据集有以下几种:
总的来说,这篇文章最大的贡献是提出了这种弱监督的方式来增强低质量的图像,虽然它的PSNR和SSIM结果跟强监督的相比还存在一定的差距,但它的创新点还是很有借鉴意义的。
Deep Photo Enhancer: Unpaired Learning for Image Enhancement from Photographs with GANs
这是CVPR2018的一篇文章,作者首次提出了用GANs实现无监督的照片增强,但这里的无监督并不是完全不需要数据对,同上一篇论文一样,是指用到的数据集并不是在内容上一致的。本文中使用的two-way GAN与CycleGAN的结构相似,在MIT-Adobe 5K数据集上取得了较好的结果,超过了第一篇论文的方法。首先看一下two-way GAN与1-way GAN结构的差别:
图中(a)为标准的GAN, X代表源域, Y表示目标域,给定输入x,经过生成器Gx得到增强后的图像y', 判别器Dy用于区分增强后的图像y'和目标图像y。为了得到更好的结果,加强循环一致性,就提出了这种two-way GAN,
通常包含一个前向映射
和一个后向映射
。前向映射中,
先经过生成器Gx得到增强后的图像y', 得到y'后再经过一个生成器G'y映射到源域x', , 检查x与x”的一致性; 判别器区分y与y'。在反向过程中, y先经过生 成器Gy得到退化的图像x',
'再经过一个生成器G'x得到增强后的图y', 检查y与y'的一致性; 判别器区分x与x'。
GAN中的生成器Gx也就是最后的照片增强器,在U-Net的基础上加入全局特征,作者认为全局特征包含一些高维特征,如场景类别、目标类别、整体的光照条件等,有利于单个像素的局部调整。完整的网络结构如下:
文中作者对比了多种GAN方法,WGAN-GP效果最好,但它的表现依赖于梯度惩罚项的参数,因此作者提出了一种自适应的方法AWGAN(Adaptive WGAN),通过实验证明了将AWGAN扩展到2-way GAN中比1-way GAN效果更好。为了使生成器能适应不同的数据分布,使用独立的batch normalization层,也就是说除了批归一化层,其余所有的生成器共享相同的层和参数。
目标函数包含三部分损失,第一部分为恒等映射,保证输入图像x与增强后的图y内容相似,但因为是2-way GAN存在配对的映射y到x',定义为I:
第二部分为循环一致性损失C,定义为:
第三部分是生成对抗损失,判别器AD,生成器AG,定义为:
训练判别器时,加上梯度惩罚项P,
这一项满足了Wasserstein distance的1-Lipschitz约束。
最终要优化的为:
其中λ ?为使用AWGAN得到的自适应权重参数。
生成器损失优化下式得到:
本文中采用的数据集为MIT Adobe 5K,作者将它划分为三部分,第一部分为2250张图像及其对应的修饰后图像用于有监督的训练;第二部分是第一部分中2250张图像及另外的修饰后的图像,这样就保证了输入图像与输出图像内容上是不同的,用于无监督训练;第三部分500张图像用来测试。
最后的实验结果如下:
除了比较PSNR/SSIM,文中还采用了问卷调查的形式,其中HDR模型取得了最好的结果,从上面的图也可以看出它的效果比较好,色彩比较鲜艳,但该模型存在一定的局限性,一些用于训练的HDR图像是色调映射得到的,会产生光晕效应;若输入图像比较暗或包含噪声,本文的模型会放大噪声。此外,该模型还可以有一些其他应用,如图像分割、卧室图像合成等,取得了不错的效果。总的来说,这篇论文给我们提供了一种“无监督”做图像增强的方法,并且使用U-Net加入全局特征,自适应权重的WGAN和独立的BN层来学习具有用户期望特征的图像。
Classification-Driven Dynamic Image Enhancement
这是CVPR2018的一篇文章,基于分类的动态图像增强,这个论文首次将图像增强任务与分类结合起来,不同于现有的图像增强方法去评判增强后图像的感知质量,而是用分类结果的准确性来衡量图像增强的质量,在没有很好的评价指标的情况下,作者Vivek Sharma等人提出了这样的模型,让我们从high-level的角度来对图像进行增强,是一种创新和突破。
本文的主要贡献是联合优化一个CNN用于增强和分类,我们通过动态卷积自适应地增强图像中的特征来实现这一目标,使得CNN结构能够选择性地增强那些有助于提高图像分类的特征。网络的整体结构如下:
文章来源:《中国体视学与图像分析》 网址: http://www.zgtsxytxfx.cn/zonghexinwen/2021/0519/627.html