基于深度学习的图像增强综述(5)
【作者】网站采编
【关键词】
【摘要】先来看一下Demux和Mux layer,结构如下: Mux layer类似于pixel shuffling layer,能直接处理feature map产生一个新的feature map,可以直接在卷积神经网络中当成一个上
先来看一下Demux和Mux layer,结构如下:
Mux layer类似于pixel shuffling layer,能直接处理feature map产生一个新的feature map,可以直接在卷积神经网络中当成一个上采样层。Mux先把输入分为几个小组,每组四个feature map,按上述规则重新排列,输出的feature map长宽分别为输入的两倍,数量为输入的1/4。Demux可以看成网络中的下采样操作,是Mux的逆过程,其feature map数量是输入的4倍,长宽分别为输入的1/2。标准的下采样操作如max pooling, average pooling, strided convolutional 是不可逆的,但本文中提出的这种方式没有改变任何像素值,即没有丢失输入信息,这是提高深度学习模型性能的关键之一。
本文的网络结构包含一个生成器和一个判别器,判别器和DPED中的结构一样,生成器有两种不同的结构,如下:
从图2中可以看出,生成器处理三种分辨率,输入一张RGB图像先经过下采样,为了生成高频细节和高感知质量的图像,每次下采样后引入噪声通道,然后输入到DenseBlock进行处理,再经过一次相同的操作,之后两次上采样得到输出的RGB图像,在每个卷积层后使用instance normalization来调整feature map的全局参数。图3中,直接对输入图像做两次下采样操作,得到的feature map比较小,可以减少计算复杂性且提高模型性能。图4判别器网络包含五个卷积层,每个接着一个LeakyReLU和BN,第1,2,5个卷积层的步长分别为4,2,2。
Loss函数在DPED的基础上引入了一个加权的L1 loss,如下:
分别计算R,G,B三个通道的L1损失,参数使用的是YUV色彩空间转换的系数。
还有和一个上下文损失(Contextual Loss),如下:
其中CXij表示两个特征之间的相似性,定义为:
Dij表示xi, yi之间的余弦距离,eps=0.00001, h>0为带宽系数,最终的上下文损失为:
DPED中的4个损失函数分别如下:
总的损失为:
系数分别为:5000,10,10,0.5,2000。
在DPED上的实验结果如下:
在衡量图像的PSNR和SSIM之外,本文还引入了一种新的评价机制NIQE。Natural Image Quality Evaluator(NIQE)是一种盲图像质量指数,它基于一组已知的统计特征,这些特征对自然图像遵循多元高斯分布。它可以在没有任何参考图像的情况下量化自然或真实图像的外观,提供类似于人类评估的感知质量指数。其值越小,则表示图像感知质量越好,可以看到本文的结果所得的NIQE最低。
可视化结果如下:
从图中可以看出,DPED的结果局部过亮,本文中的方法比其他方法更能平衡对比度和细节,得到高质量的感知图像。但也存在局限性,当输入图像过亮或者曝光过度的时候就很难成功转化为高质量图像,这可能是数据集的影响,DPED中只包含低亮度的图像,因此可以在训练中加入一些自适应和扩展的数据集。
总的来说,本文提出了新的上采样和下采样操作,引入了两个新的损失函数和NIQE这个评价机制,并在实验中加入噪声通道,可以有效提高图像感知质量,在低分辨率下处理图像,也使得模型复杂度大大降低,适用于手机等移动设备。
本文亮点总结
1.色彩损失用于衡量增强后图像与目标图像的色彩差异,对图像先做高斯模糊再计算它们的欧式距离,这样的好处是可以消除纹理和内容的影响来评估两图像间的亮度、对比度和主要颜色差异
2.Natural Image Quality Evaluator(NIQE)是一种盲图像质量指数,它基于一组已知的统计特征,这些特征对自然图像遵循多元高斯分布。它可以在没有任何参考图像的情况下量化自然或真实图像的外观,提供类似于人类评估的感知质量指数。
文章来源:《中国体视学与图像分析》 网址: http://www.zgtsxytxfx.cn/zonghexinwen/2021/0519/627.html