基于深度学习的图像增强综述(3)
【作者】网站采编
【关键词】
【摘要】给定一张输入图像,不是直接用CNN进行分类,而是先用WLS滤波器对图像细节进行增强,再对其进行分类,这样可以提高分类的可信度。本文的目标是学习一
给定一张输入图像,不是直接用CNN进行分类,而是先用WLS滤波器对图像细节进行增强,再对其进行分类,这样可以提高分类的可信度。本文的目标是学习一种动态图像增强网络来提高分类准确度,但不是近似特定的增强方法。为此,文中给出了三种CNN结构。
动态增强滤波器:
由图可知,对于一张输入的RGB图像I,先把它转化成亮度-色度(luminance-sschrominance)Y CbCr 彩色空间,增强算法用于RGB图像的亮度通道,可以使得过滤器修改整体色调属性和图像锐度,而不影响颜色。再加上色度通道的图像可以得到增强后的图像I',之后增强后的图像输入分类网络中进行分类。其中的目标图像作者采用了5种经典的方法对其进行增强,分别为:(1) weighted least squares (WLS) filter, (2) bilateral filter (BF), (3) image sharpening filter (Imsharp), (4) guided filter (GF) ,(5)histogram equalization (HistEq),均使用其默认参数。但在该模型中,每个数据集一次只使用其中一种增强方法,且对每一张输入图像,都动态得产生特定的滤波器参数。这里的卷积网络用了AlexNet,GoogleNet, VGG-VD, VGG-16和BN-Inception这五个模型进行测试,其中BN-Inception在分类中表现最好,因此在后续实验中作为默认结构。分类网络中的全连接层和分类层的参数均使用预训练好的网络微调得到。
该网络的loss有两部分组成,用于增强的MSE loss和用于分类的softmax loss,用SGD优化器联合优化这两部分损失,总的损失函数如下:
其中,MSE loss计算的是增强后的亮度图像与用传统方法增强后的目标图像的均方误差。a为分类网络中最后一个全连接层的输出,y为图像I的真实标签,C为分类数量。联合优化使得损失梯度可以从ClassNet中反向传播至EnhanceNet,来优化滤波器的参数。
静态滤波器:
在该结构中,静态滤波器由第一种结构中所有的动态滤波器的平均得到,每个滤波器的权重相等,均为1/K=0.2(K=5);同时,由于增强后的图像可能比原始图像效果还差,因此这边使用一个恒等滤波器来产生一张原始图像,再将它们与色度图像相加得到增强后的RGB图像以及它们的权重,这个权重表明增强方法对输入图像的重要性。在分类网络中,输入为5种方法增强后的图像和原始图像及其对应权重和标签,输出为图像类别。和第一种方法一样,分类网络中的全连接层和分类层的参数均使用预训练好的网络微调得到。
这里的损失为权值与softmax损失的加权和,带权重的loss可写成如下形式:
其中,K=5,前K个权重相等,均为0.2,第K+1个原始RGB图像的权重设为1.
多动态滤波器:
这个网络结构与第一种结构比较相似,针对每种增强方法使用K个增强网络动态地产生K个滤波器,不同于第二种方法中取相同的权重,这里的权值根据均方误差来决定,增强后的图像误差越小,则权重越大,其计算公式如下:
同样,这边也加入恒等滤波器得到原始图像,且权值为1。其损失函数在第二种结构的基础上加入MSE来联合优化这K个增强网络,公式如下:
通过这种方式来训练网络可以使这些滤波器更好地增强图像的结构,以便于提高图像的准确率。
实验结果如下:
总的来说,本文提出了一种CNN结构能效仿一系列的增强滤波器,通过端到端的学习来提高图像分类,由于一般的图像增强方法没有评判标准,所以将图像增强与分类任务结合起来,以提高图像分类正确率作为图像增强的标准,更具有实际意义。但这种方法存在一些问题,文中使用五种传统的增强方法来得到目标图像,所以增强网络学习到的结果最好也是接近这几种方法的结果,且文中没有具体研究这些增强后的图像,所以不知道它的效果到底如何,只能说明有助于图像的分类。
Range Scaling Global U-Net for Perceptual Image Enhancement on Mobile Devices
这是ECCV-PIRM2018(Perceptual Image Enhancement on Smartphones Challenge)挑战赛中,图像增强任务第一名的论文,主要用于处理手机等小型移动设备上的图像增强。现有的图像增强方法在亮度、颜色、对比度、细节、噪声抑制等方面对低质量图像进行了改进,但由于移动设备处理速度慢、内存消耗大,很少能解决感知图像增强的问题,已有的一些方法也很难直接迁移到手机上使用。移动设备上的感知图像增强,尤其是智能手机,最近引起了越来越多的工业界和学术圈兴趣,因此本文提出了一个尺度缩放的全局U-Net网络(Range Scaling Global U-Net,RSGUNet)用于移动设备上的图像增强。
文章来源:《中国体视学与图像分析》 网址: http://www.zgtsxytxfx.cn/zonghexinwen/2021/0519/627.html