基于改进CycleGAN的图像高光处理方法与流程

基于改进cyclegan的图像高光处理方法
技术领域：
1.本发明涉及图像生成处理技术领域，尤其涉及一种基于深度神经网络的生成对抗网络，该网络在含高光溢出的图像上进行目标检测并重新生成区域以去除图像高光的方法。


背景技术：

2.高光溢出是一种常见的影响图像质量现象，通常出现在光照强烈或者物体表面较光滑的情况下。
3.传统上通常使用色彩变换或者改进光照模型来处理高光区域。如高新如
1.提出通过双色反射模型来分离图像的镜面反射和漫反射，利用图像处理技术来去除其中的镜面反射分量从而达到去高光的效果；芦彦欣根据双色反射模型进行改进，提出了基于饱和与非饱和区分不同高光区域的修复方法，该方法针对小面积区域且为金属器件的处理效果较好，缺乏通用性；barron提出快速傅里叶颜色恒定性算法，实现了对一些固定场景中精确对高光区域进行去高光处理，但是在变化场景适应性不够。
4.此外还有多视角特征匹配的高光去除方法，通过对同一物体多视角的图像，进行特征匹配实现高光去除，限制性较大，难以对单一图像进行高光去除.。近年来深度学习技术被部分学者入到光照处理中。ma wei提出一种新的多尺度双重识别网络，并采用生成对抗网络来对图像进行处理，有效改善图像亮度。该方法处理的是图像整体，调整亮度的同时，其他原本亮度信息正常的区域可能在处理过后出现过暗或过亮的情况，不适合对存在局部高光图像进行处理。此外，基于神经网络的图像风格迁移的出现后，图像风格迁移得到了迅速发展，尤其是cyclegan面世后，不仅是风格迁移还有人体方面的姿态迁移也得到了迅速的发展，风格迁移类型更加多元化。


技术实现要素：

5.本发明的目的是克服传统图像高光处理技术的不足，结合传统图像处理方法与生成对抗网络，提出一种基于改进cyclegan的图像高光处理方法——hr-cyclegan(highlight reduction-cyclegan)网络。本发明主要解决了以下问题，一、如何更好的定位图像中的高光区域；二、如何更好的改善图像高光溢出效果；三、如何对图像高光区域的纹理色彩等信息做出更好的修复。
6.为了解决定位图像中的高光区域问题，本发明提出hr-cyclegan网络进行图像高光处理，所述方法通过目标检测网络识别图像中的人脸区域，并通过模糊逻辑来确定图像中的高光位置。模糊逻辑的引入使得图像中高光区域的定位更加准确。此外，引入cyclegan网络，利用风格迁移的方式对图像高光进行处理，能更好的处理图像中高光与细节，并且处理后高光区与周围区域的过渡更加自然。所述方法包括获取人脸图像数据集作为初始数据集，数据集需要经过目标检测并计算平均亮度之后进行分类，分为含高光和不含高光两类。图像预处理则需要将数据集中的数据经过传统图像处理方法进行尺寸修改并通过模糊逻
辑定位高光溢出位置；然后将处理后的图像数据两两传入hr-cyclegan网络中进行迭代训练。
7.所述对数据集进行分类具体为：
8.使用目标检测网络识别图像中的人脸区域，并计算检测区域内的平均亮度l，将平均亮度值传入s型隶属度函数判断图像中是否含高光区域，并以此划分数据集。其中s型隶属度函数为：
[0009][0010]
x表示连读通道中的亮度值，a、b、c是函数s的参数，a、c是亮度通道的取值范围，b表示划分为亮度区域的渡越点，本发明中取平均值亮度值l。
[0011]
所述图像预处理具体为：
[0012]
将图像重新定义为256
×
256
×
3大小的图像，并使用目标检测网路定位图像中的眼睛、鼻子、嘴巴以及通过模糊逻辑定位的高光区域，即额头、脸颊处。该部分需要记录各个标志点的详细位置，在后续的训练网络中用于损失函数计算。
[0013]
所述改进后的cyclegan网络具体为：
[0014]
网络中主要包含两个生成器和两个全局判别器，两个生成器分别表示两个映射，一个是使得带高光的图像y转换为无高光溢出的图像的映射另一个是φ
x
的逆过程φy，将无高光溢出的图像转换为带高光的图像，其中x表示无高光溢出的图像，y表示待处理的含高光溢出图像。生成器网络部分编码器、转换器、解码器三个部分组成。在高光去除网络中首先通过上采样获取图像的高光信息编码以及图像内容信息编码两者在生成器作用下生成图像无高光溢出的图像然后，通过反向传播来对该网络进行训练，使损失函数最小化，并使用输入和输出对组成的数据集进行训练。判别器网络由全局判别器和局部判别器组成。全局判别器网络由四个卷积层和一个全连接层组成。前四层卷积完成特征提取，最后一个卷积实现判别图像真假。局部判别器则选用自定义的网络模型，局部判别器的输入为脸部标记区域——额头、鼻子、脸颊、眼睛等区域。全连接层则是标准的神经网络层。所有的生成图像均保持原有图像的特性，即使映射φ
x
生成的图像通过映射φy可以恢复为原图像，保障其循环一致性。
[0015]
本发明的有益效果：
[0016]
像进行去高光处理。本方法提高了图像恢复的细节精度、高光区域与周围区本发明通过目标检测与模糊逻辑相结合对图像高光区域进行检测定位，然后通过改进后的cyclegan对图域的过渡性，能更加有效的提高图像识别、图像检测的精确度、提高算法的适用性。
附图说明：
[0017]
图1是s型隶属度函数曲线示意图。
[0018]
图2是高光区域定位流程意图。
[0019]
图3是本模型中高光去除部分整体结构示意图。
[0020]
图4是本模型中高光去除网络结构示意图。
[0021]
图5是本模型中局部判别器的结构示意图。
具体实施方式：
[0022]
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图1是本发明
[0023]
划分高光区域这一模块中，模糊逻辑所使用的隶属度函数曲线图，该函数表达式为在该式中，x表示连读通道中的亮度值，a、b、c是函数s的参数，a、c是亮度通道的取值范围，b表示划分为亮度区域的渡越点，a、b、c的位置如图1所示。渡越点取中点。使用该函数作为隶属度函数的优点在于能较好的区分出高光位置，不会把导致大面积非高光区域被划分到高光范围内。准确的划分范围对后期图像修复的效果具有正向作用。图2是本发明进行目标检测并界定高光区域的流程示意图。如图2所示，本发明中选用了hsv模型来对图像进行处理。hsv 是一种直观的颜色模型，它将颜色与强度分隔开的程度较其他模型更多，这对于图像高光区域的划分有很大的优势。首先将图片格式转换为hsv(hue, saturation,value)模型，将图片的三通道进行分离，对分离出来的亮度通道(v 通道)进行模糊逻辑处理，图像传入模糊逻辑程序中后，使用上文中的s型隶属度函数对图像目标检测区域进行处理，获取其中含高光溢出区域的位置信息。图3是本发明整个网络结构中关于高光去除部分的结构图，并不是完整结构图，如图3所示真实图像与生成图像均需要经过判别器进行判断，改网络是一个循环网络，g
x
生成的图像可以通过gy逆向生成回到x状态，图3中仅仅绘制了整个网络一半的结构，图中将gy部分的内容进行了省略，判别器部分仅用dy来表示全部判别器。
[0024]
图4显示了本发明中高光去除部分的结构：
[0025]
高光去除部分中，表示图像x的亮度信息编码，表示图像y的内容信息编码，经过生成器g(x)将带高光的图像转换为不带高光的图片，这一过程代表的是映射φ
x
，加入跳跃连接使得在生成器能捕获跟多细节，提高生成器产生的图像质量。在高光去除网络中，亮度信息变化这一过程中，图像y的高光信息变换目标式可以表示为：
[0026][0027]
其中σ
x
、σy表示图像亮度信息的标准差，μ
x
、μy表示图像的亮度均值，l
x
表示无高光图像的亮度信息，l
′y表示带高光图像的目标亮度信息。
[0028]
判别器网络部分如图5所示，关于判别器部分的内容具体如下：
[0029]
判别器网络部分包含多个判别器，其中包含对图像真实性的判断、图像亮度信息的判断以及图像局部细节的判断。由于cyclegan网络的特殊性，映射φ
x
实际上就是生成网络g(x)，映射φy就是cyclegan中的g(y),即对于图像的生成包含两个部分，因此判别器的网络也包含两部分，判别器d(x)用于区分数据集中的x和g(y)进行区分，而d(y)则是将数据集中的y与g(x)进行区分。全局判别器的损失函数可以表示为：
[0030][0031][0032]
全局范围内的判别器损失函数可以表达为
[0033]
为了提高高光去除后图像的质量，该网络采用了多个局部标志符，使得图像的细节更加丰富。在人脸易出现高光的区域设置了界定区域，例如额头、鼻子、脸颊。这些界标一方面可以提高面部高光修复的能力，提高图像的高光处理的准确性能，另一方面可以避免其他脸部重要信息被篡改，例如瞳色、唇色等。在界定位置设置了一组其中i＝1,2,
…
i，并传入判别器中进行鉴别，通过对成对数据的计算，并将损失不断传入生成网络中对网络进行调整，最终达到去除高光的效果。在判别器网络中的区域i的损失函数表现为：
[0034][0035]
其中表示界定位置区域的部分，表示生成图像的界定位置区域部分。
[0036]
此外，本发明中还加入了信息损失函数l
info
，该损失函数将控制图像处理前后的亮度信息变化以及图像编码信息变化，并尽可能的提高生成图像在网络中的一致性。根据cyclegan的网络特点，gy(g
x
(x))应该与x保持一致，同理 g
x
(gy(y))也应当与y保持一致，因此l
info
表示为：
[0037]
关于图像处理前后的高光亮度信息损失函数表现为
[0038]
最终损失函数的表达式为：
[0039][0040]
其中λ
info
和λ
l
表示不同损失的权重。
[0041]
本模型操作部署方式如下：
[0042]
在生成对抗网络的训练开始之前为了保证实验的稳定性，需要对数据集图像进行
统一预处理。本实验中通过预处理将实验图片处理为256
×
256
×
3的规格。对传入网络中的图片需要通过目标检测和模糊逻辑进行处理，图像中的人脸关键区域经过目标检测和模糊逻辑处理后，定位其关键区域——眼睛、鼻子、嘴巴、额头、脸颊等。一组相互映射的生成器不断处理图片，两个映射分别对应两个全局判别器。全局判别器鉴定输入图像的真实性、完整性，局部鉴别器鉴别各个高光区域以及人脸关键区域的真实性以及亮度信息处理状况。多个局部判别器的引入能在很大程度上能提高图像生成质量以及细节丰富度，同时降低生成区域边界断层、不连续等图像局部区域过渡不自然的情况。