白平衡校正方法、装置、设备和存储介质与流程

1.本发明实施例涉及互联网技术领域，尤其涉及一种白平衡校正方法、装置、 设备和存储介质。


背景技术：

2.自然界中，物体所呈现的颜色会随着所在环境光源的变化而变化，对于人 类而言，即使光源有所改变但是眼睛对于色彩的感知并没有受到很大影响。这 是由于大脑对物体的颜色具有一定的先验知识，能从某些变化的光源下察觉物 体固有的颜色。而摄像机本身不具备人眼的这种特殊功能，其在不同光源下拍 摄图像时会受到光源颜色的影响，因此需要对摄像机获取的图像做白平衡校正 处理。
3.目前，常用的白平衡校正算法是基于统计的方法。即在某种假设下，通过 统计场景图像自身的颜色特征来估计出环境光源。例如常见的灰度世界法、完 美反射法等，这类方法原理简单、易于实现，但由于基于的假设性太强，导致 使用场景受限。基于统计的方法普遍存在假设性较强，自适应能力差的缺点。


技术实现要素：

4.本发明实施例提供一种白平衡校正方法、装置、设备和存储介质，以提高 白平衡校正的自适应性，进而提高校正结果的准确性。
5.第一方面，本发明实施例提供了一种白平衡校正方法，包括：
6.将待校正图像输入到预先训练的无色差点模型中，得到所述待校正图像的 无色差点权重图；
7.根据所述无色差点权重图确定所述待校正图像的光照颜色参数；
8.根据所述光照颜色参数对所述待校正图像进行白平衡校正，得到校正图像。
9.第二方面，本发明实施例还提供了一种白平衡校正装置，包括：
10.权重图确定模块，用于将待校正图像输入到预先训练的无色差点模型中， 得到所述待校正图像的无色差点权重图；
11.光照颜色确定模块，用于根据所述无色差点权重图确定所述待校正图像的 光照颜色参数；
12.白平衡校正模块，用于根据所述光照颜色参数对所述待校正图像进行白平 衡校正，得到校正图像。
13.第三方面，本发明实施例还提供了一种设备，包括：
14.一个或多个处理器；
15.存储装置，用于存储一个或多个程序，
16.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多 个处理器实现如本发明任一实施例所述的白平衡校正方法。
17.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有 计算机
程序，该程序被处理器执行时实现如本发明任一实施例所述的白平衡校 正方法。
18.本发明实施例基于预先训练的无色差点模型确定待校正图像的无色差点权 重图，根据无色差点权重图得到待校正图像的光照颜色，最后根据光照颜色进 行白平衡校正，实现对待校正图像的白平衡校正。本发明实施例的白平衡校正 方法不对待校正图像的场景进行限制，能够提高白平衡校正的自适应性，提高 图像校正结果的准确度。
附图说明
19.图1是本发明实施例一中的白平衡校正方法的流程图；
20.图2a是本发明实施例二中的无色差点模型训练过程的流程图；
21.图2b是本发明实施例二中的预先构建的网络架构对输入图像的处理流程 示意图；
22.图3是本发明实施例三中的无色差点模型训练过程的流程图；
23.图4是本发明实施例四中的白平衡校正装置的结构示意图；
24.图5是本发明实施例五中的设备的结构示意图。
具体实施方式
25.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此 处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需 要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结 构。
26.实施例一
27.图1是本发明实施例一中的白平衡校正方法的流程图，本实施例可适用于 对摄像机获取的图像进行白平衡校正处理的情况。该方法可以由白平衡校正装 置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置在设备中，例 如设备可以是后台服务器等具有通信和计算能力的设备。如图1所示，该方法 具体包括：
28.步骤101、将待校正图像输入到预先训练的无色差点模型中，得到待校正 图像的无色差点权重图。
29.其中，待校正图像是指摄像机所拍摄图像受不同环境光源的影响导致物体 所呈现的颜色发生变化。想要克服这种变化，需要对待校正图像进行白平衡校 正，白平衡校正是通过对待校正图像中环境光源因素对物体颜色造成的影响进 行估计，从而将受环境光源影响下的图像转换到某个经典光源之下，使待校正 图像的颜色还原到目的光源下，将待校正图像中的物体颜色还原为该物体的固 有颜色，即使得待校正图像进行白平衡校正后的物体颜色与人眼感知的颜色相 同或者相近。
30.无色差点是指图像中在标准白色光源下的灰色点，通过无色差点可以对待 校正图像中环境光源因素进行确定。无色差点模型是预先训练的可以对待校正 图像中的无色差点特征进行提取的网络模型，用于检测图像中的无色差点，该 模型的输入为待校正图像，输出即为待校正图像中无色差点的特征表示，示例 性的，输出可以为待校正图像的无色差点权重图。无色差点权重图是指待校正 图像中每个像素点为无色差点的概率表示图，示例性的，无色差点权重图与待 校正图像具有相同的大小，在无色差点权重图中每一个像素点的值为待校正图 像中所对应的点为无色差点的概率，例如无色差权重图中的每一点
的值的取值 范围为0到255，或者将其值归一化为在0到1范围内，可以根据具体情况进 行设置，在此不作限制。
31.具体的，预先训练可以对图像中无色差点特征进行提取的无色差点模型， 将待校正图像作为无色差点模型的输入，通过模型对待校正图像中无色差点特 征进行识别，得到模型的输出为与待校正图像对应的无色差点权重图。示例性 的，通过无色差点模型得到待校正图像中每一像素点为无色差点的概率值，并 按照像素点的序号形成无色差点权重图，使得权重图中每一点与待校正图像相 对应。
32.步骤102、根据无色差点权重图确定待校正图像的光照颜色参数。
33.其中，光照颜色参数用于对待校正图像拍摄时的环境光源给物体颜色带来 的影响进行确定。例如，对于某物体的固有颜色是白色，即在标准白色光源下 拍摄得到的该物体的颜色是白色，若在某光源下对该物体拍摄得到的颜色是红 色，则表示待校正图像的光照颜色为红色，光照颜色参数可以根据红色的具体 信息进行确定。
34.由于无色差点是标准白色光源下的灰色的点，因此通过待校正图像中的无 色差点可以对光照颜色进行确定，示例性的，通过无色差点权重图可以对待校 正图像中各无色差点进行确定，进而确定待校正图像拍摄时的光照颜色参数， 例如，光照颜色参数从一方面表示了环境光源的颜色，因此可以通过颜色的三 刺激值分别对光照颜色进行表示。
35.在一个可选的实施例中，通过如下公式确定光照颜色参数e＝[r,g,b]：
[0036][0037][0038][0039]
其中，其中，ω(x,y)为根据无色差点权重图确定的(x,y)像素点处的 无色差点权重值，σω(x,y)为无色差点权重图的权重和，fr(x,y)为待校正图像 中在(x,y)像素点处的r通道值，fg(x,y)为待校正图像中在(x,y)像素点处的g通 道值，fb(x,y)为待校正图像中在(x,y)像素点处的b通道值。
[0040]
具体的，以8bit精度的rgb格式图像f(x)为输入，得到f(x)的无色差点权 重图为ω，将待校正图像f(x)的光照颜色设置为e，利用颜色的三刺激值[r,g,b]对 e进行表示。
[0041]
其中，光照颜色参数中的r表示了待校正图像在r通道上的无色差点带来 的影响；光照颜色参数中的g表示了待校正图像在g通道上的无色差点带来的 影响；光照颜色参数中的b表示了待校正图像在b通道上的无色差点带来的影 响。
[0042]
确定待校正图像f(x)的三通道值fr(x,y)、fg(x,y)和fb(x,y)，将每个通道上 各像
素点的像素值与无色差点权重图中对应的该点的无色差点权重相乘并求和， 得到待校正图像各通道的无色差点权重和，并将各通道的无色差点权重和与无 色差点权重图中的权重和之比作为各通道的无色差点对图像的影响程度表示， 最后根据每个通道的无色差点影响程度占三个通道的比重确定光照颜色参数。
[0043]
通过无色差点权重图和待校正图像的图像信息确定光照颜色参数，利用了 图像的原始信息进行确定，对于不同光照环境下的场景均适用，因此提高了光 照颜色估计的准确度，避免出现某些场景对光源颜色估计偏差的现象。
[0044]
步骤103、根据光照颜色参数对待校正图像进行白平衡校正，得到校正图 像。
[0045]
确定光照颜色参数后，可以对光照颜色给物体固有颜色带来的影响进行确 定，因此通过确定的光照颜色参数可以实现对该影响的消除，进而实现白平衡 校正。
[0046]
示例性的，根据光照颜色参数得到光照在各个通道上的增益值，例如通过 如下公式确定各个通道的增益值，如红色增益、蓝色增益和绿色增益，
[0047][0048]
其中，rgain是指红色增益，ggain是指蓝色增益，bgain是指绿色增益， 通过对三个通道上光照颜色带来的影响进行确定，进而实现影响消除操作。
[0049]
在一个可选的实施例中，通过如下公式确定校正图像：
[0050][0051]
其中，whiter(x,y)为校正图像中在(x,y)像素点处的r通道值，whiteg(x,y)为 校正图像中在(x,y)像素点处的g通道值，whiteb(x,y)为校正图像中在(x,y)像素 点处的b通道值。
[0052]
在上述示例的基础上，确定各通道的增益后，通过公式 可以消除通道增益给各通道像素值带来的颜色误差， 进而实现对颜色误差的消除。例如，待校正图像的各通道像素值与对应通道上 的光照颜色参数值之商为白平衡校正后的该通道上的像素值，以此实现对待校 正图像的白平衡校正。
[0053]
本发明实施例基于预先训练的无色差点模型确定待校正图像的无色差点权 重图，根据无色差点权重图得到待校正图像的光照颜色，最后根据光照颜色进 行白平衡校正，实现对待校正图像的白平衡校正。本发明实施例的白平衡校正 方法不对待校正图像的场景进行限制，能够提高白平衡校正的自适应性，提高 图像校正结果的准确度。
[0054]
实施例二
[0055]
图2a是本发明实施例二中的无色差点模型训练过程的流程图，本实施例 二对实施例一中无色差点模型的预先训练过程进行进一步的说明。如图2a所 示，训练过程包括：
[0056]
步骤201、获取训练样本集彩色图像。
[0057]
其中，由于只有彩色图像中才具备光照颜色确定所需的颜色信息，因此对 于本发明实施例中的训练样本均采用彩色图像，并且训练样本集中彩色图像需 要尽可能覆盖更多的场景以及光源类型，以保证无色差点特征提取的准确性和 普适性。
[0058]
由于各种格式的彩色图像之间可以通过颜色空间转换，对于彩色图像的格 式并不作限制，例如本发明实施例中的训练样本集及待校正图像的格式为rgb 格式，当输入的彩色图像非rgb格式，如yuv或其他格式，通过线性或非线 性的颜色空间转换得到rgb格式的图像。以及对于训练样本集中彩色图像的真 实光源标记不作限制，即训练样本集中可以是带有标签光照颜色参数的彩色图 像，也可以是不带有标签光照颜色参数的彩色图像。
[0059]
步骤202、通过预先构建的网络确定训练样本集彩色图像的样本无色差点 权重图。
[0060]
预先构建的网络具备提取图像中无色差点特征的能力。
[0061]
在一个可选的实施例中，预先构建的网络中至少包括卷积层、激活函数层、 池化层以及反卷积层，以使得输入训练样本集彩色图像和输出样本无色差点权 重图具有相同分辨率。
[0062]
具体的，通过卷积层激活函数层以及池化层对图像的特征数据进行提取， 并且为了使得输入训练样本集彩色图像和输出样本无色差点权重图具有相同分 辨率，通过设置反卷积层对特征数据进行处理。
[0063]
示例性的，以8bit精度大小为227*227的rgb格式图像作为网络的输入， 搭建全卷积神经网络结构预测输入图像的无色差权重图。网络输入层为 227*227*3的图像，如图2b所示，预先构建的网络架构对输入图像的处理流程 示意图如下所示：
[0064]
(1)经过第一层卷积层、激活函数relu处理，输入图像数据尺寸不变；再 经过最大池化层处理，得到池化后的特征数据尺寸为27*27*96；
[0065]
(2)经过第二层卷积层、激活函数relu处理后，图像数据尺寸不变；再经 过最大池化层处理，得到池化后的特征数据尺寸为13*13*256；
[0066]
(3)经过第三层卷积层、激活函数relu处理后，得到输出特征数据尺寸为 13*13*384；
[0067]
(4)经过第四层卷积层、激活函数relu处理后，数据尺寸不变；再经过最 大池化层处理，得到池化后的特征数据尺寸为6*6*256；
[0068]
(5)经过第五层卷积层、激活函数relu处理后，得到输出特征数据尺寸为 6*6*4096；
[0069]
(6)经过第六层卷积层、激活函数relu处理后，得到输出特征数据尺寸为 6*6*21；
[0070]
(7)经过第一层反卷积层和激活函数relu处理后，得到输出特征数据尺寸 为13*13*21；
[0071]
(8)经过第二层反卷积层和激活函数relu处理后，得到输出特征数据尺寸 为227*227*21；取中21维数据对应位置的最大值，最终得到227*227*1的无 色差点权重图。
[0072]
上述网络结构仅仅是本发明的一个实施例，本发明并不对网络的具体结构 进行限制，对于预先构建的网络只要具备如下特点：可以对输入的彩色图像进 行处理；通过卷积层所提取的特征为图像中无色差点的特征；实现网络输出为 无色差点权重图；且通过设
置卷积层和反卷积层的数量以保证输入图像和输出 图像的大小相同；并且对于本发明实施例中预先构建的网络输入不对图像大小 进行限制。
[0073]
步骤203、根据样本无色差点权重图确定训练样本集彩色图像的样本光照 颜色参数。
[0074]
具体的，参照上述实施例中步骤102的方法确定样本光照颜色参数，在此 不作赘述。
[0075]
步骤204、根据样本光照颜色参数确定训练样本集彩色图像的样本校正图 像。
[0076]
具体的，参照上述实施例中步骤103的方法确定样本校正图像，在此不作 赘述
[0077]
步骤205、根据样本校正图像的图像信息和样本无色差点权重图，对无色 差点模型进行反向传播，以优化网络中的参数。
[0078]
根据样本校正图像的图像信息和样本无色差点权重图确定样本校正图像中 无色差点的误差，通过无色差点的误差对样本校正图像的校正误差进行计算， 进而对无色差点模型进行反向传播，优化网络中的参数，使得网络对无色差点 特征的提取更加准确，进而提高无色差点权重图确定的准确度。
[0079]
可选的，对于训练样本集中带有标签光照颜色参数的彩色图像，通过标签 光照颜色参数确定标签校正图像。其中，标签光照颜色参数是指该样本图像的 真实光照颜色参数，可以通过人工进行标注或者通过先验知识进行确定。再通 过构建有监督训练的损失函数计算标签校正图像和样本校正图像中无色差点的 误差，进而通过反向传播使得误差不断缩小，实现优化网络中参数的功能，进 而提高网络提取特征的能力。
[0080]
本发明实施例通过预先构建的网络实现对样本图像的无色差点特征提取， 并通过网络得到的样本无色差点权重图确定样本校正图像，进而通过样本校正 图像反向传播实现对网络参数的优化，提高网络提取无色差点特征的能力，进 而提高无色差点权重图确定的精准度。通过该方法得到的无色差点模型能够对 各种场景下的待校正图像进行特征提取，提高白平衡校正的自适应性和准确度。
[0081]
实施例三
[0082]
图3是本发明实施例三中的无色差点模型训练过程的流程图，本实施例三 在上述实施例的基础上进行进一步地优化，本发明实施例适用于无监督的无色 差点模型训练。如图3所示，训练过程包括：
[0083]
步骤301、获取训练样本集彩色图像；其中，训练样本集彩色图像不包括 标签光照颜色参数。
[0084]
其中，标签光照颜色参数是指训练样本集中彩色图像的真实光照颜色参数， 可以通过人工进行预先标注或者通过先验知识进行确定。而在本发明实施例中 训练样本集的彩色图像不需要对标签光照颜色参数进行预先标注或者获取，提 高训练样本集获取效率，简化训练过程。
[0085]
步骤302、通过预先构建的网络确定训练样本集彩色图像的样本无色差点 权重图。
[0086]
步骤303、根据样本无色差点权重图确定训练样本集彩色图像的样本光照 颜色参数。
[0087]
步骤304、根据样本光照颜色参数确定训练样本集彩色图像的样本校正图 像。
[0088]
步骤305、构建无监督训练的损失函数。
[0089]
由于训练样本集中为不带有标签光照颜色参数的彩色图像，因此需要从彩 色图像自身的特征构建无监督训练的损失函数。
[0090]
根据彩色图像的性质可以将彩色图像表示为：
[0091]fi
(x,y)＝ei(x,y)
·ri
(x,y),i∈{r,g,b}
[0092]
其中，fi(x,y)表示彩色图像在像素点(x,y)处i通道的像素值；ei(x,y)表示 彩色图像在像素点(x,y)处i通道的光照颜色参数；ri(x,y)表示彩色图像在像素 点(x,y)处i通道的表面反射值，表面反射值表示该点处的固有值，其值不受环 境光源的影响，属于物体的固有特征。
[0093]
进而得到上述公式的对数域表示：
[0094]
log(fi(x,y))＝log(ei(x,y)) log(ri(x,y))
[0095]
将彩色图像划分为若干个局部区域，在彩色图像的局部区域光源可以看作 是均匀的，因此可以将局部区域中的像素点各通道的ei(x,y)看作相等，而根据 无色差点的特征，无色差点各通道的ri(x,y)是相同的，因此在局部区域中的无 色差点符合以下规则：log(fr(x,y))＝log(fg(x,y))＝log(fb(x,y))≠0。因此对于校正 图像而言，当校正图像中各无色差点所在像素点的各通道值相等或者近似相等 时，校正图像中的颜色接近物体的真实颜色。
[0096]
因此根据校正图像中各无色差点所在像素点的各通道值相等或者近似相等 这一原则构建无监督训练的损失函数，通过构建的损失函数可以对校正图像中 各无色差点的各通道值之间的误差进行确定，进而通过损失函数确定校正图像 的误差，对图像校正结果进行判断。
[0097]
在一个可选的实施例中，通过如下公式构建无监督训练的损失函数：
[0098][0099][0100][0101]
其中，i表示待计算误差值的样本校正图像；i表示样本校正图像中预先划 分的局部图像块的序号；n表示将样本校正图像划分为n个局部图像块；pi表示 第i个局部图像块的局部对比度；li表示第i个局部图像块的亮度值；t表示图 像的三通道序号；sd
t
表示局部图像块在t通道的局部方差；表示局部图像块 在三通道上的局部均方差。
[0102]
具体的，将样本校正图像划分为n个局部图像块，根据局部图像块中各无 色差点的像素值确定该图像块的局部对比度，并确定各局部图像块中的平均亮 度值，可以根据各像素点的像素值的平均值确定平均亮度值，例如根据公式l(x,y)＝(fr(x,y) fg(x,y) fb(x,y))/3确定像素点(x,y)的平均亮度值，并将局部图 像块中所有像素点平均亮度值的平均值作为该局部图像块的平均亮度值；并将 所有局部图像块的局部对比度与平均亮度值
的比值和作为损失函数。由于进行 准确校正后的图像中各无色差点所在像素点的各通道值相等或者近似相等，因 此对于样本校正图像中的各无色差点的像素值的局部对比度应该趋于零，进而 损失函数的值也趋于零，即通过损失函数可以确定图像校正结果的准确性。
[0103]
局部图像块的局部对比度通过该局部图像各通道的像素值的方差进行确定， 局部图像各通道像素值的方差通过方差计算公式进行确定，分别得到红色通道、 绿色通道以及蓝色通道的方差值，根据各通道的方差得到该局部图像块的均方 差。通过局部图像块中各通道的方差与均方差的关系确定局部对比度，准确反 映局部图像块中无色差像素点的对比度，提高损失函数构建的准确度。
[0104]
步骤306、基于损失函数，根据样本校正图像的图像信息和样本无色差点 权重图，确定样本校正图像的误差值。
[0105]
根据样本校正图像的图像信息和样本无色差点权重图确定样本校正图像中 无色差点，进而基于预先构建的损失函数确定无色差点各通道值的误差，将所 有无色差点各通道值的误差总体情况作为该样本校正图像的误差值。当得到的 无色差点权重图准确时，对应求得的样本校正图像的误差值应该趋于零，因此 可以通过误差值确定网络输出结果的准确度，进而确定通过模型进行白平衡校 正的准确度。
[0106]
在一个可选的实施例中，步骤306，包括：
[0107]
根据样本校正图像的图像信息和样本无色差点权重图，通过公式 确定校正权重图像；
[0108]
基于损失函数和校正权重图像，确定样本校正图像的误差值；
[0109]
其中，为校正权重图像中在(x,y)像素点处的t通道值，ω(x,y)为根据 样本无色差点权重图确定的(x,y)像素点处的无色差点权重值，whitei(x,y)为样本 校正图像中在(x,y)像素点处的t通道值，σω(x,y)为样本无色差点权重图的权重 和。
[0110]
具体的，根据公式确定的校正权重图像 可以反映样本校正图像中的无色差点，并且通过样本无色差点权重图可以进一 步反映无色差点在样本校正图像中的影响程度，进而提高根据校正权重图像确 定的误差值的准确度。
[0111]
由于通过损失函数计算的误差值需要反映图像中无色差点的各通道误差值， 因此通过上述公式计算校正权重图像，从而对无色差点进行体现，根据校正权 重图像中的图像信息计算损失函数的值，作为样本校正图像的误差值。示例性 的，在上述示例的基础上，将校正权重图像划分为n个局部图像块，并计算各 局部图像块的局部对比度和平均亮度值，以此得到损失函数的值。
[0112]
步骤307、根据误差值对无色差点模型进行反向传播，以优化网络中的参 数。
[0113]
根据误差值通过误差反向传播法进行反向传播，优化网络中参数，进而得 到更新后的样本无色差点权重图，示例性的，通过误差值的反向传播可以为图 像中可能为无色差点的像素分配更高的权重值，得到更新后的样本无色差点权 重图。根据更新后的样本无色
差点权重图进行新一轮的样本校正图像误差计算， 通过不断的迭代实现误差值最小化，则迭代停止，此时的网络参数最佳，能够 提高网络提取无色差点特征的能力，保证无色差点权重图确定的准确度。
[0114]
本发明实施例基于构建无监督训练的损失函数，实现了无监督的模型训练 过程，避免了需要对训练样本集的预先标注工作，提高训练效率。并且通过无 监督训练的损失函数可以真实反映样本校正图像的校正准确度，进而提高网络 提取无色差点特征的能力。
[0115]
实施例四
[0116]
图4是本发明实施例四中的白平衡校正装置的结构示意图，本实施例可适 用于对摄像机获取的图像进行白平衡校正处理的情况。如图4所示，该装置包 括：
[0117]
权重图确定模块410，用于将待校正图像输入到预先训练的无色差点模型 中，得到所述待校正图像的无色差点权重图；
[0118]
光照颜色确定模块420，用于根据所述无色差点权重图确定所述待校正图 像的光照颜色参数；
[0119]
白平衡校正模块430，用于根据所述光照颜色参数对所述待校正图像进行 白平衡校正，得到校正图像。
[0120]
本发明实施例基于预先训练的无色差点模型确定待校正图像的无色差点权 重图，根据无色差点权重图得到待校正图像的光照颜色，最后根据光照颜色进 行白平衡校正，实现对待校正图像的白平衡校正。本发明实施例的白平衡校正 方法不对待校正图像的场景进行限制，能够提高白平衡校正的自适应性，提高 图像校正结果的准确度。
[0121]
可选的，所述装置包括模型训练模型，用于对无色差点模型进行训练，包 括：
[0122]
样本图像获取单元，用于获取训练样本集彩色图像；
[0123]
样本权重图确定单元，用于通过预先构建的网络确定所述训练样本集彩色 图像的样本无色差点权重图；
[0124]
样本光照颜色确定单元，用于根据所述样本无色差点权重图确定所述训练 样本集彩色图像的样本光照颜色参数；
[0125]
样本校正图像确定单元，用于根据所述样本光照颜色参数确定所述训练样 本集彩色图像的样本校正图像；
[0126]
网络参数优化单元，用于根据所述样本校正图像的图像信息和所述样本无 色差点权重图，对所述无色差点模型进行反向传播，以优化所述网络中的参数。
[0127]
可选的，所述训练样本集彩色图像不包括标签光照颜色参数；
[0128]
相应的，网络参数优化单元，包括：
[0129]
损失函数构建子单元，用于构建无监督训练的损失函数；
[0130]
误差值确定子单元，用于基于所述损失函数，根据所述样本校正图像的图 像信息和所述样本无色差点权重图，确定所述样本校正图像的误差值；
[0131]
反向传播子单元，用于根据所述误差值对所述无色差点模型进行反向传播， 以优化所述网络中的参数。
[0132]
可选的，通过如下公式构建无监督训练的损失函数：
[0133]
[0134][0135][0136]
其中，i表示待计算误差值的样本校正图像；i表示所述样本校正图像中预 先划分的局部图像块的序号；n表示将所述样本校正图像划分为n个局部图像 块；pi表示第i个局部图像块的局部对比度；li表示第i个局部图像块的亮度值； t表示图像的三通道序号；sd
t
表示局部图像块在t通道的局部方差；表示局 部图像块在三通道上的局部均方差。
[0137]
可选的，误差值确定子单元，包括：
[0138]
根据所述样本校正图像的图像信息和所述样本无色差点权重图，通过公式 确定校正权重图像；
[0139]
基于所述损失函数和所述校正权重图像，确定所述样本校正图像的误差值；
[0140]
其中，为所述校正权重图像中在(x,y)像素点处的t通道值，ω(x,y)为 根据所述样本无色差点权重图确定的(x,y)像素点处的无色差点权重值， whitei(x,y)为所述样本校正图像中在(x,y)像素点处的t通道值，σω(x,y)为所述 样本无色差点权重图的权重和。
[0141]
可选的，预先构建的网络中至少包括卷积层、激活函数层、池化层以及反 卷积层，以使得输入训练样本集彩色图像和输出样本无色差点权重图具有相同 分辨率。
[0142]
可选的，通过如下公式确定所述光照颜色参数e＝[r,g,b]：
[0143][0144][0145][0146]
其中，其中，ω(x,y)为根据所述无色差点权重图确定的(x,y)像素点 处的无色差点权重值，σω(x,y)为所述无色差点权重图的权重和，fr(x,y)为所 述待校正图像中在(x,y)像素点处的r通道值，fg(x,y)为所述待校正图像中在 (x,y)像素点处的g通道值，fb(x,y)为所述待校正图像中在(x,y)像素点处的b通 道值。
[0147]
可选的，通过如下公式确定所述校正图像：
[0148][0149]
其中，whiter(x,y)为所述校正图像中在(x,y)像素点处的r通道值，whiteg(x,y) 为所述校正图像中在(x,y)像素点处的g通道值，whiteb(x,y)为所述校正图像中在 (x,y)像素点处的b通道值。
[0150]
本发明实施例所提供的白平衡校正装置可执行本发明任意实施例所提供的 白平衡校正方法，具备执行白平衡校正方法相应的功能模块和有益效果。
[0151]
实施例五
[0152]
图5是本发明实施例五提供的一种设备的结构示意图。图5示出了适于用 来实现本发明实施方式的示例性设备12的框图。图5显示的设备12仅仅是一 个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0153]
如图5所示，设备12以通用计算设备的形式表现。设备12的组件可以包 括但不限于：一个或者多个处理器或者处理单元16，系统存储装置28，连接不 同系统组件(包括系统存储装置28和处理单元16)的总线18。
[0154]
总线18表示几类总线结构中的一种或多种，包括存储装置总线或者存储装 置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意 总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结 构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子 标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0155]
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被 设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的 介质。
[0156]
系统存储装置28可以包括易失性存储装置形式的计算机系统可读介质，例 如随机存取存储装置(ram)30和/或高速缓存存储装置32。设备12可以进一 步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为 举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示， 通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性 磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如 cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每 个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可 以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块， 这些程序模块被配置以执行本发明各实施例的功能。
[0157]
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如 存储装置28中，这样的程序模块42包括但不限于操作系统、一个或者多个应 用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能 包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和 /或方法。
[0158]
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器 24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信， 和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例 如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22 进行。并且，设备12还可以通过网络适配器20与一
个或者多个网络(例如局 域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图5所 示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图 5中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微 代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动 器以及数据备份存储系统等。
[0159]
处理单元16通过运行存储在系统存储装置28中的程序，从而执行各种功 能应用以及数据处理，例如实现本发明实施例所提供的白平衡校正方法，包括：
[0160]
将待校正图像输入到预先训练的无色差点模型中，得到所述待校正图像的 无色差点权重图；
[0161]
根据所述无色差点权重图确定所述待校正图像的光照颜色参数；
[0162]
根据所述光照颜色参数对所述待校正图像进行白平衡校正，得到校正图像。
[0163]
实施例六
[0164]
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程 序，该程序被处理器执行时实现如本发明实施例所提供的白平衡校正方法，包 括：
[0165]
将待校正图像输入到预先训练的无色差点模型中，得到所述待校正图像的 无色差点权重图；
[0166]
根据所述无色差点权重图确定所述待校正图像的光照颜色参数；
[0167]
根据所述光照颜色参数对所述待校正图像进行白平衡校正，得到校正图像。
[0168]
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质 的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储 介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、 红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存 储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、 便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可 擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器 (cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件 中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以 被指令执行系统、装置或者器件使用或者与其结合使用。
[0169]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据 信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种 形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读 的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算 机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用 或者与其结合使用的程序。
[0170]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括—— 但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0171]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计 算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、 smalltalk、c ，还包括常规的过程式程序设计语言—诸如”c”语言或类似的程 序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机 上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机 上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中， 远程计算机可以通过任意种类的网络——包括局域网(lan)
或广域网(wan)— 连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供 商来通过因特网连接)。
[0172]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员 会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进 行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽 然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以 上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例， 而本发明的范围由所附的权利要求范围决定。