多光源场景下的白平衡方法、装置及可读存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及多光源场景下的白平衡方法、装置及可读存储介质。


背景技术：

2.目前的awb（automatic white balance，自动白平衡）算法认为整幅图像处于一个统一的光源环境下，算法只给出一组图像r、g、b通道增益值，并统一作用在所有像素上。而真实环境中往往存在多种不同光源，例如夜间场景，当不同光源之间色温差异很大时，对整幅图像应用统一的白平衡系数校正难以准确还原所有区域的颜色。


技术实现要素：

3.本发明实施例提出多光源场景下的白平衡方法、装置及可读存储介质，以实现多光源场景下的白平衡处理。
4.本发明实施例的技术方案是这样实现的：一种多光源场景下的白平衡方法，该方法包括：对采集的第一线性rgb图像进行不同色温下的白平衡处理，得到第一线性rgb图像在不同色温下的颜色校正图像；将第一线性rgb图像输入色温权重计算模型进行计算，得到第一线性rgb图像的每个像素在不同色温下的权重；根据第一线性rgb图像的每个像素在不同色温下的权重，对第一线性rgb图像在不同色温下的颜色校正图像进行加权求和，得到第一线性rgb图像最终的颜色校正图像。
5.所述色温权重计算模型通过如下过程得到：a1、获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性rgb图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；b1、对每个训练样本分别进行不同色温下的白平衡处理，得到每个训练样本在不同色温下的颜色校正图像；c1、依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重；d1、根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；e1、根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；f1、根据损失函数调整色温权重计算神经网络；g1、重复c1至f1，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网
络作为色温权重计算模型。
6.所述对采集的第一线性rgb图像进行不同色温下的白平衡处理，包括：采用预设的自动白平衡算法，计算第一线性rgb图像在不同色温下的颜色校正图像。
7.所述对采集的第一线性rgb图像进行不同色温下的白平衡处理，包括：将第一线性rgb图像输入白平衡参数计算模型，得到第一线性rgb图像在不同色温下的白平衡参数；根据第一线性rgb图像在不同色温下的白平衡参数，对第一线性rgb图像分别进行不同色温下的白平衡处理，得到第一线性rgb图像在不同色温下的颜色校正图像。
8.所述白平衡参数计算模型通过如下过程得到：a2、获取包含多个训练样本的第二训练样本集，其中，训练样本为多光源场景下的线性rgb图像；且，获取每个训练样本在不同色温下的目标白平衡参数；b2、依次选择一个训练样本，将选择的训练样本输入白平衡参数计算神经网络进行计算，得到该训练样本在不同色温下的输出白平衡参数；c2、根据该训练样本在不同色温下的输出白平衡参数与该训练样本在不同色温下的目标白平衡参数，计算损失函数；d2、采用损失函数调整白平衡参数计算神经网络；e2、重复执行b2至d2，直至白平衡参数计算神经网络收敛，将收敛的白平衡参数计算神经网络作为白平衡参数计算模型。
9.所述将第一线性rgb图像输入色温权重计算模型进行计算之前，进一步包括：对第一线性rgb图像进行下采样，得到第二线性rgb图像；且，所述将第一线性rgb图像输入色温权重计算模型进行计算，得到第一线性rgb图像的每个像素在不同色温下的权重，包括：将第二线性rgb图像输入色温权重计算模型进行计算，得到第二线性rgb图像的每个像素在不同色温下的权重；且，所述得到第一线性rgb图像的每个像素在不同色温下的权重之后、对第一线性rgb图像在不同色温下的颜色校正图像进行加权求和之前，进一步包括：对第二线性rgb图像的每个像素在不同色温下的权重进行插值，得到第一线性rgb图像的每个像素在不同色温下的权重。
10.所述不同色温包括如下色温中的任意多种：2300k、3800k、5500k、6500k、7500k。
11.一种多光源场景下的色温权重计算模型建立方法，该方法包括：a1、获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性rgb图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；b1、对每个训练样本分别进行不同色温下的白平衡处理，得到每个训练样本在不同色温下的颜色校正图像；
c1、依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重；d1、根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；e1、根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；f1、根据损失函数调整色温权重计算神经网络；g1、重复c1至f1，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网络作为色温权重计算模型。
12.步骤c1所述依次选择一个训练样本之后、将选择的训练样本输入待训练的色温权重计算神经网络进行计算之前，进一步包括：对选择的训练样本进行下采样；所述将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的权重，包括：将下采样后的训练样本输入待训练的色温权重计算神经网络进行计算，得到该下采样后的训练样本的每个像素在不同色温下的权重；且，步骤c1与步骤d1之间，进一步包括：对该下采样后的训练样本的每个像素在不同色温下的输出权重进行插值，得到所述选择的训练样本的每个像素在不同色温下的输出权重。
13.所述不同色温包括如下色温中的任意多种：2300k、3800k、5500k、6500k、7500k。
14.一种多光源场景下的白平衡方法，该方法包括：将采集的第一线性rgb图像输入白平衡参数及色温权重计算模型进行计算，其中：第一线性rgb图像先输入该白平衡参数及色温权重计算模型的特征提取层进行计算，得到第一线性rgb图像的特征向量；然后，第一线性rgb图像的特征向量分别输入该白平衡参数及色温权重计算模型的白平衡参数计算层和色温权重计算层进行计算，分别得到第一线性rgb图像在不同色温下的白平衡参数和第一线性rgb图像的每个像素在不同色温下的权重；根据第一线性rgb图像在不同色温下的白平衡参数，对第一线性rgb图像进行不同色温下的白平衡处理，得到第一线性rgb图像在不同色温下的颜色校正图像；根据第一线性rgb图像的每个像素在不同色温下的权重，对第一线性rgb图像在不同色温下的颜色校正图像进行加权求和，得到第一线性rgb图像最终的颜色校正图像。
15.所述白平衡参数及色温权重计算模型通过如下过程得到：a3、获取包含多个训练样本的第三训练样本集，其中，训练样本为多光源场景下的线性rgb图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；b3、依次选择一个训练样本，将选择的训练样本输入待训练的白平衡参数及色温权重计算神经网络进行计算，其中：
该训练样本先输入该白平衡参数及色温权重计算神经网络的特征提取层进行计算，得到该训练样本的特征向量；然后，该训练样本的特征向量分别输入该白平衡参数及色温权重计算神经网络的白平衡参数计算层和色温权重计算层进行计算，分别得到该训练样本在不同色温下的白平衡参数和该训练样本的每个像素在不同色温下的权重；c3、根据该训练样本在不同色温下的白平衡参数，对该训练样本进行不同色温下的白平衡处理，得到该训练样本在不同色温下的颜色校正图像；d3、根据该训练样本的每个像素在不同色温下的权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；e3、根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；f3、根据损失函数调整白平衡参数及色温权重计算神经网络；g3、重复b3至f3，直至白平衡参数及色温权重计算神经网络收敛，将收敛的白平衡参数及色温权重计算神经网络作为白平衡参数及色温权重计算模型。
16.所述不同色温包括如下色温中的任意多种：2300k、3800k、5500k、6500k、7500k。
17.一种多光源场景下的白平衡参数及色温权重计算模型建立方法，该方法包括：a3、获取包含多个训练样本的第三训练样本集，其中，训练样本为多光源场景下的线性rgb图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；b3、依次选择一个训练样本，将选择的训练样本输入待训练的白平衡参数及色温权重计算神经网络进行计算，其中：该训练样本先输入该白平衡参数及色温权重计算神经网络的特征提取层进行计算，得到该训练样本的特征向量；然后，该训练样本的特征向量分别输入该白平衡参数及色温权重计算神经网络的白平衡参数计算层和色温权重计算层进行计算，分别得到该训练样本在不同色温下的白平衡参数和该训练样本的每个像素在不同色温下的权重；c3、根据该训练样本在不同色温下的白平衡参数，对该训练样本进行不同色温下的白平衡处理，得到该训练样本在不同色温下的颜色校正图像；根据该训练样本的每个像素在不同色温下的权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；d3、根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；e3、根据损失函数调整白平衡参数及色温权重计算神经网络；f3、重复b3至e3，直至白平衡参数及色温权重计算神经网络收敛，将收敛的白平衡参数及色温权重计算神经网络作为白平衡参数及色温权重计算模型。
18.所述不同色温包括如下色温中的任意多种：2300k、3800k、5500k、6500k、7500k。
19.一种多光源场景下的白平衡装置，该装置包括：白平衡处理模块，用于对采集的第一线性rgb图像进行不同色温下的白平衡处理，
得到第一线性rgb图像在不同色温下的颜色校正图像；色温权重计算模块，用于将第一线性rgb图像输入色温权重计算模型进行计算，得到第一线性rgb图像的每个像素在不同色温下的权重；加权模块，用于根据第一线性rgb图像的每个像素在不同色温下的权重，对第一线性rgb图像在不同色温下的颜色校正图像进行加权求和，得到第一线性rgb图像最终的颜色校正图像。
20.一种多光源场景下的色温权重计算模型建立装置，该装置包括：训练准备模块，用于获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性rgb图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；对每个训练样本分别进行不同色温下的白平衡处理，得到每个训练样本在不同色温下的颜色校正图像；训练模块，用于依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重；根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；根据损失函数调整色温权重计算神经网络，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网络作为色温权重计算模型。
21.一种多光源场景下的白平衡装置，该装置包括：白平衡参数及色温权重计算模块，用于将采集的第一线性rgb图像输入白平衡参数及色温权重计算模型进行计算，其中：第一线性rgb图像先输入该白平衡参数及色温权重计算模型的特征提取层进行计算，得到第一线性rgb图像的特征向量；然后，第一线性rgb图像的特征向量分别输入该白平衡参数及色温权重计算模型的白平衡参数计算层和色温权重计算层进行计算，分别得到第一线性rgb图像在不同色温下的白平衡参数和第一线性rgb图像的每个像素在不同色温下的权重；白平衡处理模块，用于根据第一线性rgb图像在不同色温下的白平衡参数，对第一线性rgb图像进行不同色温下的白平衡处理，得到第一线性rgb图像在不同色温下的颜色校正图像；加权模块，用于根据第一线性rgb图像的每个像素在不同色温下的权重，对第一线性rgb图像在不同色温下的颜色校正图像进行加权求和，得到第一线性rgb图像最终的颜色校正图像。
22.一种多光源场景下的白平衡参数及色温权重计算模型建立装置，该装置包括：训练准备模块，用于获取包含多个训练样本的第三训练样本集，其中，训练样本为多光源场景下的线性rgb图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；训练模块，用于依次选择一个训练样本，将选择的训练样本输入待训练的白平衡参数及色温权重计算神经网络进行计算，其中：该训练样本先输入该白平衡参数及色温权重计算神经网络的特征提取层进行计算，得到该训练样本的特征向量，然后，该训练样本的特征向量分别输入该白平衡参数及色温权重计算神经网络的白平衡参数计算层和色温权
重计算层进行计算，分别得到该训练样本在不同色温下的白平衡参数和该训练样本的每个像素在不同色温下的权重；根据该训练样本在不同色温下的白平衡参数，对该训练样本进行不同色温下的白平衡处理，得到该训练样本在不同色温下的颜色校正图像；根据该训练样本的每个像素在不同色温下的权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；根据损失函数调整白平衡参数及色温权重计算神经网络，直至白平衡参数及色温权重计算神经网络收敛，将收敛的白平衡参数及色温权重计算神经网络作为白平衡参数及色温权重计算模型。
23.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上任一项所述的多光源场景下的白平衡方法的步骤，或者执行如上任一所述的多光源场景下的色温权重计算模型建立方法的步骤，或者执行如上任一所述的多光源场景下的白平衡参数及色温权重计算模型建立方法的步骤。
24.本发明实施例中，先对采集的第一线性rgb图像进行不同色温下的白平衡处理，得到第一线性rgb图像在不同色温下的颜色校正图像，然后再将第一线性rgb图像输入色温权重计算模型进行计算，得到第一线性rgb图像的每个像素在不同色温下的权重，最后根据第一线性rgb图像的每个像素在不同色温下的权重，对第一线性rgb图像在不同色温下的颜色校正图像进行加权求和，得到第一线性rgb图像最终的颜色校正图像，从而针对第一线性rgb图像上不同区域对应的不同光源进行了不同的白平衡处理，实现了多光源场景下的白平衡处理，提高了颜色校正质量。
附图说明
25.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
26.图1为本发明一实施例提供的多光源场景下的白平衡方法流程图；图2为本发明实施例提供的多光源场景下的色温权重计算模型建立方法流程图；图3为本发明实施例提供的多光源场景下的白平衡参数计算模型建立方法流程图；图4为本发明另一实施例提供的多光源场景下的白平衡方法流程图；图5为本发明实施例提供的多光源场景下的白平衡参数及色温权重计算模型建立方法流程图；图6为本发明一实施例提供的多光源场景下的白平衡装置的结构示意图；图7为本发明实施例提供的多光源场景下的色温权重计算模型建立装置的结构示意图；图8为本发明另一实施例提供的多光源场景下的白平衡装置的结构示意图；图9为本发明实施例提供的多光源场景下的白平衡参数及色温权重计算模型建立装置的结构示意图。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
29.下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
30.图1为本发明一实施例提供的多光源场景下的白平衡方法流程图，其具体步骤如下：步骤101：对采集的第一线性rgb图像进行不同色温下的白平衡处理，得到第一线性rgb图像在不同色温下的颜色校正图像。
31.步骤102：将第一线性rgb图像输入色温权重计算模型进行计算，得到第一线性rgb图像的每个像素在不同色温下的权重。
32.例如：有m（m为大于1的整数）种色温，则第一线性rgb图像的每个像素分别有m个权重，每个权重对应一种色温。
33.步骤103：根据第一线性rgb图像的每个像素在不同色温下的权重，对第一线性rgb图像在不同色温下的颜色校正图像进行加权求和，得到第一线性rgb图像最终的颜色校正图像。
34.例如：有m（m为大于1的整数）种色温，对于第一线性rgb图像的任一像素i，其在每种色温下的权重分别为a
i,1
、a
i,2
、a
i,3
、...、a
i,m
，则像素i最终的颜色校正值为：ri'= r
i,1
·ai,1 r
i,2
·ai,2 r
i,3
·ai,3
... r
i,m
·ai,mgi
'= g
i,1
·ai,1 g
i,2
·ai,2 g
i,3
·ai,3
... g
i,m
·ai,mbi
'= b
i,1
·ai,1 b
i,2
·ai,2 b
i,3
·ai,3
... b
i,m
·ai,m
其中，ri'、gi'、bi'为像素i的最终的颜色校正r、g、b值，r
i,m
、g
i,m
、b
i,m
为像素i在第m种色温下的颜色校正图像中的r、g、b值，m为整数且1≤m≤m。
35.上述实施例中，先对采集的第一线性rgb图像进行不同色温下的白平衡处理，得到第一线性rgb图像在不同色温下的颜色校正图像，然后再将第一线性rgb图像输入色温权重计算模型进行计算，得到第一线性rgb图像的每个像素在不同色温下的权重，最后根据第一线性rgb图像的每个像素在不同色温下的权重，对第一线性rgb图像在不同色温下的颜色校正图像进行加权求和，得到第一线性rgb图像最终的颜色校正图像，从而针对第一线性rgb图像上不同区域对应的不同光源进行了不同的白平衡处理，实现了多光源场景下的白平衡处理，提高了颜色校正质量。
36.一可选实施例中，步骤102中，将第一线性rgb图像输入色温权重计算模型进行计算之前，进一步包括：对第一线性rgb图像进行下采样，得到第二线性rgb图像；且，步骤102具体包括：将第二线性rgb图像输入色温权重计算模型进行计算，得到第二线性rgb图像的每个像素在不同色温下的权重；且，步骤102之后、步骤103之前，进一步包括：对第二线性rgb图像的每个像素在不同色温下的权重进行插值，得到第一线性rgb图像的每个像素在不同色温下的权重。例如：设第二线性rgb图像的分辨率为a*b，第一线性rgb图像的分辨率为c*d（a、b、c、d都为大于1的整数），则，对于每一色温，第二线性rgb图像的每个像素在该色温下具有一个权重，则共有a*b个权重，对该a*b个权重进行插值计算，最终得到c*d个权重，该c*d个权重即为第一线性rgb图像的c*d个像素在该色温下的权重。
37.下采样的采样率可根据实际需求设定，插值方法可采用双线性插值法等。
38.图2为本发明实施例提供的多光源场景下的色温权重计算模型建立方法流程图，其具体步骤如下：步骤201：获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性rgb图像；且，获取目标图像集，目标图像集包含每个训练样本最终的颜色校正目标图像。
39.其中，每个训练样本最终的颜色校正目标图像是根据该训练样本的不同区域对应的不同光源的色温进行白平衡处理后得到的。
40.步骤202：对每个训练样本分别进行不同色温下的白平衡处理，得到每个训练样本在不同色温下的颜色校正图像。
41.步骤203：依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重。
42.步骤204：根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像。
43.步骤205：根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数。
44.损失函数可采用l2损失函数。
45.步骤206：根据损失函数调整色温权重计算神经网络。
46.步骤207：重复步骤203至206，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网络作为色温权重计算模型。
47.一可选实施例中，步骤203中，依次选择一个训练样本之后、将选择的训练样本输入待训练的色温权重计算神经网络进行计算之前，进一步包括：对选择的训练样本进行下采样；且，步骤203中，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的权重，包括：将下采样后的训练样本输入待训练的色温权重计算神经网络进行计算，得到该下采样后的训练样本的每个像素在不同色温下的权重；且，步骤203与步骤204之间，进一步包括：对该下采样后的训练样本的每个像素在不同色温下的输出权重进行插值，得到步骤203选择的训练样本的每个像素在不同色温下
的输出权重。
48.一可选实施例中，步骤101中，对采集的第一线性rgb图像进行不同色温下的白平衡处理，包括：采用预设的awb算法，计算第一线性rgb图像在不同色温下的白平衡图像。
49.一可选实施例中，步骤202中，对每个训练样本分别进行不同色温下的白平衡处理，包括：采用预设的awb算法，计算每个训练样本在不同色温下的白平衡图像。
50.一可选实施例中，步骤101中，对采集的第一线性rgb图像进行不同色温下的白平衡处理，包括：将第一线性rgb图像输入白平衡参数计算模型，得到第一线性rgb图像在不同色温下的白平衡参数；根据第一线性rgb图像在不同色温下的白平衡参数，对第一线性rgb图像分别进行不同色温下的白平衡处理，得到第一线性rgb图像在不同色温下的颜色校正图像。
51.一可选实施例中，步骤202中，对每个训练样本分别进行不同色温下的白平衡处理，包括：将当前训练样本输入白平衡参数计算模型，得到当前训练样本在不同色温下的白平衡参数；根据当前训练样本在不同色温下的白平衡参数，对当前训练样本分别进行不同色温下的白平衡处理，得到当前训练样本在不同色温下的颜色校正图像。
52.在不同色温下的白平衡参数如：在不同色温下的r、g、b通道的增益，此时，例如：对第一线性rgb图像分别进行不同色温下的白平衡处理即，在任一色温下，将第一线性rgb图像的每个像素的r、g、b值分别乘以该色温下的r、g、b通道的增益，得到第一线性rgb图像的每个像素在该色温下的颜色校正r、g、b值。
53.图3为本发明实施例提供的多光源场景下的白平衡参数计算模型建立方法流程图，其具体步骤如下：步骤301：获取包含多个训练样本的第二训练样本集，其中，训练样本为多光源场景下的线性rgb图像；且，获取每个训练样本在不同色温下的目标白平衡参数。
54.白平衡参数如：r、g、b通道的增益。
55.步骤302：依次选择一个训练样本，将选择的训练样本输入白平衡参数计算神经网络进行计算，得到该训练样本在不同色温下的输出白平衡参数。
56.步骤303：根据该训练样本在不同色温下的输出白平衡参数与该训练样本在不同色温下的目标白平衡参数，计算损失函数。
57.步骤304：采用损失函数调整白平衡参数计算神经网络。
58.步骤305：重复执行步骤302至304，直至白平衡参数计算神经网络收敛，将收敛的白平衡参数计算神经网络作为白平衡参数计算模型。
59.图4为本发明另一实施例提供的多光源场景下的白平衡方法流程图，其具体步骤如下：步骤401：将采集的第一线性rgb图像输入白平衡参数及色温权重计算模型进行计算，其中：第一线性rgb图像先输入该白平衡参数及色温权重计算模型的特征提取层进行计算，得到第一线性rgb图像的特征向量；然后，第一线性rgb图像的特征向量分别输入该白平衡参数及色温权重计算模型的白平衡参数计算层和色温权重计算层进行计算，分别得到第一线性rgb图像在不同色温下的白平衡参数和第一线性rgb图像的每个像素在不同色温下的权重。
60.步骤402：根据第一线性rgb图像在不同色温下的白平衡参数，对第一线性rgb图像进行不同色温下的白平衡处理，得到第一线性rgb图像在不同色温下的颜色校正图像。
61.步骤403：根据第一线性rgb图像的每个像素在不同色温下的权重，对第一线性rgb图像在不同色温下的颜色校正图像进行加权求和，得到第一线性rgb图像最终的颜色校正图像。
62.图5为本发明实施例提供的多光源场景下的白平衡参数及色温权重计算模型建立方法流程图，其具体步骤如下：步骤501：获取包含多个训练样本的第三训练样本集，其中，训练样本为多光源场景下的线性rgb图像；且，获取目标图像集，目标图像集包含每个训练样本最终的颜色校正目标图像。
63.步骤502：依次选择一个训练样本，将选择的训练样本输入待训练的白平衡参数及色温权重计算神经网络进行计算，其中：该训练样本先输入该白平衡参数及色温权重计算神经网络的特征提取层进行计算，得到该训练样本的特征向量；然后，该训练样本的特征向量分别输入该白平衡参数及色温权重计算神经网络的白平衡参数计算层和色温权重计算层进行计算，分别得到该训练样本在不同色温下的白平衡参数和该训练样本的每个像素在不同色温下的权重。
64.步骤503：根据该训练样本在不同色温下的白平衡参数，对该训练样本进行不同色温下的白平衡处理，得到该训练样本在不同色温下的颜色校正图像。
65.步骤504：根据该训练样本的每个像素在不同色温下的权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像。
66.步骤505：根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数。
67.步骤506：根据损失函数调整白平衡参数及色温权重计算神经网络。
68.步骤507：重复步骤502至506，直至白平衡参数及色温权重计算神经网络收敛，将收敛的白平衡参数及色温权重计算神经网络作为白平衡参数及色温权重计算模型。
69.一可选实施例中，本发明各实施例提到的不同色温可包括多种跨度较大的典型色温，例如：包括如下色温中的任意多种：2300k、3800k、5500k、6500k、7500k。
70.图6为本发明一实施例提供的多光源场景下的白平衡装置60的结构示意图，该装置主要包括：白平衡处理模块61，用于对采集的第一线性rgb图像进行不同色温下的白平衡处理，得到第一线性rgb图像在不同色温下的颜色校正图像。
71.色温权重计算模块62，用于将第一线性rgb图像输入色温权重计算模型进行计算，得到第一线性rgb图像的每个像素在不同色温下的权重。
72.加权模块63，用于根据色温权重计算模块62得到的第一线性rgb图像的每个像素在不同色温下的权重，对白平衡处理模块61得到的第一线性rgb图像在不同色温下的颜色校正图像进行加权求和，得到第一线性rgb图像最终的颜色校正图像。
73.一可选实施例中，上述装置60进一步包括：色温权重计算模型建立模块64，用于获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性rgb图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；对每个
训练样本分别进行不同色温下的白平衡处理，得到每个训练样本在不同色温下的颜色校正图像；依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重；根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；根据损失函数调整色温权重计算神经网络，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网络作为色温权重计算模型。
74.一可选实施例中，白平衡处理模块61对采集的第一线性rgb图像进行不同色温下的白平衡处理，包括：采用预设的自动白平衡算法，计算第一线性rgb图像在不同色温下的颜色校正图像。
75.一可选实施例中，白平衡处理模块61对采集的第一线性rgb图像进行不同色温下的白平衡处理，包括：将第一线性rgb图像输入白平衡参数计算模型，得到第一线性rgb图像在不同色温下的白平衡参数；根据第一线性rgb图像在不同色温下的白平衡参数，对第一线性rgb图像分别进行不同色温下的白平衡处理，得到第一线性rgb图像在不同色温下的颜色校正图像。
76.一可选实施例中，上述装置60进一步包括：白平衡参数计算模型建立模块65，用于获取包含多个训练样本的第二训练样本集，其中，训练样本为多光源场景下的线性rgb图像；且，获取每个训练样本在不同色温下的目标白平衡参数；依次选择一个训练样本，将选择的训练样本输入白平衡参数计算神经网络进行计算，得到该训练样本在不同色温下的输出白平衡参数；根据该训练样本在不同色温下的输出白平衡参数与该训练样本在不同色温下的目标白平衡参数，计算损失函数；采用损失函数调整白平衡参数计算神经网络，直至白平衡参数计算神经网络收敛，将收敛的白平衡参数计算神经网络作为白平衡参数计算模型。
77.一可选实施例中，色温权重计算模块62将第一线性rgb图像输入色温权重计算模型进行计算之前，进一步包括：对第一线性rgb图像进行下采样，得到第二线性rgb图像；且，色温权重计算模块62将第一线性rgb图像输入色温权重计算模型进行计算，得到第一线性rgb图像的每个像素在不同色温下的权重，包括：将第二线性rgb图像输入色温权重计算模型进行计算，得到第二线性rgb图像的每个像素在不同色温下的权重；且，色温权重计算模块62得到第一线性rgb图像的每个像素在不同色温下的权重之后，进一步包括：对第二线性rgb图像的每个像素在不同色温下的权重进行插值，得到第一线性rgb图像的每个像素在不同色温下的权重。
78.一可选实施例中，上述装置60的各模块涉及的不同色温包括如下色温中的任意多种：2300k、3800k、5500k、6500k、7500k。
79.图7为本发明实施例提供的多光源场景下的色温权重计算模型建立装置70的结构示意图，该装置主要包括：训练准备模块71，用于获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性rgb图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；对每个训练样本分别进行不同色温下的白平衡处理，得到每个
训练样本在不同色温下的颜色校正图像。
80.训练模块72，用于在训练准备模块71获取的第一训练样本集中依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重；根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；根据该训练样本最终的颜色校正输出图像和训练准备模块71获取的该训练样本最终的颜色校正目标图像，计算损失函数；根据损失函数调整色温权重计算神经网络，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网络作为色温权重计算模型。
81.一可选实施例中，训练模块72依次选择一个训练样本之后、将选择的训练样本输入待训练的色温权重计算神经网络进行计算之前，进一步包括：对选择的训练样本进行下采样；且，训练模块72将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的权重，包括：将下采样后的训练样本输入待训练的色温权重计算神经网络进行计算，得到该下采样后的训练样本的每个像素在不同色温下的权重；且，训练模块72得到该训练样本的每个像素在不同色温下的输出权重之后、对该训练样本在不同色温下的颜色校正图像进行加权求和之前，进一步包括：对该下采样后的训练样本的每个像素在不同色温下的输出权重进行插值，得到所述选择的训练样本的每个像素在不同色温下的输出权重。
82.一可选实施例中，训练准备模块71和训练模块72中的不同色温包括如下色温中的任意多种：2300k、3800k、5500k、6500k、7500k。
83.图8为本发明另一实施例提供的多光源场景下的白平衡装置80的结构示意图，该装置主要包括：白平衡参数及色温权重计算模块81，用于将采集的第一线性rgb图像输入白平衡参数及色温权重计算模型进行计算，其中：第一线性rgb图像先输入该白平衡参数及色温权重计算模型的特征提取层进行计算，得到第一线性rgb图像的特征向量；然后，第一线性rgb图像的特征向量分别输入该白平衡参数及色温权重计算模型的白平衡参数计算层和色温权重计算层进行计算，分别得到第一线性rgb图像在不同色温下的白平衡参数和第一线性rgb图像的每个像素在不同色温下的权重。
84.白平衡处理模块82，用于根据白平衡参数及色温权重计算模块81得到的第一线性rgb图像在不同色温下的白平衡参数，对第一线性rgb图像进行不同色温下的白平衡处理，得到第一线性rgb图像在不同色温下的颜色校正图像。
85.加权模块83，用于根据白平衡参数及色温权重计算模块81得到的第一线性rgb图像的每个像素在不同色温下的权重，对第一线性rgb图像在不同色温下的颜色校正图像进行加权求和，得到第一线性rgb图像最终的颜色校正图像。
86.一可选实施例中，上述装置80进一步包括：白平衡参数及色温权重计算模型建立模块84，用于获取包含多个训练样本的第三训练样本集，其中，训练样本为多光源场景下的
线性rgb图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；依次选择一个训练样本，将选择的训练样本输入待训练的白平衡参数及色温权重计算神经网络进行计算，其中：该训练样本先输入该白平衡参数及色温权重计算神经网络的特征提取层进行计算，得到该训练样本的特征向量，然后，该训练样本的特征向量分别输入该白平衡参数及色温权重计算神经网络的白平衡参数计算层和色温权重计算层进行计算，分别得到该训练样本在不同色温下的白平衡参数和该训练样本的每个像素在不同色温下的权重；根据该训练样本在不同色温下的白平衡参数，对该训练样本进行不同色温下的白平衡处理，得到该训练样本在不同色温下的颜色校正图像；根据该训练样本的每个像素在不同色温下的权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；根据损失函数调整白平衡参数及色温权重计算神经网络，直至白平衡参数及色温权重计算神经网络收敛，将收敛的白平衡参数及色温权重计算神经网络作为白平衡参数及色温权重计算模型。
87.一可选实施例中，上述装置80的各模块中的不同色温包括如下色温中的任意多种：2300k、3800k、5500k、6500k、7500k。
88.图9为本发明实施例提供的多光源场景下的白平衡参数及色温权重计算模型建立装置90的结构示意图，该装置主要包括：训练准备模块91，用于获取包含多个训练样本的第三训练样本集，其中，训练样本为多光源场景下的线性rgb图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像。
89.训练模块92，用于在训练准备模块91获取的第三训练样本集中依次选择一个训练样本，将选择的训练样本输入待训练的白平衡参数及色温权重计算神经网络进行计算，其中：该训练样本先输入该白平衡参数及色温权重计算神经网络的特征提取层进行计算，得到该训练样本的特征向量，然后，该训练样本的特征向量分别输入该白平衡参数及色温权重计算神经网络的白平衡参数计算层和色温权重计算层进行计算，分别得到该训练样本在不同色温下的白平衡参数和该训练样本的每个像素在不同色温下的权重；根据该训练样本在不同色温下的白平衡参数，对该训练样本进行不同色温下的白平衡处理，得到该训练样本在不同色温下的颜色校正图像；根据该训练样本的每个像素在不同色温下的权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；根据该训练样本最终的颜色校正输出图像和训练准备模块91获取的该训练样本最终的颜色校正目标图像，计算损失函数；根据损失函数调整白平衡参数及色温权重计算神经网络，直至白平衡参数及色温权重计算神经网络收敛，将收敛的白平衡参数及色温权重计算神经网络作为白平衡参数及色温权重计算模型。
90.一可选实施例中，训练准备模块91和训练模块92中的不同色温包括如下色温中的任意多种：2300k、3800k、5500k、6500k、7500k。
91.本发明实施例还提供一种非瞬时计算机可读存储介质，非瞬时计算机可读存储介质存储指令，指令在由处理器执行时使得处理器执行本发明任一实施例所述的多光源场景下的白平衡方法的步骤，或者执行本发明任一实施例所述的多光源场景下的色温权重计算模型建立方法的步骤，或者执行本发明任一实施例所述的多光源场景下的白平衡方法的步
骤，或者执行本发明任一实施例所述的多光源场景下的白平衡参数及色温权重计算模型建立方法的步骤。
92.本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本技术中。特别地，在不脱离本技术精神和教导的情况下，本技术的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本技术公开的范围。
93.本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思路，并不用于限制本技术。对于本领域的技术人员来说，可以依据本发明的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。