一种图像驱动的可视化和谐配色生成方法与流程

1.本发明涉及可视化设计中的配色生成技术领域，尤其是一种图像驱动的可视化和谐配色生成方法。


背景技术：

2.颜色被广泛用于可视化领域中，用来编码数据，有效的配色方案包含的颜色相互之间便于区分且搭配和谐，使可视化实例可以准确且美观地传达信息。对于普通用户，甚至专业的设计从业者来说，设计一个有效的配色方案是一个耗时且具有挑战性的过程。从独立的颜色出发去考虑色彩间的搭配是相当复杂琐碎的，并且需要专业知识。但人们很容易区分一张图像是否美观，以图像作为视觉风格的参考，将会给可视化的色彩设计带来极大的便利。实际的可视化设计往往应用在不同的场景中，有着不同的上下文环境需要考量，预先定义的配色方案不仅缺乏自定义配色方案所具备的灵活性，而且忽略了可视化实例的使用环境。
3.现有技术的自动生成方法往往更关注颜色间的区分度而忽略了颜色间的和谐性，无法保证可视化颜色设计的美观程度，并且对于生成的颜色难以提供风格上的约束。


技术实现要素：

4.本发明的目的是针对现有技术的不足而设计的一种图像驱动的可视化和谐配色生成方法，采用图片驱动的方式自动化地为可视化进行配色，利用人类对图像的认知和感知来辅助可视化设计，使用深度神经网络对输入图像的处理，并考虑可视化的上下文环境，生成最终的配色方案为数据进行颜色编码，生成和谐美观的配色方案，并在实际应用中支持不同的可视化上下文环境。
5.本发明的目的是这样实现的：一种图像驱动的可视化和谐配色生成方法，其特点是使用图片驱动的方式自动化地为可视化进行配色，和谐配色的生成具体包括以下步骤：
6.步骤1：输入原始图像i作为最终生成配色的参考，分辨率为w*h，其中：w表示图像每行所包含的像素数量，h为图像每列所含像素数量。
7.步骤2：使用显著性检测模型对原始图像i进行显著性检测，生成视觉显著性特征图i
sa
，表示为分辨率为w*h的灰度图像，像素p的灰度值的大小gray
p
表示该像素的视觉重要性，gray
p
的取值范围为[0,1]。
[0008]
步骤3：使用下述a式对显著性特征图i
sa
中每个像素的灰度值做线性变换：
[0009]
gray
p
＝(gray
p
0.5)2ꢀꢀꢀ
(a)；
[0010]
其中：gray
p
的取值范围为[0,1]。
[0011]
对变换后的显著性特征图i
sa
由下述b式进行阈值θ分隔，得到显著性特征图i
sa
二值化的分割图像b
p
：
[0012]
[0013]
其中：阈值θ＝0.1，0.3，0.5,0.8。
[0014]
截取分割图像b
p
中白色区域的最小包围盒，从而得到不同视觉显著性等级的关注区域。
[0015]
步骤4：根据步骤3中得到的不同显著性等级的关注区域，将原始图像i由下述c式分割成n个子区域:
[0016]
p＝{p0，
…
，pn}
ꢀꢀꢀ
(c)；
[0017]
其中：p0代表原始图像i；
[0018]
步骤5：使用超像素分割模型对所有子区域按上述c式进行超像素分割，得到由下述d式表示的分割结果s
p
：
[0019][0020]
其中：表示pi的超像素分割结果；包含了mi个分割区域；
[0021]
步骤6：选取步骤5中分割结果的每个分割区域的代表颜色为整个区域重新着色，设sk为第分割结果中的第k个超像素区域，由下述e式计算每个像素的颜色值ck：
[0022][0023]
由ck的平均值和中值按下述f式计算像素点的颜色c
i,j
：
[0024][0025]
其中：参数α1和α2的取值由下述g式计算：
[0026][0027]
其中:σ()为协方差计算，其余参数为常数：γ1＝20，γ2＝40，λ＝1.2。
[0028]
步骤7：将步骤6中进行了颜色处理后的分割图像s
p
分别输入到颜色编码网络中，编码网络使用了4
×
4大小的卷积核，步长为2，边界填充为0，使用leakyrelu作为激活函数。卷积层后接自适应平均池化层，将不同分辨率的输入图像调整为1
×
1的多通道表示。然后，将最后一个卷积层的输出连接到3个全连接层，并将特征转换为1
×1×
18编码，对应6个颜色的cie-lab值。用于训练的数据集为从专业设计网站爬取的精美图片-设计师设计的配色方案的成对数据集合。共有1300个样本，950个用于训练，350个用于测试，对训练数据集应用了数据增强进行了扩充。
[0029]
使用下述i式作为损失函数，对编码网络进行训练：
[0030]
损失函数l(p)＝l
mse
(p,g) ωl
mse
(p,i)
ꢀꢀꢀ
(i)；
[0031]
其中：p为预测的结果；g为真实标签；i为原始图片的颜色范围；l
mse
()表示mse loss；l
mse
(p,g)计算预测结果与真实标签间的差异；l
mse
(p,i)用于惩罚生成的超出原始图片中所包含颜色范围的结果；参数ω用于平衡两项的权重。该编码网络从每张图像中提取6个颜色，结合所有图像的提取结果，生成候选颜色集合。
[0032]
步骤8：由下述h式计算侯选颜色间的对比度
[0033]
[0034]
其中：lumi()代表颜色的亮度。
[0035]
为了选择最终所需的k种颜色，首先排除与背景颜色对比度小于3的颜色，然后执行中值聚类，以颜色间的对比度作为距离，将它们分成k个类别。利用步骤2中的视觉显著性特征图，计算每个候选颜色的显著性权重ω，使用加权随机抽样从每个聚类簇中选择一种样本颜色，并将它们组合得到最终的配色方案。
[0036]
本发明与现有技术相比具有通过对输入图像进行特征提取，并考虑实际应用中的上下文，自适应地生成合适的和谐美观的配色方案，以适应不同的可视化设计需求与应用场景，允许用户通过图片提供最终生成配色的风格参考，并在不影响可视化数据表示的前提下，更关注可视化颜色设计的美学质量。
附图说明
[0037]
图1为本发明流程示意图；
[0038]
图2为实施过程示意图。
具体实施方式
[0039]
参阅附图1，本发明按下述步骤进行图像驱动的可视化和谐配色生成：
[0040]
步骤一：输入1张参考图像i；
[0041]
步骤二：使用卷积神经网络提取i的显著性检测，输出视觉显著性特征图i
sa
；
[0042]
步骤三：对i
sa
进行线性变换并做阈值分割，得到不同视觉显著性等级的区域；
[0043]
步骤四：分割原图中对应的区域，得到n个子区域；
[0044]
步骤五：通过全卷积网络分别对n个子区域进行超像素分割处理；
[0045]
步骤六：提取超像素分割结果每个区域的代表色并为整个区域重新着色,输出图像s
p
；
[0046]
步骤七：利用编码器模型分别从n个s
p
中提取特征颜色，生成侯选颜色集合；
[0047]
步骤八：考虑可视化上下文从侯选颜色集合中选择目标k个颜色，生成可视化配色方案。
[0048]
下面以从某一图像到可视化配色方案的生成为例对本发明作进一步的详细说明。
[0049]
实施例1
[0050]
参阅附图2，本发明按下述步骤进行图像驱动的可视化和谐配色生成：
[0051]
步骤1：输入图像i作为最终生成配色的参考，分辨率为w*h，其中w表示图像每行所包含的像素数量，h为图像每列所含像素数量。
[0052]
步骤2：使用显著性检测模型对输入图像i进行显著性检测，生成视觉显著性特征图i
sa
，表示为分辨率为w*h的灰度图像，像素p的灰度值的大小gray
p
表示该像素的视觉重要性，gray
p
的取值范围为[0,1]。
[0053]
步骤3：使用下述a式对显著性特征图i
sa
中每个像素的灰度值做线性变换：
[0054]
gray
p
＝(gray
p
0.5)2ꢀꢀꢀ
(a)；
[0055]
其中：gray
p
的取值范围为[0,1]；
[0056]
然后由下述b式对变换后的显著性特征图i
sa
进行阈值θ分隔：
[0057][0058]
得到i
sa
二值化的分割图像b
p
，其中阈值θ的取值为θ＝0.1,0.3,0.5,0.8，最后截取分割图像b
p
中白色区域的最小包围盒，从而得到不同视觉显著性等级的关注区域。
[0059]
步骤4：根据步骤3中得到的不同显著性等级的关注区域，将原始图像i由下述c式分割成n个子区域:
[0060]
p＝{p0,
…
,pn}
ꢀꢀꢀ
(c)；
[0061]
其中：p0为原始图像i。
[0062]
步骤5：使用超像素分割模型对所有子区域按上述c式进行超像素分割，得到由下述d式表示的分割结果s
p
：
[0063][0064]
其中，表示pi的超像素分割结果，包含了mi个分割区域。
[0065]
步骤6：选取步骤5中分割结果的每个分割区域的代表颜色为整个区域重新着色，设sk为第分割结果中的第k个超像素区域，由下述e式计算每个像素的颜色值ck：
[0066][0067]
由ck的平均值和中值按下述f式计算像素点的颜色c
i,j
：
[0068][0069]
其中：参数α1和α2的取值由下述g式计算：
[0070][0071]
其中:σ()为协方差计算，其余参数为常数：γ1＝20，γ2＝40，λ＝1.2。
[0072]
步骤7：将步骤6中进行了颜色处理后的分割图像分别输入到颜色编码网络中，编码网络使用了4
×
4大小的卷积核，步长为2，边界填充为0，使用leakyrelu作为激活函数。卷积层后接自适应平均池化层，将不同分辨率的输入图像调整为1
×
1的多通道表示。然后，将最后一个卷积层的输出连接到3个全连接层，并将特征转换为1
×1×
18编码，对应6个颜色的cie-lab值。用于训练的数据集为从专业设计网站爬取的精美图片-设计师设计的配色方案的成对数据集合。共有1300个样本，950个用于训练，350个用于测试，对训练数据集应用了数据增强进行了扩充。
[0073]
使用下述i式作为损失函数，对编码网络进行训练：
[0074]
损失函数l(p)＝l
mse
(p,g) ωl
mse
(p,i)
ꢀꢀꢀ
(i)；
[0075]
其中：p为预测的结果；g为真实标签；i为原始图片的颜色范围；l
mse
()表示mse loss；l
mse
(p,g)计算预测结果与真实标签间的差异；l
mse
(p,i)用于惩罚生成的超出原始图片中所包含颜色范围的结果；参数ω用于平衡两项的权重。该编码网络从每张图像中提取6个颜色，结合所有图像的提取结果，生成候选颜色集合。
[0076]
步骤8：通过下述h式计算侯选颜色间的对比度
[0077][0078]
其中：lumi()代表颜色的亮度。
[0079]
为了选择最终所需的k种颜色，首先排除与背景颜色对比度小于3的颜色，然后执行中值聚类，以颜色间的对比度作为距离，将它们分成k个类别。利用步骤2中的视觉显著性特征图，计算每个候选颜色的显著性权重ω，使用加权随机抽样从每个聚类簇中选择一种样本颜色，并将它们组合得到最终的配色方案。
[0080]
以上只是对本发明作进一步的说明，并非用以限制本专利，在不背离本发明构思的精神和范围下的等效实施，均应包含于本专利的权利要求范围之内。