用于识别目标涂层中效果颜料的方法和设备与流程

1.本发明涉及一种用于识别目标涂层中的效果颜料的计算机实现方法和设备。


背景技术：

2.如今，对于颜色搜索和取得过程的附加特征，如例如除了颜色信息之外，粗糙度、闪光面积、闪光强度、闪光等级和/或闪光颜色变化/分布用作辅助条件以找到给定目标颜色/目标涂层的最优解决方案。这些附加特征是颜色纹理外观的不同视觉特性的度量。
3.这些附加特征通常从由如今的光谱仪仪器(如例如xrite ma-ma-或byk mac)捕获的目标涂层的图像原始数据导出。图像原始数据由图像处理算法处理。作为这些算法纹理特征的输出，即获得应该表示目标涂层纹理的光学特性的纹理值。这些纹理值根据已知的工业标准进行分类。
4.由于复杂涂层混合物的性质，有时难以配制、识别和/或搜索可接受的匹配配方和/或颜料沉着。理想情况下，人类可以查看复杂的涂层混合物并确定涂层混合物内的适当颜料。然而，实际上涂层混合物中的颜料可能不容易在要用于制造匹配涂层的涂料系统的一组调色剂中获得。因此，颜色匹配技术人员必须确定涂料系统是否包含适当的偏移，并且如果包含适当偏移则必须确定需要进行的附加更改以适应偏移，因为它们与原始颜料沉着并不完全匹配。
5.希望具有一种方法和设备，其可以测量未知的目标涂层，并且可以基于目标涂层的测量数据在数据库中搜索数据库内的最优匹配涂层配方，和/或可以基于目标涂层的测量数据创建新的涂层配方。然而，就目前而言，已知系统仅能够确定颜色或整体效果颜料类型，但通常不能帮助确定例如匹配未知目标涂层所需的特定珠光。
6.可选地与目标涂层的微观评估相结合地使用相机和/或光谱仪的已知技术通常没有适当地定义为有效解决新的效果颜料沉着或复杂的混合物，并且主要集中在目标涂层的单独评估上，即在逐个案例的分析上，这是非常耗时的过程，因为每个新的未知目标涂层都需要通过所有分析步骤。因此，这种耗时的过程可能无法令人满意地解决需要与提供匹配配方相结合对目标涂层进行高效分析的应用问题。
7.还存在使用代表各种纹理的涂漆或虚拟样品并且然后将它们与未知的目标涂层进行比较的进一步策略。然而，这种技术通常需要大量的用户干预并且因此是主观的，这可能产生不一致的结果。
8.因此，需要适用于有效分析包括效果颜料的未知目标涂层的方法和设备。


技术实现要素：

9.上述目的通过具有相应独立权利要求的特征的方法和设备来解决。进一步的实施例由以下描述和相应的从属权利要求给出。
10.本公开涉及一种计算机实现的方法，该方法至少包括以下步骤：
[0011]-使用至少一个测量设备获得目标涂层的颜色值、纹理值和数字图像，
[0012]-基于针对目标涂层获得的颜色值和/或纹理值，从包括用于涂层组合物的配方和相关颜色值、相关纹理值和相关数字图像的数据库中取得一个或多个初步匹配配方，
[0013]-使用与至少一种滤波技术可操作地结合的计算机处理器，针对获得的目标涂层的图像和与一个或多个初步匹配配方相关/相关联的图像中的每个图像，执行图像分析以寻找并确定/识别至少一个闪光点，即确定/识别在相应图像内可能存在的闪光点，
[0014]-从相应的所获得的图像和从与一个或多个初步匹配配方相关联的相应图像创建每个闪光点的子图像，
[0015]-向卷积神经网络提供所创建的子图像，该卷积神经网络被训练以将相应闪光点的相应子图像与颜料和/或颜料类相关，并基于相应闪光点的相应子图像识别颜料和/或颜料类，
[0016]-分别针对目标涂层和每个初步匹配配方确定和输出识别的颜料和/或颜料类的统计数据，
[0017]-使用计算机处理器将针对目标涂层确定的统计数据与针对一个或多个初步匹配配方确定的统计数据进行比较，以及
[0018]-将一个或多个初步匹配配方中的至少一个确定为与目标涂层最优匹配的配方。
[0019]
术语“配方”和“配方产品”在此作为同义词使用。措辞“可操作结合”是指相应的组件(即计算机处理器和至少一种滤波技术)以计算机处理器可以控制/操作至少一种滤波技术和/或至少一种滤波技术可以向计算机处理器发送相应的过滤结果的方式彼此通信。术语“与
……
相关联”和“与
……
相关”同义使用。这两个术语都指示彼此关联/相关的组件的整体性。
[0020]
使用至少一个测量设备，通过分析目标涂层的光谱曲线来获得颜色值，光谱曲线是在关于目标涂层表面的不同测量几何结构处测量的。通常，光谱测量几何结构由照明方向/角度和观察方向/角度定义。典型的光谱测量几何结构是相对于涂层的表面法线测量的45
°
固定照明角和-15
°
、15
°
、25
°
、45
°
、75
°
、110
°
的观察角度，每个角度都相对于镜面反射角，即镜面反射方向测量，镜面反射方向定义为与涂层表面法线成相同角度的出射方向，作为相应光线的入射方向。
[0021]
图像值和纹理值是通过使用图像捕获设备捕获多个数字图像，特别是hdr图像而获得的，每个图像在关于目标涂层的表面的不同测量几何结构处获得。典型的基于图像的纹理测量几何结构是图像捕获设备(即相机)与目标涂层表面的法线成15
°
的固定位置。照明角选择为r15as-15、r15as15、r15as-45、r15as45、r15as80和基于x-rite ma-定义的半漫射角。“半漫射”在此意味着关于测量设备及其空间尺寸“尽可能漫射”。关于几何名称，至少一个测量设备(例如相机)和照明的位置是相反的。这意味着镜面反射角在此由相机的固定位置定义。具体地，这意味着：例如，名称“r15 as-15”用“r”表示“反向”，用“15”表示相机的固定位置，即与目标涂层的表面的法线成15
°
角，用“as”作为“逆镜面反射”，并且用
“‑
15”作为相对于镜面反射角测量的照明角。
[0022]
纹理值/参数特别是目标涂层的闪光等级sg、闪光颜色变化cv和粗糙度c或颗粒度g、闪光强度s_i和闪光面积s_a。
[0023]
该至少一个测量设备可以选择为如例如xritexrite ma-或
byk mac的分光光度计。这种分光光度计还可以与其它合适的设备(诸如显微镜)组合以便获得更多的图像数据，如例如显微镜图像。
[0024]
该数据库是配方数据库，其包括涂层组合物的配方和相关比色数据。对于每个配方，相关色度数据包括光谱数据，即基于相应配方的样品涂层的颜色值、纹理值和数字图像。基于第一匹配度量在数据库的多个配方中选择初步匹配配方。第一匹配度量由针对所有或至少一些上述光谱测量几何结构的目标涂层和相应样品涂层之间的色差度量(例如cie de*)来定义/计算，并且可选地补充至少一个纹理差度量，例如由byk-gardner[“beurteilung von effektlackierungen,den gesamtfarbeindruck objektiv messen”,byk-gardner gmbh]定义的纹理差dsi、dsa、dg中的至少一个。色差度量和至少一个纹理差度量可以相加，可选地通过加权相加。色差度量可以用三个颜色值来描述：l*表示从黑色(0)到白色(100)的亮度，a*从绿色(-)到红色( )，并且b*从蓝色(-)到黄色( )。
[0025]
在获得目标涂层的数字图像后，首先对数字图像进行预分析以识别缺陷(诸如划痕)可能是有用的。因此，使用与至少一个滤波单元可操作连接的电子计算机处理器，对获得的数字图像执行第一图像分析，以通过将图像前景数据与图像背景数据隔离来确定每个数字图像内的至少一个明亮区域。之后，针对每一个数字图像执行连通区域分析，以确定至少一个明亮区域内的至少一个损坏区域；并且如果发现至少一个损坏区域，则屏蔽至少一个损坏区域以进一步分析相应的数字图像，拒绝相应的数字图像和/或启动图像捕获的重复。
[0026]
该预分析允许检测目标涂层的图像中的缺陷。所提出的预分析的基本策略是(1)通过搜索例如指纹和划痕的典型结构特性来发现图像中的缺陷，以及(2)决定拒绝图像或忽略图像中检测到的损坏/缺陷区域以进行进一步的图像处理。
[0027]
这意味着可以拒绝包括具有缺陷的图像的测量，或者可以屏蔽图像中的缺陷/损坏区域，以便对相应图像进行进一步的纹理分析。预分析也可以被配置为例如通过经由计算机处理器在输出设备(诸如显示器和/或声音输出设备)上抛出/输出警告消息/信号，通知图像捕获设备的用户测量(获得的至少一个数字图像)是无效的，该输出设备是计算机处理器的一部分或与计算机处理器通信。它还可以要求用户重新测量涂层，直到测量数据(即获得的数字图像)是有效的。也可以由图像捕获设备自动重复图像捕获，直到获得的数字图像有效，即没有可检测的缺陷。因此，经由图像捕获设备和电子计算机处理器之间的通信连接，图像捕获设备被自动通知在相应一个图像内检测到的至少一个损坏区域/缺陷。
[0028]
因此，可以实现更准确的结果并减少颜色搜索和取得过程中的错误。此外，获得用于颜色开发和客户服务匹配的实验室工作量的减少。伴随着运营单位的成本降低，颜色匹配过程变得更加可靠和快速。
[0029]
措辞“与
……
通信”指示在相应组件之间存在通信连接。
[0030]
在从配方数据库取得一个或多个初步匹配配方之后，计算来自目标涂层的图像和来自与初步匹配配方相关的图像的颜料和/或颜料类的基本统计数据。
[0031]
然后，基于目标涂层和一个或多个初步匹配配方的颜料和/或颜料类的统计数据，从一个或多个初步匹配配方中选择至少一个作为最优匹配配方，以最小化第一匹配度量和
新的闪光差异。这意味着基于目标涂层和一个或多个初步匹配配方的颜料和/或颜料类的统计数据，即基于这些统计数据的比较，可以识别至少一个初步匹配配方，其关于目标涂层的相应闪光点的闪光差异最小(其闪光点具有距目标涂层的相应闪光点最小的闪光距离)。
[0032]
针对目标涂层确定的统计数据和针对一个或多个初步匹配配方确定的统计数据各自可以呈现为相应的直方图和/或相应的向量。
[0033]
此外，来自获得的图像和来自与一个或多个初步匹配配方相关联的图像的每个闪光点的子图像可以在具有和/或不具有背景的情况下创建，即具有闪光点的真实环境和/或具有统一的背景，特别是具有黑色背景(对应于“不具有背景”)。
[0034]
根据所提出的方法的一个实施例，该方法进一步包括使用神经网络从准确地描绘一个闪光点的每个子图像中，导出闪光点与至少一种颜料和/或颜料类的相关性，其中该相关性指示至少一种颜料和/或颜料类对已从其中切出子图像的相应图像内的闪光点分布的贡献。有利地，使用神经网络从每个子图像中导出描绘的相应闪光点与恰好一种颜料的相关性。对于每个图像，子图像以使得图像由子图像组成的方式创建。通常，子图像的数量由图像内闪光点的数量隐含地确定，并且位于从100到1000(例如从200到500)的区间内。
[0035]
在已捕获目标涂层或与涂层组合物的配方相关联并从数据库取得的数字图像中存在n个闪光点的情况下，创建n个子图像并且可能导致数量s1的子图像与颜料1相关，数量s2的子图像与颜料2相关，依此类推，直到数量sk的子图像与颜料k相关，其中k大于2并且小于或等于n，其中k、n二者是整数。
[0036]
数量s1，s2，...，sk与相应的颜料1，2，...，k一起允许汇总关于目标涂层内(即在与目标涂层相关联的配方内和/或在与相应数字图像相关联的配方内)不同颜料1，2，...，k的相应分数的统计数据。
[0037]
所提出的方法可以另外地，特别是在使用闪光颜色分布和/或闪光大小分布的其它颜料识别方法之前或之后执行。例如，在us 2017/0200288 a1和申请号为19154898.1的欧洲申请中描述了这种方法，最后一个的内容通过引用完整地包含在本文中。
[0038]
最后，识别最优匹配配方并将其转发到混合单元，该混合单元被配置为基于识别的最优匹配配方产生/混合油漆/涂层组合物。混合单元产生然后可以用来代替目标涂层的这种油漆/涂层组合物。混合单元可以是所提出设备的组件。
[0039]
可以与所提出的方法一起使用的神经网络基于被称为反向传播的学习过程。神经网络的神经元是分层布置的。这些层包括具有输入神经元的层(输入层)、具有输出神经元的层(输出层)以及一个或多个内层。输出神经元是要确定/预测寻找目标涂层的(油漆)配方的颜料(即调色剂)或颜料类。
[0040]
在训练阶段中作为训练数据的用于神经网络的输入神经元是样品涂层图像的子图像，每个样品涂层基于一种配方，该配方恰好包含一种先前已知的颜料/调色剂。每个这种子图像都准确地描绘了从其中切出的相应图像的一个闪光点。
[0041]
卷积神经网络的内层由卷积层、最大池化层和全连接密集层的全部或子集组成。卷积 relu(整流线性单元)层对输入神经元(即输入图像)应用滤波器，以从输入图像/传入图像中提取特征。池化层负责降低来自卷积的特征的维数。密集层是神经网络中标准的全连接神经元集，其将来自卷积 relu和最大池化层的高级特征映射到所需的颜料和/或颜料类。
[0042]
通常，闪光点与颜料的精确相关性需要大量的训练数据。作为基于仅包括恰好一种先前已知的颜料/调色剂的配方的样品涂层的图像通常示出大量的闪光点，并且对于每个这种闪光点创建子图像，获得对应地高数量的子图像。因此，可以创建足够多的训练数据，尽管可用颜料的数量是可数的，即有限的。训练数据的数量(即可用子图像的数量)可以通过对于每种颜料使用具有黑色背景的子图像和具有任何其它合适背景的子图像二者来进一步增加。
[0043]
只有在可用颜料的数量/大小发生任何变化时，才必须重新定义、重新训练和重新测试神经网络。
[0044]“先前已知的颜料/调色剂”是指已知且可用作颜色配方的颜色组分的颜料。
[0045]
措辞“用于涂层组合物的配方和相关联图像”是指用于涂层组合物的配方和已捕获相应涂层的图像。措辞“与一个或多个初步匹配配方相关联的图像”是指已分别捕获一个或多个初步匹配配方的相应涂层的图像。
[0046]
所提出的方法特别用于提供关于与目标涂层图像内识别的闪光点相关的不同颜料的统计数据，从而断定哪些颜料与哪些量形成目标涂层的配方的一部分。所使用的神经网络基于称为反向传播的学习过程。反向传播在这里应该被理解为经由错误反馈的监督学习过程的通用术语。存在多种反向传播算法：例如quickprop，弹性传播(rprop)。该过程使用至少包括三层的神经网络：具有输入神经元的第一层，具有输出神经元的第n层，以及(n-2)个内层，其中n是大于2的自然数。在这种网络中，输出神经元用于识别由目标涂层(即由对应的配方)包括的颜料类和/或颜料。
[0047]“识别一种/所述颜料”是指直接确定具体颜料和/或确定颜料所属的颜料类。例如，一种颜料类可以由金属效果颜料构成，而另一颜料类可以由珠光效果颜料构成。其它合适的类别，特别是进一步细化的类别是可能的。它例如可以将颜料类“金属”切割为“粗金属”和“细金属”或“小粗/细金属”或“大粗/细金属”。可以提供颜料类“铝颜料”和另一类“干涉颜料”。类“铝颜料”可以进一步细分为子类，诸如子类“玉米片”和子类“银元”。类“干涉颜料”可进一步细分为子类“白色云母”、“金色云母”、“蓝色云母”，并且再进一步分为子类“玻璃”、“天然云母”等。在统计数据的比较后，一些类或子类也可以适当地重新组合。
[0048]
根据所提出方法的一个可能实施例，图像分析使用图像分割技术来识别每个图像中闪光点的位置。创建图像蒙版，其基于颜色、纹理及其渐变来识别闪光点的位置。在蒙版中，每个像素都标有“0”，表示该像素不是闪光点的一部分，或“1”，表示该像素是闪光点的一部分。蒙版图像的轮廓检测识别每个单独闪光点位置的连接像素的边界。识别的闪光点轮廓覆盖在原始hdr(高动态范围)图像上。通过从原始hdr图像中提取相关联像素位置的rgb(源自红绿蓝颜色空间)像素数据并将rgb像素数据放置于标准图像帧的中心，针对蒙版中识别的所有闪光点创建子图像，在该标准图像帧中，该标准图像帧的rgb像素数据先前采用“0”(黑色)初始化，以便提供定义的背景。
[0049]
替代或附加分割技术包括阈值方法、基于边缘的方法、聚类方法、基于直方图的方法、基于神经网络的方法、混合方法等。
[0050]
根据所提出方法的另一方面，每个子图像与至少一个颜料和/或颜料类的相关性借助于卷积神经网络导出，该卷积神经网络被配置为以预先给定的概率将每个测量几何结
构的相应闪光点的每个子图像分类到特定颜料和/或特定颜料类。
[0051]
用于在该处获取相应子图像的每个测量几何结构的每个这种导出的相关性用于在确定最优匹配配方时调整至少一种颜料的贡献。
[0052]
根据所提出方法的另一方面，确定最优匹配配方的步骤包括提供具有相应颜料的相应数量和/或浓度的颜料列表。
[0053]
在闪光点与颜料类相关的情况下，可以通过使用上述方法中的任何一种或使用相应图像内的闪光颜色分布和/或闪光大小分布的其组合来执行所述识别的颜料类内的具体颜料的确定。可替代地，可以通过人工输入/决策来选择具体颜料。
[0054]
通常，子图像的图像区域由相应子图像描绘的闪光点的闪光大小来定义。可以采用相同的图像区域创建相应图像的所有子图像。在这种情况下，图像区域由相应图像的最大闪光点的闪光大小(即由最大闪光大小)定义。典型的图像区域可以是黑色背景中的10*10像素的图像区域。
[0055]
本公开进一步涉及一种设备。该设备至少包括：
[0056]-数据库，其包括涂层组合物的配方和相关颜色值、相关纹理值和相关数字图像，
[0057]-至少一个处理器，其与至少一个测量设备、数据库、至少一种滤波技术和卷积神经网络通信连接，并且被编程为执行至少以下步骤：
[0058]
a.从测量设备接收目标涂层的颜色值、纹理值和数字图像，
[0059]
b.基于针对目标涂层接收的颜色值和/或纹理值从数据库中取得一个或多个初步匹配配方，
[0060]
c.通过使用滤波技术，针对接收的目标涂层的图像和与一个或多个初步匹配配方相关的图像中的每个图像执行图像分析以寻找并确定相应图像内的至少一个闪光点，
[0061]
d.从接收的图像和从与一个或多个初步匹配配方相关/相关联的图像创建每个闪光点的子图像，
[0062]
e.向卷积神经网络提供创建的子图像，该卷积神经网络被训练以将相应闪光点的相应子图像与颜料和/或颜料类相关，并基于相应闪光点的相应子图像识别颜料和/或颜料类，
[0063]
f.分别针对目标涂层和针对每个初步匹配配方确定和输出识别的颜料和/或颜料类的统计数据，
[0064]
g.将针对目标涂层确定的统计数据与针对一个或多个初步匹配配方确定的统计数据进行比较，以及
[0065]
h.确定一个或多个初步匹配配方中的至少一个作为与目标涂层最优匹配的配方。
[0066]
根据另一方面，该设备还包括至少一个测量设备、滤波技术和/或卷积神经网络。
[0067]
根据所提出设备的另一个实施例，处理器进一步被配置为执行从每个子图像导出与至少一种颜料和/或颜料类的相关性的步骤，其中，相关性指示至少一种颜料/颜料类对已从其中切出子图像的相应图像内的闪光点分布的贡献。
[0068]
处理器可以进一步被配置为借助于卷积神经网络导出每个测量几何结构的每个子图像与至少一种颜料和/或颜料类的相关性，该卷积神经网络被配置为(以预先给定的概率)将每个测量几何结构的相应闪光点的每个子图像与特定颜料和/或特定颜料类相关联。
[0069]
处理器可以进一步被配置为使用用于在该处获取相应子图像的每个测量几何结
构的每个导出的相关性，以在确定最优匹配的配方时调整/估计/确定至少一种颜料和/或颜料类的贡献。
[0070]
所提出的设备可以包括输出单元，该输出单元被配置为输出确定的最优匹配配方。
[0071]
所提出的设备特别被配置为执行上述方法的实施例。
[0072]
通常，至少数据库(也称为配方数据库)和至少一个处理器经由相应的通信连接在彼此之间联网。在测量设备、滤波技术和卷积神经网络中的至少一个是单独组件(即未在至少一个处理器上实现)的情况下，无论是设备的内部组件还是外部组件、数据库和至少一个处理器也经由相应的通信连接与那些组件联网，即它们彼此通信。不同组件之间的通信连接中的每一个可以分别是直接连接或间接连接。每个通信连接可以是有线或无线连接。可以使用每种合适的通信技术。配方数据库、至少一个处理器，每个都可以包括用于彼此通信的一个或多个通信接口。这种通信可以使用有线数据传输协议来执行，诸如光纤分布式数据接口(fddi)、数字用户线(dsl)、以太网、异步传输模式(atm)或任何其它有线传输协议。可替代地，该通信可以经由使用多种协议中的任何一种的无线通信网络无线地进行，协议诸如是通用分组无线电服务(gprs)、通用移动电信系统(umts)、码分多址(cdma)、长期演进(lte)、无线通用串行总线(usb)和/或任何其它无线协议。相应的通信可以是无线和有线通信的组合。
[0073]
处理器可以包括一个或多个输入设备或可以与一个或多个输入设备通信，输入设备诸如是触摸屏、音频输入、运动输入、鼠标、小键盘输入等。此外，处理器可以包括一个或多个输出设备或可以与一个或多个输出设备通信，输出设备诸如是音频输出、视频输出、屏幕/显示输出等。
[0074]
本发明的实施例可以与计算机系统一起使用或结合在计算机系统中，该计算机系统可以是独立单元或包括经由网络(诸如例如互联网或内联网)与位于例如云中的中央计算机通信的一个或多个远程终端或设备。因此，在此所述的处理器和相关组件可以是本地计算机系统或远程计算机或在线系统或其组合的一部分。在此所述的配方数据库和软件可以存储在计算机内部存储器或非暂态计算机可读介质中。
[0075]
在本公开的范围内，数据库可以是数据存储单元的一部分或者可以表示数据存储单元本身。术语“数据库”和“数据存储单元”同义地使用。
[0076]
本公开进一步涉及一种具有计算机程序的非暂态计算机可读介质，该计算机程序具有程序代码，当计算机程序由与至少一个测量设备、数据库、滤波技术和卷积神经网络通信连接的至少一个处理器加载和执行时，该程序代码被配置为至少执行以下步骤：
[0077]
a.从测量设备接收目标涂层的颜色值、纹理值和数字图像，
[0078]
b.基于针对目标涂层获得的颜色值和/或纹理值从包括用于涂层组合物的配方和相关颜色值、相关纹理值和相关数字图像的数据库中取得一个或多个初步匹配配方，
[0079]
c.通过使用滤波技术，针对获得的目标涂层的图像和与一个或多个初步匹配配方相关的图像中的每一个执行图像分析以确定相应图像内的至少一个闪光点，
[0080]
d.从接收的图像和从与一个或多个初步匹配配方相关联/相关的图像创建每个闪光点的子图像，
[0081]
e.向卷积神经网络提供创建的子图像，卷积神经网络被训练以将相应闪光点的相
应子图像与颜料和/或颜料类相关，并基于相应闪光点的相应子图像识别颜料和/或颜料类，
[0082]
f.分别针对目标涂层和针对每个初步匹配配方确定和输出识别的颜料和/或颜料类的统计数据，
[0083]
g.将针对目标涂层确定的统计数据与针对一个或多个初步匹配配方确定的统计数据进行比较，以及
[0084]
h.确定一个或多个初步匹配配方中的至少一个作为与目标涂层最优匹配的配方。
[0085]
本发明在以下示例中进一步定义。应当理解，这些示例通过指示本发明的优选实施例仅以说明的方式给出。通过以上讨论和示例，本领域技术人员可以确定本发明的本质特征，并且在不脱离其精神和范围的情况下，可以对本发明进行各种变化和修改以使其适应各种用途和情况。
附图说明
[0086]
图1示出具有根据标准多角度光谱仪和/或彩色相机术语标记的角度的可能的基于图像的测量几何结构。
[0087]
图2示意性地示出所提出方法的实施例的流程图。
[0088]
图3在图3a中示出在给定的基于图像的测量几何结构处捕获的目标涂层的图像，在图3b中示出在图像分析期间滤波的图3a的图像，在图3c中示出在图3a的图像内的检测到的闪光点。
[0089]
图4示出所提出设备的实施例。
[0090]
图5示意性地示出如何根据所提出方法的可能实施例生成神经网络训练集。
[0091]
图6示意性地示出如何根据所提出方法的另一个可能实施例生成神经网络训练集。
[0092]
图7示意性地示出在所提出方法的另一实施例中使用的神经网络。
具体实施方式
[0093]
传统的光谱仪和图像捕获设备被视为图1中表示的可能的基于图像的测量几何结构光源111至115和相机120。图1使用行业公认的术语来描述光源111至115相对于镜面反射角100的角度。在此使用传统的数学标准。在各种实施例中，可以使用使用漫射或准直颜色校正光的传统光源111至115，并且图像捕获设备(例如具有适当分辨率的彩色相机)120可用于通过以光源111至115的一个、一些或所有已识别或类似角度照射来收集目标涂层130的图像。
[0094]
在获得目标涂层的数字图像后，首先对数字图像执行预分析以识别缺陷(诸如划痕)可能是有用的。因此，使用与至少一个滤波单元可操作连接的电子计算机处理器，对获得的数字图像执行第一图像分析，以通过将图像前景数据与图像背景数据隔离来在每个数字图像内寻找并确定至少一个明亮区域。之后，针对每一个数字图像，执行连通区域分析以寻找并确定至少一个明亮区域内的至少一个损坏区域；并且如果发现至少一个损坏区域，则屏蔽至少一个损坏区域以用于相应的数字图像的进一步分析，拒绝相应的数字图像和/或启动图像捕获的重复。
[0095]
在随后的图像分析过程中，可以对已经从图像捕获设备获得的目标涂层的每个图像应用高通滤波器，以确定图像中各个像素中的最亮斑点。所得数据/图像可以仅包括关于明亮位置的信息。高通滤波器可以将具有高值中心点和低值边缘点的值矩阵与图像的强度信息矩阵进行卷积。这隔离了可以被识别为闪光点的高强度像素。为了进一步细化闪光点，可以结合强度过滤应用边缘检测滤波方法。将相同的过程应用于与从数据库取得的一个或多个初步匹配配方相关联的图像中的每个图像。
[0096]
图2示意性地示出所提出方法的实施例。如图2中所示，在步骤10处使用至少一个测量设备测量/获得目标涂层的颜色值、纹理值和数字图像之后，在步骤12处从数据库取得一个或多个初步匹配配方，该数据库包括涂层组合物的配方和相关颜色值、相关纹理值和相关数字图像。基于针对目标涂层获得的颜色值和/或纹理值取得一个或多个初步匹配配方。基于第一匹配度量在数据库的多个配方中选择初步匹配配方，该第一匹配度量由目标涂层和多个配方中的相应配方的样品涂层之间的色差度量定义。选择其关于目标涂层的相应第一匹配度量小于或等于预定义/预先给定阈值的那些配方作为初步匹配配方。可能只选择一个配方作为初步匹配配方。作为选择初步匹配配方的进一步标准，可以针对与目标涂层相关的数据库配方的相应样品涂层确定至少一个纹理差度量，例如纹理差dsi、dsa、dg中的至少一个。颜色差和至少一个纹理差可以相加，特别是通过加权和来相加。在步骤14处和如前所述，可以对获得的目标涂层图像进行预分析，以便检测和屏蔽诸如划痕的损坏区域。在这种预分析之后，在步骤16处，如上所述的图像分析用于确定针对目标涂层的获得的图像中的每一个图像以及与一个或多个初步匹配配方相关联并从数据库中取得的图像中的每个图像的闪光点。这种图像分析使用计算机处理器可操作地结合至少一种滤波技术来执行。一旦已经确定和隔离了闪光点，则在步骤18处分别创建获得的图像和与一个或多个初步匹配配方相关联的图像中的每个闪光点的至少一个子图像。在步骤20处，创建的子图像被提供给卷积神经网络(cnn)。神经网络被训练以将相应闪光点的相应子图像与颜料和/或颜料类相关并基于相应闪光点的相应子图像识别(即输出)颜料和/或颜料类。
[0097]
在步骤22处，针对目标涂层和针对每个初步匹配配方，分别确定和输出识别的颜料和/或颜料类的相应统计数据。可以使用诸如屏幕的显示设备来进行这种输出。在步骤24处将针对目标涂层确定的统计数据分别与针对一个或多个初步匹配配方确定的统计数据进行比较。在步骤26处，一个或多个初步匹配配方中的至少一个被确定为与目标涂层的最优匹配。
[0098]
图3a示出目标涂层的原始hdr(高动态范围)图像。在图像分析中，在第一步骤处，目标涂层的原始图像的强度值被分析并根据需要进行调整，以便尽可能好地描绘图像的结构。因此，可以消除可能由不均匀照明条件引起的干扰因素。然后，根据所提出方法的一个可能实施例，图像分析使用图像分割技术来识别图像中闪光点的位置(不同的算法可用于识别闪光点并获得关于不同闪光点的亮度和位置的信息)。创建如图3b中所示的图像蒙版，其基于颜色、纹理和/或它们的梯度来识别闪光点的位置。在这样做时，可以经由阈值化将图像转换为二进制图像，使用连续区域对二进制图像进行进一步分割，并且在这些部分处执行连通区域检测。将由它们相应的亮度和位置描述的闪光点复制并粘贴到具有黑色背景的空白图像中，从而创建如图3b中所示的图像蒙版。在创建的图像蒙版内，图像的每个像素都标有指示所述像素不是闪光点的一部分的“0”，或指示所述像素是闪光点的一部分的“1”。闪光点相对于黑色背景清晰可见。这意味着由于滤波/阈值化，原始图像(图3a)的所有闪光点在这里显现为图3b中所示的图像蒙版中的白色或浅灰色点。
[0099]
图像蒙版的轮廓检测识别每个单独闪光点位置的连接像素的边界。对于最终审查，识别的闪光点轮廓覆盖在目标涂层的原始图像上，如图3c中所示。为了更好地说明，闪光点以另一种颜色呈现，而不是目标涂层的原始图像的主要颜色。目标涂层的原始图像的主要颜色在这里是红色(黑白图像中的灰色)，因此闪光点以绿色表示(黑白图像中的浅灰色)。
[0100]
如图5和图6中所示，通过从原始hdr图像中针对相关联像素位置提取每个闪光点的rgb数据并将这些提取的rgb数据放置于标准图像帧的中心，针对图像中(即图像蒙版中)识别的所有闪光点创建子图像，在该标准图像帧中，该标准图像帧的rgb像素数据先前采用“0”(黑色)初始化以便提供定义的背景。
[0101]
图4示出设备400的实施例，其可用于识别目标涂层的涂层混合物的颜料和/或颜料的颜料类。用户40可以利用诸如图形用户界面的用户界面41来操作至少一个测量设备42以测量目标涂层43的特性，即借助于相机捕获目标涂层的数字图像，每个图像都在不同的基于图像的纹理测量几何结构处(例如在不同的角度)获得，并例如使用分光光度计确定不同光谱测量几何结构的颜色值和纹理值。来自至少一个测量设备(例如相机42)的数据可以被转移到计算机44，诸如个人计算机、移动设备或任何类型的处理器。计算机44可以经由网络45与服务器46进行通信，即进行通信连接。网络45可以是任何类型的网络，诸如互联网、局域网、内联网或无线网络。服务器46与数据库47通信，该数据库47可以存储本发明的实施例的方法所使用的数据和信息以用于比较目的。在各种实施例中，数据库47可用于例如客户端服务器环境或例如基于网络的环境，诸如云计算环境。本发明的实施例的方法的各个步骤可以由计算机44和/或服务器46执行。在另一方面，本发明可以实现为包含用于使计算机或计算机系统执行上述方法的软件的非暂态计算机可读介质。该软件可以包括用于使处理器和用户界面能够执行在此所述的方法的各种模块。
[0102]
图5示意性地示出如何生成神经网络训练集的一种可能性，该训练集可用于训练神经网络以识别目标涂层的涂层混合物的颜料和/或颜料的颜料类。通常，提供有限数量的调色剂/效果颜料。对于每种效果颜料，从仅包括所述相应效果颜料作为颜料的涂层捕获数字图像，特别是hdr图像。这些数字图像与相应的效果颜料相关联并存储在数据库(即目录501)中。当训练神经网络时，如前所述分割每个这种数字图像，以便在步骤502处隔离闪光点。在步骤503处，将这种数字图像的识别的闪光点覆盖到原始图像上。在步骤504处，从数字图像创建每个闪光点的子图像。在这样做时，对于每个闪光点，从原始hdr图像中提取相关联像素位置的rgb数据，并将其放置在标准图像帧的中心，在该标准图像帧中该标准图像帧的rgb像素数据先前用“0”(黑色)初始化以便提供定义的背景。在这里所示的情况下，子图像504-1、504-2、504-3从黑色背景中的数字图像创建。如已知的，涂层包括哪种颜料，在步骤505处，所有创建的子图像可以明确地与相应颜料相关并且存储在相应颜料的文件夹506中。所有颜料的文件夹存储在目录507中。因此，输入神经元(即输入图像)，特别是各自只包括一种颜料的涂层的相应子图像，以及输出神经元(即由涂层所包括的相应颜料)是已知的并且可用于训练神经网络。
[0103]
图6示意性地示出可如何生成神经网络网络训练集的另一种可能性，该训练集可
用于训练神经网络以识别目标涂层的涂层混合物的颜料和/或颜料的颜料类。通常，给出有限数量的调色剂/效果颜料。对于每种效果颜料，从仅包括所述相应效果颜料作为颜料的涂层捕获数字图像。这些数字图像与相应的效果颜料和/或颜料类相关联/相关，并存储在数据库(即目录601)中。在步骤602处，当训练神经网络时，每个这种数字图像都采用在图像上移动的帧，即从图像的左到右、从上到下从一个像素到另一个像素移动的帧覆盖，找到像素以便隔离闪光点。在步骤603处，从数字图像创建每个闪光点的子图像。在这里所示的情况下，分别通过从数字图像中提取运动帧来从数字图像中创建子图像603-1、603-2、603-3。在步骤604处，如已知的涂层包括哪种颜料，所有创建的子图像可以明确地与相应的颜料和/或颜料类相关并且存储在相应的颜料和/或颜料类的文件夹605中。所有颜料和/或颜料类的文件夹存储在目录606中。因此，输入神经元以及输出神经元是已知的并且可以用于训练神经网络。
[0104]
图7示出卷积神经网络700，其可用于识别目标涂层的涂层混合物的颜料和/或颜料类。在这种情境下使用的一种神经网络基于称为反向传播的学习过程。神经网络的神经元是分层布置的。这些包括具有输入神经元的层(输入层)、具有输出神经元的层(输出层)以及一个或多个内层。输出神经元是要确定的涂料配方的颜料或颜料类。用于神经网络的输入神经元是由已经在目标涂层的数字图像和/或与匹配目标涂层的一个或多个初步配方相关联的数字图像中已经预先确定的闪光点创建的子图像。通常，卷积神经网络(cnn)是一种在其至少一层中使用卷积代替一般矩阵乘法的神经网络。卷积神经网络由输入层701和输出softmax层706以及特征学习和分类内层组成。cnn的特征学习部分通常由一系列卷积层703组成，该卷积层采用乘法或其它点积进行卷积。激活函数通常是relu(整流线性单元)层，并且随后是减少卷积维数的池化层704。cnn的分类部分由全连接层702和输出softmax层706组成，用于计算多类概率。使用反向传播算法训练神经网络700，当训练示例被呈现给神经网络时，该反向传播算法通过调整卷积层和密集层中的权重来最小化实际输出和预测输出之间的误差。
[0105]
输入神经元由从目标涂层的数字图像和/或从作为与一个或多个初步匹配配方相关联的图像的数据库取得的图像提取的子图像705给出。神经网络700先前已经通过如图5和图6中示例性描述的训练数据进行训练。那些子图像705经由神经网络700分配给颜料和/或颜料类706。
[0106]
可以理解，本发明的实施例可以与使用纹理参数(例如，色调、强度、大小和/或反射率数据)进行颜料识别的其它方法结合使用。在各种实施例中，为了正确识别在未知或目标涂层中使用的调色剂的类型或其偏移，需要观察正确的角度并与先前已创建的数据库中的现有已知调色剂进行比较.可以生成调色剂的二元混合物以评估调色剂的各种浓度对其闪光颜色属性的影响。
[0107]
参考符号列表
[0108]
100
ꢀꢀꢀꢀꢀꢀ
镜面角度
[0109]
111至115 光源
[0110]
120
ꢀꢀꢀꢀꢀꢀ
相机
[0111]
130
ꢀꢀꢀꢀꢀꢀ
目标涂层
[0112]
10
ꢀꢀꢀꢀꢀꢀꢀ
方法步骤
[0113]
12
ꢀꢀꢀꢀꢀꢀꢀ
方法步骤
[0114]
14
ꢀꢀꢀꢀꢀꢀꢀ
方法步骤
[0115]
16
ꢀꢀꢀꢀꢀꢀꢀ
方法步骤
[0116]
18
ꢀꢀꢀꢀꢀꢀꢀ
方法步骤
[0117]
20
ꢀꢀꢀꢀꢀꢀꢀ
方法步骤
[0118]
22
ꢀꢀꢀꢀꢀꢀꢀ
方法步骤
[0119]
24
ꢀꢀꢀꢀꢀꢀꢀ
方法步骤
[0120]
26
ꢀꢀꢀꢀꢀꢀꢀ
方法步骤
[0121]
400
ꢀꢀꢀꢀꢀꢀ
设备
[0122]
40
ꢀꢀꢀꢀꢀꢀꢀ
用户
[0123]
41
ꢀꢀꢀꢀꢀꢀꢀ
用户界面
[0124]
42
ꢀꢀꢀꢀꢀꢀꢀ
测量设备
[0125]
43
ꢀꢀꢀꢀꢀꢀꢀ
目标涂层
[0126]
44
ꢀꢀꢀꢀꢀꢀꢀ
计算机
[0127]
45
ꢀꢀꢀꢀꢀꢀꢀ
网络
[0128]
46
ꢀꢀꢀꢀꢀꢀꢀ
服务器
[0129]
47
ꢀꢀꢀꢀꢀꢀꢀ
数据库
[0130]
501
ꢀꢀꢀꢀꢀꢀ
目录
[0131]
502
ꢀꢀꢀꢀꢀꢀ
闪光图像分割
[0132]
503
ꢀꢀꢀꢀꢀꢀ
覆盖在hdr图像上的轮廓
[0133]
504
ꢀꢀꢀꢀꢀꢀ
每个闪光点的子图像的创建
[0134]
504-1
ꢀꢀꢀꢀ
闪光点的子图像
[0135]
504-2
ꢀꢀꢀꢀ
闪光点的子图像
[0136]
504-3
ꢀꢀꢀꢀ
闪光点的子图像
[0137]
505
ꢀꢀꢀꢀꢀꢀ
将子图像与颜料相关
[0138]
506
ꢀꢀꢀꢀꢀꢀ
文件夹
[0139]
507
ꢀꢀꢀꢀꢀꢀ
目录
[0140]
601
ꢀꢀꢀꢀꢀꢀ
目录
[0141]
602
ꢀꢀꢀꢀꢀꢀ
在数字图像上移动帧的步骤
[0142]
603
ꢀꢀꢀꢀꢀ
每个闪光点的子图像的创建
[0143]
603-1
ꢀꢀꢀꢀ
子图像
[0144]
603-2
ꢀꢀꢀꢀ
子图像
[0145]
603-3
ꢀꢀꢀꢀ
子图像
[0146]
604
ꢀꢀꢀꢀꢀꢀ
将子图像与颜料相关
[0147]
605
ꢀꢀꢀꢀꢀꢀ
文件夹
[0148]
606
ꢀꢀꢀꢀꢀꢀ
目录
[0149]
700
ꢀꢀꢀꢀꢀꢀ
神经网络
[0150]
701
ꢀꢀꢀꢀꢀꢀ
输入层
[0151]
702
ꢀꢀꢀꢀꢀꢀ
全连接层
[0152]
703
ꢀꢀꢀꢀꢀꢀ
卷积 relu层
[0153]
704
ꢀꢀꢀꢀꢀꢀ
池化层
[0154]
705
ꢀꢀꢀꢀꢀꢀ
子图像
[0155]
706
ꢀꢀꢀꢀꢀꢀ
softmax层