多源异构数据融合的视觉处理方法、装置、设备及介质与流程

1.本发明涉及人工智能领域，尤其涉及机器视觉领域，具体是一种多源异构数据融合的视觉处理方法、装置、设备及介质。


背景技术：

2.在工业制造中，尤其是对于半导体等微、纳米级别的超高精度制造中，由于工艺或环境的影响，不可避免会产生各种缺陷，通常需要对工艺材料的品质进行检测，以保证产品生产良率。视觉处理方法是目前常见的工艺缺陷检测方法，其通常使用cmos/ccd等图像传感器采集检测目标的光强信息进行缺陷检测。但是产品缺陷的种类繁多，仅依赖单一的光强信息并不能完全应对各种复杂缺陷。比如，一些尺寸比较微小、纹理相较背景并不突出的缺陷(缝隙、划痕等)，其光强变化十分微弱，特征难以捕捉，缺陷检测准确率也因而十分受限。


技术实现要素：

3.本发明提供一种多源异构数据融合的视觉处理方法、装置、设备及介质，以解决现有视觉处理方法依赖单一光强数据进行缺陷检测，导致复杂缺陷检测的准确率低下的问题。
4.提供一种多源异构数据融合的视觉处理方法，包括：
5.获取对检测目标进行多源光学信息采集得到的多个异构光学数据；
6.分别对多个异构光学数据进行特征提取得到多类光学特征；
7.对多类光学特征进行多模态数据特征相似度计算，得到多类光学特征的相似度关系数据，并根据相似度关系数据对多类光学特征进行基于注意力机制的数据融合，得到检测目标的光学融合特征；
8.基于光学融合特征对检测目标进行视觉处理。
9.提供一种多源异构数据融合的视觉处理装置，包括：
10.获取模块，用于获取对检测目标进行多源光学信息采集得到的多个异构光学数据；
11.特征提取模块，用于分别对多个异构光学数据进行特征提取得到多类光学特征；
12.融合模块，用于对多类光学特征进行多模态数据特征相似度计算，得到多类光学特征的相似度关系数据，并根据相似度关系数据对多类光学特征进行基于注意力机制的数据融合，得到检测目标的光学融合特征；
13.视觉处理模块，用于基于光学融合特征对检测目标进行视觉处理。
14.提供一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述多源异构数据融合的视觉处理方法的步骤。
15.提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征
在于，计算机程序被处理器执行时实现上述多源异构数据融合的视觉处理方法的步骤。
16.上述多源异构数据融合的视觉处理方法、装置、设备及介质所提供的一个技术方案中，通过获取对检测目标进行多源光学信息采集得到的多个异构光学数据，然后分别对多个异构光学数据进行特征提取得到多类光学特征，并对多类光学特征进行多模态数据特征相似度计算，得到多类光学特征的相似度关系数据，再根据相似度关系数据对多类光学特征进行基于注意力机制的数据融合，得到检测目标的光学融合特征，最后基于光学融合特征对检测目标进行视觉处理；本发明是基于多源异构的光学数据对检测目标进行缺陷检测，通过建立不同类型的光学数据间的相似度关系，实现多源光学信息的有效融合，可以突出缺陷部位的纹理特征，从而提升对微小缺陷纹理特征的提取能力，提高缺陷视觉检测的准确率。
附图说明
17.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明一实施例中视觉系统的一结构示意图；
19.图2是本发明一实施例中多源异构数据融合的视觉处理方法的一流程示意图；
20.图3是图2中步骤s20的一实现流程示意图；
21.图4是本发明一实施例中第一特征提取模型的一结构示意图；
22.图5是图2中步骤s30的一实现流程示意图；
23.图6是图2中步骤s30的另一实现流程示意图；
24.图7是本发明一实施例中多源异构数据的缺陷检测装置的一结构示意图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.本发明实施例提供的多源异构数据融合的视觉处理方法，可应用在如图1所示的视觉系统中，该视觉系统包括检测目标、多源异构数据融合的视觉处理装置和多个光学数据采集装置。其中，多个光学数据采集装置通过网络与多源异构数据融合的视觉处理装置进行通信。多个光学数据采集装置用于对检测目标进行多源光学信息采集，得到检测目标的多个异构光学数据。其中，多个异构光学数据包括检测目标的光强数据、深度数据、相位数据、角度数据、频率数据等光学数据的至少两种数据。不同光学数据由不同的光学数据采集装置采集得到，例如，检测目标的光强数据可以通过ccd传感器采集得到，检测目标的深度数据可以由深度相机采集得到。
27.多源异构数据融合的视觉处理装置，具体用于：获取对检测目标进行多源光学信息采集得到的多个异构光学数据；分别对多个异构光学数据进行特征提取得到多类光学特
征，并对多类光学特征进行多模态数据特征相似度计算，得到多类光学特征的相似度关系数据；根据相似度关系数据对多类光学特征进行基于注意力机制的数据融合，得到检测目标的光学融合特征；基于光学融合特征对检测目标进行视觉处理；本实施例中，多源异构数据融合的视觉处理装置基于多源异构的光学数据对检测目标进行缺陷检测，通过计算不同类型的光学数据间的相似度关系，实现多源光学信息的有效融合，可以显著降低检测目标的类内差异、增大类间差异，以突出缺陷部位的纹理特征，从而提升对微小缺陷纹理特征的提取能力，提高缺陷视觉检测的准确率。
28.其中，多源异构数据融合的视觉处理装置可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑等设备，此外，多源异构数据融合的视觉处理装置可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
29.在一实施例中，如图2所示，提供一种多源异构数据融合的视觉处理方法，以该方法应用在图1中的多源异构数据融合的视觉处理装置为例进行说明，包括如下步骤：
30.s10：获取对检测目标进行多源光学信息采集得到的多个异构光学数据。
31.需要理解的是，多源光学信息指的是来源不同的光学信息，即通过不同类型的光学数据采集装置采集得到；异构光学数据指的多源光学信息经采集量化后得到的不同结构的光学数据。
32.在需要对材料、产品进行缺陷检测时，需要通过多个不同类型的光学数据采集装置对检测目标进行多源光学信息采集，得到该检测目标的多个异构光学数据，之后，多源异构数据融合的视觉处理装置获取各个的光学数据采集装置采集得到的异构光学数据，即获得对检测目标进行多源光学信息采集得到的多个异构光学数据，以便后续基于该多个异构光学数据对该检测目标进行视觉分析。
33.s20：分别对多个异构光学数据进行特征提取得到多类光学特征。
34.在得到检测目标的多个异构光学数据之后，分别对多个异构光学数据进行特征提取得到多类光学特征。
35.其中，可以使用特征提取模型分别对各个异构光学数据进行特征提取得到多类光学特征，简单方便。
36.s30：对多类光学特征进行多模态数据特征相似度计算，得到多类光学特征的相似度关系数据，并根据相似度关系数据对多类光学特征进行基于注意力机制的数据融合，得到检测目标的光学融合特征。
37.在分别对多个异构光学数据进行特征提取得到多类光学特征之后，对多类光学特征进行多模态数据特征相似度计算，得到多类光学特征的相似度关系数据；在得到多类光学特征的相似度关系数据之后，根据多类光学特征的相似度关系数据对多类光学特征进行基于注意力机制的数据融合，得到检测目标的光学融合特征。即将相似度关系数据转换为注意力机制的权重，将各权重赋予至某一类或多类光学特征的各个特征点(即像素点)，使得检测目标的特征增强，并对增强后的特征进行融合得到检测目标的光学融合特征，从而实现多源光学信息的融合。
38.例如，利用协方差矩阵(即相似度矩阵)建立各异构光学数据特征的相似度关系，在得到多类光学特征的相似度关系数据之后，采用激活函数将多类光学特征的相似度关系数据转化为权重值，将该权重值赋予某一类光学特征的各个特征点(图像的像素点)，实现
对多类光学特征的全局自适应特征激活，增强了各个光学特征点，从而实现对多源光学信息(多个异构光学数据)的有效融合，基于注意力机制的融合方式，使得融合后的光学融合特征能够显著降低目标的类内差异、增大类间差异，从而可以突出缺陷部位的纹理特征。
39.例如，当多类光学特征包括第一类光学特征和第二类光学特征时，多类光学特征的相似度关系数据即为第一类光学特征与第二类光学特征间的相似度矩阵。此时，采用激活函数(sigmoid函数)对相似度关系数据进行非线性激活，得到目标权重值，然后将目标权重值与第一类光学特征相乘，注意力激活后的特征图z，即检测目标的光学融合特征。
40.其中，采用sigmoid函数对相似度关系数据进行非线性激活时，检测目标的光学融合特征的计算公式如下：
[0041][0042]
其中，z表示注意力激活后的特征图，即检测目标的光学融合特征；e表示第一类光学特征，表示矩阵相乘法，k表示第一类光学特征e与第二类光学特征d间的相似度矩阵，即相似度关系数据。
[0043]
本实施例中，利用协方差矩阵建立第一类光学特征和第二类光学特征的关系，即通过相似度矩阵的建立第一类光学特征与第二类光学特征的距离关系。计算第一类光学特征和第二类光学特征间的相似度关系，以实现多源光学信息融合，然后使用sigmoid激活函数将两者的距离关系转化为目标权重值，并将该目标权重值赋予至第一类光学特征的各个特征点，即赋予检测目标的各个特征点，实现对第一类光学特征的全局自适应特征激活，进而实现多源光学信息的有效融合，可以扩大缺陷目标前景与背景间的差异性，突出缺陷部位的纹理特征，提升缺陷的检测能力。
[0044]
s40：基于光学融合特征对检测目标进行视觉处理。
[0045]
在根据相似度关系数据对多类光学特征进行基于注意力机制的数据融合，得到检测目标的光学融合特征之后，基于光学融合特征对检测目标进行视觉处理。其中，可以将该光学融合特征输入视觉处理网络中进行缺陷识别，从而识别出该检测目标是否存在缺陷以及缺陷类型。
[0046]
需要理解的是，产品缺陷目标种类繁多，尺寸比较微小，纹理相较背景并不突出，传统的依靠单一的光强数据视觉处理方式往往难以捕捉到缺陷的纹理特征，导致对缺陷的检测准确率不高。而本实施例提供的基于多源异构数据融合的视觉处理方法，通过获取多个异构光学数据(即获取多模态数据)，并建立检测目标的多模态数据特征间的关系，为检测目标的各个光学特征点进行基于全局注意力机制的特征增强和融合，实现各个特征点的权重激活并有效融合得到光学融合特征，能够显著降低检测目标各类光学特征的类内差异、增大各类光学特征的类间差异，扩大检测目标前景与背景间的差异性，突出缺陷部位的纹理特征，从而后续在基于光学融合特征进行视觉处理时，提升对微小缺陷纹理特征的识别能力，能够准确识别出检测目标的缺陷，提高视觉检测准确率。
[0047]
本实施例中提供的多源异构数据融合的视觉处理方法，基于多源异构的光学数据对检测目标进行缺陷检测，通过获取对检测目标进行多源光学信息采集得到的多个异构光学数据，然后分别对多个异构光学数据进行特征提取得到多类光学特征，并对多类光学特征进行多模态数据特征相似度计算，得到多类光学特征的相似度关系数据，再根据相似度关系数据对多类光学特征进行基于注意力机制的数据融合，得到检测目标的光学融合特
征，最后基于光学融合特征对检测目标进行视觉处理；通过计算不同类型的光学数据间的相似度关系，实现多源光学信息的有效融合，可以显著降低检测目标的类内差异、增大类间差异，以突出缺陷部位的纹理特征，从而提升对微小缺陷纹理特征的提取能力，提高检测缺陷的准确率。
[0048]
在一实施例中，多个异构光学数据包括第一类光学数据和第二类光学数据。如图3所示，步骤s20中，即分别对多个异构光学数据进行特征提取得到多类光学特征，具体包括如下步骤：
[0049]
s21：获取第一特征提取模型和第二特征提取模型。
[0050]
本实施例中，多个异构光学数据包括第一类光学数据和第二类光学数据。在得到第一类光学数据和第二类光学数据之后，需要获取预先训练的第一特征提取模型和第二特征提取模型。其中，第一特征提取模型包括感受野不同依的多个特征层，多个特征层依次连接。
[0051]
s22：将第一类光学数据输入第一特征提取模型，依次通过多个特征层进行特征提取，并将各特征层分别输出的子特征汇总得到第一类光学特征。
[0052]
本实施例中，多个异构光学数据包括第一类光学数据和第二类光学数据，对应地，多类光学特征包括第一类光学特征和第二类光学特征。由于产品的缺陷往往形态各异，缺陷尺寸大小不一，因此，进行缺陷检测时需要考虑到不同图像尺度对检测结果的影响，使得视觉处理算法对多尺度缺陷目标都具备良好的检测能力。
[0053]
因此在多个异构光学数据包括第一类光学数据和第二类光学数据时，需要将第一类光学数据进行不同尺度的特征提取，得到不同图像尺度的多个子特征。
[0054]
在获取第一特征提取模型后，将第一类光学数据输入第一特征提取模型，并依次通过多个特征层进行特征提取，然后将各特征层分别输出的子特征汇总得到第一类光学特征，即第一类光学特征包括多个子特征。
[0055]
由于每一特征层的感受野(是指特征图中每一个像素点对应原图像的大小)不同，而不同大小的感受野能够提取不同尺度的特征数据，因此将原图像(即第一类光学数据)输入特征提取模型后，不同特征层输出的子特征的图像尺度不同。将不同特征层输出的子特征按照图像尺度排序，可以得到图像尺度依次增加的多个子特征。
[0056]
例如，第一特征提取模型为一个类金字塔的神经网络结构，即特征提取模型中多个特征层的感受野依次增加，则多个特征层输出的子特征的图像尺度依次减小。如图4所示，该第一特征提取模型包括a5、a4、a3、a2、a1五个特征层，a5、a4、a3、a2、a1的感受野依次增加，a5、a4、a3、a2、a1输出的子特征的图像尺度依次减小。在第一特征提取模型中，浅层特征图(如a4、a5)的感受野较小，能够提取高细粒度的特征数据，有助于检测尺寸较小的缺陷；深层特征图(如a1、a2)的感受野较大，能够提取高语义的特征数据，有助于检测尺寸较大的缺陷。将第一类光学数据输入该第一特征提取模型，依次在a5、a4、a3、a2、a1五个特征层进行特征提取，并分别获取a5、a4、a3、a2、a1输出的子特征，作为第一类光学特征的多个子特征，其中，a5、a4、a3、a2、a1输出的子特征的图像尺度依次减小。本实施例中，特征提取模型的结构仅为示例性说明，在其他实施例中，第一特征提取模型的结构还可以是其他，在此不再赘述。
[0057]
s23：将第二类光学数据输入第二特征提取模型进行特征处理，得到第二类光学特
征。
[0058]
本实施例中，第二特征提取模型可以是仅包括单个特征层的神经网络模型，将第二类光学数据输入第二特征提取模型进行特征处理，直接将特征层输出的特征作为第二类光学特征，单层特征层的模型较为简单，可以降低模型参数，并降低数据处理量，降低负载并提高特征提取效率。
[0059]
在其他实施例中，第二特征提取模型还可以是包括多个特征层的神经网络模型，将二类光学数据输入第二特征提取模型后，依次经过多个特征层进行特征提取，然后将最后一个特征层输出的特征作为第二类光学特征。
[0060]
本实施例中，多个异构光学数据包括第一类光学数据和第二类光学数据，对应地，多类光学特征包括第一类光学特征和第二类光学特征。由于产品的缺陷往往形态各异，缺陷尺寸大小不一，因此，进行缺陷检测时需要考虑到不同图像尺度对检测结果的影响，使得视觉处理算法对多尺度缺陷目标都具备良好的检测能力。因此在多个异构光学数据包括第一类光学数据和第二类光学数据时，将第一类光学数据进行不同尺度的特征提取，得到不同图像尺度的多个子特征，便于后续对多尺度的特征进行融合，从而提高对缺陷的检测能力。
[0061]
本实施例中，获取第一特征提取模型和第二特征提取模型，将第一类光学数据输入第一特征提取模型，依次通过多个特征层进行特征提取，并将各特征层分别输出的子特征汇总得到第一类光学特征，同时将第二类光学数据输入第二特征提取模型进行特征处理，得到第二类光学特征，明确了分别对多个异构光学数据进行特征提取得到多类光学特征的具体过程，将第一类光学数据进行不同尺度的特征提取，得到不同图像尺度的多个子特征，便于后续对多尺度的特征进行融合，从而提高对缺陷的检测能力。
[0062]
在其他实施例中，第一类光学数据和第二类光学数据使用同一个特征提取模型，将第一类光学数据输入特征提取模型，并将特征提取模型输出的特征作为第一类光学特征；同时，将第二类光学数据输入特征提取模型，并将特征提取模型输出的特征作为第二类光学特征，无需进行不同图像尺度的光学体征提取，减少了数据处理量。
[0063]
在一实施例中，多类光学特征包括第一类光学特征和第二类光学特征。如图5所示，步骤s30中，即对多类光学特征进行多模态数据特征相似度计算，得到多类光学特征的相似度关系数据，并根据相似度关系数据对多类光学特征进行基于注意力机制的数据融合，得到检测目标的光学融合特征，具体包括如下步骤：
[0064]
s31：确定第一类光学特征是否包括多个子特征。
[0065]
本实施例中，多个异构光学数据包括第一类光学数据和第二类光学数据，对应地，多类光学特征包括第一类光学特征和第二类光学特征。在获得第一类光学特征和第二类光学特征之后，需要确定第一类光学特征是否包括图像尺度不同的多个子特征，若包括多个特征则需要将第二类光学特征与第一类光学特征进行多图像尺度的特征融合，即基于第二类光学特征对多个子特征进行融合，从而得到目标融合特征。
[0066]
s32：若第一类光学特征未包括多个子特征，则对第一类光学特征与第二类光学特征进行相似度计算得到相似度矩阵，并将相似度矩阵作为相似度关系数据。
[0067]
在确定第一类光学特征是否包括多个子特征之后，若第一类光学特征未包括图像尺度不同的多个子特征，即第一类光学特征仅包括一个特征向量，表示无需对第二类光学
特征进行多图像尺度的特征融合，则直接对第一类光学特征与第二类光学特征进行相似度计算得到相似度矩阵，并将该相似度矩阵作为相似度关系数据。
[0068]
s33：采用第二激活函数对相似度关系数据进行激活，得到目标权重值，并将目标权重值与第一类光学特征相乘，得到检测目标的光学融合特征。
[0069]
在对第一类光学特征与第二类光学特征进行相似度计算得到相似度矩阵，并将相似度矩阵作为相似度关系数据之后，采用第二激活函数对相似度关系数据(即第一类光学特征与第二类光学特征的相似度矩阵)进行激活，得到目标权重值，并将目标权重值与第一类光学特征相乘，得到检测目标的光学融合特征。其中，第二激活函数可以是与第一激活函数相同的函数，也可以是与第一激活函数不同的函数。本实施例中，第二激活函数和第一激活函数均可以为sigmoid函数。
[0070]
例如，第一类光学特征d与第二类光学特征e的相似度矩阵为k，当采用第二激活函数(即sigmoid函数)对相似度关系数据进行激活时，光学融合特征通过如下公式计算：
[0071][0072]
其中，z表示检测目标的光学融合特征；e表示第二类光学特征，k表示第一类光学特征d与第二类光学特征e的相似度矩阵；表示矩阵乘法，即矩阵相乘；表示目标权重值，即采用sigmoid函数激活相似度矩阵k得到的权重值。
[0073]
在其他实施例中，也可以无需进行多个子特征的判断，直接对对第一类光学特征与第二类光学特征进行相似度计算得到相似度矩阵，并将相似度矩阵作为相似度关系数据，采用第二激活函数对相似度关系数据进行激活，得到目标权重值，并将目标权重值与第一类光学特征相乘，得到检测目标的光学融合特征，减少判断逻辑。
[0074]
本实施例中，在确定第一类光学特征是否包括多个子特征之后，当第一类光学特征未包括多个子特征时，直接对第一类光学特征与第二类光学特征进行相似度计算得到相似度矩阵，并将相似度矩阵作为相似度关系数据，采用第二激活函数对相似度关系数据进行激活，得到目标权重值，并将目标权重值与第一类光学特征相乘，得到检测目标的光学融合特征；明确了对多类光学特征进行多模态数据特征相似度计算，得到多类光学特征的相似度关系数据，并根据相似度关系数据对多类光学特征进行基于注意力机制的数据融合，得到检测目标的光学融合特征的具体过程，将第二类光学特征与第一类光学特征的相似度关系转换为权重值，赋予至第一类光学特征的各个特征点，实现对输入特征的全局自适应权重激活，为各个特征点进行特征增强，从而实现多源光学信息的有效融合与特征增强，显著降低各类光学数据的类内差异、增大类间差异，提升了对微小缺陷纹理特征的提取能力。
[0075]
在一实施例中，如图6所示，步骤s31之后，即确定第一类光学特征是否包括多个子特征之后，该方法还具体包括如下步骤：
[0076]
s34：若第一类光学特征包括多个子特征，则基于第二类光学特征对每一子特征进行相似度计算，得到每一子特征的相似度矩阵，并将每一子特征的相似度矩阵汇总得到相似度关系数据。
[0077]
在步骤s31确定第一类光学特征是否包括多个子特征之后，若第一类光学特征包括图像尺度不同的多个子特征，表示需要以第二类光学特征与第一类光学特征的每一子特征进行相似度计算，从而实现对第一类光学数据的多图像尺度特征融合，提高检测能力。因
此，当第一类光学特征包括图像尺度不同的多个子特征时，需要基于第二类光学特征对第一类光学特征的每一子特征进行相似度计算，得到每一子特征的相似度矩阵，并将每一子特征的相似度矩阵汇总得到相似度关系数据。
[0078]
例如，在确定第一类光学特征包括多个子特征之后，当第一类光学特征包括图像尺度依次增加的第一子特征、第二子特征和第三子特征时，将第二类光学特征分别与第一子特征、第二子特征和第三子特征进行相似度计算，得到第一子特征的相似度矩阵、第二子特征的相似度矩阵和第三子特征的相似度矩阵，其中，将第一子特征的相似度矩阵、第二子特征的相似度矩阵和第三子特征的相似度矩阵汇总得到相似度关系数据。
[0079]
s35：采用第一激活函数对每一子特征的相似度矩阵进行激活，得到每一子特征的权重值。
[0080]
在得到每一子特征的相似度矩阵之后，采用第一激活函数(sigmoid函数)对每一子特征的相似度矩阵进行激活，得到每一子特征的权重值。
[0081]
s36：根据每一子特征的权重值对多个子特征进行数据融合，得到检测目标的光学融合特征。
[0082]
在得到每一子特征的权重值之后，根据每一子特征的权重值对多个子特征进行数据融合，得到检测目标的光学融合特征。
[0083]
具体地，根据每一子特征的权重值对多个子特征进行数据融合，得到检测目标的光学融合特征，包括：将每一子特征分别与其对应的权重值相乘，得到每一子特征对应的激活特征；采用卷积操作对每一子特征对应的激活特征进行特征融合，得到光学融合特征。
[0084]
其中，采用第一激活函数(sigmoid函数)对每一子特征的相似度矩阵进行激活时，每一子特征对应的激活特征通过如下公式计算得到：
[0085][0086]
其中，qm表示多个子特征中第m个子特征的激活特征；am表示多个子特征中第m个子特征；表示矩阵相乘法；km表示多个子特征中第m个子特征的相似度矩阵；表示第m个子特征的权重值，即采用sigmoid函数激活第m个子特征的相似度矩阵得到的权重值。
[0087]
其中，光学融合特征通过如下公式融合得到：
[0088][0089]
其中，i表示光学融合特征；即q
x
，表示各个卷积层的第x个通道对应的特征图；c表示卷积层的通道总数，x∈c；h
x
表示第x个通道对应的卷积核。
[0090]
例如，当第一类光学特征包括图像尺度依次增加的第一子特征、第二特征和第三特征时，将第二类光学特征分别与第一子特征a1、第二子特征a2和第三子特征a3进行相似度计算，得到第一子特征的相似度矩阵k1、第二子特征的相似度矩阵k2和第三子特征的相似度矩阵k3；然后，利用sigmoid函数分别激活k1、k2和k3，得到第一子特征的权重值、第二子特征的权重值和第三子特征的权重值；最后将第一子特征a1、第二子特征a2和第三子特征a3分别与其对应的权重值相乘，得到第一子特征a1的激活特征q1、第二子特征a2的激活特征q2、第三子特征a3的激活特征的激活特征q3，在采用卷积操作对激活特征q1、q2和q3进行特征融合，得到光学融合特征。
[0091]
本实施例中，通过确定第一类光学特征是否包括多个子特征，当第一类光学特征
包括多个子特征时，基于第二类光学特征对每一子特征进行相似度计算，得到每一子特征的相似度矩阵，并将每一子特征的相似度矩阵汇总得到相似度关系数据，然后采用第一激活函数对每一子特征的相似度矩阵进行激活，得到每一子特征的权重值，根据每一子特征的权重值对多个子特征进行数据融合，得到检测目标的光学融合特征，细化了对多类光学特征进行多模态数据特征相似度计算，得到多类光学特征的相似度关系数据，并根据相似度关系数据对多类光学特征进行基于注意力机制的数据融合，得到检测目标的光学融合特征的步骤，当第一类光学特征包括多个子特征时，将第二类光学特征与第一类光学特征的多个子特征进行数据融合，实现了对检测目标不同图像尺度的光学数据融合，使得缺陷检测过程中对检测目标不同尺寸的缺陷都具备良好的检测能力，进一步提高了缺陷检测准确率。
[0092]
在一实施例中，多个子特征的图像尺度依次增加，步骤s34中，即基于第二类光学特征对每一子特征进行相似度计算，得到每一子特征的相似度矩阵，具体包括如下步骤：
[0093]
s341：对第二类光学特征和图像尺度最小的第一个子特征进行相似度计算，得到第一个子特征的相似度矩阵。
[0094]
本实施例中，当第一类光学特征包括图像尺度依次增加的多个子特征时，即第一类光学特征的多个子特征的图像尺度依次增加。需要对第二类光学特征和图像尺度最小的第一个子特征进行相似度计算，得到第一个子特征的相似度矩阵。
[0095]
如图4所示，第一特征提取模型包括a5、a4、a3、a2、a1五个特征层，a5、a4、a3、a2、a1的感受野依次增加，a5、a4、a3、a2、a1输出的子特征的图像尺度依次减小。本实施例中，可以将特征层a1、a2、a3分别输出的子特征，作为第一类光学特征的多个子特征，a1特征层输出的子特征图像尺度最小，则将第二类光学特征与a1特征层输出的子特征进行相似度计算，得到第二类光学特征与a1特征层输出子特征的相似度矩阵，记为第一个子特征的相似度矩阵。
[0096]
s342：对上一子特征的相似度矩阵进行上采样，得到当前子特征对应的采样特征。
[0097]
在得到第一个子特征的相似度矩阵之后，针对其他的每一子特征，需要对上一子特征的相似度矩阵进行上采样，得到当前子特征对应的采样特征，使得采用特征与当前子特征的特征数匹配，便于后续进行相似度计算。
[0098]
例如，第一类光学特征的多个子特征包括图4中特征层a1、a2、a3分别输出的子特征，即包括图像尺度依次减小的第一子特征、第二子特征和第三子特征，在将第二类光学特征与a1特征层输出的子特征(第一子特征)进行相似度计算，得到第二类光学特征与a1特征层输出子特征的相似度矩阵，记为第一子特征的相似度矩阵；然后对第一子特征的相似度矩阵进行上采样，得到第二子特征的采样特征，并采用sigmoid函数对当前子特征对应的采样特征进行非线性激活，得到当前子特征的采样预处理特征。
[0099]
s343：分别对每一子特征和对应的采样特征进行相似度计算，得到每一子特征的相似度矩阵。
[0100]
在得到每子特征的采样预处理特征之后，分别对每一子特征和对应的采样特征进行相似度计算，得到每一子特征的相似度矩阵。
[0101]
本实施例中，对上一子特征的相似度矩阵进行上采样，得到当前子特征对应的采样特征，包括：确定当前子特征与上一子特征的图像尺度倍数，即确定当前子特征的特征层
与上一子特征的特征层的感受野倍数；将图像尺度倍数作为上采样的采样倍数；对上一子特征的距离关系矩阵进行采样倍数的上采样，得到当前子特征对应的采样特征。
[0102]
例如，特征层a1和a2、a2和a3的感受野倍数均为2倍，则第一子特征与第二子特征的图像尺度倍数为2倍、第二子特征与第三子特征的图像尺度倍数为2倍。在得到第一个子特征的相似度矩阵之后，需要对第一个子特征的相似度矩阵进行2倍上采样，得到第二子特征的采样特征，然后对第二子特征和其对应的采样特征进行相似度计算，得到第二子特征的相似度矩阵；依此类推，在得到第二个子特征的相似度矩阵之后，需要对第二个子特征的相似度矩阵进行2倍上采样，得到第三子特征的采样特征，然后对第三子特征和其对应的采样特征进行相似度计算，得到第三子特征的相似度矩阵。
[0103]
本实施例中，当第一类光学特征包括图像尺度依次增加的多个子特征时，通过对第二类光学特征和图像尺度最小的第一个子特征进行相似度计算，得到第一个子特征的相似度矩阵，然后对上一子特征的相似度矩阵进行上采样，得到当前子特征对应的采样特征，再分别对每一子特征和对应的采样特征进行相似度计算，得到每一子特征的相似度矩阵，明确了基于第二类光学特征对每一子特征进行相似度计算，得到每一子特征的相似度矩阵的具体步骤，基于上一子特征的相似度矩阵计算各子特征的相似度矩阵，从而得到各子特征的相似度矩阵，以便后续采用第一激活函数(sigmoid函数)对每一子特征的相似度矩阵进行激活，得到每一子特征的权重值，进而根据每一子特征的权重值对多个子特征进行数据融合，得到检测目标的光学融合特征，可以基于第二类光学特征对不同图像尺度的第二类光学特征进行具有上下文特征增强，从而实现了对检测目标的全局关系注意力特征增强，最后将增强后的特征进行融合得到更加准确的光学融合特征，实现多源光学信息的多尺度上下文特征融合，进一步降低了各类光学数据特征的类内差异、增大类间差异，进一步地提升对微小缺陷纹理特征的提取能力。
[0104]
同时，还利用多图像尺度的上下文融合方式，实现对第一类光学特征的全局上下文自适应特征激活，对不同尺寸的缺陷部位都具备良好的检测能力，进一步提高缺陷检测准确率。
[0105]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0106]
在一实施例中，提供一种多源异构数据融合的视觉处理装置，该多源异构数据融合的视觉处理装置与上述实施例中多源异构数据融合的视觉处理方法一一对应。如图7所示，该多源异构数据融合的视觉处理装置包括获取模块701、特征提取模块702、融合模块703和视觉处理模块704。各功能模块详细说明如下：
[0107]
获取模块701，用于获取对检测目标进行多源光学信息采集得到的多个异构光学数据；
[0108]
特征提取模块702，用于分别对多个异构光学数据进行特征提取得到多类光学特征；
[0109]
融合模块703，用于对多类光学特征进行多模态数据特征相似度计算，得到多类光学特征的相似度关系数据，并根据相似度关系数据对多类光学特征进行基于注意力机制的数据融合，得到检测目标的光学融合特征；
[0110]
视觉处理模块704，用于基于光学融合特征对检测目标进行视觉处理。
[0111]
进一步地，多类光学特征包括第一类光学特征和第二类光学特征，融合模块703具体用于：
[0112]
确定第一类光学特征是否包括多个子特征；
[0113]
若第一类光学特征包括多个子特征，则基于第二类光学特征对每一子特征进行相似度计算，得到每一子特征的相似度矩阵，并将每一子特征的相似度矩阵汇总得到相似度关系数据；
[0114]
采用第一激活函数对每一子特征的相似度矩阵进行激活，得到每一子特征的权重值；
[0115]
根据每一子特征的权重值对多个子特征进行数据融合，得到检测目标的光学融合特征。
[0116]
进一步地，多个子特征的图像尺度依次增加，融合模块703具体还用于：
[0117]
对第二类光学特征和图像尺度最小的第一个子特征进行相似度计算，得到第一个子特征的相似度矩阵；
[0118]
对上一子特征的相似度矩阵进行上采样，得到当前子特征对应的采样特征；
[0119]
分别对每一子特征和对应的采样特征进行相似度计算，得到每一子特征的相似度矩阵。
[0120]
进一步地，第一激活函数为sigmoid函数，融合模块703具体还用于：
[0121]
将每一子特征分别与对应的权重值相乘，得到每一子特征对应的激活特征；
[0122]
采用卷积操作对每一子特征对应的激活特征进行特征融合，得到光学融合特征。
[0123]
进一步地，融合模块703具体还用于通过如下公式计算得到每一子特征对应的激活特征：
[0124][0125]
其中，qm为表示多个子特征中第m个子特征的激活特征；am表示多个子特征中第m个子特征；表示矩阵相乘法；km表示多个子特征中第m个子特征的相似度矩阵；表示采用sigmoid函数激活第m个子特征的相似度矩阵得到的权重值。
[0126]
进一步地，确定第一类光学特征是否包括多个子特征之后，融合模块703具体还用于：
[0127]
若第一类光学特征未包括多个子特征，则对第一类光学特征与第二类光学特征进行相似度计算得到相似度矩阵，并将相似度矩阵作为相似度关系数据；
[0128]
采用第二激活函数对相似度关系数据进行激活，得到目标权重值，并将目标权重值与第一类光学特征相乘，得到检测目标的光学融合特征。
[0129]
进一步地，多个异构光学数据包括第一类光学数据和第二类光学数据，特征提取模块702具体还用于：
[0130]
获取第一特征提取模型和第二特征提取模型，第一特征提取模型包括感受野不同的多个特征层；
[0131]
将第一类光学数据输入第一特征提取模型，依次通过多个特征层进行特征提取，并将各特征层分别输出的子特征汇总得到第一类光学特征；
[0132]
将第二类光学数据输入第二特征提取模型进行特征处理，得到第二类光学特征。
[0133]
关于多源异构数据融合的视觉处理装置的具体限定可以参见上文中对于多源异构数据融合的视觉处理方法的限定，在此不再赘述。上述多源异构数据融合的视觉处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0134]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述多源异构数据融合的视觉处理方法用到、生成大大数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多源异构数据融合的视觉处理方法。
[0135]
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
[0136]
获取对检测目标进行多源光学信息采集得到的多个异构光学数据；
[0137]
分别对多个异构光学数据进行特征提取得到多类光学特征；
[0138]
对多类光学特征进行多模态数据特征相似度计算，得到多类光学特征的相似度关系数据，并根据相似度关系数据对多类光学特征进行基于注意力机制的数据融合，得到检测目标的光学融合特征；
[0139]
基于光学融合特征对检测目标进行视觉处理。
[0140]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0141]
获取对检测目标进行多源光学信息采集得到的多个异构光学数据；
[0142]
分别对多个异构光学数据进行特征提取得到多类光学特征；
[0143]
对多类光学特征进行多模态数据特征相似度计算，得到多类光学特征的相似度关系数据，并根据相似度关系数据对多类光学特征进行基于注意力机制的数据融合，得到检测目标的光学融合特征；
[0144]
基于光学融合特征对检测目标进行视觉处理。
[0145]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。
[0146]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的
功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
[0147]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。