透明罩状态检测方法、装置、设备、介质及程序产品与流程

本发明涉及图像检测，尤其涉及一种透明罩状态检测方法、装置、设备、介质及程序产品。

背景技术：

1、在带有透明保护罩的机芯类产品外观检测中，现有技术采用单一强度成像方式对透明罩内部部件进行拍摄检测，即由相机直接采集经透明罩表面反射光与内部部件透射散射光叠加后形成的强度图像，再基于该强度图像进行部件状态检测。由于透明罩表面为光学平整表面，入射光在该表面产生的镜面反射光强度远大于内部部件经透射散射后到达相机的散射光强度，该强度图像中透明罩表面对应区域会形成大面积高亮反射区域，直接遮盖该区域下方内部部件的真实纹理与轮廓信息，导致该区域内的异物、指针错位等缺陷难以被准确识别。同时，现有技术中透明罩自身的卡扣安装状态、密封圈安装位置状态检测，与罩内部件状态检测分别依赖两套独立运行的检测流程，两者之间不存在数据关联，当透明罩因卡扣松脱或密封圈错位产生局部形变时，该形变所引起的反射异常无法用于辅助判断罩内部件检测结果的可信度，进而导致检测精度低。

技术实现思路

1、本发明提供一种透明罩状态检测方法、装置、设备、介质及程序产品，本发明使透明罩局部形变所引起的偏振异常信息在特征融合阶段已实际参与内部部件状态特征的表达过程，从而建立起透明罩外部安装状态与内部部件状态两类检测结果之间相互关联、相互支撑的数据基础，进而提高了检测精度。

2、第一方面，本技术实施例提供了一种透明罩状态检测方法，包括：

3、由偏振光源对机芯透明罩进行照射，并采集强度图像执行偏振解算，得到偏振度图以及强度参考图像；

4、将所述强度参考图像输入强度特征提取分支进行特征提取，得到强度分支特征图，并将所述偏振度图输入偏振特征提取分支进行特征提取，得到偏振分支特征图；

5、以所述偏振分支特征图对所述强度分支特征图中与所述机芯透明罩对应表面镜面反射的空间位置进行调制和跨层级融合，得到融合特征图；

6、将所述融合特征图分别输入二维卷积解码分支与三维卷积解码分支进行解码，由所述二维卷积解码分支输出内部部件是否包含异物的第一检测结果及所述机芯透明罩的卡扣是否安装到位的第二检测结果，由所述三维卷积解码分支输出密封圈的位置偏移量。

7、可选的，在本发明第一方面的第一种实现方式中，所述由偏振光源对机芯透明罩进行照射，并采集强度图像执行偏振解算，得到偏振度图以及强度参考图像，包括：

8、由偏振光源对机芯透明罩区域进行照射，并通过设置于相机镜头前的偏振片在多个偏振角度下分别采集所述机芯透明罩区域的强度图像；

9、对所述强度图像中对应像素点的光强值进行斯托克斯运算，得到各像素点的斯托克斯参数；

10、根据所述斯托克斯参数，对所述机芯透明罩的表面镜面反射光进行偏振特性解算，得到偏振度图；

11、基于所述斯托克斯参数中的总光强分量，对所述机芯透明罩的表面反射光信息与内部部件透射散射光信息进行叠加重构，得到强度参考图像。

12、可选的，在本发明第一方面的第二种实现方式中，所述根据所述斯托克斯参数，对所述机芯透明罩的表面镜面反射光进行偏振特性解算，得到偏振度图，包括：

13、分别对所述斯托克斯参数中同一像素点的水平偏振分量与对角偏振分量进行平方运算，得到偏振能量和值，并对所述偏振能量和值进行开平方运算，得到偏振调制幅值；

14、将所述偏振调制幅值与同一像素点对应的总光强分量进行比值运算，得到偏振度图，所述偏振度图的数值大小与机芯透明罩表面镜面反射光强弱呈正相关。

15、可选的，在本发明第一方面的第三种实现方式中，所述将所述强度参考图像输入强度特征提取分支进行特征提取，得到强度分支特征图，并将所述偏振度图输入偏振特征提取分支进行特征提取，得到偏振分支特征图，包括：

16、将所述强度参考图像输入强度特征提取分支进行降维卷积处理、空间卷积处理及升维卷积处理，得到强度残差特征图；将所述偏振度图输入偏振特征提取分支进行降维卷积处理、空间卷积处理及升维卷积处理，得到偏振残差特征图；

17、在所述强度特征提取分支中，对所述强度残差特征图进行下采样卷积处理和残差卷积处理，得到强度残差特征图，所述强度残差特征图保留内部部件的边缘细节信息和区域语义信息；在所述偏振特征提取分支中，对所述偏振残差特征图进行下采样卷积处理和残差卷积处理，得到偏振残差特征图，所述偏振残差特征图保留与机芯透明罩表面镜面反射对应空间位置的偏振异常信息。

18、可选的，在本发明第一方面的第四种实现方式中，所述以所述偏振分支特征图对所述强度分支特征图中与所述机芯透明罩对应表面镜面反射的空间位置进行调制和跨层级融合，得到融合特征图，包括：

19、针对同一层级的所述强度分支特征图与所述偏振分支特征图，对所述强度分支特征图进行线性映射，得到查询向量，并对所述偏振分支特征图进行线性映射，得到键向量及值向量，基于所述查询向量与所述键向量进行点积运算并归一化，得到反映所述强度分支特征图中各空间位置与所述机芯透明罩的表面镜面反射的注意力权重；

20、将所述注意力权重与所述值向量进行加权求和，对所述强度分支特征图中与所述机芯透明罩的表面镜面反射对应空间位置进行抑制，得到多个调制特征图；

21、将所述调制特征图进行上采样处理并逐层级向上传递直至完成所有层级的相加，得到包含机芯透明罩表面安装状态信息与内部部件状态信息的融合特征图。

22、可选的，在本发明第一方面的第五种实现方式中，所述将所述融合特征图分别输入二维卷积解码分支与三维卷积解码分支进行解码，由所述二维卷积解码分支输出内部部件是否包含异物的第一检测结果及所述机芯透明罩的卡扣是否安装到位的第二检测结果，由所述三维卷积解码分支输出密封圈的位置偏移量，包括：

23、将所述融合特征图输入二维卷积解码分支，依次进行多次转置卷积上采样处理，逐级恢复至与所述强度参考图像相同的空间分辨率，得到二维解码特征图；

24、对所述二维解码特征图进行卷积回归处理，分别输出内部部件是否包含异物的第一检测结果及所述机芯透明罩的卡扣是否安装到位的第二检测结果；

25、将所述融合特征图重排为三维特征张量，并将所述三维特征张量输入三维卷积解码分支进行三维卷积处理，提取不同深度分组之间及同一深度分组内部的空间位置关系并计算密封圈的位置偏移量。

26、第二方面，本技术实施例提供了一种透明罩状态检测装置，包括：

27、图像采集单元，用于由偏振光源对机芯透明罩进行照射，并采集强度图像执行偏振解算，得到偏振度图以及强度参考图像；

28、特征提取单元，用于将所述强度参考图像输入强度特征提取分支进行特征提取，得到强度分支特征图，并将所述偏振度图输入偏振特征提取分支进行特征提取，得到偏振分支特征图；

29、特征融合单元，用于以所述偏振分支特征图对所述强度分支特征图中与所述机芯透明罩对应表面镜面反射的空间位置进行调制和跨层级融合，得到融合特征图；

30、检测输出单元，用于将所述融合特征图分别输入二维卷积解码分支与三维卷积解码分支进行解码，由所述二维卷积解码分支输出内部部件是否包含异物的第一检测结果及所述机芯透明罩的卡扣是否安装到位的第二检测结果，由所述三维卷积解码分支输出密封圈的位置偏移量。

31、可选的，在本发明第二方面的第一种实现方式中，所述图像采集单元具体用于：

32、由偏振光源对机芯透明罩区域进行照射，并通过设置于相机镜头前的偏振片在多个偏振角度下分别采集所述机芯透明罩区域的强度图像；

33、对所述强度图像中对应像素点的光强值进行斯托克斯运算，得到各像素点的斯托克斯参数；

34、根据所述斯托克斯参数，对所述机芯透明罩的表面镜面反射光进行偏振特性解算，得到偏振度图；

35、基于所述斯托克斯参数中的总光强分量，对所述机芯透明罩的表面反射光信息与内部部件透射散射光信息进行叠加重构，得到强度参考图像。

36、可选的，在本发明第二方面的第二种实现方式中，所述特征提取单元具体用于：

37、将所述强度参考图像输入强度特征提取分支进行降维卷积处理、空间卷积处理及升维卷积处理，得到强度残差特征图；将所述偏振度图输入偏振特征提取分支进行降维卷积处理、空间卷积处理及升维卷积处理，得到偏振残差特征图；

38、在所述强度特征提取分支中，对所述强度残差特征图进行下采样卷积处理和残差卷积处理，得到强度残差特征图，所述强度残差特征图保留内部部件的边缘细节信息和区域语义信息；在所述偏振特征提取分支中，对所述偏振残差特征图进行下采样卷积处理和残差卷积处理，得到偏振残差特征图，所述偏振残差特征图保留与机芯透明罩表面镜面反射对应空间位置的偏振异常信息。

39、可选的，在本发明第二方面的第三种实现方式中，所述特征融合单元具体用于：

40、针对同一层级的所述强度分支特征图与所述偏振分支特征图，对所述强度分支特征图进行线性映射，得到查询向量，并对所述偏振分支特征图进行线性映射，得到键向量及值向量，基于所述查询向量与所述键向量进行点积运算并归一化，得到反映所述强度分支特征图中各空间位置与所述机芯透明罩的表面镜面反射的注意力权重；

41、将所述注意力权重与所述值向量进行加权求和，对所述强度分支特征图中与所述机芯透明罩的表面镜面反射对应空间位置进行抑制，得到多个调制特征图；

42、将所述调制特征图进行上采样处理并逐层级向上传递直至完成所有层级的相加，得到包含机芯透明罩表面安装状态信息与内部部件状态信息的融合特征图。

43、可选的，在本发明第二方面的第四种实现方式中，所述检测输出单元具体用于：

44、将所述融合特征图输入二维卷积解码分支，依次进行多次转置卷积上采样处理，逐级恢复至与所述强度参考图像相同的空间分辨率，得到二维解码特征图；

45、对所述二维解码特征图进行卷积回归处理，分别输出内部部件是否包含异物的第一检测结果及所述机芯透明罩的卡扣是否安装到位的第二检测结果；

46、将所述融合特征图重排为三维特征张量，并将所述三维特征张量输入三维卷积解码分支进行三维卷积处理，提取不同深度分组之间及同一深度分组内部的空间位置关系并计算密封圈的位置偏移量。

47、第三方面，本技术实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述透明罩状态检测方法的步骤。

48、第四方面，本技术实施例提供了一种可读存储介质，该可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述透明罩状态检测方法的步骤。

49、第五方面，本技术实施例提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现上述透明罩状态检测方法的步骤。

50、上述透明罩状态检测方法、装置、设备、介质及程序产品所提供的一个方案中，通过在多个偏振角度下采集机芯透明罩区域的强度图像并进行偏振解算，将原本叠加在同一幅强度图像中的透明罩表面镜面反射光信息与内部部件透射散射光信息，分离表征为偏振度图与强度参考图像两组具有不同物理含义的数据，使镜面反射光所携带的透明罩表面状态信息在图像处理环节被完整保留而非直接滤除，本发明分别对强度参考图像与偏振度图进行独立的分级特征提取，并利用偏振分支特征图对强度分支特征图中与镜面反射对应的空间位置区域进行注意力权重调制，使强度分支特征图中受反射干扰的区域数值受到定向抑制，而非对整幅图像进行统一处理，该调制方式使干扰抑制作用精确对应至反射发生的具体空间位置，不影响其余区域的部件纹理表达。本发明将经调制后的不同层级特征图进行跨层级融合，使浅层特征中记录的透明罩表面局部细节信息与深层特征中记录的内部部件整体状态信息汇入同一组融合特征图，令透明罩表面安装状态信息与内部部件状态信息在同一组数据中被联合表征，而非分别存在于两套互不相通的检测流程中。本发明基于同一组融合特征图，通过二维卷积解码分支与三维卷积解码分支并行输出内部部件异物有无检测结果、透明罩卡扣安装到位状态检测结果，以及密封圈位置偏移量检测结果，三类检测结果均由同一次图像采集与同一组融合特征图产生，使透明罩局部形变所引起的偏振异常信息在特征融合阶段已实际参与内部部件状态特征的表达过程，从而建立起透明罩外部安装状态与内部部件状态两类检测结果之间相互关联、相互支撑的数据基础，进而提高了检测精度。