基于轻量化边缘计算的智能化工业质检方法及系统与流程

1.本发明涉及工业质检领域，尤其涉及一种利用人工智能技术尤其是机器视觉对工业生产过程中的产品质量智能化检测方法。


背景技术：

2.工业质检作为工业生产过程中的重要一环，一直以来都属于劳动密集型行业。目前国内大量流水线上的工业质检依赖人工方式，通过质检员长时间对产品进行逐一检测，确保产品质量。依赖人工的工业质检方式，其缺点不言而明，一方面人力成本居高不下导致产品竞争力下降，流水线上的工业质检不仅要求工人质检质量，同时还要求质检速度，因此质检员的技术门槛相比于普通工人更高，且都需要进行人员岗前培训，从而进一步抬高了企业的生产成本；另一方面，依赖于人工的工业质检是一种主观检测方法，容易受检查人员技术水平和经验以及环境影响，尤其是当质检员在产线上长时间高强度检测时，容易出现情绪波动、精力分散等问题，影响质检的稳定性和效率。目前已有一部分工业质检采用深度学习方式尤其是视觉目标检测方法，但主要采用服务器或工控机进行部署，不仅成本高，而且部署空间要求大，对于一些已有的生产线，改造起来较为困难。


技术实现要素：

3.针对上述现有技术存在的问题，本发明提供了一种基于轻量化边缘计算的智能化工业质检方法及系统，提高了边缘部署适配性，该技术方案如下：
4.第一方面，提供了一种基于轻量化边缘计算的智能化工业质检方法，包括如下步骤：
5.对待检测工业图像进行区域划分，获取多个区域块；
6.对每个区域块进行分析，保留重要性参数符合预设条件的图像区域；
7.基于保留区域的特征和训练好的第一工业质检模型，确定所述智能化工业质检模型的边缘计算模型优化量化适配方法，获取适用于边缘计算装置的第二工业质检模型；
8.基于第二工业质检模型对待检测工业图像的所述保留区域进行处理，获取待检测工业图像的检测结果。
9.在一种可能的实现方式中，所述对待检测工业图像进行区域划分，获取多个区域，包括：
10.将a行b列图像分成3行3列9个区域；
11.对每一行的3个区域，计算每一列的像素方差，得到3行b列图像矩阵a1；
12.对每一列的3个区域，计算每一行的像素方差，得到a行3列图像矩阵a2。
13.在一种可能的实现方式中，所述获取多个所述区域的重要度参数，保留重要性参数符合预设条件的区域，包括：
14.基于图像矩阵a1，对每个像素计算与横向相邻2个像素的像素值差值的均值，以所述均值形成与图像矩阵a1对应的图像矩阵b1，对b1中每一行b列图像获取每一行像素值的
峰值分布区域；
15.基于图像矩阵a2，对每个像素计算与纵向相邻2个像素的像素值差值的均值，以所述均值形成与图像矩阵a1对应的图像矩阵b2，对b2中每一列a行图像获取每一列像素值的峰值分布区域；
16.基于图像矩阵b1和b2分别获得的峰值分布区域，确定需要保留的图像区域。
17.在一种可能的实现方式中，所述训练好的第一工业质检模型，包括：
18.在主干网络的csp1_x单元前增加一个特征深度提取网络，所述特征深度提取网络包括：
19.基于输入图像分别输入到3个支路中，第一支路进行卷积后输出第一特征图，第二支路先进行下采样后进行卷积处理再进行上采样恢复后，与第二支路的输入特征图进行融合，融合后通过激活函数层输出的第二特征图与第三支路输出的第三特征图进行点乘计算融合得到第四特征图，所述第四特征图进行卷积操作后和第一特征图合并得到特征深度提取网络的输出结果,所述第三支路基于输入图像进行卷积后得到第三特征图；
20.在颈部网络中，对路径聚合网络中的多个路径进行选择性调用，当保留区域的特征图尺寸小于预设值时，采用颈部网络中的76*76特征图和38*38特征图组成路径聚合网络；当保留区域的特征图尺寸大于预设值时，采用颈部网络中的38*38特征图和19*19特征图组成路径聚合网络。
21.在一种可能的实现方式中，所述主干网络和颈部网络中的卷积均采用深度可分离卷积。
22.在一种可能的实现方式中，所述基于保留区域的特征和训练好的第一工业质检模型，确定所述智能化工业质检模型的边缘计算模型优化量化适配方法，包括：
23.基于保留区域进行目标尺寸分析，当保留区域的特征图尺寸小于预设值时，将第一工业质检模型中的颈部网络中的19*19特征图路径删除，当保留区域的特征图尺寸大于预设值时，将第一工业质检模型中的颈部网络中的76*76特征图路径删除。
24.在一种可能的实现方式中，所述获取适用于边缘计算装置的第二工业质检模型，包括：
25.基于第一工业质检模型采用线性非对称量化方式进行量化，获取第二工业质检模型。
26.第二方面，提供了一种基于轻量化边缘计算的智能化工业质检系统，包括：
27.图像区域获取模块，用于对待检测工业图像进行图像分割，获取多个区域；
28.区域选择模块，用于获取多个所述区域的重要度参数，保留重要性参数大于预设阈值的区域；
29.边缘模型适配模块，用于基于保留区域的特征和训练好的第一工业质检模型，确定所述智能化工业质检模型的边缘计算模型优化量化适配方法，获取适用于边缘计算装置的第二工业质检模型；
30.边缘质检模块，用于基于第二工业质检模型对待检测工业图像的所述保留区域进行处理，获取待检测工业图像的检测结果。
31.第三方面，提供了一种电子设备，该电子设备包括：
32.处理器；
33.存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现第一方面所述的基于轻量化边缘计算的智能化工业质检方法。
34.第四方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被处理器执行时，实现第一方面所述的基于轻量化边缘计算的智能化工业质检方法。
35.本发明的基于轻量化边缘计算的智能化工业质检方法及系统，具备如下有益效果：基于不同的图像重要性区域特征，对服务器端的训练好的第一工业质检模型，选择不同的模型量化方法对模型进行量化并部署到边缘计算装置，提高边缘模型的图像分析能力及与实际图像处理需求的适配性，满足不同工业产品的边缘质检需求。
附图说明
36.图1是本技术实施例中基于轻量化边缘计算的智能化工业质检方法流程图；
37.图2是本技术实施例中基于轻量化边缘计算的智能化工业质检系统结构图。
具体实施方式
38.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
39.本发明的目的是提供一套低成本智能化工业质检方案。该方案利用边缘计算盒子和高速摄像头对工业品进行质检，用于多数工业场景替换人工质检，尤其对一些成本敏感场景或服务器工控机安装空间不足的产线改造场景，比如手机玻璃盖板瑕疵智能检测、pcba故障智能检测等。
40.本发明中采用的边缘计算装置为比特大陆的se5盒子，该盒子采用的cpu为8核arm a53，主频为2.3ghz，推理引擎tpu采用比特大陆自主研发的bm1684，算力可达到17.6tops(int8)或2.2tflops(fp32)，可同时支持16路摄像头接入。
41.本技术实施例提供了一种基于轻量化边缘计算的智能化工业质检方法，包括如下步骤：
42.s1，对待检测工业图像进行区域划分，获取多个区域块；
43.s2，对每个区域块进行分析，保留重要性参数符合预设条件的图像区域；
44.s3，基于保留区域的特征和训练好的第一工业质检模型，确定所述智能化工业质检模型的边缘计算模型优化量化适配方法，获取适用于边缘计算装置的第二工业质检模型；
45.s4，基于第二工业质检模型对待检测工业图像的所述保留区域进行处理，获取待检测工业图像的检测结果。
46.本技术实施例中，为了提高边缘计算效率，对待检测工业图像进行重要区域分析与筛选，保留重要性参数符合预设条件的图像区域，值得说明的是，在上述重要性参数符合预设条件的图像区域并不是对待检测工业图像进行区域划分后得到的区域块的子集，重要性参数符合预设条件的图像区域可以是基于上一步骤得到的区域块中一个区域块的局部区域或者多个区域块中每个区域块局部区域的组合区域。
47.本技术实施例中，基于不同的图像重要性区域特征，对服务器端的训练好的第一工业质检模型，选择不同的模型量化方法对模型进行量化并部署到边缘计算装置，提高边缘计算装置中模型的图像分析能力及与边缘测实际图像处理需求的适配性，满足不同工业产品的边缘质检需求。
48.上述步骤s1，对待检测工业图像进行区域划分，获取多个区域，包括：
49.将a行b列图像分成3行3列9个区域；
50.对每一行的3个区域，计算每一列的像素方差，得到3行b列图像矩阵a1；
51.对每一列的3个区域，计算每一行的像素方差，得到a行3列图像矩阵a2。
52.本技术实施例中，对待检测工业图像进行区域划分，考虑到流水线上对工业产品进行图像采集并进行产品质量检测的应用场景下，可以理解，边缘区域中属于产品图像的像素占比较少，产品图像的像素集中分布在待检测工业图像的居中区域中，可以理解，在边缘区域中具有较少的产品图像像素，像素方差波动较为平稳，而方差波动比较大的地方才是对产品质检最有价值的数据，所以，本技术中，将图像分为9个区域，图像矩阵a1实现了对图像列方向像素的融合，减小了区域的重要度参数分析过程中像素行的计算量，类似的，图像矩阵a2实现了对图像行方向像素的融合，减小了区域的重要度参数分析过程中像素列的计算量。同时，图像矩阵a1对图像列方向像素分为3个区域，根据待检测工业图像上、中、下3部分图像中工业产品像素的占比分布关系，分为3个区域分别计算列像素方差，增大3个区域的方差差异性，提高对后续区域重要度分析的准确性。同理，图像矩阵a2亦既有该效果。
53.上述步骤s2,获取多个所述区域的重要度参数，保留重要性参数符合预设条件的区域，包括：
54.基于图像矩阵a1，对每个像素计算与横向相邻2个像素的像素值差值的均值，以所述均值形成与图像矩阵a1对应的图像矩阵b1，对b1中每一行b列图像获取每一行像素值的峰值分布区域；
55.基于图像矩阵a2，对每个像素计算与纵向相邻2个像素的像素值差值的均值，以所述均值形成与图像矩阵a1对应的图像矩阵b2，对b2中每一列a行图像获取每一列像素值的峰值分布区域；
56.基于图像矩阵b1和b2分别获得的峰值分布区域，确定需要保留的图像区域。
57.本技术实施例中，对于待检测工业图像的像素波动计算，基于图像矩阵a1计算当前像素与相邻像素的差值衡量，可以理解在图像矩阵a1中，横向像素波动较大的地方为待检测工业图像中在纵向上的线条像素，即在a1对应的图像矩阵b1中，每一行像素值的峰值分布区域即为待检测工业图像中在纵向上的边缘线条区域，进一步的，在图像矩阵b1中每一行最左侧的像素值峰值分布区域即为检测工业图像中工业产品的左侧边缘，类似的，可以得到检测工业图像中工业产品的各个方向的边缘线条区域，即基于图像矩阵b1和b2分别获得的峰值分布区域，确定需要保留的图像区域。
58.上述步骤s3中的训练好的第一工业质检模型，包括：
59.在主干网络的csp1_x单元前增加一个特征深度提取网络，所述特征深度提取网络包括：
60.基于输入图像分别输入到3个支路中，第一支路进行卷积后输出第一特征图，第二支路先进行下采样后进行卷积处理再进行上采样恢复后，与第二支路的输入特征图进行融
合，融合后通过激活函数层输出的第二特征图与第三支路输出的第三特征图进行点乘计算融合得到第四特征图，所述第四特征图进行卷积操作后和第一特征图合并得到特征深度提取网络的输出结果,所述第三支路基于输入图像进行卷积后得到第三特征图；
61.在颈部网络中，对路径聚合网络中的多个路径进行选择性调用，当保留区域的特征图尺寸小于预设值时，采用颈部网络中的76*76特征图和38*38特征图组成路径聚合网络；当保留区域的特征图尺寸大于预设值时，采用颈部网络中的38*38特征图和19*19特征图组成路径聚合网络。
62.yolo算法作为视觉目标检测领域的佼佼者，已经在工业质检领域崭露头角，虽可以部署到边缘计算装置上，但由于其算法模型较重，一般只能携带单路或者两路摄像头，无法满足部分工业质检要求，尤其当需要同时接入多路摄像头时，标准的yolo算法难以适应，因此本技术实施例中提供一种轻量化改造的yolo算法，以适应多数工业质检领域。具体的，在第一工业质检模型中，包括主干网络、颈部网络和头部网络三大部分，在主干网络的csp1_x单元前增加一个特征深度提取网络，该特征深度提取网络直接在原有的主干网络中的csp1_x单元前接入，避免了对原有网络的复杂算法改动，同时，该特征深度提取网络的三个支路融合实现对多通道特征图的融合，提高了提取特征的表征能力，在第二支路上通过先进行下采样后进行卷积处理再进行上采样恢复，增大特征图感受野，增强模型特征提取能力，并基于第二支路输出图像与与第二支路的输入特征图进行融合，融合后通过激活函数层输出的第二特征图与第三支路输出的第三特征图进行点乘计算融合得到第四特征图，实现特征图的内在联系，扩增特征图感受野。
63.另外，颈部网络中采用fpn pan的结构，针对颈部网络具有的76*76特征图路径、38*38特征图路径和19*19特征图路径，考虑到不同尺度特征图的目标特征提取能力不同，本技术中对于保留的重要区域较大的待检测工业图像，采用颈部网络中的38*38特征图和19*19特征图组成路径聚合网络，对于保留的重要区域较小的待检测工业图像，采用颈部网络中的76*76特征图和38*38特征图组成路径聚合网络，以灵活适应不同工业产品的待检测工业图，同时缩减颈部网络的结构，提高颈部网络计算效率。
64.进一步的，第一工业质检模型中的主干网络和颈部网络中的卷积均采用深度可分离卷积。
65.本技术实施例中，主干网络通过csp1_x串联构成，为了降低计算量方便边缘端部署，其卷积网络全部用深度卷积进行替换；颈部网络采用csp2结构，同样为了降低模型计算量，卷积网络采用深度卷积进行替换。
66.上述步骤s3，基于保留区域的特征和训练好的第一工业质检模型，确定所述智能化工业质检模型的边缘计算模型优化量化适配方法，包括：
67.基于保留区域进行目标尺寸分析，当保留区域的特征图尺寸小于预设值时，将第一工业质检模型中的颈部网络中的19*19特征图路径删除，当保留区域的特征图尺寸大于预设值时，将第一工业质检模型中的颈部网络中的76*76特征图路径删除。
68.本技术实施例中，基于第一工业质检模型优化量化适配获取第二工业质检模型过程中，针对待检测工业图像不同尺寸的保留区域，选择删减不同的局部网络结构，以精简工业质检模型结构，提高边缘计算装置的模型适配性。
69.上述步骤s3中，获取适用于边缘计算装置的第二工业质检模型，包括：
70.基于第一工业质检模型采用线性非对称量化方式进行量化，获取第二工业质检模型。
71.本技术实施例中，将线性对称量化方式用于工业质检领域的算法模型量化，其具体过程如下所示：
[0072][0073][0074]
其中x为float32原始值，xq是量化后的一个整数值，z是量化平移因子，s是量化缩放因子，n是量化位数，本技术实施例中取8，round(
·
)是四舍五入近似取整的数学函数，量化的过程即是寻找合适的s和z。
[0075][0076][0077]
对于模型的权重参数文件，训练完成后大小固定，可直接求出权重的最大值和最小值进行量化，但对于激活输出值，会随着输入值的改变而改变，所以无法求出最值，本发明借鉴kl散度进行双边最值估计，即将float32数值分布和int8数值分布抽象成两个分布，用阈值t
min
和t
max
来更新这两个数值分布，并用kl散度来衡量这两个分布的相似性，若kl散度值越小，说明这两个分布越相似，也就说明这个阈值选择的越好。
[0078]
具体的，下面以白色瓷砖生产过程中的质量检测作为参考。
[0079]
1)数据准备：生产过程中受工艺影响容易出现的瑕疵包括边异常、角异常、白色点瑕疵、浅色块瑕疵、深色点块瑕疵、光圈瑕疵、记号笔、划伤共8类，收集的样本总数为24000张，其中无缺陷样本数为10200张，有缺陷样本数为13800，各类瑕疵点数如表1所示，测试集采用随机抽样方式获取，其比例为0.05；
[0080]
瑕疵类别数量边异常2234角异常1890白色点瑕疵14768浅色块瑕疵1239深色点块瑕疵2456光圈瑕疵978记号笔654划伤786
[0081]
表1样本瑕疵类别
[0082]
2)模型训练：将步骤1)准备的训练集数据，导入到预先构建的网络模型中，然后设置超参，如表2所示，开启训练，训练过程中将一轮迭代之后模型权重进行保存，当训练完成后，根据测试集在每个模型上的表现，选择最优模型即在训练集上识别准确度最高的模型；
[0083][0084][0085]
3)模型部署：将步骤2)中训练完成的模型，经过量化适配，部署到边缘计算装置上。
[0086]
基于上述步骤，本技术实施例提出的基于轻量化边缘计算的智能化工业质检方法相比于传统的人工质检，在白色瓷砖生产过程中的质检环节，实现了智能自动化质检，其误检率漏检率相比于质检员，基本一致，而质检效率可以达到熟练质检员的2.5倍；同时，上述边缘计算装置的第二工业质检模型相比于标准的yolo算法，检测效率提升了4倍，可以同时满足两条产线的质检需要。
[0087]
本技术实施例还提供了一种基于轻量化边缘计算的智能化工业质检系统，包括：
[0088]
图像区域获取模块，用于对待检测工业图像进行图像分割，获取多个区域；
[0089]
区域选择模块，用于获取多个所述区域的重要度参数，保留重要性参数大于预设阈值的区域；
[0090]
边缘模型适配模块，用于基于保留区域的特征和训练好的第一工业质检模型，确定所述智能化工业质检模型的边缘计算模型优化量化适配方法，获取适用于边缘计算装置的第二工业质检模型；
[0091]
边缘质检模块，用于基于第二工业质检模型对待检测工业图像的所述保留区域进行处理，获取待检测工业图像的检测结果。
[0092]
关于基于轻量化边缘计算的智能化工业质检系统的具体限定可以参见上文中对于基于轻量化边缘计算的智能化工业质检方法的限定，在此不再赘述。上述基于轻量化边缘计算的智能化工业质检系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个单元对应的操作。
[0093]
本技术实施例还提供了一种电子设备，该电子设备可以是服务器或终端，包括：
[0094]
处理器；
[0095]
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现前述的基于轻量化边缘计算的智能化工业质检方法。
[0096]
该电子设备中各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。处理器可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器
等。
[0097]
本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被处理器执行时，实现前述的基于轻量化边缘计算的智能化工业质检方法。
[0098]
在一些实施例中，计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、闪存、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
[0099]
本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。