图像检测方法、装置、设备及存储介质与流程

本技术涉及工业视觉检测，尤其涉及一种图像检测方法、装置、设备及存储介质。

背景技术：

1、在激光打印、喷码标识等工业场景中，通常需要对待检测产品的打印区域进行实时缺陷检测，以避免出现漏印、重影、墨点、字符边缘模糊等质量缺陷，从而确保产品标识的可读性和可追溯性。

2、目前，工业视觉检测系统主要面临两类实现方案的选择。第一类是在边缘端部署轻量化模型完成全部推理。该类方案具有低时延优势，但在光照变化、打印速度变化、设备老化、缺陷特征微弱等情况下容易产生误检和漏检。第二类是将图像上传云端使用高精度模型推理。该类方案精度较高，但存在网络传输量大、云端响应时延高、生产线实时性不足和隐私数据外传风险。

3、可见，现有方案中，要么牺牲精度换取实时性，要么牺牲实时性和数据安全性换取高精度，难以兼顾。因此，在工业质检场景中，如何克服边缘端算力受限与云端传输时延及数据安全的矛盾，从而在保证产线实时性的前提下有效提升缺陷检测的准确性，是本领域技术人员亟待解决的技术问题。

技术实现思路

1、本技术的主要目的在于提供了一种图像检测方法、装置、设备及存储介质，旨在解决在工业质检场景中，如何克服边缘端算力受限与云端传输时延及数据安全的矛盾，从而在保证产线实时性的前提下有效提升缺陷检测的准确性的技术问题。

2、为实现上述目的，本技术提供了一种图像检测方法，所述方法应用于边端设备，所述方法包括以下步骤：

3、获取待检测图像的感兴趣区域，并通过边端轻量化模型对所述感兴趣区域进行本地推理，得到边端概率向量和边端预测类别；

4、根据所述边端概率向量、所述感兴趣区域的匹配质量和所述边端设备的运行状态参数计算综合边端可信度；

5、在确定需要触发云端复核的情况下，将所述感兴趣区域上传至云端服务器，以使所述云端服务器对所述感兴趣区域进行云端推理并返回云端推理结果；

6、基于所述云端推理结果、所述边端概率向量、所述边端预测类别和所述综合边端可信度，确定所述待检测图像的缺陷检测结果。

7、在一实施例中，所述根据所述边端概率向量、所述感兴趣区域的匹配质量和所述边端设备的运行状态参数计算综合边端可信度的步骤，包括：

8、根据所述边端概率向量确定最大类别概率、概率边际和预测熵，所述概率边际为所述最大类别概率与次大类别概率之间的差值，所述预测熵用于表征所述边端概率向量的概率分布混乱程度；

9、对所述边端设备的运行状态参数进行归一化处理，得到归一化边端负载；

10、根据所述最大类别概率、所述概率边际、所述预测熵、所述感兴趣区域的匹配质量和所述归一化运行负载计算综合边端可信度：

11、；

12、其中，为综合边端可信度，为最大类别概率，margin为概率边际，h为预测熵，为预测熵最大值，为感兴趣区域的匹配质量，为归一化运行负载，至为权重系数。

13、在一实施例中，所述根据所述边端概率向量、所述感兴趣区域的匹配质量和所述边端设备的运行状态参数计算综合边端可信度的步骤之后，还包括：

14、在所述综合边端可信度低于预设高可信阈值的情况下，确定需要触发云端复核；

15、和/或，在所述运行状态参数中的边端设备负载超过预设负载阈值的情况下，确定需要触发云端复核；

16、和/或，在所述感兴趣区域的匹配质量低于预设质量阈值的情况下，确定需要触发云端复核；

17、和/或，在所述待检测图像存在图像质量异常的情况下，确定需要触发云端复核；

18、和/或，在所述边端预测类别、所述综合边端可信度或最大类别概率的波动超过预设波动阈值的情况下，确定需要触发云端复核；

19、和/或，在当前处于高可信样本抽检周期内的情况下，确定需要触发云端复核。

20、在一实施例中，所述云端推理结果包括云端概率向量、云端预测类别和云端置信度；

21、所述基于所述云端推理结果、所述边端概率向量、所述边端预测类别和所述综合边端可信度，确定所述待检测图像的缺陷检测结果的步骤，包括：

22、基于所述云端推理结果、所述边端概率向量、所述边端预测类别和所述综合边端可信度计算云边冲突强度，所述云边冲突强度用于表征边端推理结果与云端推理结果之间的分歧程度；

23、根据所述综合边端可信度、所述云端置信度和所述云边冲突强度确定所述待检测图像的缺陷检测结果。

24、在一实施例中，所述基于所述云端推理结果、所述边端概率向量、所述边端预测类别和所述综合边端可信度计算云边冲突强度的步骤，包括：

25、根据所述边端预测类别和所述云端预测类别确定类别冲突指示项和缺陷风险方向项，根据所述综合边端可信度和所述云端置信度确定置信度差值项，根据所述边端概率向量和所述云端概率向量确定概率分布差异项；

26、根据所述类别冲突指示项、所述置信度差值项、所述概率分布差异项、所述缺陷风险方向项和所述感兴趣区域的匹配质量计算云边冲突强度；

27、其中，所述感兴趣区域的匹配质量越低，所述云边冲突强度越高。

28、在一实施例中，所述根据所述综合边端可信度、所述云端置信度和所述云边冲突强度确定所述待检测图像的缺陷检测结果的步骤之前，还包括：

29、当所述边端预测类别与所述云端预测类别一致且所述置信度差值项小于置信度分歧阈值时，确定冲突类型为无冲突；

30、当所述边端预测类别与所述云端预测类别一致且所述置信度差值项大于等于置信度分歧阈值时，确定冲突类型为置信度分歧冲突；

31、当所述边端预测类别与所述云端预测类别不一致时，确定冲突类型为类别冲突；

32、当所述边端预测类别为正常类别、所述云端预测类别为缺陷类别，且所述云端置信度大于等于云端高可信阈值时，确定冲突类型为漏检风险冲突；

33、当所述综合边端可信度低于低可信阈值且所述云边冲突强度大于等于高冲突阈值时，确定冲突类型为低可信严重冲突；

34、当所述综合边端可信度大于等于高可信阈值，且因抽检、批次异常、工况异常或模型漂移检测策略触发云端复核后，边端预测类别与云端预测类别不一致，或所述云边冲突强度大于等于预设冲突阈值时，确定冲突类型为高可信抽检冲突；

35、当同一样本满足多个冲突类型时，按照漏检风险冲突、高可信抽检冲突、低可信严重冲突、类别冲突、置信度分歧冲突、无冲突的优先级确定主冲突类型。

36、在一实施例中，所述根据所述综合边端可信度、所述云端置信度和所述云边冲突强度确定所述待检测图像的缺陷检测结果的步骤，包括：

37、当所述综合边端可信度小于高可信阈值且大于等于低可信阈值，且所述冲突类型为无冲突时，对所述边端概率向量和所述云端概率向量进行加权融合，得到最终概率向量，将所述最终概率向量中最大值对应的类别作为所述待检测图像的缺陷检测结果；

38、当所述冲突类型为漏检风险冲突时，将所述云端预测类别作为所述待检测图像的缺陷检测结果；

39、当所述综合边端可信度低于低可信阈值且所述云边冲突强度大于等于高冲突阈值时，将所述云端预测类别作为所述待检测图像的缺陷检测结果，或将所述待检测图像送入复检确认流程；

40、当所述冲突类型为置信度分歧冲突时，以综合边端可信度和云端置信度中较高者对应的概率向量为主，并结合另一端概率向量进行加权融合；

41、当所述冲突类型为类别冲突时，根据综合边端可信度、云端置信度、云边冲突强度和感兴趣区域的匹配质量，确定采用边端结果、云端结果、融合结果或复检确认流程；

42、当所述冲突类型为高可信抽检冲突时，将样本标记为高可信抽检失败样本，并用于阈值校准或边端模型优化；

43、所述图像检测方法还包括：

44、在确定无需触发云端复核的情况下，当所述综合边端可信度大于等于高可信阈值时，将所述边端预测类别作为所述待检测图像的缺陷检测结果。

45、此外，为实现上述目的，本技术还提出一种图像检测装置，所述图像检测装置包括：

46、本地推理模块，用于获取待检测图像的感兴趣区域，并通过边端轻量化模型对所述感兴趣区域进行本地推理，得到边端概率向量和边端预测类别；

47、计算模块，用于根据所述边端概率向量、所述感兴趣区域的匹配质量和边端设备的运行状态参数计算综合边端可信度；

48、云端复核触发模块，用于在确定需要触发云端复核的情况下，将所述感兴趣区域上传至云端服务器，以使所述云端服务器对所述感兴趣区域进行云端推理并返回云端推理结果；

49、结果确定模块，用于基于所述云端推理结果、所述边端概率向量、所述边端预测类别和所述综合边端可信度，确定所述待检测图像的缺陷检测结果。

50、此外，为实现上述目的，本技术还提出一种图像检测设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像检测程序，所述图像检测程序配置为实现如上文所述的图像检测方法的步骤。

51、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有图像检测程序，所述图像检测程序被处理器执行时实现如上文所述的图像检测方法的步骤。

52、此外，为实现上述目的，本发明还提供一种计算机程序产品，所述计算机程序产品包括图像检测程序，所述图像检测程序被处理器执行时实现如上文所述的图像检测方法的步骤。

53、本技术提出的一个或多个技术方案，至少具有以下技术效果：本技术的图像检测方法，所述方法包括：获取待检测图像的感兴趣区域，并通过边端轻量化模型对所述感兴趣区域进行本地推理，得到边端概率向量和边端预测类别；根据所述边端概率向量、所述感兴趣区域的匹配质量和所述边端设备的运行状态参数计算综合边端可信度；在确定需要触发云端复核的情况下，将所述感兴趣区域上传至云端服务器，以使所述云端服务器对所述感兴趣区域进行云端推理并返回云端推理结果；基于所述云端推理结果、所述边端概率向量、所述边端预测类别和所述综合边端可信度，确定所述待检测图像的缺陷检测结果。

54、本技术通过边端轻量化模型对获取到的感兴趣区域进行本地推理，得到边端概率向量和边端预测类别，并在需要触发云端复核时将感兴趣区域上传至云端服务器以获得云端推理结果，同时结合边端概率向量、边端预测类别和综合边端可信度来确定缺陷检测结果。一方面，该方案优先在边端完成本地推理和初步判定，仅在需要触发云端复核时才上传感兴趣区域而非整幅图像，从而减少网络传输数据量和云端响应等待时间，并降低生产数据外传带来的隐私风险，保证产线实时性和数据安全性；另一方面，该方案在云端推理结果返回后，综合边端概率向量、边端预测类别以及综合边端可信度与云端推理结果进行联合判定，从而在光照变化、打印速度变化、设备老化或缺陷特征微弱等情况下，借助云端高精度推理对边端易误判或漏判的样本进行修正和补偿。通过上述机制，本技术能够在确保产线实时性和数据安全性的前提下，有效提升激光打印缺陷检测的准确性，从而兼顾了边缘端低时延与云端高精度的优势。