一种缺陷检测模型的优化方法、装置、电子设备及介质与流程

本技术涉及机器视觉，特别是涉及一种缺陷检测模型的优化方法、装置、电子设备及介质。

背景技术：

1、工业缺陷检测场景中的缺陷检测模型涉及数十个工艺段、上千种缺陷，缺陷检测模型结构呈现出深度非线性、动态性、多样性等特征。在此背景下，传统模型优化中基于规则和手工调优的传统计算图优化方法面临巨大挑战，其中，计算图优化是深度学习系统中提升模型性能的关键技术，通过对模型的计算图结构的改造来减少计算量、降低内存占用和提高模型执行效率。

2、传统模型优化器依赖于预定义的优化规则，例如，算子融合、常量折叠、公共子表达式消除等。针对所需优化的缺陷检测模型，解析缺陷检测模型，检查预定义的优化规则对应的模式是否与缺陷检测模型匹配，如果匹配，则按照该优化规则对缺陷检测模型进行优化，如果不匹配则放弃优化。

3、然而面对千变万化的缺陷检测模型结构，开发人员需要编写的规则代码呈指数级增长，且优化规则之间可能存在冲突，代码库变得极其臃肿和难以维护。面对数十个工艺段和上千种缺陷，对所有缺陷检测模型进行计算图优化将耗费非常巨大的人力，优化效率极低。

技术实现思路

1、本技术实施例的目的在于提供一种缺陷检测模型的优化方法、装置、电子设备及介质，以提高工业缺陷检测模型的优化效率。具体技术方案如下：

2、第一方面，本技术实施例提供了一种缺陷检测模型的优化方法，所述方法包括：

3、基于待优化缺陷检测模型的拓扑结构，生成目标格式的计算图表示信息，其中，所述目标格式为多模态大模型可读的信息格式；

4、将所述计算图表示信息输入多模态大模型，以利用所述多模态大模型对所述计算图表示信息进行目标模式匹配，输出目标模式匹配结果，其中，所述目标模式为由至少一个算子组成的可优化的计算图模式；

5、从预先建立的优化规则中，查找所述目标模式匹配结果对应的目标优化规则；

6、如果查找到所述目标优化规则，采用所述目标优化规则对所述目标模式匹配结果所对应的算子进行优化；

7、如果未查找到所述目标优化规则，利用所述多模态大模型生成所述目标模式匹配结果所对应的优化规则代码，并通过所述优化规则代码对所述目标模式匹配结果所对应的算子进行优化。

8、可选的，所述基于待优化缺陷检测模型的拓扑结构，生成目标格式的计算图表示信息的步骤，包括：

9、提取待优化缺陷检测模型的拓扑结构信息；

10、基于所述拓扑结构信息，生成所述待优化缺陷检测模型的计算图；

11、采用目标格式对所述计算图进行表示，得到目标格式的计算图表示信息。

12、可选的，在所述生成所述待优化缺陷检测模型的计算图的步骤之后，所述方法还包括：

13、识别所述计算图中满足预设分割条件的算子，作为第一分割点，其中，所述预设分割条件表征无法进行优化的算子属性；

14、搜索所述计算图中的不同逻辑分支，并将各逻辑分支作为第二分割点；

15、基于所述第一分割点和/或所述第二分割点，对所述计算图进行分割，得到由多个计算子图组成的计算图。

16、可选的，所述多模态大模型还输出识别到的精度溢出算子，其中，所述精度溢出算子为预期超出数值表示范围的算子；

17、所述方法还包括：

18、根据所述精度溢出算子所表达的计算原理，对所述精度溢出算子进行等价变换，得到属于所述数值表示范围的变换后的算子。

19、可选的，所述方法还包括：

20、将所述优化规则代码和与其匹配的目标模式，作为预先建立的优化规则进行存储。

21、可选的，所述方法还包括：

22、获取所述待优化缺陷检测模型对测试缺陷图像进行缺陷检测得到的第一检测结果，以及优化后的缺陷检测模型对所述测试缺陷图像进行缺陷检测得到的第二检测结果；

23、在所述第二检测结果与所述第一检测结果之间的差异不符合预设差异要求的情况下，返回所述将所述计算图表示信息输入多模态大模型的步骤。

24、可选的，所述方法还包括：

25、获取优化后的缺陷检测模型在目标运行环境中的运行性能信息，其中，所述目标运行环境与所述待优化缺陷检测模型所要部署的实际运行环境之间的差异小于预设差异，所述运行性能信息至少包括缺陷检测速度；

26、在所述缺陷检测速度不小于所述待优化缺陷检测模型的缺陷检测速度的情况下，返回所述将所述计算图表示信息输入多模态大模型的步骤。

27、第二方面，本技术实施例提供了一种缺陷检测模型的优化装置，所述装置包括：

28、模型信息表示模块，用于基于待优化缺陷检测模型的拓扑结构，生成目标格式的计算图表示信息，其中，所述目标格式为多模态大模型可读的信息格式；

29、模式匹配模块，用于将所述计算图表示信息输入多模态大模型，以利用所述多模态大模型对所述计算图表示信息进行目标模式匹配，输出目标模式匹配结果，其中，所述目标模式为由至少一个算子组成的可优化的计算图模式；

30、规则查找模块，用于从预先建立的优化规则中，查找所述目标模式匹配结果对应的目标优化规则；

31、第一优化模块，用于如果查找到所述目标优化规则，采用所述目标优化规则对所述目标模式匹配结果所对应的算子进行优化；

32、第二优化模块，用于如果未查找到所述目标优化规则，利用所述多模态大模型生成所述目标模式匹配结果所对应的优化规则代码，并通过所述优化规则代码对所述目标模式匹配结果所对应的算子进行优化。

33、第三方面，本技术实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

34、存储器，用于存放计算机程序；

35、处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法。

36、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法。

37、本技术实施例有益效果：

38、本技术实施例提供的方案中，可以将多模态大模型可读的信息格式的待优化缺陷检测模型的计算图表示信息输入多模态大模型，通过让多模态大模型充分理解计算图表示信息所表示的模型结构信息，利用多模态大模型的逻辑推理能力识别出可优化的计算图模式，进而在预先建立的优化规则中，存在目标模式匹配结果对应的目标优化规则时，采用目标优化规则对目标模式匹配结果所对应的算子进行优化。如果未查找到目标优化规则，则可以利用多模态大模型的代码生成能力，生成目标模式匹配结果所对应的优化规则代码，并通过优化规则代码对目标模式匹配结果所对应的算子进行优化。面对千变万化的缺陷检测模型结构，开发人员无要编写大量的规则代码，便可以通过上述方式快速的对各种缺陷检测模型进行优化，大大提高工业缺陷检测模型的优化效率。当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。