一种工业机器视觉检测方法、系统、介质和设备与流程

摘要: 本技术涉及工业检测领域,特别涉及一种工业机器视觉检测方法、系统、介质和设备。背景技术:1、传统工业机器视觉系统主要依赖基于规则的图像处理算法,例如边缘检测、模板...
一种工业机器视觉检测方法、系统、介质和设备与流程

本技术涉及工业检测领域,特别涉及一种工业机器视觉检测方法、系统、介质和设备。

背景技术:

1、传统工业机器视觉系统主要依赖基于规则的图像处理算法,例如边缘检测、模板匹配等,在光照稳定、工件单一的场景下表现良好,但面对复杂背景、低对比度图像或需要强语义理解的场景时,鲁棒性差、开发周期长,且难以适应产线产品的频繁换代。视觉大模型凭借强大的特征提取、泛化感知与语义理解能力,在复杂场景目标检测与语义分割任务中展现出高精度优势,可有效应对工业现场的各种环境。但现有视觉大模型在工业落地中仍存在不足:模型输出多为检测框、分割掩码等原始结果,缺少面向工业工序的几何计算、坐标转换、公差判定等专用后处理逻辑,无法直接对接产线执行机构;同时,缺乏将视觉大模型的语义推理结果作为传统图像处理算法运算范围约束的协同机制,单一模型难以同时兼顾检测精度与工业场景专用性。

2、因此,如何使视觉大模型的语义推理结果驱动并约束传统图像处理算法的运算范围,实现语义理解与像素级测量精度的深度融合,为本领域技术人员亟需解决的技术问题。

技术实现思路

1、本技术的目的是提供一种工业机器视觉检测方法、系统、计算机可读存储介质和电子设备,能够实现语义理解与像素级测量精度深度融合。

2、为解决上述技术问题,本技术提供一种工业机器视觉检测方法,具体技术方案如下:

3、获取待检测工件的图像数据;

4、将所述图像数据输入至视觉大模型,获取所述视觉大模型经语义推理后输出的视觉推理结果;所述视觉推理结果包含所述图像数据中目标对象的语义类别信息及空间定位信息;

5、根据所述空间定位信息,从所述图像数据中划定与所述目标对象对应的目标运算区域;

6、根据所述视觉推理结果的输出形态及所述语义类别信息,从预置后处理算法中调用目标后处理算法,在所述目标运算区域内执行所述目标后处理算法,对所述目标运算区域中的像素进行物理量解算,得到所述目标对象的测量数据。

7、可选的,根据所述视觉推理结果的输出形态及所述语义类别信息,从预置后处理算法中选取目标后处理算法,在所述目标运算区域内执行所述目标后处理算法,对所述目标运算区域中的像素进行物理量解算,获得所述目标对象的测量数据包括:

8、当所述视觉推理结果的输出形态为目标检测边界框时,从预置后处理算法中选取尺寸测量算法作为所述目标后处理算法,所述空间定位信息为所述目标检测边界框所标识的像素坐标范围;

9、在所述目标检测边界框限定的所述目标运算区域内执行所述尺寸测量算法,对所述目标运算区域中的像素进行物理尺寸解算,得到所述目标对象的尺寸测量结果。

10、可选的,在所述目标检测边界框限定的所述目标运算区域内执行所述尺寸测量算法,对所述目标运算区域中的像素进行物理尺寸解算,获得所述目标对象的尺寸测量结果包括:

11、调用尺寸测量算法从所述目标检测边界框中提取所述目标对象的边缘像素坐标;

12、基于所述边缘像素坐标计算所述目标对象的像素跨度;

13、获取预先标定的像素当量参数,根据所述像素跨度与所述像素当量参数进行换算,获得所述目标对象的物理尺寸数据;所述物理尺寸数据作为所述尺寸测量结果。

14、可选的,根据所述视觉推理结果的输出形态及所述语义类别信息,从预置后处理算法中选取目标后处理算法,在所述目标运算区域内执行所述目标后处理算法,对所述目标运算区域中的像素进行物理量解算,获得所述目标对象的测量数据包括:

15、当所述视觉推理结果的输出形态为目标检测边界框时,从预置后处理算法中选取定位引导算法作为所述目标后处理算法,所述空间定位信息为所述目标检测边界框所标识的像素坐标范围;

16、在所述目标检测边界框限定的所述目标运算区域内执行所述定位引导算法,对所述目标运算区域中的像素进行位置解算,得到所述目标对象的定位引导坐标。

17、可选的,从预置后处理算法中选取定位引导算法作为所述目标后处理算法,在所述目标检测边界框限定的所述目标运算区域内执行所述定位引导算法,对所述目标运算区域中的像素进行位置解算,获得所述目标对象的定位引导坐标包括:

18、调用定位引导算法从所述目标检测边界框中提取所述目标对象的中心像素坐标;

19、基于所述中心像素坐标计算所述目标对象的几何参数;

20、利用所述几何参数对所述目标对象执行质量校验;

21、在所述质量校验通过时,对所述中心像素坐标执行坐标系转换操作,将像素坐标转换为物理空间坐标,将所述物理空间坐标作为所述定位引导坐标。

22、可选的,根据所述视觉推理结果的输出形态及所述语义类别信息,从预置后处理算法中调用目标后处理算法,在所述目标运算区域内执行所述目标后处理算法,对所述目标运算区域中的像素进行物理量解算,得到所述目标对象的测量数据包括:

23、当所述视觉推理结果的输出形态为语义分割掩码时,从预置后处理算法中选取掩码测量算法作为所述目标后处理算法,所述空间定位信息为所述语义分割掩码所标识的像素区域形状;

24、在所述语义分割掩码限定的所述目标运算区域内执行所述掩码测量算法,对所述目标运算区域中的像素进行物理尺寸解算,得到所述目标对象的尺寸测量结果。

25、可选的,在所述语义分割掩码限定的所述目标运算区域内执行所述掩码测量算法,对所述目标运算区域中的像素进行物理尺寸解算,得到所述目标对象的尺寸测量结果包括:

26、调用所述掩码测量算法对所述语义分割掩码进行轮廓提取,得到目标区域轮廓;

27、对所述目标区域轮廓进行骨架提取,得到中轴骨架线;

28、沿所述中轴骨架线的法向量方向对所述目标运算区域进行宽度测量,得到宽度数据;

29、将所述宽度数据作为所述尺寸测量结果。

30、本技术还提供一种工业机器视觉检测系统,包括:

31、图像获取模块,用于获取待检测工件的图像数据;

32、语义推理模块,用于将所述图像数据输入至视觉大模型,获取所述视觉大模型经语义推理后输出的视觉推理结果;所述视觉推理结果包含所述图像数据中目标对象的语义类别信息及空间定位信息;

33、区域划定模块,用于根据所述空间定位信息,从所述图像数据中划定与所述目标对象对应的目标运算区域;

34、后处理解算模块,用于根据所述视觉推理结果的输出形态及所述语义类别信息,从预置后处理算法中调用目标后处理算法,在所述目标运算区域内执行所述目标后处理算法,对所述目标运算区域中的像素进行物理量解算,得到所述目标对象的测量数据。

35、本技术还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法的步骤。

36、本技术还提供一种电子设备,包括存储器和处理器,所述存储器中存有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。

37、本技术提供一种工业机器视觉检测方法,包括:获取待检测工件的图像数据;将所述图像数据输入至视觉大模型,获取所述视觉大模型经语义推理后输出的视觉推理结果;所述视觉推理结果包含所述图像数据中目标对象的语义类别信息及空间定位信息;根据所述空间定位信息,从所述图像数据中划定与所述目标对象对应的目标运算区域;根据所述视觉推理结果的输出形态及所述语义类别信息,从预置后处理算法中调用目标后处理算法,在所述目标运算区域内执行所述目标后处理算法,对所述目标运算区域中的像素进行物理量解算,得到所述目标对象的测量数据。

38、本技术通过获取待检测工件的图像数据并将其输入视觉大模型进行语义推理,能够直接在全图范围内完成目标定位与语义分割,无需传统算法进行人工配置感兴趣区域标定,可以有效应对复杂工业场景下的反光、低对比度和复杂工件背景等问题。通过利用视觉大模型输出的空间定位信息划定目标运算区域,并根据输出形态及语义类别信息调用对应的后处理算法,能够在视觉大模型限定的运算区域内执行像素级物理量解算,将语义空间定位转化为物理测量数据。尺寸测量算法用于结合像素当量参数将像素跨度换算为实际物理尺寸,实现高精度尺寸测量;定位引导算法则用于对目标对象进行质量校验并执行坐标系转换,输出精确的物理空间坐标用于机械臂引导。通过调用目标后处理算法,建立了从语义理解到物理测量的完整协同链路,使视觉大模型的语义推理结果驱动并约束传统图像处理算法的运算范围,兼顾场景泛化能力与像素级测量精度。

39、本技术还提供一种工业机器视觉检测系统、计算机可读存储介质、电子设备和计算机程序产品,具有上述有益效果,此处不再赘述。