基于ROI投影的线束扎带位置一致性视觉检测方法、设备及介质与流程

摘要: 本发明属于视觉检测,具体涉及一种基于roi投影的线束扎带位置一致性视觉检测方法、设备及介质。背景技术:1、在飞机装配过程中,线束装配是不可或缺的关键环节。若线束...
基于ROI投影的线束扎带位置一致性视觉检测方法、设备及介质与流程

本发明属于视觉检测,具体涉及一种基于roi投影的线束扎带位置一致性视觉检测方法、设备及介质。

背景技术:

1、在飞机装配过程中,线束装配是不可或缺的关键环节。若线束装配出现不一致,极易导致线束之间或与导管、成品之间的间隙不足。该问题可能引发线束与周边部件的摩擦,导致线束磨损,影响飞机性能和功能,甚至造成飞行事故。因此,对线束装配一致性进行检测具有重要而紧迫的现实意义。线束装配依靠扎带固定线束位置,影响线束走向,因此线束扎带的位置一致性对线束装配一致性有较高程度的影响。

2、目前,线束扎带位置的一致性检测通常采用人工目视检测的方式,但这种方式存在明显不足:首先,检测过程耗时较长,效率较低;其次,人工检测极易出现错误,尤其是在长时间作业后,操作者因视觉疲劳而导致错误率增加;并且,人工难以准确记忆上一架飞机线束扎带的准确安装位置,存在一定程度的局限性与不合理性;另外采用人工检测无法量化线束扎带位置一致性,只能给出模糊的判断,无法对给出准确、量化的检测结果。

技术实现思路

1、本发明的目的在于提供一种基于roi投影的线束扎带位置一致性视觉检测方法、设备及介质,以解决现有检测方法检测效率低、易出错、检测结果无法量化、检测成本高的问题。

2、本发明通过下述技术方案实现:

3、基于roi投影的线束扎带位置一致性视觉检测方法,包括以下步骤:

4、采用sift图像匹配方法对模板图像、测试图像进行关键点匹配并计算测试图像变换至模板图像的单应性矩阵,采用单应性矩阵对测试图像进行透视变换输出变换后的测试图像;

5、将模板图像上标注的扎带外接水平矩形框投影至变换后的测试图像,提取测试图像中的扎带roi区域,并将测试图像扎带roi区域输入yolo实例分割模型,得到测试图像扎带roi区域的扎带分割图;

6、计算模板图像roi区域内标注的扎带分割图与测试图像roi区域内检测的扎带分割图的iou值,根据iou值判定扎带位置一致性。

7、在一些实施例中,对测试图像进行透视变换输出变换后的测试图像的步骤包括:

8、采用sift检测器提取测试图像的关键点kp1及其描述符des1,以及模板图像的关键点kp2及其描述符des2;

9、采用brute-force匹配器计算描述符des1和des2的距离以匹配关键点kp1和kp2,为每个关键点找到两个最佳匹配的关键点;

10、对匹配的关键点进行比值测试,仅保留高质量关键点对;

11、从高质量关键点对中提取测试图像的关键点pts_src及其对应的模板图像关键点pts_dst;

12、计算将关键点pts_src映射到关键点pts_dst的单应性矩阵m;

13、使用单应性矩阵m对测试图像进行透视变换,得到变换后的测试图像。

14、在一些实施例中,提取测试图像中的扎带roi区域的步骤包括:

15、将模板图像标注的扎带外接水平矩形框对应的局部图像作为模板图像roi区域,将模板图像roi区域坐标投影至变换后的测试图像,并取出对应的局部图像作为测试图像roi区域;其中,扎带外接水平矩形框由labelme标注的模板图像扎带分割图生成。

16、在一些实施例中,还包括对yolov11扎带检测模型进行训练和测试得到yolov11实例分割检测模型的步骤。

17、在一些实施例中,对yolov11扎带检测模型进行训练和测试得到yolov11实例分割检测模型的步骤包括:

18、采集舱位扎带图像,其中一部分图像作为训练集,一部分图像作为测试集;

19、采用labelme标注工具标注舱位扎带图像中的扎带分割图;

20、利用舱位扎带图像中标注的扎带分割图计算其外接水平矩形框,并使用该外接水平矩形框提取扎带局部图像作为扎带数据集;

21、利用舱位扎带图像的原始扎带标注文件生成扎带数据集的标注文件,得到标注的扎带数据集;

22、采用标注的扎带数据集训练和测试yolov11扎带检测模型,得到yolov11实例分割检测模型。

23、在一些实施例中,采集模板图像,采用labelme标注模板图像的扎带分割图,用于yolov11扎带检测模型的测试。

24、在一些实施例中,根据iou值判定扎带位置一致性的步骤包括:

25、提取模板图像roi区域内标注的模板扎带分割图;

26、提取测试图像roi区域内检测到的测试扎带分割图;

27、利用模板扎带分割图与测试扎带分割图,计算二者的iou值;

28、比较iou与阈值iou_th,若iou≤iou_th,则判定测试扎带与模板扎带装配位置一致;否则,判定为装配位置不一致。

29、另一方面,本发明还提供一种电子设备,包括:

30、处理器;以及

31、存储器,用于存储所述处理器的可执行指令;

32、其中,所述处理器配置为经由执行所述可执行指令来执行基于roi投影的线束扎带位置一致性视觉检测方法。

33、另一方面,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现基于roi投影的线束扎带位置一致性视觉检测方法。

34、本发明与现有技术相比,具有以下优点及有益效果:

35、本发明采用测试图像与模板图像进行扎带位置的一致性比对,能够确保每次检测的扎带参考位置保持一致,以之前飞机的线束扎带模板图像作为参考,显著提高了检测的合理性,与传统人工目视检测方法相比,能够快速且精准地判定线束扎带位置的一致性,大幅提升了检测的效率,能够有效避免人工目视检测中因操作人员疲劳而产生的漏检或误检问题;采用以模板扎带分割图与测试扎带分割图的iou值评估扎带位置一致性,为扎带位置一致性评估提供了量化指标,实现了对扎带位置一致性的量化评估。

1.基于roi投影的线束扎带位置一致性视觉检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述基于roi投影的线束扎带位置一致性视觉检测方法,其特征在于,对测试图像进行透视变换输出变换后的测试图像的步骤包括:

3.根据权利要求1所述基于roi投影的线束扎带位置一致性视觉检测方法,其特征在于,提取测试图像中的扎带roi区域的步骤包括:

4.根据权利要求1所述基于roi投影的线束扎带位置一致性视觉检测方法,其特征在于,还包括对yolov11扎带检测模型进行训练和测试得到yolov11实例分割检测模型的步骤。

5.根据权利要求4所述基于roi投影的线束扎带位置一致性视觉检测方法,其特征在于,对yolov11扎带检测模型进行训练和测试得到yolov11实例分割检测模型的步骤包括:

6.根据权利要求5所述基于roi投影的线束扎带位置一致性视觉检测方法,其特征在于,采集模板图像,采用labelme标注模板图像的扎带分割图,用于yolov11扎带检测模型的测试。

7.根据权利要求1所述基于roi投影的线束扎带位置一致性视觉检测方法,其特征在于,根据iou值判定扎带位置一致性的步骤包括:

8.电子设备,其特征在于,包括:

9.计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的基于roi投影的线束扎带位置一致性视觉检测方法。