叶片飞边切割方法、装置、设备、存储介质及机器人与流程

1.本发明涉及叶片切割技术领域，尤其涉及一种叶片飞边切割方法、装置、设备、存储介质及机器人。


背景技术：

2.目前业界大部分都采用人工或者自动化设备的方式进行叶片的飞边切割，人工的方式效率低，且切割打磨粉尘污染很大，没有集成一体化的除尘装置既对环境造成影响，更对工人的身体健康产生影响。因此，采用自动方式对叶片飞边进行切割应用较为广泛，自动切割的方式主要是通过识别激光射线轨迹数据与飞边切割线，当激光射线轨迹数据与飞边切割线一致时，进行飞边切割。
3.但是，该种只有在当激光射线轨迹数据与飞边切割线一致时，进行飞边切割的方式，切割效率较低。


技术实现要素：

4.本发明提供一种叶片飞边切割方法、装置、设备、存储介质及机器人，用以解决现有技术中叶片飞边切割效率低的问题。
5.本发明提供一种叶片飞边切割方法，包括：
6.采集待切割位置场景的三维点云数据和二维图像数据；
7.识别所述二维图像数据中的反光条；
8.对于识别到所述反光条的部分，在所述三维点云数据中查找与所述反光条对应的目标点云数据，基于所述目标点云数据，生成第一切割轨迹；
9.对于未识别到所述反光条的部分，利用所述三维点云数据生成第二切割轨迹；
10.控制切割工具按照所述第一切割轨迹和所述第二切割轨迹完成对待切割叶片飞边的切割。
11.根据本发明提供的一种叶片飞边切割方法，所述采集待切割位置场景的三维点云数据和二维图像数据之前，还包括：
12.确定待切割叶片飞边的阶跃高度差；
13.对所述阶跃高度差小于预设阈值的所述待切割叶片飞边部分进行反光条标记。
14.根据本发明提供的一种叶片飞边切割方法，所述识别所述二维图像数据中的反光条，包括：
15.利用深度学习分割方式识别所述二维图像数据中的反光条。
16.根据本发明提供的一种叶片飞边切割方法，所述控制切割工具按照所述第一切割轨迹和所述第二切割轨迹完成对待切割叶片飞边的切割，包括：
17.基于所述切割位置场景的三维点云数据，对所述第一切割轨迹和所述第二切割轨迹进行合并，生成目标切割轨迹；
18.控制六轴机器人带动切割工具，按照所述目标切割轨迹对待切割叶片飞边的切
割。
19.根据本发明提供的一种叶片飞边切割方法，所述控制切割工具按照所述第一切割轨迹和所述第二切割轨迹完成对待切割叶片飞边的切割之后，还包括：
20.当切割完成之后，更换所述切割工具为打磨工具；
21.基于打磨工艺要求，对所述目标切割轨迹进行调整，得到打磨轨迹；
22.控制六轴机器人带动打磨工具，按照所述打磨轨迹对切割完成的待切割叶片进行打磨。
23.根据本发明提供的一种叶片飞边切割方法，所述采集待切割位置场景的三维点云数据和二维图像数据，包括：
24.利用三维相机采集待切割位置场景的三维点云数据和二维图像数据。
25.本发明还提供一种叶片飞边切割装置，包括：
26.采集模块，用于采集待切割位置场景的三维点云数据和二维图像数据；
27.识别模块，用于识别所述二维图像数据中的反光条；
28.轨迹生成模块，用于对于识别到所述反光条的部分，在所述三维点云数据中查找与所述反光条对应的目标点云数据，基于所述目标点云数据，生成第一切割轨迹；对于未识别到所述反光条的部分，利用所述三维点云数据生成第二切割轨迹；
29.切割模块，用于控制切割工具按照所述第一切割轨迹和所述第二切割轨迹完成对待切割叶片飞边的切割。
30.本发明还提供一种机器人，所述机器人用于执行如上述任一项所述的叶片飞边切割方法或包括如上述所述的叶片飞边切割装置。
31.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述叶片飞边切割方法。
32.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述叶片飞边切割方法。
33.本发明提供的一种叶片飞边切割方法、装置、设备、存储介质及机器人，方法通过采集待切割位置场景的三维点云数据和二维图像数据；识别二维图像数据中的反光条；对于识别到反光条的部分，在三维点云数据中查找与反光条对应的目标点云数据，基于目标点云数据，生成第一切割轨迹；对于未识别到反光条的部分，利用三维点云数据生成第二切割轨迹；控制切割工具按照第一切割轨迹和第二切割轨迹完成对待切割叶片飞边的切割，通过三维点云数据与二维图像数据相结合的方式，能够更加快速、准确地识别出目标切割轨迹，无需图像比对便可以确定目标切割轨迹，有效地提高了叶片飞边切割效率。
附图说明
34.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1是本发明实施例提供的叶片飞边切割方法的流程示意图；
36.图2是本发明实施例提供的叶片飞边切割装置的结构示意图；
37.图3是本发明提供的电子设备的结构示意图。
具体实施方式
38.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.下面结合图1至图3描述本发明的一种叶片飞边切割方法、装置、设备、存储介质及机器人。
40.图1是本发明提供的叶片飞边切割方法的流程示意图。
41.如图1所示，本发明实施例提供的一种叶片飞边切割方法，执行主体可以是自动化切割机器人，方法主要包括以下步骤：
42.101、采集待切割位置场景的三维点云数据和二维图像数据。
43.在一个具体的实现过程中，定义需要进行切割的叶片所在的区域为待切割位置场景。采集待切割位置场景的三维点云数据，三维点云数据能够更加直观清晰地反映出待切割位置场景中待切割叶片的具体信息。同时，采集待切割位置场景的二维图像数据，二维图像数据指的是拍摄得到的2d图像，三维点云数据指的是拍摄得到的3d点云形态。
44.其中，可以是通过三维相机采集待切割位置场景的三维点云数据和二维图像数据，例如采用mp-l 3d相机采集三维点云数据和二维图像数据。
45.102、识别二维图像数据中的反光条。
46.通过视觉系统采集到待切割位置场景的二维图像数据之后，识别二维图像上的反光条，反光条为按照切割轨迹标记于待切割叶片上的标识符。例如，具体的可以是利用深度学习分割方式识别二维图像数据中的反光条。
47.103、对于识别到反光条的部分，在三维点云数据中查找与反光条对应的目标点云数据，基于目标点云数据，生成第一切割轨迹。
48.由于反光条是按照预设方式预先标记于待切割叶片上的，因此，对于获取到的二维图像数据而言，可能二维图像数据中包括反光条，也可能二维图像中不包括反光条。针对两种不同的情况，需要采取不同的切割轨迹生成方式。
49.因此，对于识别到反光条的部分，在三维点云数据中查找与反光条对应的目标点云数据，即查找二维图像数据中反光条对应的三维点云数据。然后基于目标点云数据，便可以生成对应的切割轨迹，反光条的作用便是提供切割轨迹，因此，识别到反光条便相当于识别得到了切割轨迹，按照一定的规则基于目标点云数据，生成第一切割轨迹即可，第一切割轨迹为与反光条对应的切割轨迹。
50.104、对于未识别到反光条的部分，利用三维点云数据生成第二切割轨迹。
51.而对于识别的二维图像数据，若是二维图像数据中不包括反光条，则表明该二维图像数据部分对应的待切割叶片未进行切割标记。此时，直接根据二维图像数据对应的三维点云数据生成第二切割轨迹即可。其中，第二切割轨迹是直接基于三维点云数据生成的，而第一切割轨迹是基于反光条对应的目标点云数据所生产的。
52.105、控制切割工具按照第一切割轨迹和第二切割轨迹完成对待切割叶片飞边的切割。
53.在得到包括反光条的第一切割轨迹和不包括反光条的第二切割轨迹之后，便能够得到整个待切割叶片的切割轨迹，然后再去控制切割工具按照对应的切割轨迹进行切割即可。
54.本实施例提供的一种叶片飞边切割方法，通过采集待切割位置场景的三维点云数据和二维图像数据；识别二维图像数据中的反光条；对于识别到反光条的部分，在三维点云数据中查找与反光条对应的目标点云数据，基于目标点云数据，生成第一切割轨迹；对于未识别到反光条的部分，利用三维点云数据生成第二切割轨迹；控制切割工具按照第一切割轨迹和第二切割轨迹完成对待切割叶片飞边的切割，通过三维点云数据与二维图像数据相结合的方式，能够更加快速、准确地识别出目标切割轨迹，无需图像比对便可以确定目标切割轨迹，有效地提高了叶片飞边切割效率。
55.进一步的，在上述实施例的基础上，本实施例中的采集待切割位置场景的三维点云数据和二维图像数据之前，还包括：确定待切割叶片飞边的阶跃高度差；对阶跃高度差小于预设阈值的待切割叶片飞边部分进行反光条标记。
56.具体的，为了高效地完成叶片飞边切割，在进行叶片飞边切割之前，首先对叶片飞边进行标记，确定待切割叶片飞边的阶跃高度差，对阶跃高度差小于预设阈值例如5mm的位置使用反光条进行标记，而对于大于或等于5mm的位置，则不作任何处理。对应于切割流程而言则是，在飞边阶跃高度差大于5mm的位置直接使用3d点云识别需要切割的位置，在飞边阶跃高度差小于5mm的位置通过识别反光条确定需要切割的位置。通过自动检测场景中的反光条进行识别反光条或者阶跃的切换，高效完成整个叶片飞边的识别，进而完成高效切割，并且结合2d深度学习识别反光条与3d识别点云数据，保证能够稳定的提取出叶片飞边的切割轨迹，有效地提高了切割效率。
57.进一步的，在上述实施例的基础上，本实施例中的控制切割工具按照第一切割轨迹和第二切割轨迹完成对待切割叶片飞边的切割，包括：基于切割位置场景的三维点云数据，对第一切割轨迹和第二切割轨迹进行合并，生成目标切割轨迹；控制六轴机器人带动切割工具，按照目标切割轨迹对待切割叶片飞边的切割。
58.具体的，在有反光条的部分生成第一切割轨迹，没有反光条的部分生成第二切割轨迹，因此，与待切割叶片相匹配，便可以基于待切割位置场景的所有三维点云数据，将第一切割轨迹与第二切割轨迹进行组合，便得到了最终的目标切割轨迹。然后控制六轴机器人带动切割工具按照目标切割轨迹对待切割叶片的飞边进行切割即可。当前点位切割完成之后，移动六轴机器人的完成对下一个点位的切割，重复切割操作，以完成全部的切割操作。
59.进一步的，在上述实施例的基础上，本实施例中，通过控制切割工具按照第一切割轨迹和第二切割轨迹完成对待切割叶片飞边的切割之后，还包括：当切割完成之后，更换切割工具为打磨工具；基于打磨工艺要求，对目标切割轨迹进行调整，得到打磨轨迹；控制六轴机器人带动打磨工具，按照打磨轨迹对切割完成的待切割叶片进行打磨。
60.具体的，在利用3d相机拍摄待切割叶片飞边，结合2d图像和3d点云实现对待切割叶片飞边的切割之后，将切割工具更换为打磨工具，同样对目标切割轨迹进行调整，使得调
整后的轨迹能够适用于打磨工具完成对切割后的叶片的打磨作业。使得一体化的完成了对叶片的切割打磨，保证了切割打磨质量，符合工艺要求。集成切割和打磨，切割完成之后直接引导打磨工具进行打磨，一体化的完成了整体的处理工艺，提升效率和工艺质量。
61.本发明采用的叶片飞边切割方法，采用2d深度学习分割加3d点云识别的方法，能够保证整个待切割叶片所有位置都可以识别出飞边位置以高效地进行切割和打磨，同时鲁棒性很强，使用视觉的方式进行识别也做到了智能化，所有叶片类型都可以支持进行切割和打磨，有效地提高了叶片飞边的切割和打磨效率。
62.基于同一总的发明构思，本发明还保护一种叶片飞边切割装置，下面对本发明提供的叶片飞边切割装置进行描述，下文描述的叶片飞边切割装置与上文描述的叶片飞边切割方法可相互对应参照。
63.图2是本发明实施例提供的叶片飞边切割装置的结构示意图。
64.如图2所示，本发明实施例提供的一种叶片飞边切割装置，包括：
65.采集模块201，用于采集待切割位置场景的三维点云数据和二维图像数据；
66.识别模块202，用于识别二维图像数据中的反光条；
67.轨迹生成模块203，用于对于识别到反光条的部分，在三维点云数据中查找与反光条对应的目标点云数据，基于目标点云数据，生成第一切割轨迹；对于未识别到反光条的部分，利用三维点云数据生成第二切割轨迹；
68.切割模块204，用于控制切割工具按照第一切割轨迹和第二切割轨迹完成对待切割叶片飞边的切割。
69.本实施例提供的一种叶片飞边切割装置，通过采集待切割位置场景的三维点云数据和二维图像数据；识别二维图像数据中的反光条；对于识别到反光条的部分，在三维点云数据中查找与反光条对应的目标点云数据，基于目标点云数据，生成第一切割轨迹；对于未识别到反光条的部分，利用三维点云数据生成第二切割轨迹；控制切割工具按照第一切割轨迹和第二切割轨迹完成对待切割叶片飞边的切割，通过三维点云数据与二维图像数据相结合的方式，能够更加快速、准确地识别出目标切割轨迹，无需图像比对便可以确定目标切割轨迹，有效地提高了叶片飞边切割效率。
70.进一步的，本实施例中还包括标记模块，用于：
71.确定待切割叶片飞边的阶跃高度差；
72.对所述阶跃高度差小于预设阈值的所述待切割叶片飞边部分进行反光条标记。
73.进一步的，本实施例中的识别模块202，具体用于：
74.利用深度学习分割方式识别所述二维图像数据中的反光条。
75.进一步的，本实施例中的切割模块203，具体用于：
76.基于所述切割位置场景的三维点云数据，对所述第一切割轨迹和所述第二切割轨迹进行合并，生成目标切割轨迹；
77.控制六轴机器人带动切割工具，按照所述目标切割轨迹对待切割叶片飞边的切割。
78.进一步的，本实施例中还包括打磨模块，用于：
79.当切割完成之后，更换所述切割工具为打磨工具；
80.基于打磨工艺要求，对所述目标切割轨迹进行调整，得到打磨轨迹；
81.控制六轴机器人带动打磨工具，按照所述打磨轨迹对切割完成的待切割叶片进行打磨。
82.进一步的，本实施例中的采集模块201，具体用于：
83.利用三维相机采集待切割位置场景的三维点云数据和二维图像数据。
84.基于同一总的发明构思，本发明还保护一种机器人，所述机器人用于执行上述任一实施例的叶片飞边切割方法或包括如上述任一实施例的叶片飞边切割装置。其中机器人包括机械手、agv小车、视觉系统、控制系统和切割打磨工具等。
85.图3是本发明提供的电子设备的结构示意图。
86.如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(communications interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行叶片飞边切割方法，该方法包括：采集待切割位置场景的三维点云数据和二维图像数据；识别所述二维图像数据中的反光条；对于识别到所述反光条的部分，在所述三维点云数据中查找与所述反光条对应的目标点云数据，基于所述目标点云数据，生成第一切割轨迹；对于未识别到所述反光条的部分，利用所述三维点云数据生成第二切割轨迹；控制切割工具按照所述第一切割轨迹和所述第二切割轨迹完成对待切割叶片飞边的切割。
87.此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
88.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的叶片飞边切割方法，该方法包括：采集待切割位置场景的三维点云数据和二维图像数据；识别所述二维图像数据中的反光条；对于识别到所述反光条的部分，在所述三维点云数据中查找与所述反光条对应的目标点云数据，基于所述目标点云数据，生成第一切割轨迹；对于未识别到所述反光条的部分，利用所述三维点云数据生成第二切割轨迹；控制切割工具按照所述第一切割轨迹和所述第二切割轨迹完成对待切割叶片飞边的切割。
89.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的叶片飞边切割方法，该方法包括：采集待切割位置场景的三维点云数据和二维图像数据；识别所述二维图像数据中的反光条；对于识别到所述反光条的部分，在所述三维点云数据中查找与所述反光条对应的目标点云数据，基于所述目标点云数据，生成第一切割轨迹；对于未识别到所述反光条的部分，利用所述三维点云数据生成第二切割轨迹；控制切割工具按照所述第一切割轨迹和所
述第二切割轨迹完成对待切割叶片飞边的切割。
90.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
91.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
92.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。