基于计算机视觉的变形曲面磨削方法、装置及系统与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种基于计算机视觉的变形曲面磨削方法、装置及系统。


背景技术：

2.在工业中，磨削往往作为机加工的最后一步，对产品最终的成型质量起到至关重要的作用，并最终决定了产品的档次。人工磨削、专用机床磨削和数控机床磨削是传统磨削加工的三种最主要的模式。工作在高温环境中的工件，比如航空航天件，受温度和力的影响会产生一定程度的变形，但由于此类工件价格较为昂贵，重新生产新件成本很高，所以往往需要经过磨削抛光，去除表面附着物后重复利用。由于每个工件变形程度不同，很难通过专用机床或者数控机床建立一个统一的模型进行磨削，目前处理这类工件的主要方式是人工磨削。然而，人工磨削工作量大，效率较低，工件加工均一性较差，并且磨削车间大量的粉尘不利于工人的健康。
3.近年来，具有自动化程度高，灵活性强，可进行编程控制等优点的工业机器人逐渐取代了传统的人工和机床，且机器人砂带磨削因其高效、高质量的特点正成为一种趋势。目前机器人磨削主要是通过在线示教或根据已有图纸确定打磨轨迹，并用恒定的磨削参数进行打磨。对于有变形的曲面磨削，每个工件变形程度不同，很难通过一次示教或根据工件未变形前的图纸确定统一的打磨轨迹，且一直用恒定的磨削参数磨削很容易出现欠磨或过磨的现象。
4.比如相关技术中，申请号为201010603399.4的发明专利公开了“一种基于视觉信息的工业机器人磨削系统及方法”，其利用视频摄像头采集工件图像，利用计算机识别定位工件并抓取工件，按照预先设定好的磨削参数进行打磨。该技术只适合标准化工件的流水线打磨，对于变形程度不一致的工件无法起到很好的效果。
5.机械设计与制造期刊上2015年12月8日发表的文献“数控插补方式实现外球面高精度磨削的方法”中提出了利用数控外圆磨床的高精度圆弧插补功能，在通用数控外圆磨床上、使用普通砂轮实现高硬度外球面的高精度磨削的方法，实现了对于规整外圆曲面的精密磨削，但是对于不规整的变形曲面很难进行圆弧插补。
6.申请号为201410148371.4的发明专利公开了“智能力控机器人磨削加工系统和方法”，其利用工业照相机采集工件扫描数据并据此生成刀具路径，从而将刀具路径转换为机器人姿态和末端路径完成自动化打磨，实现了打磨路径的自动规划。
7.申请号为200910241745.6的发明专利公开了“基于机器学习的机器人磨削方法”，其通过机器学习模型训练机器人进给速率、接触力、工件表面曲率和磨削量的关系，对磨削量进行预测，可以实现曲面的精密磨削。
8.由于变形工件上附着物的厚度是不一致的，所以要时刻监测工件表面防止过磨现象，但上述相关技术的研究皆为工件的整体磨削，无法自动识别打磨完成的区域，故此有很大概率出现过磨或者欠磨的现象。
9.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

10.本发明的主要目的在于提供一种基于计算机视觉的变形曲面磨削方法及装置，旨在防止变形曲面的过磨和欠磨现象，提高磨削的精度。
11.为实现上述目的，本发明提供了一种基于计算机视觉的变形曲面磨削方法，所述方法包括以下步骤：
12.设定初始磨削参数并沿初始打磨轨迹进行精磨，所述初始打磨轨迹由标准件示教得到，所述初始磨削参数包括砂带运行速度、磨削力和进给速度；
13.每磨削一道，获取工件的磨削表面图像，并将所述磨削表面图像均匀分割成n块子图像；
14.将所述n块子图像输入至预先训练好的分类模型，得到对应的n个分类结果；
15.若所述n个分类结果均为打磨完成，则确定工件打磨完成；
16.若所述n个分类结果均为继续打磨，则按照所述初始磨削参数和所述初始打磨轨迹继续打磨；
17.若所述n个分类结果既包含打磨完成又包含继续打磨，则计算继续打磨结果对应的所有待打磨区域的中心点坐标，根据所有待打磨区域的中心点坐标，优化所述初始磨削轨迹和所述初始磨削参数，并按照优化后的磨削轨迹和优化后的磨削参数，对所有待打磨区域进行磨削。
18.可选地，所述方法还包括：
19.构建相机到位于机器人末端的所述工件的转换矩阵；
20.采集不同拍摄角度的所述磨削表面图像作为样本图像；
21.将所述样本图像进行任意尺寸的图像分割，得到样本子图像；
22.将所述样本子图像进行分类，构建分类数据集，所述分类数据集包括打磨完成类图像块和继续打磨类图像块；
23.利用所述分类数据集对所述分类模型进行训练，得到预先训练好的分类模型，所述分类模型采用alexnet深度学习分类模型。
24.可选地，所述计算继续打磨结果对应的所有待打磨区域的中心点坐标，按照所有待打磨区域的中心点坐标，优化所述初始磨削轨迹和所述初始磨削参数，包括：
25.基于所有待打磨区域的中心点坐标，将相邻中心点的坐标从上至下从左至右连线作为优化后的打磨轨迹，所述相邻中心点所在子图像上下相邻或左右相邻或沿对角线方向相邻；
26.将所述初始磨削参数中的砂带转速调整为初始的80％，将磨削力调整为初始的80％，作为优化后的磨削参数。
27.此外，为实现上述目的，本发明还提供了一种基于计算机视觉的变形曲面磨削装置，所述装置包括：
28.设置模块，用于设定初始磨削参数并沿初始打磨轨迹进行精磨，所述初始打磨轨迹由标准件示教得到，所述初始磨削参数包括砂带运行速度、磨削力和进给速度；
29.第一分割模块，用于每磨削一道，获取工件的磨削表面图像，并将所述磨削表面图像均匀分割成n块子图像；
30.分类模型，用于将所述n块子图像输入至预先训练好的分类模型，得到对应的n个分类结果；
31.第一确定模块，用于在所述n个分类结果均为打磨完成，则确定工件打磨完成；
32.第二确定模块，用于在所述n个分类结果均为继续打磨，则按照所述初始磨削参数和所述初始打磨轨迹继续打磨；
33.第三确定模块，用于在所述n个分类结果既包含打磨完成又包含继续打磨，则计算继续打磨结果对应的所有待打磨区域的中心点坐标，根据所有待打磨区域的中心点坐标，优化所述初始磨削轨迹和所述初始磨削参数，并按照优化后的磨削轨迹和优化后的磨削参数，对所有待打磨区域进行磨削。
34.可选地，所述装置还包括：
35.转换矩阵构建模块，用于构建相机到位于机器人末端的所述工件的转换矩阵；
36.采集模块，用于采集不同拍摄角度的所述磨削表面图像作为样本图像；
37.第二分割模块将所述样本图像进行任意尺寸的图像分割，得到样本子图像；
38.数据集构建模块，用于将所述样本子图像进行分类，构建分类数据集，所述分类数据集包括打磨完成类图像块和继续打磨类图像块；
39.训练模块，用于利用所述分类数据集对所述分类模型进行训练，得到预先训练好的分类模型，所述分类模型采用alexnet深度学习分类模型。
40.可选地，所述第三确定模块包括：
41.轨迹优化单元，用于基于所有待打磨区域的中心点坐标，将相邻中心点的坐标从上至下从左至右连线作为优化后的打磨轨迹，所述相邻中心点所在子图像上下相邻或左右相邻或沿对角线方向相邻；
42.参数优化单元，用于将所述初始磨削参数中的砂带转速调整为初始的80％，将磨削力调整为初始的80％，作为优化后的磨削参数。
43.此外，为实现上述目的，本发明还提供了一种基于计算机视觉的变形曲面磨削系统，所述系统包括：
44.plc控制柜、工控机、砂带机、视觉传感单元、机器人控制柜、机器人以及力传感器；
45.所述plc控制柜、所述视觉传感单元和所述机器人控制柜均与所述工控机连接，所述机器人控制柜与所述机器人连接，所述力传感器用于将所述机器人的力信息反馈至所述机器人控制柜；
46.所述plc控制柜与所述砂带机连接，所述机器人的末端放置有工件，所述视觉传感单元用于通过辅助光源为所述工件打光以及通过相机采集所述工件的磨削表面图像；
47.所述工控机用于根据所述plc控制柜、所述视觉传感单元和所述机器人控制柜发送的信息，对磨削路径和磨削参数进行优化调整。
48.可选地，所述工控机包括：
49.设置模块，用于设定初始磨削参数并沿初始打磨轨迹进行精磨，所述初始打磨轨迹由标准件示教得到，所述初始磨削参数包括砂带运行速度、磨削力和进给速度；
50.第一分割模块，用于每磨削一道，获取工件的磨削表面图像，并将所述磨削表面图
像均匀分割成n块子图像；
51.分类模型，用于将所述n块子图像输入至预先训练好的分类模型，得到对应的n个分类结果；
52.第一确定模块，用于在所述n个分类结果均为打磨完成，则确定工件打磨完成；
53.第二确定模块，用于在所述n个分类结果均为继续打磨，则按照所述初始磨削参数和所述初始打磨轨迹继续打磨；
54.第三确定模块，用于在所述n个分类结果既包含打磨完成又包含继续打磨，则计算继续打磨结果对应的所有待打磨区域的中心点坐标，根据所有待打磨区域的中心点坐标，优化所述初始磨削轨迹和所述初始磨削参数，并按照优化后的磨削轨迹和优化后的磨削参数，对所有待打磨区域进行磨削。
55.此外，为实现上述目的，本发明还提供了一种基于计算机视觉的变形曲面磨削设备，所述设备包括存储器、处理器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上所述的方法。
56.此外，为实现上述目的，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的方法。
57.本发明提出的基于计算机视觉的变形曲面磨削方法、装置及系统，通过在工件磨削过程中，每磨削一道，就获取一次工件的磨削表面图像，将图像分割后输入至分类模型中，在分类结果中存在未打磨完成结果时，根据所有待打磨区域的中心点坐标，优化初始磨削轨迹和初始磨削参数，按照优化后的磨削轨迹和优化后的磨削参数，对所有待打磨区域进行磨削，直至完成所有区域的磨削，通过利用深度学习模型进行磨削状态的分类判断，极大提高了判断的准确率，避免了过磨和欠磨，从而提高了磨削表面质量，且磨削的完成条件不需要人工干预，磨削系统自动判断何时结束磨削，提高了生产效率和磨削系统的智能化程度。
附图说明
58.图1为本发明第一实施例中基于计算机视觉的变形曲面磨削方法的流程图；
59.图2为本发明第一实施例中基于计算机视觉的变形曲面磨削方法的整体流程图；
60.图3为本发明第二实施例中基于计算机视觉的变形曲面磨削装置的结构示意图；
61.图4为本发明第三实施例中基于计算机视觉的变形曲面磨削系统的结构示意图；
62.图5为本发明第三实施例中基于计算机视觉的变形曲面磨削系统的详细结构示意图；
63.图6为本发明第三实施例中基于计算机视觉的变形曲面磨削系统的工作原理框图。
64.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
65.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
66.参照图1，图1为本发明舰载卫星天线虚拟现实系统的建立方法第一实施例的流程示意图。
67.在第一实施例中，所述舰载卫星天线虚拟现实系统的建立方法包括以下步骤：
68.步骤s10，设定初始磨削参数并沿初始打磨轨迹进行精磨，所述初始打磨轨迹由标准件示教得到，所述初始磨削参数包括砂带运行速度、磨削力和进给速度。
69.步骤s20，每磨削一道，获取工件的磨削表面图像，并将所述磨削表面图像均匀分割成n块子图像。
70.需要说明的是，本实施例所述每磨削一道是指从砂带接触工件到离开工件为一道，将工件移动到相机前拍摄一次工件的磨削表面图像。
71.需要说明的是，n取值可为16，n的取值根据磨削工件的大小决定，该参数可以调整，本领域技术人员可根据实际要求选择合适的取值。
72.步骤s30，将所述n块子图像输入至预先训练好的分类模型，得到对应的n个分类结果。
73.步骤s40，若所述n个分类结果均为打磨完成，则确定工件打磨完成。
74.步骤s50，若所述n个分类结果均为继续打磨，则按照所述初始磨削参数和所述初始打磨轨迹继续打磨.
75.步骤s60，若所述n个分类结果既包含打磨完成又包含继续打磨，则计算继续打磨结果对应的所有待打磨区域的中心点坐标，根据所有待打磨区域的中心点坐标，优化所述初始磨削轨迹和所述初始磨削参数，并按照优化后的磨削轨迹和优化后的磨削参数，对所有待打磨区域进行磨削。
76.本实施例在分类结果中存在未打磨完成结果时，根据所有待打磨区域的中心点坐标，优化初始磨削轨迹和初始磨削参数，按照优化后的磨削轨迹和优化后的磨削参数，对所有待打磨区域进行磨削，直至完成所有区域的磨削，通过利用深度学习模型进行磨削状态的分类判断，极大提高了判断的准确率，避免了过磨和欠磨，从而提高了磨削表面质量，且磨削的完成条件不需要人工干预，磨削系统自动判断何时结束磨削，提高了生产效率和磨削系统的智能化程度。
77.在一实施例中，如图2所示，所述方法还包括如下步骤：
78.构建相机到位于机器人末端的所述工件的转换矩阵；
79.需要说明的是，标定过程为：相机固定，将标定板固定于机器人末端并使得标定板平面和相机成像平面平行，移动标定板，拍摄同一平面内不同位置的标定板照片，应用机器人手眼标定算法确定机器人坐标系和相机坐标系的转换关系。
80.采集不同拍摄角度的所述磨削表面图像作为样本图像；
81.将所述样本图像进行任意尺寸的图像分割，得到样本子图像；
82.将所述样本子图像进行分类，构建分类数据集，所述分类数据集包括打磨完成类图像块和继续打磨类图像块；
83.利用所述分类数据集对所述分类模型进行训练，得到预先训练好的分类模型，所述分类模型采用alexnet深度学习分类模型。
84.本实施例通过采集不同拍摄角度下磨削程度不同的变形曲面图像，对这些图像进行任意尺寸的图像分割，得到一组尺寸不一的图片，将这些图片进行分类，代表磨削完成的图像作为一类，代表仍需打磨的图像作为一类，建立分类数据集，将数据集输入至alexnet深度学习分类模型中进行训练，得到高准确度的分类模型。
85.在一实施例中，所述步骤s60中，所述计算继续打磨结果对应的所有待打磨区域的中心点坐标，按照所有待打磨区域的中心点坐标，优化所述初始磨削轨迹和所述初始磨削参数，包括以下步骤：
86.基于所有待打磨区域的中心点坐标，将相邻中心点的坐标从上至下从左至右连线作为优化后的打磨轨迹，所述相邻中心点所在子图像上下相邻或左右相邻或沿对角线方向相邻；
87.将所述初始磨削参数中的砂带转速调整为初始的80％，将磨削力调整为初始的80％，作为优化后的磨削参数。
88.需要说明的是，沿优化后的磨削轨迹(可能有一条或多条)进行打磨，打磨时顺次小范围打磨轨迹所经过的子图像区域。
89.需要说明的是，如果分类结果部分为打磨完成，部分为继续打磨，则意味着工件有一部分区域已经打磨完成，再继续磨削就可能过磨，而另一部分区域仍处于欠磨状态，需要继续磨削。此时计算出所有待磨区域的中心点坐标，根据中心点坐标的位置分布优化磨削路径，同时降低砂带运行速度和磨削力，并按照优化后的路径和磨削参数继续磨削，直到所有区域都被判断为磨削完成。
90.此外，如图3所示，本发明实施例还提出了一种基于计算机视觉的变形曲面磨削装置，所述装置包括：
91.设置模块10，用于设定初始磨削参数并沿初始打磨轨迹进行精磨，所述初始打磨轨迹由标准件示教得到，所述初始磨削参数包括砂带运行速度、磨削力和进给速度；
92.第一分割模块20，用于每磨削一道，获取工件的磨削表面图像，并将所述磨削表面图像均匀分割成n块子图像；
93.分类模型30，用于将所述n块子图像输入至预先训练好的分类模型，得到对应的n个分类结果；
94.第一确定模块40，用于在所述n个分类结果均为打磨完成，则确定工件打磨完成；
95.第二确定模块50，用于在所述n个分类结果均为继续打磨，则按照所述初始磨削参数和所述初始打磨轨迹继续打磨；
96.第三确定模块60，用于在所述n个分类结果既包含打磨完成又包含继续打磨，则计算继续打磨结果对应的所有待打磨区域的中心点坐标，根据所有待打磨区域的中心点坐标，优化所述初始磨削轨迹和所述初始磨削参数，并按照优化后的磨削轨迹和优化后的磨削参数，对所有待打磨区域进行磨削。
97.本实施例在分类结果中存在未打磨完成结果时，根据所有待打磨区域的中心点坐标，优化初始磨削轨迹和初始磨削参数，按照优化后的磨削轨迹和优化后的磨削参数，对所有待打磨区域进行磨削，直至完成所有区域的磨削，通过利用深度学习模型进行磨削状态的分类判断，极大提高了判断的准确率，避免了过磨和欠磨，从而提高了磨削表面质量，且磨削的完成条件不需要人工干预，磨削系统自动判断何时结束磨削，提高了生产效率和磨削系统的智能化程度。
98.在一实施例中，所述装置还包括：
99.转换矩阵构建模块，用于构建相机到位于机器人末端的所述工件的转换矩阵；
100.采集模块，用于采集不同拍摄角度的所述磨削表面图像作为样本图像；
101.第二分割模块将所述样本图像进行任意尺寸的图像分割，得到样本子图像；
102.数据集构建模块，用于将所述样本子图像进行分类，构建分类数据集，所述分类数据集包括打磨完成类图像块和继续打磨类图像块；
103.训练模块，用于利用所述分类数据集对所述分类模型进行训练，得到预先训练好的分类模型，所述分类模型采用alexnet深度学习分类模型。
104.在一实施例中，所述第三确定模块包括：
105.轨迹优化单元，用于基于所有待打磨区域的中心点坐标，将相邻中心点的坐标从上至下从左至右连线作为优化后的打磨轨迹，所述相邻中心点所在子图像上下相邻或左右相邻或沿对角线方向相邻；
106.参数优化单元，用于将所述初始磨削参数中的砂带转速调整为初始的80％，将磨削力调整为初始的80％，作为优化后的磨削参数。
107.本实施例通过采集不同拍摄角度下磨削程度不同的变形曲面图像，对这些图像进行任意尺寸的图像分割，得到一组尺寸不一的图片，将这些图片进行分类，代表磨削完成的图像作为一类，代表仍需打磨的图像作为一类，建立分类数据集，将数据集输入至alexnet深度学习分类模型中进行训练，得到高准确度的分类模型。
108.需要说明的是，本发明所述基于计算机视觉的变形曲面磨削装置的其他实施例或具有实现方法可参照上述各方法实施例，此处不在赘余。
109.此外，如图4至图6所示，本发明实施例还提出了一种基于计算机视觉的变形曲面磨削系统，所述系统包括plc控制柜7、工控机1、砂带机8、视觉传感单元、机器人控制柜2、机器人3以及力传感器4；
110.所述plc控制柜7、所述视觉传感单元和所述机器人控制柜2均与所述工控机1连接，所述机器人控制柜2与所述机器人3连接，所述力传感器4用于将所述机器人3的力信息反馈至所述机器人控制柜2；
111.所述plc控制柜7与所述砂带机8连接，所述机器人3的末端放置有工件，所述视觉传感单元通过辅助光源5为所述工件打光以及通过工业相机6采集所述工件的磨削表面图像；
112.所述工控机1用于根据所述plc控制柜7、所述视觉传感单元和所述机器人控制柜2发送的信息，对磨削路径和磨削参数进行优化调整。
113.需要说明的是，plc控制柜7控制砂带机8的启停以及砂带运动速度，机器人控制柜2控制工业机器人3的启停、运动轨迹、运动速度以及通过控制力传感器4控制工业机器人3的接触力大小，连接在工业机器人3上的力传感器4将力信息反馈给机器人控制柜2。工控机1分别接受来自plc控制柜7的磨削参数(砂带运动速度)，机器人控制柜2的磨削参数(磨削力和进给速度)和视觉传感单元的图像信息对磨削参数和磨削路径进行优化，然后将优化结果分别反馈给plc控制柜7，机器人控制柜2和视觉传感单元，以按照优化后的磨削路径和磨削参数对工件进行磨削，直至所有区域均磨削完成。
114.在一实施例中，所述工控机1包括：
115.设置模块10，用于设定初始磨削参数并沿初始打磨轨迹进行精磨，所述初始打磨轨迹由标准件示教得到，所述初始磨削参数包括砂带运行速度、磨削力和进给速度；
116.第一分割模块20，用于每磨削一道，获取工件的磨削表面图像，并将所述磨削表面
图像均匀分割成n块子图像；
117.分类模型30，用于将所述n块子图像输入至预先训练好的分类模型，得到对应的n个分类结果；
118.第一确定模块40，用于在所述n个分类结果均为打磨完成，则确定工件打磨完成；
119.第二确定模块50，用于在所述n个分类结果均为继续打磨，则按照所述初始磨削参数和所述初始打磨轨迹继续打磨；
120.第三确定模块60，用于在所述n个分类结果既包含打磨完成又包含继续打磨，则计算继续打磨结果对应的所有待打磨区域的中心点坐标，根据所有待打磨区域的中心点坐标，优化所述初始磨削轨迹和所述初始磨削参数，并按照优化后的磨削轨迹和优化后的磨削参数，对所有待打磨区域进行磨削。
121.需要说明的是，本发明所述基于计算机视觉的变形曲面磨削系统的其他实施例或具有实现方法可参照上述各方法实施例，此处不在赘余。
122.此外，本发明实施例还提出了一种基于计算机视觉的变形曲面磨削设备，所述设备包括存储器、处理器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上所述的方法。
123.此外，本发明实施例还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的方法。
124.本发明所述舰载卫星天线虚拟现实系统的其他实施例或具有实现方法可参照上述各方法实施例，此处不在赘余。
125.此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
126.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
127.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(read only memory，rom)/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，节点打包设备，或者网络设备等)执行本发明各个实施例所述的方法。
128.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。