用于确定工件的位置、尤其是用于驱控工业机器人的方法与流程

1.本发明涉及一种根据独立权利要求1的前序部分所述的用于驱控加工机床和/或工业机器人的方法。


背景技术：

2.工业机器人，例如焊接设备形式的加工机床，用于切削加工的以及力锁合地和/或形锁合地接合工件的机床用于保证加工过程的重复精度和有效造型。通常，根据已知的坐标实现待进行的例如工具相对于待加工的工件的进给运动。为此，工件处于预确定的位置和定向中。
3.此外，从现有技术中已知，可借助于摄像机获取工件的位置、定向以及必要时尺寸。随后，根据相应获得的相对位置、定向和/或尺寸以受控的方式进行随后的加工步骤，这例如从专利文献de 10 2007 018 416 a1和wo 03/027783 a1中已知。
4.不仅在具有已知的定位的工件中，而且在未知定位的工件中，都可能出现其尺寸和位置的偏差。这种偏差例如在工件的加工过程中由于热膨胀、机械负载或由于进给运动的微小公差出现。
5.因此，例如在应用螺柱焊接或凸焊接时，将工件和构件连接在固定地预设的坐标上。在制造过程中，例如可能出现以上所述的偏差，该偏差使得不能保证允许的公差。也可行的是，工业机器人和进给设备的其它技术组件不在共同的底座上。此时，可能时而出现工业机器人的例如工具和工件的实际的实际位置的显著偏差。然而，超过允许的公差将导致报废或者需要高成本的返工。


技术实现要素：

6.因此本发明的目的是，提出一种解决方案，通过该解决方案可识别工件的位置并且可补偿出现的偏差。附加地，应将不允许的状态识别成干扰情况/故障状态并且检查进行的加工步骤的结果。
7.根据本发明的第一方面，该目的通过一种用于驱控加工机床、尤其是工业机器人的方法实现。在此，该方法包括步骤，借助于第一摄像机获取工件的至少一个图像的图像数据，第一摄像机的光轴平行于工具的冲击方向(z方向)定向。第一摄像机可布置在工具或工具架上和/或构造成所谓的迷你摄像机。工具相对于待加工的工件的主要的进给方向为冲击方向。例如，尽管钻头绕钻头的纵轴线旋转地进行自身的切割运动，可使钻头沿着冲击方向接近工件。
8.相同地适用于用于攻螺纹或铣削的设备。此外，焊接设备也以这种方式沿着冲击方向接近工件。例如，为了螺柱焊的目的，使待焊接的螺柱沿冲击方向接近应焊上螺柱的工件。在凸焊中也相应地进行。待借助于凸焊与另一工件相连接的工件与所述工件接触。为此，使工件沿着冲击方向向彼此运动。
9.根据获取的图像数据，在方法的另一步骤中查找工件的参考结构。为此，可使用来
自图像处理领域中的图案识别的算法。
10.如果识别了参考结构，获得参考结构的至少一个参考点优选地在垂直于z方向延伸的x/y平面中相对于第一摄像机的光轴的当前实际位置。获得的实际位置可附加地与已知的基础坐标系关联。
11.将获得的参考结构的当前实际位置与参考结构的理论位置进行比较。根据比较的结果产生用于使工具接近工件的至少一个待加工的区域或部位的控制命令。
12.根据本发明，在方法的一个步骤中，通过以下方式获得参考结构在光轴的z方向上的当前实际位置，即，在所获取的图像中获得参考结构的当前x/y图像参数并且通过与参考结构的已知的实际的x/y参数比较，获得参考结构与第一摄像机的距离，并且在产生控制命令时考虑。使在图像平面中的x/y图像参数与在优选地相对于图像平面平行的对象平面中的参考结构的实际参数相关，并且在考虑用于图像拍摄的光学系统的特性的情况下，获得在对象平面和图像平面之间的当前距离。例如，考虑光学系统的成像比例。从该数据中，可获得与第一摄像机和对象平面的当前距离。由于已知第一摄像机与工具的相对位置关系，也可获得工具与对象平面并且由此获得与工件的当前距离。
13.在方法的一种设计方案中，参考结构是工件的开口、主体边棱或凸起部。在此，已知参考结构的至少一个长度尺寸、周向尺寸和/或直径。已知的尺寸用作参考结构在对象平面中实际的x/y参数，并且是用于获得参考结构与第一摄像机的距离的基础。
14.也可行的是，在实施该方法时，在另一设计方案中，形成工件的至少两个结构的虚拟交点，并且将该交点作为参考点用于随后在工件和工具之间的相对运动。因此，例如可虚拟地延长两个向着彼此延伸的主体边棱，并且形成共同的交点。紧接着，将该共同的交点用作参考点。
15.为了控制加工过程(例如焊接多个螺柱或者安装多个螺柱)的完成，可借助于第二摄像机在相对于z方向倾斜的拍摄方向上获取工件的图像数据。根据所获取的图像数据，至少在工件的区域中进行图案识别。这种图案识别又可借助于将获取的实际图样与理论图样比较用于对一个或多个加工步骤进行完成控制。如果实际图样和理论图样充分对应，可推断出在保证允许的容差的情况下加工了工件。因此，借助于图案识别可获取工件的当前加工状态并且与理论加工状态比较。
16.借助于根据本发明的方法，作为工具，尤其是可使用用于螺柱焊的焊接设备，用于凸焊的焊接设备，用于攻丝的设备或者用于铆接的设备。
17.可根据参考结构进行工件的加工，而参考结构不包括在加工之内。在方法的其它设计方案中，例如将螺钉或铆钉引入参考结构中，例如引入参考孔中。
18.为了实施根据本发明的方法，可将工具和/或第一摄像机引入获取位置(也称为“准备位置”)中，借助于第一摄像机从该获取位置中获取工件的图像数据。通过将参考结构的口部的外形虚拟地与圆形和/或椭圆的形状相匹配并且获得以这种方式找到的圆或以这种方式找到的椭圆的中心，根据图像数据获得例如构造成参考开口的参考结构的至少一个当前中心。在此，虚拟地查找尽可能好地接近参考结构的口部的当前识别的外形的圆或椭圆。将获得的参考结构的每个当前中心与光轴的当前位置相比较。
19.根据光轴与至少一个当前中心的位置偏差，产生并提供控制命令。控制命令用于驱控进给装置，借助于进给装置使工具接近工件的待加工的部位或区域。
20.在方法的一种可能的设计方案中，分别进行参考结构的外形与圆形和椭圆的形状的虚拟匹配，并且获得相应当前的中心。在当前获得的中心的坐标之间做差。将获得的差与预设的阈值比较。如果满足阈值，产生用于将第一摄像机的实际位置与理论位置匹配的控制命令。在此，可选择当前的中心中的一个或者将当前中心的坐标求平均值并且使用获得的中心的坐标。如果超过阈值，那么当前中心彼此的偏差过大，并且触发警报信号。例如，当相关的参考结构严重变形时，是这种情况。当参考结构部分地或者完全被覆盖时，也触发警报信号。
21.在方法的另一设计方案中，当参考结构未被识别或者仅仅不完全地被识别时，停止方法进程并且可选地输出视觉的和/或声学的警报信号。
22.可实时地进行图像数据的评估和控制命令的产生，以减少调节时间。可选地，可通过远程对到评估单元进行存取，以便在故障情况中能够快速地获得其原因。
23.根据本发明的另一方面，提出一种方法，通过该方法可确定工件的位置，尤其是用于驱控工业机器人，并且该方法包括步骤，借助于第一摄像机获取工件的至少一个图像的图像数据。第一摄像机尤其是位置固定地例如布置在加工流水线之内并且优选地可小型化。
24.根据获取的图像数据，在方法的另一步骤中查找工件的参考结构。为此，使用来自图像处理领域中的图案识别的算法，在评估单元上运行该算法。
25.如果获得了参考结构，获得参考结构的至少一个参考点优选地在垂直于第一摄像机的光轴延伸的x/y平面中相对于第一摄像机的光轴的当前实际位置。获得的实际位置可附加地与已知的基础坐标系关联，优选地第一摄像机可定位在该基础坐标系的原点中。
26.借助于评估单元将获得的参考结构的当前实际位置与参考结构的理论位置进行比较，并且产生比较数据，比较数据允许推出工件相对于摄像机或者已知的基础坐标系的位置。
27.参考结构可为施加在工件上的标记，该标记具有预设定向并且具有已知的尺寸的结构。备选地，参考结构可为工件的开口、间隙、主体边棱或凸起部，其中，必须已知参考结构的至少一个长度尺寸、周向尺寸和/或直径。
28.在方法的一种设计方案中，存在至少另一摄像机，借助于所述另一摄像机获取工件的另外的图像数据。
29.第一摄像机和所述另外一个/多个摄像机优选地位置固定地布置在共同的(3d)基础坐标系之内。
30.根据所获取的另外的图像数据，借助于评估单元获得工件的至少另一参考结构以及所述另一参考结构的至少一个参考点在x/y方向上相对于所述另外一个或多个摄像机的光轴的至少一个参考点的当前实际位置。
31.在另一方法步骤中，将所述另一参考结构的当前实际位置与所述另一参考结构的理论位置进行比较，产生另外的比较数据。
32.随后，在推断工件位置的步骤中，附加地由评估单元考虑所述另外的比较数据。
33.优选地，第一和所述另外的摄像机中的至少一个的光轴布置成不平行。由此，可从不同的视角获取工件或工件的部分，由此，可以更高的精度获得工件在基础坐标系之内的空间位置。
34.附加地可规定，通过获得(多个)参考结构在由相应的摄像机获取的图像中的当前x/y图像参数并且通过与(多个)参考结构的已知的实际x/y参数的比较确定(多个)参考结构与摄像机的距离，获得(多个)参考结构在所述多个或一个摄像机的光轴(oa)的z方向上的当前实际位置。
35.最终，在推断工件的位置时，同样可由评估单元考虑所获得的一个或多个结构在z方向上的实际位置，由此，可进一步提高位置获取的精度。
36.此外有利地可规定，(从所获得的工件的位置出发)借助于控制单元产生控制命令，并且借助控制命令或者使工具接近工件的至少一个待加工的区域或部位，或者中断或停止当前用于加工工件的加工过程，尤其是因为获得的工件的位置与工件的预设的理论位置有显著偏差。例如，偏差的显著性可定义成在控制单元中储存的阈值。
37.有利地，在评估单元中，储存所谓的工件的数字备份，并且评估单元可借助于数字图像处理和用于图案识别的算法从获取的图像数据中识别偏差，将其示出并且针对工件的随后的处理步骤/加工步骤相应地进行考虑。
38.不仅位置识别而且根据图样的图像数据评估可借助于机器智能实现。在训练阶段中，智能的评估软件例如根据工件的cad模型并且借助于标注的训练数据学习自动识别位置偏差或图样偏差，并且进行分类，并且紧接着例如尤其是当没有为其固定地预设预确定的参考结构时，也能够例如非常可靠地进行正确的位置确定。
39.为了保护尤其是第一摄像机，可存在具有斜切的开口的套。摄像机布置在套的拉长的部分中并且由此从一侧被保护不受火花等损害。
40.有利地，本发明实现了补偿例如由于温度出现的公差波动。附加地或备选地，可有利地识别偏差并且在随后的加工步骤中进行考虑，该偏差例如由于工件、工件支架和/或进给方向和驱动部的机械公差而出现。
41.此外，根据本发明的方法可用于查找和确定用于加工方法(例如保护气体焊接和粘接)的初始或起始位置。也可行的是，借助于该方法可在整个长度上或局部地检查之前完成的焊缝或粘接缝。
附图说明
42.接下来根据实施例和附图详细解释本发明。其中：
43.图1示出了根据本发明的方法的第一设计方案的流程图；
44.图2示出了用于进行方法的合适的设备的实施例的示意图；
45.图3示出了虚拟参考点的设置的示意图；
46.图4示出了根据本发明的方法的另一设计方案的流程图；
47.图5a以前部视图示出了具有保护套的第一摄像机的示意图；以及
48.图5b以侧视图示出了具有保护套的第一摄像机的示意图。
具体实施方式
49.在图1中示意性地示出了根据本发明的方法的第一设计方案的主要方法步骤。随后，图2示出了用于实施该方法的方法步骤以及技术单元。
50.因此，可借助于第一摄像机2进行步骤，获取工件1的图像数据。第一摄像机2在此
可为迷你摄像机。第一摄像机利用其光轴oa平行于工件3的冲击方向，其中，冲击方向指向具有x、y和z轴的笛卡尔坐标系的z轴的方向。
51.可借助于安装在计算单元5中的图像处理软件查找参考结构3。计算单元5例如是单板计算机。以这种方式，例如实现了分散的图像处理，由此，可模块化地构造用于实施根据本发明的方法的相应的组件。此外，通过更换或重新配置分散的计算单元5，可成本适宜地实现该组件的改装。在本发明的另一设计方案中，计算单元5也可配置成用于第二摄像机6的图像处理并且与第二摄像机数据技术地相连接。
52.可借助于评估单元7根据获取的图像数据获得参考结构4的至少一个参考点 并且将获得的参考结构4和参考点 的实际位置与理论位置进行比较。在此，评估单元7可为计算单元5的物理的或虚拟的子单元或者为独立的单元。
53.计算单元5的图像处理算法可用于获得第一摄像机2与工件1在z方向(冲击方向)上的距离a。为此，在获取的图像中在其x/y图像参数方面评估参考结构4的已知的且预确定的区域或区段，或者整个参考结构4，并且将其与已知的参考结构4的实际x/y参数相关联。
54.所获得的关于参考结构4、尤其是所选择的参考点 的当前定位的信息以及所获得的在z方向上的距离a，使得能够产生用于使工具3接近工件1的期望的位置并且加工工件1的控制命令。借助于调整元件10，例如机器人，可根据由评估单元7产生的数据跟踪工件1和/或驱动部9。可在控制单元8中产生控制命令。通过控制命令的作用，借助于驱动部9(更普遍地也称为应用部)使工件3进给和运动。所有数据技术的连接可构造成插接连接(示意性地示出)，由此实现了更高的灵活性和更高的维护便利性。
55.所有单元可在网络中相互连接。可将数据库11连接到控制单元8上。备选地，数据库11也可直接接入网络中。
56.由于第一摄像机1和工具3彼此处于已知的空间关系中，也可从第一摄像机2相对于参考点 的位置中获得工具3的当前位置，总地来讲，例如在具有x、y和z轴的基础坐标系之内的和/或相对于参考点 的当前位置。
57.可选地存在的第二摄像机6相对于工件1倾斜地定向。第一摄像机2和第二摄像机6的光轴例如包夹大于0
°
且小于90
°
的角度。借助于第二摄像机6，可在相对于z方向倾斜的拍摄方向上获取工件1的图像数据。
58.根据从第一摄像机2和/或第二摄像机6获取的图像数据，进行至少在工件1的区域中的图案识别。在此，计算单元5和评估单元7配置成用于获取图像数据并且用于进行图案识别的处理(见图1)。如果进行了可选的图案识别的步骤，在产生控制命令时或在产生另一在调节方面的控制命令时，可考虑在图案识别时获得的信息，这例如在图1中通过连续的实线箭头表示。
59.除了检查加工步骤的完成之外，图案识别可用于检验参考结构4的存在并且用于识别参考结构4的允许的形状。在识别出故障功能和/或不允许的参考结构4时，可通过评估单元7输出故障信号。随后，例如可通过调节元件10输出警报信号，并且可选地通过控制单元8以及对驱动部9的相应驱控停止工具3。
60.参考点 可为实际存在的或者以虚拟的方式获得。因此，参考点 可为圆形的参考结构4(见图2)的中心或者虚拟交点。在图3中，示出了这种虚拟交点的设计。以虚拟的方式延长实际上彼此不相接的两个识别成参考点4的工件1的主体边棱。如此虚拟延长的参考结
构4的虚拟交点被储存并且用作参考点 。
61.在图4中示出了根据本发明的方法的另一设计方案的重要方法步骤。在此，图2也可用于解释进行该方法所需的技术单元。
62.借助于第一摄像机2进行初始的步骤，获取工件1的图像数据。可如以上描述的那样设定第一摄像机2。第一摄像机位置固定地布置在加工流水线中并且形成基础坐标系的原点。
63.借助于部署在计算单元5中的图像处理软件进行查找。计算单元5优选地如以上描述的方式设置。计算单元5同样可设置成处理至少另一摄像机6的图像，并且与所述另一摄像机6数据技术地相连接。所述另一摄像机6同样位置固定地布置成相对于第一摄像机2具有已知的距离。所述另一摄像机6以相对于第一摄像机2大于0
°
且小于90
°
的角度与第一摄像机向着相同的对象区域定向。由此，两个摄像机从不同的视角中获取相同的图像部分。在其它配置方案中，第一摄像机2和所述另一摄像机6的光轴平行地定向并且获取不同的图像部分。例如可规定，第一摄像机2获取工件1的前侧并且第二摄像机6获取工件1的后侧。
64.借助于评估单元7根据获取的图像数据获得参考结构4的至少一个参考点 并且将获得的参考结构4和参考点 的实际位置和与理论位置进行比较，评估单元从中产生比较数据。
65.最终，评估单元7设定成，根据比较数据推出工件(1)相对于基础坐标系的位置。
66.优选地，计算单元5的图像处理的算法用于获得第一摄像机2与工件1在z方向上的距离a，如以上描述的那样(在图4中未示出)。
67.可选地，可再次在工件1的区域中进行图案识别。在此，计算单元5和评估单元7配置成用于获取图像数据并且用于进行图案识别的过程。
68.为了保护第一摄像机2不受到例如由于在工件1的加工期间产生的切屑、火花、在焊接过程中的飞溅等带来的损害，第一摄像机2可至少部分地被具有斜切的开口的套12包围。第一摄像机2在斜切的开口的区域中安装在套12的内侧上(图5a)。以这种方式，通过在开口的区域中伸长的套12的部分在一侧上保护第一摄像机2。尽管如此，第一摄像机2的剩下的可能的获取区域足够大(图5b)。
69.附图标记清单
70.1工件
71.2第一摄像机
72.3工具
73.4、4’参考结构
74.5计算单元
75.6第二/另一摄像机
76.7评估单元
77.8控制单元
78.9驱动部，施加件
79.10调节元件
80.11数据库
81.12套
82.oa光轴
83. 参考点