用于监视机器人设备的方法和系统与流程

1.本发明涉及用于监视具有至少一个机器人的机器人设备的一种方法和一种系统，以及一种用于执行该方法的计算机程序产品。


背景技术：

2.从企业内部实践已知的是，可以对机器人借助于安全传感器来监视人的意外存在。
3.由于必要的安全性，这些传感器很昂贵并且运行成本巨大。


技术实现要素：

4.本发明的目的在于改进机器人设备的监视，特别是为此提供或使用(更)简单的和/或(更)低成本的系统。
5.本发明的目的通过一种具有权利要求1所述特征的方法来实现。权利要求9、10请求保护一种用于执行在此所述方法的系统或计算机程序产品。优选的扩展方案由从属权利要求给出。
6.根据本发明的一种实施方式，提供一种用于监视机器人设备、特别是关于在机器人设备的工作区域中存在意外障碍物的方法，其包括以下步骤：
[0007]-通过一个或多个传感器检测多个信号源的光信号，其中信号源和/或传感器或者说一个或多个传感器被定位在机器人设备处，特别是在机器人设备的机器人或一个或多个机器人处；和
[0008]-如果检测到的光信号的实际布置与这些信号的(预测)目标布置之间的偏差超过一维或多维边界值，特别是如果在检测到的光信号的实际布置中不存在目标布置的至少所设定的最小数量的信号，则触发监视反应，其中，该最小数量在一种实施方式中等于1，在一种实施方式中大于1和/或小于10，或者其被确定。
[0009]
本发明的实施方式基于以下考虑：将针对没有意外障碍物的状态所预测或假设的信号的目标布置与所检测到的实际布置进行比较。如果在实际布置中不存在在目标布置中所提供的或通过该目标布置所预测的一个或至少预先给定最小数量的光信号，则这可能是由于：
[0010]
a)(多个)相应的信号源错误地没有发射光信号，
[0011]
b)一个或多个对应的传感器错误地没有检测光信号，
[0012]
或者特别是由于
[0013]
c)有意外的障碍物阻断了(多个)信号源与(多个)传感器之间的(基于目标布置的)光路。
[0014]
由此，在一种实施方式中，即使是利用不安全的或者不是以安全技术构造的并因此成本(更)低廉的信号源和/或传感器，也能够(更)可靠地对机器人设备周围环境中的意外障碍物做出反应，因为信号源和传感器的误差也会如同意外的障碍物一样导致所检测到
的光信号的实际布置与其目标布置发生偏差并且触发(相同的)监视反应。
[0015]
在一种实施方式中，机器人设备具有一个或多个机器人，特别是一个或多个固定机器人和/或一个或多个移动机器人；在一种实施方式中，该一个或多个机器人(分别)具有一个机器人臂，该机器人臂具有至少三个、特别是至少六个、在一种实施方式中为至少七个的关节、特别是转动关节，机器人臂可以特别是由这些关节组成。
[0016]
由于其工作空间和工作过程，本发明可以特别有利地用于监视这样的机器人设备。
[0017]
在一种实施方式中，一个或多个信号源是有源(发射)信号源，其(有源地)发射光信号，在一种实施方式中发射激光和/或可见(激)光、红外(激)光和/或uv(激)光。
[0018]
由此，在一种实施方式中，特别是即使在(较)差的光照条件下，也能够有利地(更)可靠地进行监视。
[0019]
附加地或替代地，一个或多个信号源是无源(或仅反射)信号源，它们(分别)、特别是有针对性地、在一种实施方式中被对准地和/或(仅)在预定时间被一个或多个光源以光，在一种实施方式中为激光和/或可见(激)光、红外(激)光和/或uv(激)光，来照射并将其反射作为光信号。
[0020]
由此，在一种实施方式中，这些信号源可以被更小地构造和/或可以取消对定位在机器人设备上的信号源的能量供应。
[0021]
为了更紧凑地说明，在本发明中，无论是(有源)发射还是(被动)反射通称为通过(相应(多个))信号源的发射(光信号)。
[0022]
在一种实施方式中，一个或多个信号源(分别)具有一个或多个led和/或激光指示器。由此，在一种实施方式中，可以特别有利地使用光信号。
[0023]
附加地或替代地，在一种实施方式中，在一个或多个信号源与传感器或者说一个或多个传感器之间的光路中，(分别按照计划或者有针对性地)布置一个或多个(光学)偏转装置，特别是反射镜和/或棱镜，它们使光在信号源与传感器之间偏转，或为此目的而设计或使用。
[0024]
由此，在一种实施方式中，通过这些传感器还能够查看被遮盖的区域，例如已知的从超市收银台的天花板镜子查看购物车。
[0025]
在一种实施方式中，通过将信号源和/或传感器或者说一个或多个传感器定位在机器人设备、特别是其(多个)机器人处，可以有利地在不同姿势(stellungen)下监视机器人设备。
[0026]
据此，在一种实施方式中，信号源被定位在机器人设备处、特别是机器人设备上，特别是在其(多个)机器人处、特别是(多个)机器人上。
[0027]
因此，在一种实施方式中，传感器或者说一个或多个传感器可以与机器人设备间隔开地定位，或者被定位在周围环境侧，特别是被固定于周围环境地定位，并因此可以说是能够从外部观察机器人设备。
[0028]
附加地或替代地，在一种实施方式中，传感器或者说一个或多个传感器自身(也)可以被定位在机器人设备处、特别是其(多个)机器人上，使得机器人设备可以说能够观察自身。
[0029]
特别地，布置在机器人的构件(例如基座)上的传感器可以检测来自机器人的另一
个构件(例如末端执行器)上的信号源的光信号，并因此可以识别两个构件之间的或者说基座与末端执行器之间的障碍物。
[0030]
附加地或替代地，在一种实施方式中，传感器或者说一个或多个传感器被定位在机器人设备处、特别是其(多个)机器人上。
[0031]
然后，在一种实施方式中，如上所述地，一个或多个信号源自身(也)可以被定位在机器人设备处、特别是在其(多个)机器人(构件)上，使得机器人设备可以说能够观察自身，并且能够对其构件之间的障碍物做出反应。
[0032]
附加地或替代地，在一种实施方式中，一个或多个信号源还可以与机器人设备间隔开地定位，或者被定位在周围环境侧，特别是被固定于周围环境地定位，因此可以说是能够反过来从机器人设备观察周围环境。
[0033]
在一种实施方式中，通过将信号源定位在机器人设备处，使得对机器人设备运行的妨碍(更加)轻微。通过将传感器定位在周围环境侧，使得传感器有利地不会由于机器人设备的运动而被动态地加载。通过将信号源定位在周围环境侧并将传感器定位在机器人设备处，能够有利地借助于机器人引导的传感器来根据本发明地监视不同的或大的工作空间。
[0034]
传感器或者说一个或多个传感器可以(分别)具有一个或多个相机和/或图像处理装置。光信号(的目标布置或实际布置)可以具有、特别是一个或多个、在一种实施方式中为两维或三维的(目标或实际)图像，或者在一种实施方式中可以具有、特别是相应信号源的两维或三维的(目标或实际)成像。
[0035]
由此，在一种实施方式中，可以根据在这种图像中被障碍物遮盖的信号源图像或者在所检测到的光信号的实际布置中不存在的信号，特别有利地、特别是(更)可靠地和/或(更)简单地识别意外的障碍物。
[0036]
据此，可以通过最少(仅)一个在所检测到的光信号的实际布置中不存在的目标布置的信号，非常灵敏地和/或利用(更)少的信号源来进行监视，通过最少两个或更多个在所检测到的光信号的实际布置中不存在的目标布置的信号，来实现更少干扰的监视，特别是在多个或更密集定位的信号源的情况下。
[0037]
由此，在一种实施方式中，将信号源的一个或多个检测到的实际图像与该信号源的一个或多个预测的目标图像进行比较，并且当在所述一个或多个实际图像中缺少最少数量的在所述一个或多个目标图像中存在或看到的信号源图像时，触发监视反应。
[0038]
在一种实施方式中，基于或者根据所确定的信号源和所述一个或多个传感器(相对于)彼此的位置，确定、特别是预测目标布置，特别是所述一个或多个(目标)图像。
[0039]
在一种扩展方案中，基于或依据所确定的机器人设备、特别是其机器人的姿势和/或预先设定的或所确定的信号源和传感器(相对)于机器人设备的位置，来确定目标布置、特别是所述一个或多个目标图像。
[0040]
在一种实施方式中，机器人设备的姿势可以基于所测量的机器人设备的关节姿势来确定，在一种实施方式中是借助于关节传感器来测量机器人设备的关节姿势。
[0041]
由此，在一种实施方式中，可以确定定位在机器人设备处的信号源和/或传感器的位置，特别是通过相应的前向变换或运动学或是基于机器人设备的运动学模型，在一种实施方式中是基于定位在机器人设备处的信号源或传感器相对于机器人设备或者是在机器
人设备处、特别是在机器人设备上的已知的位置，其中在一种实施方式中，预先设定该位置，特别是通过将信号源或传感器有针对性地定位在机器人设备处、特别是机器人设备上的预设位置中，特别是在机器人设备的(多个)机器人处、特别是(多个)机器人上的预设位置中。
[0042]
附加地或替代地，可以确定定位在机器人设备处或与其间隔开的或在周围环境侧的信号源的位置和/或(相对于)定位在机器人设备处或与其间隔开的或在周围环境侧的传感器中的一个或多个传感器的位置，在一种实施方式中借助三角测量法、特别是借助检测到的光信号等。
[0043]
附加地或替代地，在一种实施方式中，光信号的目标布置、特别是还有信号源的一个或多个目标图像是、特别是被基于运动学和/或光学模型来确定，在一种实施方式中，该运动学和/或光学模型给出或者说确定机器人设备的姿势与信号源和/或(多个)传感器之间、特别是相对于彼此的关系，和/或给出或者说确定信号源和/或(多个)传感器的位置、特别是相对于彼此的位置与目标布置、特别是目标图像之间的关系。
[0044]
在一种实施方式中，该模型可以具有或者考虑到信号源与所述一个或多个传感器之间的光路和/或机器人设备的周围环境、特别是所设置或已知的障碍物。附加地或替代地，在一种实施方式中，该模型可以在理论上和/或凭借经验、特别是借助于机器人设备的学习行驶来确定、特别是被参数化。
[0045]
例如，如果定位在机器人处的信号源相对于机器人的位置及其姿势是已知的，并且周围环境侧的相机检测这些信号源的光信号，则还可以借助于三角测量法来确定该相机相对于机器人的位置。反之，这也适用于机器人引导的相机和周围环境侧的信号源。然后，可以针对机器人的其他姿势分别预测信号源的图像，相机在光路没有被意外障碍物干扰的情况下必须检测到该图像，并将该图像与实际检测到的图像进行比较。
[0046]
由此，在一种实施方式中，光信号的目标布置可以分别，特别是结合至少两个前述的特征，被(更)有利地、特别是(更)精确地和/或动态地或最新地确定。
[0047]
在一种实施方式中，一个或多个信号源被紧固在护套上，在一种扩展方案中是被可无损拆卸地、特别是形状配合和/或摩擦配合地紧固在护套上，或者是被非无损拆卸地、特别是材料配合地紧固在护套上，该护套自身被紧固在机器人设备、特别是其(多个)机器人处，在一种扩展方案中是被可无损拆卸地、特别是形状配合和/或摩擦配合地紧固在机器人设备、特别是其(多个)机器人处，或者是被非无损拆卸地、特别是材料配合地紧固在机器人设备、特别是其(多个)机器人处。
[0048]
由此，在一种实施方式中，信号源可以有利地、特别是(更)简单地和/或(更)精确地定位在机器人设备处，和/或替代地用于各种机器人(组件)，在一种实施方式中可以说是以“警告背心(warnwesten)”的方式。
[0049]
在一种实施方式中，实际布置是、特别是被基于通过一个或多个传感器对所发出的光信号的检测来确定，特别是基于在发出信号源的情况下检测到的至少一个图像来确定，以及基于在之前或之后，在一种实施方式中为紧挨着，没有发出光信号的情况下通过所述一个或多个传感器所做的检测、特别是对相同场景的检测来确定，特别是基于在没有发出信号源的情况下检测到的至少一个图像来确定。然后可以通过减法来隔离所检测到的光信号，并因此能够特别良好地与相应的目标布置进行比较。换句话说，在一种实施方式中，
可以基于所检测到的具有所发出光信号的图像与所检测到的不具有所发出光信号的图像之间的图像差异(differenzbild)来确定实际布置，该实际布置可以特别是具有这种图像差异，该实际布置可以特别是这种图像差异。
[0050]
附加地或替代地，在一种实施方式中，一个或多个信号源的光信号(分别)具有预先设定的时间模式，在一种实施方式中为特定于信号源的预设时间模式。由此，在一种实施方式中，可以降低由于环境引起的干扰。
[0051]
附加地或替代地，在一种实施方式中，两个或更多个信号源发出不同的、特别是特定于机器人(构件)的光信号。为此，在一种扩展方案中，两个或更多个信号源具有不同的几何形状、亮度和/或颜色。特别地，在一种扩展方案中，这些信号源可以具有不同的光学代码、特别是qr代码。附加地或替代地，在一种扩展方案中，这些不同的光信号为此具有彼此不同的预设时间模式，特别是发出时间，在一种实施方式中，两个或更多个信号源以预定的顺序发出其光信号。
[0052]
由此，在一种实施方式中，可以(进一步)减少由环境引起的误差和/或干扰。例如由此可以降低以下可能性：即，错误地将另一光信号理解为与目标布置相对应的信号，而取代了发出特定光信号但被意外障碍物遮挡的信号源的光信号。
[0053]
在一种实施方式中，监视反应，特别是其类型和/或其触发，取决于在实际布置中不存在的目标布置的信号的数量和/或地点。
[0054]
因此，特别是在最多缺少第一数量的信号、特别是仅缺少一个信号和/或仅在预先设定的(第一)区域中缺少信号时，不触发或(仅)触发第一、特别是较弱的或较小的监视反应，特别是(仅)发出警告和/或可以(更容易地)降低机器人设备的速度，以及(只有)在至少缺少较大的第二数量的信号、特别是至少两个信号和/或在预先设定的其他区域(该区域可以大于第一区域和/或与第一区域间隔开)中缺少信号时，(才)触发(第二、特别是较强的或较大的)监视反应，特别是更大地降低机器人设备的速度、特别是使机器人设备停止。
[0055]
附加地或替代地，在一种实施方式中，监视反应取决于通过传感器或(多个)传感器中的一个或多个传感器进行的热辐射检测。在一种实施方式中，由此可以有利地区分光源和人。
[0056]
在一种实施方式中，监视反应(的类型)可以包括、特别是(发出)光学的、声学的和/或触觉的警告，机器人设备的预定运动的变化、特别是在避让运动中，和/或速度降低、特别是停止。
[0057]
在一种实施方式中，机器人引导的部件，特别是按照计划，中断至少一个、特别是机器人侧的信号源与传感器或(多个)传感器中的至少一个传感器之间的光路。
[0058]
通过这种方式，可以有利地检测机器人设备是否按照计划引导、特别是已经抓取部件，或者是否按照计划没有引导部件、特别是夹持器是空的。附加地或替代地，由此可以照射机器人引导的部件，或者通过周围环境中的相应光斑发出缺少部件或夹持器为空的信号。
[0059]
根据本发明的一种实施方式提出一种系统，特别是硬件技术和/或软件技术地、特别是编程技术地被设计用于执行在此所述的方法，和/或具有：
[0060]-一个或多个传感器，其被设计为或用于检测来自多个信号源的光信号，其中，信号源和/或一个或多个传感器被定位在机器人设备处；以及
[0061]-在所检测到的光信号的实际布置与该信号的目标布置的偏差超过边界值的情况下，特别是在所检测到的光信号中不存在目标布置的至少预定最小数量的信号的情况下触发监视反应的装置。
[0062]
在一种实施方式中，该系统或其装置包括：基于所确定的信号源和传感器相对于彼此的位置、特别是基于所确定的机器人设备的姿势和/或预先给定的或所确定的信号源和传感器相对于机器人设备的位置，和/或基于运动学模型和/或光学模型来确定目标布置的装置。
[0063]
本发明意义下的装置可以硬件技术和/或软件技术地实现，特别是具有：优选与存储系统和/或总线系统进行数据连接或信号连接的处理单元，特别是数字处理单元，特别是微处理器单元(cpu)；和/或一个或多个程序或程序模块。处理单元可以为此被设计为：处理被实现为存储在存储系统中的程序的指令；检测来自数据总线的输入信号；和/或将输出信号发送至数据总线。存储系统可以具有一个或多个、特别是不同的存储介质，特别是光学的、磁的、固体的和/或其它非易失性的介质。程序可以被设计为，其能够体现或执行在此所述的方法，使得处理单元能够执行该方法的步骤，并由此特别是能够监视机器人设备。在一种实施方式中，计算机程序产品可以具有、特别可以是特别是非易失性的、用于存储程序的存储介质或其上存储有程序的存储介质，其中，该程序的执行使得系统或控制器、特别是计算机执行在此所述的方法或该方法的一个或多个步骤。
[0064]
在一种实施方式中，该方法的一个或多个步骤、特别是所有的步骤，特别是通过系统或其装置，被全部或部分自动化地执行。
[0065]
在一种实施方式中，该系统具有机器人设备和/或信号源。
[0066]
在一种实施方式中，目标和/或实际布置或(多个)目标和/或实际图像可以是二维或三维的，所述一个或多个传感器相应地具有特别是3d相机(系统)。由此，在一种实施方式中，特别是与定位在机器人设备处的和/或无源或反射的、特别是有针对性地、在一种实施方式中为在预先给定的时间上、进行照明的信号源相结合，通过(光)运行时间测量来获得或使用距离信息。
[0067]
由此，在一种实施方式中，例如可以通过以下方式(进一步)改善监视的可靠性：即，使非预期障碍物上的反射不会被错误地检测为定位在机器人设备处的信号源的光信号。附加地或替代地，由此例如可以更好地确定传感器或相机系统相对于机器人设备的位置，特别是通过三角测量法等。附加地或替代地，在一种实施方式中，特别是对于移动或运动的传感器，由此可以有利地确定其各自的当前位置。
[0068]
相应地，在一种实施方式中，一个或多个特别是移动的传感器相对于特别是移动的机器人设备的位置、特别是当前位置是基于距离、特别是借助于所检测到的光信号的(光)运行时间测量来确定，并且随后基于所确定的一个或多个传感器相对于机器人设备的位置来确定所检测到的光信号的目标布置、特别是一个或多个目标图像。
附图说明
[0069]
更多的优点和特征由从属权利要求和实施例给出。为此，部分示意性示出了：
[0070]
图1为根据本发明一种实施方式的、用于监视机器人设备的系统；和
[0071]
图2为根据本发明一种实施方式的、用于监视机器人设备的方法。
具体实施方式
[0072]
图1示出了根据本发明一种实施方式的、用于监视机器人设备的系统。
[0073]
该机器人设备由多关节的或多轴的机器人10组成，其具有固定或移动的基座11、围绕竖轴可转动地位于该基座上的转盘12、和围绕水平轴可转动地位于该转盘上的多关节或多轴的机器人手，该机器人手具有摇臂13、臂14和末端执行器15。
[0074]
激光指示器和/或led形式的光源20定位在机器人10的构件上，它们具有特定于构件的颜色和/或形状和/或能够以特定的时间模式被激活。
[0075]
围绕机器人10的工作空间分布有相机30形式的多个传感器，图1中仅示出其中的几个。
[0076]
这些传感器检测来自光源20的光信号(图2：步骤s10)，其中图1中示例性示出了偏转镜200，以便利用相机30(更好地)检测光信号。
[0077]
相机30与监视装置100信号连接，监视装置可以集成在机器人10的控制器中，并且例如由此获得机器人10的姿势或相应的关节角度。
[0078]
由此，在步骤s20(参见图2)中，监视装置100借助于运动学模型来确定被定位在机器人处的各个光源20的当前位置，其相对于机器人或者在机器人上的位置例如通过测量和/或相应有针对性地放置光源是已知的。
[0079]
在监视装置100中，单个相机30的位置也是已知的。这些位置可以例如事先根据已知的光源的位置通过三角测量法来确定。
[0080]
借助于光学模型，监视装置100现在预测光源20的目标图像，如其(必须)由相机30所检测到的那样，只要在机器人10与相机30之间没有意外的障碍物非预期地中断从光源到相机的光路。在该光学模型中可以考虑到已知的或允许的障碍物，例如借助于相应的学习行驶或周围环境的目标配置。
[0081]
在步骤s30中，监视装置将所述目标图像与由相机30-32实际检测到的实际图像进行比较。据此，在一种实施方式中，可以将具有和不具有有源光源的图像彼此相减，从而使得目标图像和实际图像分别仅具有以这种方式隔离的光源本身的图像。
[0082]
如果在其中一个实际图像中不存在至少预定最小数量的光源的目标图像(s40：“y”)，则监视装置100触发监视反应(s50)，例如降低机器人10的速度，在必要时使机器人停止。否则(s40：“n”)，监视装置或该方法返回到步骤s10。
[0083]
为了清楚起见，在图1中示出了意外进入到机器人10的工作空间中的人员h。可以看出，该人员中断了相机32与在图2中与其水平相对的光源20之间的光路，使得该光源在相机32的相应目标图像中的图像不存在于由该相机所检测到的实际图像中。
[0084]
可以看出，无论是光源20或相机32的失效，还是障碍物h，都同样导致目标图像和实际图像之间的差异并且触发(相同的)监视反应，因此无论是光源还是相机就安全技术而言不必太过昂贵。
[0085]
此外，该实施例说明：在末端执行器15上引导的部件会中断相机30与图1中下方的信号源20之间的光路，该信号源将替代于此地(仅)照射该部件。因此，反过来信号源20的光斑发出无部件的末端执行器的信号。
[0086]
此外，该实施例说明，例如根据相机32的实际图像，可以确定障碍物(如图1所示)是否位于机器人手、转盘或基座的区域中，从而可以有利地使监视反应与此相匹配。
[0087]
此外，该实施例说明：基于运动学和光学的模型来预测目标图像或目标布置，该模型包括在机器人周围环境中已知的障碍物。例如，如果人员h按照计划位于图1所示的位置上，则相应的模型将预测相机32的目标图像，在该目标图像中与其相对置的光源20按照计划是不存在的，从而在这种情况下不会触发监视反应。
[0088]
尽管在前面的描述中已经阐述了示例性的实施方式，但是应该指出的是，还可能有许多的变型。
[0089]
因此，附加地或除了led或激光指示器以外，信号源20也可以特别是无源信号源，特别是具有反射器，在一种实施方式中其被有针对性地照射。
[0090]
此外还应指出的是，这些示例性实施方式仅仅是举例，其不应对保护范围、应用和构造形成任何限制。相反，通过前面的描述能够赋予本领域技术人员实现对至少一种示例性实施方式进行转换的教导，其中，在不脱离本发明保护范围的情况下，可以进行特别是关于所述部件的功能和布置的各种变化，例如可以根据权利要求和这些等效的特征组合获得。
[0091]
附图标记列表
[0092]
10 机器人
[0093]
11 基座
[0094]
12 转盘
[0095]
13 摇臂
[0096]
14 臂
[0097]
15 末端执行器
[0098]
20 光源(激光指示器；led)
[0099]
30-32 相机
[0100]
100 监视装置
[0101]
200 偏转镜
[0102]
h 人员。