生成用于物体检测的安全空间列表的方法和计算系统与流程

技术特征：
1.一种计算系统，包括：通信接口，被配置为与机器人以及具有相机视野的相机通信；至少一个处理电路，被配置为当物体在或已经在所述相机视野中时执行以下操作：接收表示所述物体的图像信息，其中所述图像信息由所述相机生成；标识一组一个或多个匹配的物体识别模板，所述一组一个或多个匹配的物体识别模板是当与所述图像信息进行比较时满足预定的模板匹配条件的一个或多个物体识别模板，其中所述一组一个或多个匹配的物体识别模板与一组一个或多个检测假设相关联，所述一组一个或多个检测假设是对所述图像信息表示哪个物体或物体类型的一个或多个相应估计；从所述一组一个或多个检测假设中选择检测假设作为主要检测假设，其中所述主要检测假设与所述一组一个或多个匹配的物体识别模板中的匹配的物体识别模板相关联，其中被选择作为所述主要检测假设的所述检测假设在一组一个或多个相应置信度值中具有最高的置信度值，其中所述一组一个或多个相应置信度值与所述一组一个或多个检测假设相关联，并且指示所述图像信息与关联于所述一组一个或多个检测假设组的所述一组一个或多个匹配的物体识别模板相匹配的相应程度；生成候选区域作为主要候选区域，所述候选区域估计所述物体的物体边界位置或估计所述相机视野中的哪些位置被所述物体占据，其中所述主要候选区域是基于与所述主要检测假设相关联的所述匹配的物体识别模板而生成的；确定以下各项中的至少一项：(i)除了与所述主要检测假设相关联的所述匹配的物体识别模板之外，所述一组一个或多个匹配的物体识别模板是否还具有当与所述图像信息进行比较时也满足所述预定的模板匹配条件的一个或多个剩余的匹配的物体识别模板的子集；或(ii)所述图像信息是否具有表示与所述主要候选区域相邻且不满足所述预定的模板匹配条件的不匹配的区域的一部分；响应于确定存在一个或多个剩余的匹配的物体识别模板的所述子集，或者所述图像信息具有表示所述不匹配的区域的所述一部分，生成安全空间列表，所述安全空间列表是描述以下各项中的至少一项的列表：(i)所述不匹配的区域，或(ii)一个或多个附加候选区域，所述一个或多个附加候选区域也估计所述物体的物体边界位置或估计哪些位置被所述物体占据，其中所述一个或多个附加候选区域是基于一个或多个剩余的匹配的物体识别模板的所述子集而生成的；以及基于所述主要候选区域并基于所述安全空间列表来执行运动规划，其中所述运动规划用于所述机器人与所述物体之间的机器人交互。2.如权利要求1所述的计算系统，其中，所述至少一个处理电路被配置为确定边界区域，所述边界区域包围所述主要候选区域和以下各项中的至少一项：(i)所述一个或多个附加候选区域或(ii)所述不匹配的区域，其中执行所述运动规划包括基于所述边界区域确定与机器人末端执行器装置相关联的轨迹。3.如权利要求2所述的计算系统，其中，执行所述运动规划包括基于所述主要候选区域确定机器人抓持运动；以及基于所述边界区域确定所述轨迹。4.如权利要求1所述的计算系统，其中，除了所述主要检测假设之外，所述一组一个或多个检测假设还包括与一个或多个剩余的匹配的物体识别模板的所述子集相关联的一个或多个剩余的检测假设的子集，其中，对于一个或多个剩余的检测假设的所述子集中的每
个检测假设，所述至少一个处理电路被配置为：确定与所述检测假设相关联的相应置信度值相对于与所述主要检测假设相关联的所述置信度值是否在预定的置信度相似性阈值之内，其中，所述至少一个处理电路被配置为：响应于确定与所述检测假设相关联的所述相应置信度值相对于与所述主要检测假设相关联的所述置信度值在所述预定的置信度相似性阈值之内，在所述安全空间列表中包括与所述检测假设相关联的相应候选区域，使得所述相应候选区域是所述安全空间列表的所述一个或多个附加区域的一部分。5.如权利要求4所述的计算系统，其中，所述安全空间列表中的所述一个或多个附加候选区域中的每个候选区域与相应检测假设相关联，所述相应检测假设具有相对于与所述主要检测假设相关联的所述置信度值在所述预定的置信度相似性阈值之内的置信度值。6.如权利要求4所述的计算系统，其中，所述安全空间列表中的所述一个或多个附加候选区域中的每个候选区域与具有大于或等于预定的模板匹配阈值的置信度值的相应检测假设相关联。7.如权利要求1所述的计算系统，其中，一个或多个剩余的匹配的物体识别模板的所述子集包括与多个相应候选区域相关联的多个匹配的物体识别模板，其中，对于所述多个候选区域中的每个候选区域，所述至少一个处理电路被配置为：确定所述候选区域与所述主要候选区域之间的相应的重叠量；确定所述相应的重叠量是否等于或超过预定的重叠阈值，其中，所述至少一个处理电路被配置为：响应于确定所述重叠量等于或超过所述预定的重叠阈值，将所述候选区域包括在所述安全空间列表中，使得所述候选区域是所述安全空间列表的所述一个或多个附加候选区域的一部分。8.如权利要求1所述的计算系统，其中，所述图像信息包括2d图像信息，并且其中，与所述主要检测假设相关联的所述匹配的物体识别模板包括一组视觉描述信息，在与所述2d图像信息进行比较时，所述一组视觉描述信息被所述至少一个处理电路确定为满足所述预定的模板匹配条件。9.如权利要求8所述的计算系统，其中，一个或多个剩余的匹配的物体识别模板的所述子集中的至少一个匹配的物体识别模板具有相应一组视觉描述信息，在与所述2d图像信息进行比较时，所述相应一组视觉描述信息也被所述至少一个处理电路确定为满足所述预定的模板匹配条件，并且其中，所述至少一个处理电路被配置为基于所述至少一个匹配的物体识别模板来生成所述安全空间列表。10.如权利要求9所述的计算系统，其中，与所述主要检测假设相关联的所述匹配的物体识别模板包括指示第一物体大小的相应一组结构描述信息，并且其中，所述至少一个匹配的物体识别模板包括指示与第一物体大小不同的第二物体大小的相应一组结构描述信息。11.如权利要求8所述的计算系统，其中，所述图像信息还包括3d图像信息，并且其中，一个或多个剩余的匹配的物体识别模板的所述子集中的至少一个物体识别模板具有相应一组结构描述信息，在与所述3d图像信息进行比较时，所述相应一组结构描述信息被所述至少一个处理电路确定为满足所述预定的模板匹配条件，并且其中所述至少一个处理电路被配置为基于所述至少一个物体识别模板来生成所述安全空间列表。
12.如权利要求8所述的计算系统，其中，与所述主要检测假设相关联的所述匹配的物体识别模板是所述一组一个或多个匹配的物体识别模板中的第一匹配的物体识别模板，其中，当所述一组一个或多个匹配的物体识别模板是存储在模板存储空间中的多个物体识别模板的一部分时，所述至少一个处理电路被配置为：确定除了第一匹配的物体识别模板之外，所述多个物体识别模板是否具有当与第一匹配的物体识别模板进行比较时满足预定的模板相似性条件的至少一个物体识别模板；以及响应于确定所述多个物体识别模板包括当与第一匹配的物体识别模板进行比较时满足所述预定的模板相似性条件的所述至少一个物体识别模板，基于所述至少一个物体识别模板生成所述安全空间列表。13.如权利要求1所述的计算系统，其中，所述主要候选区域表示将所述图像信息与关联于所述主要检测假设的所述匹配的物体识别模板对准的第一方式，并且其中，所述至少一个处理电路被配置为在所述安全空间列表中包括另一个候选区域，所述另一个候选区域表示将所述图像信息与所述匹配的物体识别模板对准的第二方式。14.如权利要求1所述的计算系统，其中所述至少一个处理电路被配置为：标识由所述图像信息表示的第一组图像角或第一组图像边缘；标识第一图像区域，第一图像区域是位于第一组图像角或第一组图像边缘之间的图像区域，其中，当与第一图像区域比较时，与所述主要检测假设相关联的所述匹配的物体识别模板被所述至少一个处理电路确定为满足所述预定的匹配条件，所述匹配的物体识别模板是所述一组一个或多个匹配的物体识别模板中的第一匹配的物体识别模板；基于所述图像信息，标识第二组图像角或第二组图像边缘，其中第二组图像角包括作为第一组图像角的一部分的至少一个图像角并且包括在第一图像区域外部的至少一个图像角，并且其中第二组图像边缘包括作为第一组图像边缘的一部分的至少一个图像边缘并且包括在第一图像区域外部的至少一个图像边缘；标识第二图像区域，第二图像区域是位于第二组图像角或第二组图像边缘之间的图像区域，其中第二图像区域延伸超过第一图像区域，并且其中所述一组一个或多个匹配的物体识别模板包括第二匹配的物体识别模板，当与第二图像区域比较时，第二匹配的物体识别模板被所述至少一个处理电路确定为满足所述预定的模板匹配条件，其中，所述至少一个处理电路被配置为基于第一匹配的物体识别模板生成所述主要候选区域，并且基于第二匹配的物体识别模板生成所述安全空间列表中的至少一个候选区域。15.如权利要求1所述的计算系统，其中，所述至少一个处理电路被配置为：响应于确定所述图像信息具有表示所述不匹配的区域的所述一部分，基于所述不匹配的区域生成新的物体识别模板。16.如权利要求1所述的计算系统，其中，所述主要候选区域是表示由与所述主要检测假设相关联的所述匹配的物体识别模板描述的物体形状的第一方向的区域，并且其中所述至少一个处理电路被配置为将表示所述物体形状的第二方向的候选区域添加到所述安全空间列表，第二方向垂直于第一方向。17.如权利要求1所述的计算系统，其中，所述至少一个处理电路被配置为将表示预定的最大物体高度的候选区域添加到所述安全空间列表。
18.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质具有指令，所述指令当由计算系统的至少一个处理电路执行时，使所述至少一个处理电路执行以下操作：由所述计算系统的所述至少一个处理电路接收图像信息，其中所述计算系统被配置为与以下各项进行通信：(i)机器人，以及(ii)具有相机视野的相机，其中所述图像信息用于表示所述相机视野中的物体并且是由所述相机生成的；标识一组一个或多个匹配的物体识别模板，所述一组一个或多个匹配的物体识别模板是当与所述图像信息进行比较时满足预定的模板匹配条件的一个或多个物体识别模板，其中所述一组一个或多个匹配的物体识别模板与一组一个或多个检测假设相关联，所述一组一个或多个检测假设是对所述图像信息表示哪个物体或物体类型的一个或多个相应估计；从所述一组一个或多个检测假设中选择检测假设作为主要检测假设，其中所述主要检测假设与所述一组一个或多个匹配的物体识别模板中的匹配的物体识别模板相关联，其中被选择作为所述主要检测假设的所述检测假设在一组一个或多个相应置信度值中具有最高的置信度值，其中所述一组一个或多个相应置信度值与所述一组一个或多个检测假设相关联，并且指示所述图像信息与关联于所述一组一个或多个检测假设的所述一组一个或多个匹配的物体识别模板相匹配的相应程度；生成候选区域作为主要候选区域，所述候选区域估计所述物体的物体边界位置或估计所述相机视野中的哪些位置被所述物体占据，其中所述主要候选区域是基于与所述主要检测假设相关联的所述匹配的物体识别模板而生成的；确定以下各项中的至少一项：(i)除了与所述主要检测假设相关联的所述匹配的物体识别模板之外，所述一组一个或多个匹配的物体识别模板是否还具有当与所述图像信息进行比较时也满足所述预定的模板匹配条件的一个或多个剩余的匹配的物体识别模板的子集；或(ii)所述图像信息是否具有表示与所述主要候选区域相邻且不满足所述预定的模板匹配条件的不匹配的区域的一部分；响应于确定存在一个或多个剩余的匹配的物体识别模板的所述子集，或者所述图像信息具有表示所述不匹配的区域的所述一部分，生成安全空间列表，所述安全空间列表是描述以下各项中的至少一项的列表：(i)所述不匹配的区域，或(ii)一个或多个附加候选区域，所述一个或多个附加候选区域也估计所述物体的物体边界位置或估计哪些位置被所述物体占据，其中所述一个或多个附加候选区域是基于一个或多个剩余的匹配的物体识别模板的所述子集而生成的；以及基于所述主要候选区域并基于所述安全空间列表来执行运动规划，其中所述运动规划用于所述机器人与所述物体之间的机器人交互。19.如权利要求18所述的非暂时性计算机可读介质，其中所述指令在由所述至少一个处理电路执行时，使所述至少一个处理电路确定边界区域，所述边界区域包围所述主要候选区域和以下各项中的至少一项：(i)所述一个或多个附加候选区域，或(ii)所述不匹配的区域，以及其中，所述指令还使所述至少一个处理电路通过基于所述边界区域确定与所述机器人末端执行器装置相关联的轨迹来执行所述运动规划。20.一种由计算系统执行的方法，所述方法包括：由所述计算系统接收图像信息，其中所述计算系统被配置为与以下各项进行通信：(i)
机器人，以及(ii)具有相机视野的相机，其中所述图像信息用于表示所述相机视野中的物体并且是由所述相机生成的；标识一组一个或多个匹配的物体识别模板，所述一组一个或多个匹配的物体识别模板是当与所述图像信息进行比较时满足预定的模板匹配条件的一个或多个物体识别模板，其中所述一组一个或多个匹配的物体识别模板与一组一个或多个检测假设相关联，所述一组一个或多个检测假设是对所述图像信息表示哪个物体或物体类型的一个或多个相应估计；从所述一组一个或多个检测假设中选择检测假设作为主要检测假设，其中所述主要检测假设与所述一组一个或多个匹配的物体识别模板中的匹配的物体识别模板相关联，其中被选择作为所述主要检测假设的所述检测假设在一组一个或多个相应置信度值中具有最高的置信度值，其中所述一组一个或多个相应置信度值与所述一组一个或多个检测假设相关联，并且指示所述图像信息与关联于所述一组一个或多个检测假设的所述一组一个或多个匹配的物体识别模板相匹配的相应程度；生成候选区域作为主要候选区域，所述候选区域估计所述物体的物体边界位置或估计所述相机视野中的哪些位置被所述物体占据，其中所述主要候选区域是基于与所述主要检测假设相关联的所述匹配的物体识别模板而生成的；确定以下各项中的至少一项：(i)除了与所述主要检测假设相关联的所述匹配的物体识别模板之外，所述一组一个或多个匹配的物体识别模板是否还具有当与所述图像信息比较时也满足所述预定的模板匹配条件的一个或多个剩余的匹配的物体识别模板的子集；或(ii)所述图像信息是否具有表示与所述主要候选区域相邻且不满足所述预定的模板匹配条件的不匹配的区域的一部分；生成安全空间列表，所述安全空间列表是描述以下各项中的至少一项的列表：(i)所述不匹配的区域，或(ii)一个或多个附加候选区域，所述一个或多个附加候选区域也估计所述物体的物体边界位置或估计哪些位置被所述物体占据，其中所述一个或多个附加候选区域是基于一个或多个剩余的匹配的物体识别模板的所述子集而生成的；以及基于所述主要候选区域并基于所述安全空间列表来执行运动规划，所述运动规划用于所述机器人与所述物体之间的机器人交互。

技术总结
本公开涉及生成用于物体检测的安全空间列表的方法和计算系统。提出了一种方法和用于执行该方法的计算系统。方法可以包括接收表示物体的图像信息；标识与一组一个或多个检测假设相关联的一组一个或多个匹配的物体识别模板。方法还可以包括选择与匹配的物体识别模板相关联的主要检测假设；基于匹配的物体识别模板生成主要候选区域；确定以下至少一项：(i)该组一个或多个匹配的物体识别模板是否具有一个或多个剩余的匹配的模板的子集，或(ii)图像信息是否具有表示不匹配的区域的一部分；以及基于以下至少一项生成安全空间列表：(i)不匹配区域，或(ii)基于一个或多个剩余的匹配的模板的子集生成的一个或多个附加候选区域。板的子集生成的一个或多个附加候选区域。板的子集生成的一个或多个附加候选区域。


技术研发人员：何塞
受保护的技术使用者：牧今科技
技术研发日：2021.06.09
技术公布日：2022/9/6