位姿检测方法、芯片、计算设备及机器人与流程
本申请实施例涉及智能感知,特别涉及一种位姿检测方法、芯片、计算设备及机器人。
背景技术:
1、物体的六自由度位姿估计是机器人感知任务的关键环节。目前,通常是通过输入物体的真实三维模型作为先验,以此结合神经网络实现物体的六自由度位姿估计。但是,其识别准确性低,并且由于需要真实三维模型导致存在识别成本高的问题。
技术实现思路
1、本申请实施例提供了一种位姿检测方法、芯片、计算设备及机器人,可用于解决相关技术中存在的问题。所述技术方案如下:
2、一方面,本申请实施例提供了一种位姿检测方法,所述方法包括:获取第一图像;所述第一图像包括目标对象;将所述第一图像输入位姿检测模型,输出所述目标对象的六自由度位姿;其中,所述位姿检测模型用于:生成所述目标对象的三维多边形网格数据,及,根据所述三维多边形网格数据确定所述六自由度位姿。
3、在一些实施例中,所述目标对象的三维多边形网格数据的生成过程包括:对所述第一图像进行处理,得到所述第一图像中的目标对象的物体类别和所述第一图像的掩码图像;根据所述物体类别、所述掩码图像和所述第一图像,生成所述三维多边形网格数据。
4、在一些实施例中,所述第一图像包括彩色图像和深度图像;所述根据所述物体类别、所述掩码图像和所述第一图像,生成所述三维多边形网格数据,包括:根据所述物体类别、所述掩码图像、所述彩色图像和所述深度图像,确定所述目标对象的语义特征和空间几何特征;根据所述语义特征与所述空间几何特征,确定所述目标对象的第一特征张量和第二特征张量;所述第一特征张量用于表征所述目标对象的整体属性,所述第二特征张量用于表征所述目标对象的表面顶点位移;根据所述第一特征张量和所述第二特征张量,生成所述三维多边形网格数据。
5、在一些实施例中,所述位姿检测模型包括特征编码器,所述对所述第一图像进行处理,得到所述第一图像中的目标对象的物体类别和所述第一图像的掩码图像,包括:对所述彩色图像和所述深度图像进行通道级联,得到不同维度下的拼接数据;将所述拼接数据输入至所述特征编码器,得到特征向量;根据所述特征向量进行分类识别和定位识别,得到所述物体类别和所述掩码图像。
6、在一些实施例中,所述特征编码器包括第一编码器、第二编码器和位置编码器,所述将所述拼接数据输入至特征编码器,得到特征向量,包括:将所述拼接数据输入至所述第一编码器,得到第一编码数据和第二编码数据;将所述第一编码数据和所述第二编码数据输入至所述第二编码器,得到第三编码数据;所述第一编码数据、所述第二编码数据以及所述第三编码数据为不同维度下的编码数据;将所述第三编码数据输入至所述位置编码器,得到所述特征向量。
7、在一些实施例中,所述目标对象的六自由度位姿的确定过程包括:根据所述彩色图像和所述深度图像确定目标参数;根据所述目标参数、所述三维多边形网格数据、所述彩色图像和所述深度图像在不同维度下进行通道级联,得到不同维度下的多组拼接数据;对所述多组拼接数据进行处理,确定所述目标对象的六自由度位姿。
8、在一些实施例中,所述方法还包括:响应位姿检测指令,在目标节点中配置所述位姿检测模型;基于所述位姿检测指令在所述目标节点中调用所述位姿检测模型,以处理所述第一图像。
9、在一些实施例中,所述目标节点包括主节点和多个子节点;所述基于所述位姿检测指令在所述目标节点中调用所述位姿检测模型,包括:基于所述位姿检测指令激活所述主节点;按照顺序依次激活多个子节点,以使所述多个子节点依次调用所述位姿检测模型处理所述第一图像;所述多个子节点中至少两个子节点之间具有串行依赖关系。
10、在一些实施例中,所述多个子节点依次调用所述位姿检测模型处理所述第一图像,包括:利用第一子节点调用所述位姿检测模型识别所述第一图像,得到所述目标对象的物体类别和掩码图像;利用第二子节点调用所述位姿检测模型生成所述三维多边形网格数据;利用第三子节点调用所述位姿检测模型,输出所述目标对象的六自由度位姿。
11、另一方面,提供了一种位姿检测装置,所述装置包括:获取模块,用于获取第一图像;所述第一图像包括目标对象;六自由度位姿确定模块,用于将所述第一图像输入位姿检测模型,输出所述目标对象的六自由度位姿;其中,所述位姿检测模型用于:生成所述目标对象的三维多边形网格数据,及,根据所述三维多边形网格数据确定所述六自由度位姿。
12、另一方面,提供了一种芯片,所述芯片包括:处理器;存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现上述任一项所述的位姿检测方法。
13、另一方面,提供了一种计算设备,所述计算设备包括:芯片和指令调用单元,所述指令调用单元中存储有至少一条调用指令,所述至少一条调用指令由所述芯片加载并执行,以使所述计算设备实现上述任一项所述的位姿检测方法。
14、另一方面,还提供了一种位姿检测系统,所述位姿检测系统包括芯片和数据采集设备,所述数据采集设备用于采集第一图像,所述芯片用于执行如上述任一项所述的位姿检测方法。
15、另一方面,还提供了一种机器人,所述机器人包括:机身、传感器模组和控制器;所述控制器设置在所述机身或所述机身内部,用于执行如上述任一项所述的位姿检测方法。
16、另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以使计算机实现上述任一项所述的位姿检测方法。
17、另一方面,还提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备执行上述任一项所述的位姿检测方法。
18、本申请实施例提供的技术方案至少带来如下有益效果:通过位姿检测模型对获取到的第一图像进行处理,以此生成目标对象的三维多边形网格数据,并且直接基于所确定的三维多边形网格数据处理第一图像来得到目标对象的六自由度位姿,保证在位姿求解过程所需的三维几何参考由位姿检测模型根据第一图像在线生成,而非从外部数据库读取。因此,在第一图像中的目标对象的种类发生变化时无需重新执行三维扫描与贴图制作,保证位姿检测过程摆脱对物体真实三维模型与贴图数据的依赖,算法的泛化能力提升,部署成本降低。
19、并且,由于位姿检测模型所生成的三维多边形网格数据与第一图像数据同源,二者处于同一尺度基准与同一坐标基准,无需执行模型库检索与尺度归一化,消除了外部模型库数据与实际物体之间的形状偏差,进而保证了所确定的目标对象的位姿检测的准确性。
1.一种位姿检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述目标对象的三维多边形网格数据的生成过程包括:
3.根据权利要求2所述的方法,其特征在于,所述第一图像包括彩色图像和深度图像;所述根据所述物体类别、所述掩码图像和所述第一图像,生成所述三维多边形网格数据,包括:
4.根据权利要求3所述的方法,其特征在于,所述位姿检测模型包括特征编码器,所述对所述第一图像进行处理,得到所述第一图像中的目标对象的物体类别和所述第一图像的掩码图像,包括:
5.根据权利要求4所述的方法,其特征在于,所述特征编码器包括第一编码器、第二编码器和位置编码器,所述将所述拼接数据输入至特征编码器,得到特征向量,包括:
6.根据权利要求3所述的方法,其特征在于,所述目标对象的六自由度位姿的确定过程包括:
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
8.根据权利要求7所述的方法,其特征在于,所述目标节点包括主节点和多个子节点;所述基于所述位姿检测指令在所述目标节点中调用所述位姿检测模型,包括:
9.根据权利要求8所述的方法,其特征在于,所述多个子节点依次调用所述位姿检测模型处理所述第一图像,包括:
10.一种芯片,其特征在于,所述芯片包括:
11.一种计算设备,其特征在于,所述计算设备包括:芯片和指令调用单元,所述指令调用单元中存储有至少一条调用指令,所述至少一条调用指令由所述芯片加载并执行,以使所述计算设备实现如权利要求1-9中任一项所述的位姿检测方法。
12.一种位姿检测系统,其特征在于,所述位姿检测系统包括芯片和数据采集设备,所述数据采集设备用于采集第一图像,所述芯片用于执行如权利要求1-9中任一项所述的位姿检测方法。
13.一种机器人,其特征在于,所述机器人包括:机身、传感器模组和控制器;所述控制器设置在所述机身或所述机身内部,用于执行权利要求1-9中任一项所述的位姿检测方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以使计算机实现如权利要求1-9中任一项所述的位姿检测方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com