位姿识别方法、装置、电子设备、存储介质和程序产品与流程
本申请涉及计算机技术,尤其涉及一种位姿识别方法、装置、电子设备、存储介质和程序产品。
背景技术:
1、目标物体的位姿识别旨在获取该物体在三维空间中的精确位置与旋转姿态,这在机器人抓取、自动驾驶、环境感知以及智能制造等领域具有至关重要且广泛的应用需求。
2、相关技术中,通过检测目标物体的完整图像,并根据完整图像的图像特征估计目标物体的位姿。该方式在图像不足以容纳大尺寸物体,以及目标对象被局部遮挡的情况下,容易因为特征缺失导致位姿识别的准确度下降。
技术实现思路
1、本申请实施例提供一种位姿识别方法、装置、电子设备、存储介质和程序产品,能够提高在图像无法完整容纳目标对象或目标对象被局部遮挡的情况下,执行位姿识别的准确度。
2、本申请实施例的技术方案是这样实现的:
3、本申请实施例提供一种位姿识别方法,所述方法包括:
4、对目标对象的广角畸变视图进行去畸变操作,得到投影视图;
5、提取目标对象的无畸变视图的第一图像特征,以及所述投影视图的第二图像特征;
6、对所述第一图像特征和所述第二图像特征进行特征融合,得到融合图像特征,并基于所述融合图像特征生成场景点云数据;
7、基于所述场景点云数据构建所述目标对象的观测关联图,其中,所述观测关联图用于通过所述场景点云数据中的特征点及所述特征点之间的几何联结关系表示所述目标对象的结构;
8、基于所述观测关联图与模板关联图之间的第一对应关系,以及所述模板关联图中的参考位姿参数,确定多个局部位姿参数;
9、基于设定的形变约束条件,将所述多个局部位姿参数合并为所述目标对象的位姿识别结果。
10、本申请实施例提供一种位姿识别装置,包括:
11、投影模块,用于对目标对象的广角畸变视图进行去畸变操作,得到投影视图;
12、提取模块,用于提取目标对象的无畸变视图的第一图像特征,以及所述投影视图的第二图像特征;
13、生成模块,用于对所述第一图像特征和所述第二图像特征进行特征融合,得到融合图像特征,并基于所述融合图像特征生成场景点云数据;
14、匹配模块,用于基于所述场景点云数据构建所述目标对象的观测关联图,其中,所述观测关联图用于通过所述场景点云数据中的特征点及所述特征点之间的几何联结关系表示所述目标对象的结构;
15、第一位姿确定模块,用于基于所述观测关联图与模板关联图之间的第一对应关系,以及所述模板关联图中的参考位姿参数,确定多个局部位姿参数;
16、第二位姿确定模块,用于基于设定的形变约束条件,将所述多个局部位姿参数合并为所述目标对象的位姿识别结果。
17、本申请实施例提供一种电子设备,所述电子设备包括:
18、存储器,用于存储计算机可执行指令或者计算机程序;
19、处理器,用于执行所述存储器中存储的计算机可执行指令或者计算机程序时,实现本申请实施例提供的位姿识别方法。
20、本申请实施例提供一种计算机可读存储介质,存储有计算机程序或计算机可执行指令,用于被处理器执行时实现本申请实施例提供的位姿识别方法。
21、本申请实施例提供一种计算机程序产品,包括计算机程序或计算机可执行指令,所述计算机程序或计算机可执行指令被处理器执行时,实现本申请实施例提供的位姿识别方法。
22、本申请实施例具有以下有益效果:
23、本申请实施例通过对目标对象的广角畸变视图进行去畸变操作得到投影视图,并提取无畸变视图的第一图像特征与投影视图的第二图像特征进行特征融合以生成场景点云数据。由于广角畸变视图具有更广的视野范围,无畸变视图具有准确的几何特征,将两者提取的特征进行有效融合来生成点云,能够突破单一无畸变视图的视野局限,获取视野更广阔、场景更完整的几何信息,从而解决相关技术中普通图像无法完整容纳大尺寸物体的问题,为大尺度物体的位姿识别提供了完整的几何基础。此外,本申请实施例还通过基于场景点云数据构建反映特征点及局部几何联结关系的观测关联图,并基于观测关联图与模板关联图之间的对应关系先确定多个局部位姿参数,最后在设定的形变约束条件下将局部位姿参数合并为完整的位姿识别结果。即将整体位姿匹配的过程转化为基于局部关联图的匹配与求解过程,使得在目标对象被局部遮挡或观测不完整的情况下,电子设备仅依靠局部可见的特征点及其联结关系依然能够准确求解出局部位姿,再结合形变约束即可推导出整体高精度的位姿。克服了由于目标对象局部遮挡、缺乏完整观测特征导致位姿识别准确度下降的缺陷,提升了目标对象在部分可见情况下的位姿识别鲁棒性与精确度。
1.一种位姿识别方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述广角畸变视图是由第一设备获取的;
3.根据权利要求1所述的方法,其特征在于,所述广角畸变视图是由第一设备获取的,所述无畸变视图是由第二设备获取的;
4.根据权利要求1所述的方法,其特征在于,所述基于所述场景点云数据构建所述目标对象的观测关联图,包括:
5.根据权利要求4所述的方法,其特征在于,所述设定类型的特征区域包括包围盒,所述设定类型的特征点包括中心点;
6.根据权利要求4所述的方法,其特征在于,所述设定类型的特征点包括高曲率点和几何体交点,其中,所述高曲率点是将邻域点集拟合局部曲面后,曲率值大于设定阈值的特征点;
7.根据权利要求4所述的方法,其特征在于,所述模板关联图基于第二图顶点以及第二边属性构建;
8.根据权利要求7所述的方法,其特征在于,所述基于所述第一对应关系确定所述多个局部位姿参数,包括:
9.根据权利要求1所述的方法,其特征在于,所述基于设定的形变约束条件,将所述多个局部位姿参数合并为所述目标对象的位姿识别结果,包括:
10.根据权利要求1所述的方法,其特征在于,在所述将所述多个局部位姿参数合并为所述目标对象的位姿识别结果之后,所述方法还包括:
11.根据权利要求1所述的方法,其特征在于,所述模板关联图包括预存的模板关联图和基于生成式模型构建的新的模板关联图;
12.一种位姿识别装置,其特征在于,所述装置包括:
13.一种电子设备,其特征在于,所述电子设备包括:
14.一种计算机可读存储介质,存储有计算机可执行指令或者计算机程序,其特征在于,所述计算机可执行指令或者计算机程序被处理器执行时实现权利要求1至11任一项所述的位姿识别方法。
15.一种计算机程序产品,包括计算机可执行指令或计算机程序,其特征在于,所述计算机可执行指令或计算机程序被处理器执行时实现权利要求1至11任一项所述的位姿识别方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com