一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种位姿确定方法以及相关设备与流程

2021-08-27 13:35:00 来源:中国专利 TAG:图像处理 方法 申请 相关 设备
一种位姿确定方法以及相关设备与流程

本申请涉及图像处理领域,尤其涉及一种位姿确定方法以及相关设备。



背景技术:

导航是人们日常生活一项基本需求,各地图厂商早已推出成熟的依靠全球定位系统(globalpositioningsystem,gps)定位的室外2d导航功能,然而由于室内往往没有gps信号,在室内场景提供精确的导航还存在一定的困难。

随着计算机视觉的发展,学术界和工业界正在尝试用视觉的方法来定位,通过提前扫描世界环境并建好3d点云地图,通过对图片中每个特征2d点,计算其描述子与点云中所有(或部分)特征点的描述子的距离形成2d-3d的特征点匹配,并基于位姿求解算法计算出拍摄图像时终端设备在3d点云地图中的位姿。

随着开车的人越来越多,地下车库的导航也成为了用户的一种重要需求,然而,在地下车库这种视觉特征重复,纹理不丰富的场景中,基于3d点云地图的定位方式成功率很低。



技术实现要素:

本申请提供的一种位姿确定方法,在gps信号的定位精度较差时,可以根据所述目标车位标记以及所述目标车位线确定位姿信息,进而实现定位。

第一方面,本申请提供了一种位姿确定方法,所述方法包括:

获取目标图像,所述目标图像包括目标车位标记以及目标车位线;其中,所述目标车位标记对应的目标车位包括所述目标车位线;

根据所述目标车位标记以及所述目标车位线确定位姿信息;其中,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

可选地,在第一方面的一种设计中,所述根据所述目标车位标记以及所述目标车位线确定位姿信息,包括:

获取所述目标车位线在所述目标图像中的第一像素位置;

获取所述目标车位线在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述目标车位线在数字地图中的位置;

根据所述第一像素位置以及所述第三位置信息确定位姿信息。

可选地,在第一方面的一种设计中,所述根据所述目标车位标记以及所述目标车位线确定位姿信息,包括:

向服务器发送所述目标图像;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述目标车位线在所述目标图像中的第一像素位置以及所述目标车位线在数字地图中对应的第三位置信息确定的,所述第三位置信息表示所述目标车位线在数字地图中的位置。

可选地,在第一方面的一种设计中,所述根据所述目标车位标记以及所述目标车位线确定位姿信息,包括:

获取所述目标车位线在所述目标图像中的第一像素位置;

向所述服务器发送所述目标车位标记和所述第一像素位置;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述第一像素位置以及所述目标车位线在数字地图中对应的第三位置信息确定的,所述第三位置信息表示所述目标车位线在数字地图中的位置。

可选地,在第一方面的一种设计中,所述根据所述目标车位标记以及所述目标车位线确定位姿信息,包括:

获取所述目标车位线在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述目标车位线在数字地图中的位置信息;

向所述服务器发送所述目标图像和所述第三位置信息;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述第三位置信息以及所述目标车位线在所述目标图像中的第一像素位置确定的。

可选地,在第一方面的一种设计中,所述获取所述目标图像,包括:

显示目标拍摄界面,所述目标拍摄界面包括拍摄区域,所述拍摄区域包括预设的引导轮廓;

若所述拍摄区域中的目标车位位于所述预设的引导轮廓内或者与所述预设的引导轮廓之间的位置差异在预设的范围内,则拍摄得到所述目标图像。

可选地,在第一方面的一种设计中,所述根据所述目标车位标记以及所述目标车位线确定位姿信息之前,所述方法还包括:

在所述目标图像中显示车位输入指示框;

获取在所述车位输入指示框中输入的所述目标车位标记。

可选地,在第一方面的一种设计中,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置;

所述方法还包括:

根据所述坐标位置进行路径规划,得到规划后的路径,其中所述规划后的路径的起点或终点为所述坐标位置;

显示二维导航界面,所述二维导航界面包括所述规划后的路径。

可选地,在第一方面的一种设计中,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角,所述方法还包括:

显示ar导航界面,所述ar导航界面包括当前终端设备所处的环境图像以及导航指引,所述导航指引为基于所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角确定的。

可选地,在第一方面的一种设计中,所述获取所述目标车位线在数字地图中对应的第三位置信息,包括:

获取拍摄所述目标图像时,所述终端设备的定位信息;

在所述数字地图中获取与所述定位信息相匹配的所述目标车位线在数字地图中对应的第三位置信息。

可选地,在第一方面的一种设计中,所述目标车位线包括第一车位线、第二车位线和第三车位线,所述第一车位线、所述第二车位线以及所述第三车位线中的至少两条车位线在所述数字地图中不平行,第一角点为所述第一车位线和所述第二车位线的相交点,

其中,所述第一像素位置包括所述第一车位线、所述第二车位线以及所述第三车位线在所述目标图像中的方向信息,所述第三位置信息包括所述第一车位线、所述第二车位线以及所述第三车位线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一车位线以及所述第二车位线在所述目标图像中的方向信息、以及所述第一角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一车位线以及所述第二车位线在所述数字地图中对应的预设方向、以及所述第一角点在所述数字地图中对应的预设位置。

可选地,在第一方面的一种设计中,所述方法还包括:

获取拍摄所述目标图像时,所述终端设备的重力方向;

所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

根据所述第一像素位置、所述第三位置信息和所述重力方向确定位姿信息。

可选地,在第一方面的一种设计中,所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

确定所述第一像素位置以及所述第三位置信息的2d-3d对应关系,其中,所述2d-3d对应关系表示所述目标车位线在所述目标图像中的二维坐标与在实际空间中的三维坐标的对应关系;

根据所述2d-3d对应关系,确定所述位姿信息。

第二方面,本申请提供了一种位姿确定方法,所述方法包括:

获取目标车位线在目标图像中的第一像素位置,所述目标图像包括目标车位标记以及目标车位线;其中,所述目标车位标记对应的目标车位包括所述目标车位线;

获取所述目标车位线在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述目标车位线在数字地图中的坐标位置;

根据所述第一像素位置以及所述第三位置信息确定位姿信息,其中,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

可选地,在第二方面的一种设计中,所述获取目标车位线在目标图像中的第一像素位置,包括:

接收所述终端设备发送的目标图像;

确定所述目标车位线在所述目标图像中的第一像素位置。

可选地,在第二方面的一种设计中,所述获取目标车位线在目标图像中的第一像素位置,包括:

接收所述终端设备发送的所述目标车位线在目标图像中的第一像素位置。

可选地,在第二方面的一种设计中,所述获取所述目标车位线在数字地图中对应的第三位置信息,包括:

接收所述终端设备发送的目标图像或所述目标车位标记;

在数字地图中确定所述目标车位线对应的第三位置信息。

可选地,在第二方面的一种设计中,所述获取所述目标车位线在数字地图中对应的第三位置信息,包括:

接收所述终端设备发送的所述目标车位线在数字地图中对应的第三位置信息。

可选地,在第二方面的一种设计中,所述目标车位线包括第一车位线、第二车位线和第三车位线,所述第一车位线、所述第二车位线以及所述第三车位线中的至少两条车位线在所述数字地图中不平行,第一角点为所述第一车位线和所述第二车位线的相交点,其中,所述第一像素位置包括所述第一车位线、所述第二车位线以及所述第三车位线在所述目标图像中的方向信息,所述第三位置信息包括所述第一车位线、所述第二车位线以及所述第三车位线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一车位线以及所述第二车位线在所述目标图像中的方向信息、以及所述第一角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一车位线以及所述第二车位线在所述数字地图中对应的预设方向、以及所述第一角点在所述数字地图中对应的预设位置。

可选地,在第二方面的一种设计中,所述方法还包括:

接收所述终端设备发送的拍摄所述目标图像时,所述终端设备的重力方向;

所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

根据所述第一像素位置、所述第三位置信息和所述重力方向确定位姿信息。

可选地,在第二方面的一种设计中,所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

确定所述第一像素位置以及所述第三位置信息的2d-3d对应关系,其中,所述2d-3d对应关系表示所述目标车位线在所述目标图像中的二维坐标与在实际空间中的三维坐标的对应关系;

根据所述2d-3d对应关系,确定所述位姿信息。

第三方面,本申请提供了一种位姿确定方法,所述方法包括:

获取目标图像,所述目标图像包括目标车位标记;

根据所述目标车位标记以及所述目标车位标记的外接图形在所述目标图像中的第一像素位置确定位姿信息;其中,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

可选地,在第三方面的一种设计中,所述根据所述目标车位标记以及所述目标车位标记的外接矩形框在所述目标图像中的第一像素位置确定位姿信息,包括:

获取所述目标车位标记的外接图形在所述目标图像中的第一像素位置;

获取所述外接图形在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述外接图形在数字地图中的坐标位置;

根据所述第一像素位置和所述第三位置信息确定位姿信息。

可选地,在第三方面的一种设计中,所述根据所述目标车位标记以及所述目标车位标记的外接图形在所述目标图像中的第一像素位置确定位姿信息,包括:

向服务器发送所述目标图像;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述目标车位标记的外接图形在所述目标图像中的第一像素位置以及所述目标外接图形在数字地图中对应的第三位置信息确定的,所述第三位置信息表示所述目标车位标记的外接图形在数字地图中的位置信息。

可选地,在第三方面的一种设计中,所述根据所述目标车位标记以及所述目标车位标记的外接图形在所述目标图像中的第一像素位置确定位姿信息,包括:

获取所述目标车位标记的外接图形在所述目标图像中的第一像素位置;

向所述服务器发送所述目标车位标记和所述第一像素位置;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述第一像素位置以及所述外接图形在数字地图中对应的第三位置信息确定的,所述第三位置信息表示所述目标车位标记的外接图形在数字地图中的位置信息。

可选地,在第三方面的一种设计中,所述根据所述目标车位标记以及所述目标车位标记的外接图形在所述目标图像中的第一像素位置确定位姿信息,包括:

获取所述外接图形在数字地图中对应的第三位置信息,所述第三位置信息表示所述目标车位标记的外接图形在数字地图中的位置信息;

向所述服务器发送所述目标图像和所述第三位置信息;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述目标车位标记的外接图形在所述目标图像中的第一像素位置以及所述第二位置信息确定的。

可选地,在第三方面的一种设计中,所述方法还包括:

显示车位输入指示框;

获取在所述车位输入指示框中输入的所述目标车位标记。

可选地,在第三方面的一种设计中,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置;

所述方法还包括:

根据所述坐标位置进行路径规划,得到规划后的路径,其中所述规划后的路径的起点或终点为所述坐标位置;

显示二维导航界面,所述二维导航界面包括所述规划后的路径。

可选地,在第三方面的一种设计中,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角,所述方法还包括:

显示ar导航界面,所述ar导航界面包括当前终端设备所处的环境图像以及导航指引,所述导航指引为基于所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角确定的。

可选地,在第三方面的一种设计中,所述方法还包括:

获取所述终端设备拍摄所述目标图像时的定位信息;所述获取所述外接图形在数字地图中对应的第三位置信息,包括:在所述数字地图中获取与所述定位信息相匹配的所述外接图形对应的第三位置信息。

可选地,在第三方面的一种设计中,所述外接图形包括第一边缘线、第二边缘线和第三边缘线,所述第一边缘线、所述第二边缘线以及所述第三边缘线中的至少两条边缘线在所述数字地图中不平行,第二角点为所述第一边缘线和所述第二边缘线的相交点,其中,所述第一像素位置包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述目标图像中的方向信息,所述第三位置信息包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一边缘线以及所述第二边缘线在所述目标图像中的方向信息、以及所述第二角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一边缘线以及所述第二边缘线在所述数字地图中对应的预设方向、以及所述第二角点在所述数字地图中对应的预设位置。

可选地,在第三方面的一种设计中,所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

确定所述第一像素位置和所述第三位置信息的2d-3d对应关系,其中,所述2d-3d对应关系表示所述目标车位线在所述目标图像中的二维坐标与在实际空间中的三维坐标的对应关系;

根据所述2d-3d对应关系,确定位姿信息。

可选地,在第三方面的一种设计中,所述外接图形包括外接矩形框。

第四方面,本申请提供了一种位姿确定方法,所述方法包括:

获取目标车位标记的外接图形在目标图像中的第一像素位置,所述目标图像包括所述目标车位标记;

获取所述外接图形在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述外接图形在数字地图中的坐标位置;

根据所述第一像素位置和所述第三位置信息确定位姿信息,其中,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

可选地,在第四方面的一种设计中,所述获取目标车位标记的外接图形在目标图像中的第一像素位置,包括:

接收所述终端设备发送的目标图像;

确定所述目标车位标记的外接图形在所述目标图像中的第一像素位置。

可选地,在第四方面的一种设计中,所述获取目标车位标记的外接图形在目标图像中的第一像素位置,包括:

接收所述终端设备发送的所述目标车位标记的外接图形在目标图像中的第一像素位置。

可选地,在第四方面的一种设计中,所述获取所述外接图形在数字地图中对应的第三位置信息,包括:

接收所述终端设备发送的目标图像或所述目标车位标记;

在数字地图中确定所述外接图形在数字地图中对应的第三位置信息。

可选地,在第四方面的一种设计中,所述获取所述外接图形在数字地图中对应的第三位置信息,包括:

接收所述终端设备发送的所述外接图形在数字地图中对应的第三位置信息。

可选地,在第四方面的一种设计中,所述外接图形包括第一边缘线、第二边缘线和第三边缘线,所述第一边缘线、所述第二边缘线以及所述第三边缘线中的至少两条边缘线在所述数字地图中不平行,第二角点为所述第一边缘线和所述第二边缘线的相交点,其中,所述第一像素位置包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述目标图像中的方向信息,所述第三位置信息包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一边缘线以及所述第二边缘线在所述目标图像中的方向信息、以及所述第二角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一边缘线以及所述第二边缘线在所述数字地图中对应的预设方向、以及所述第二角点在所述数字地图中对应的预设位置。

可选地,在第四方面的一种设计中,所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

确定所述第一像素位置和所述第三位置信息的2d-3d对应关系,其中,所述2d-3d对应关系表示所述目标车位线在所述目标图像中的二维坐标与在实际空间中的三维坐标的对应关系;

根据所述2d-3d对应关系,确定位姿信息。

可选地,在第四方面的一种设计中,所述外接图形包括外接矩形框。

第五方面,本申请提供了一种位姿确定装置,其特征在于,所述装置包括:

获取模块,用于获取目标图像,所述目标图像包括目标车位标记以及目标车位线;其中,所述目标车位标记对应的目标车位包括所述目标车位线;

确定模块,用于根据所述目标车位标记以及所述目标车位线确定位姿信息;其中,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

可选地,在第五方面的一种设计中,所述确定模块,具体用于:

获取所述目标车位线在所述目标图像中的第一像素位置;

获取所述目标车位线在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述目标车位线在数字地图中的位置;

根据所述第一像素位置以及所述第三位置信息确定位姿信息。

可选地,在第五方面的一种设计中,所述确定模块,具体用于:

向服务器发送所述目标图像;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述目标车位线在所述目标图像中的第一像素位置以及所述目标车位线在数字地图中对应的第三位置信息确定的,所述第三位置信息表示所述目标车位线在数字地图中的位置。

可选地,在第五方面的一种设计中,所述确定模块,具体用于:

获取所述目标车位线在所述目标图像中的第一像素位置;

向所述服务器发送所述目标车位标记和所述第一像素位置;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述第一像素位置以及所述目标车位线在数字地图中对应的第三位置信息确定的,所述第三位置信息表示所述目标车位线在数字地图中的位置。

可选地,在第五方面的一种设计中,所述确定模块,具体用于:

获取所述目标车位线在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述目标车位线在数字地图中的位置信息;

向所述服务器发送所述目标图像和所述第三位置信息;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述第三位置信息以及所述目标车位线在所述目标图像中的第一像素位置确定的。

可选地,在第五方面的一种设计中,所述获取模块,具体用于:

显示目标拍摄界面,所述目标拍摄界面包括拍摄区域,所述拍摄区域包括预设的引导轮廓;

若所述拍摄区域中的目标车位位于所述预设的引导轮廓内或者与所述预设的引导轮廓之间的位置差异在预设的范围内,则拍摄得到所述目标图像。

可选地,在第五方面的一种设计中,所述装置还包括:

显示模块,用于在所述目标图像中显示车位输入指示框;

所述获取模块,还用于:获取在所述车位输入指示框中输入的所述目标车位标记。

可选地,在第五方面的一种设计中,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置;

所述装置还包括:

路径规划模块,用于根据所述坐标位置进行路径规划,得到规划后的路径,其中所述规划后的路径的起点或终点为所述坐标位置;

所述显示模块,还用于显示二维导航界面,所述二维导航界面包括所述规划后的路径。

可选地,在第五方面的一种设计中,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角,所述装置还包括:

所述显示模块,还用于显示ar导航界面,所述ar导航界面包括当前终端设备所处的环境图像以及导航指引,所述导航指引为基于所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角确定的。

可选地,在第五方面的一种设计中,所述确定模块,具体用于:

获取拍摄所述目标图像时,所述终端设备的定位信息;

在所述数字地图中获取与所述定位信息相匹配的所述目标车位线在数字地图中对应的第三位置信息。

可选地,在第五方面的一种设计中,所述目标车位线包括第一车位线、第二车位线和第三车位线,所述第一车位线、所述第二车位线以及所述第三车位线中的至少两条车位线在所述数字地图中不平行,第一角点为所述第一车位线和所述第二车位线的相交点,其中,所述第一像素位置包括所述第一车位线、所述第二车位线以及所述第三车位线在所述目标图像中的方向信息,所述第三位置信息包括所述第一车位线、所述第二车位线以及所述第三车位线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一车位线以及所述第二车位线在所述目标图像中的方向信息、以及所述第一角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一车位线以及所述第二车位线在所述数字地图中对应的预设方向、以及所述第一角点在所述数字地图中对应的预设位置。

可选地,在第五方面的一种设计中,所述确定模块,具体用于:

获取拍摄所述目标图像时,所述终端设备的重力方向;

根据所述第一像素位置、所述第三位置信息和所述重力方向确定位姿信息。

可选地,在第五方面的一种设计中,所述确定模块,具体用于:

确定所述第一像素位置以及所述第三位置信息的2d-3d对应关系,其中,所述2d-3d对应关系表示所述目标车位线在所述目标图像中的二维坐标与在实际空间中的三维坐标的对应关系;

根据所述2d-3d对应关系,确定所述位姿信息。

第六方面,本申请提供了一种位姿确定装置,所述装置包括:

获取模块,用于获取目标车位线在目标图像中的第一像素位置,所述目标图像包括目标车位标记以及目标车位线;其中,所述目标车位标记对应的目标车位包括所述目标车位线;

获取所述目标车位线在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述目标车位线在数字地图中的坐标位置;

确定模块,用于根据所述第一像素位置以及所述第三位置信息确定位姿信息,其中,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

可选地,在第六方面的一种设计中,所述获取模块,具体用于:

接收所述终端设备发送的目标图像;

确定所述目标车位线在所述目标图像中的第一像素位置。

可选地,在第六方面的一种设计中,所述获取模块,具体用于:

接收所述终端设备发送的所述目标车位线在目标图像中的第一像素位置。

可选地,在第六方面的一种设计中,所述获取模块,具体用于:

接收所述终端设备发送的目标图像或所述目标车位标记;

在数字地图中确定所述目标车位线对应的第三位置信息。

可选地,在第六方面的一种设计中,所述获取模块,具体用于:

接收所述终端设备发送的所述目标车位线在数字地图中对应的第三位置信息。

可选地,在第六方面的一种设计中,所述目标车位线包括第一车位线、第二车位线和第三车位线,所述第一车位线、所述第二车位线以及所述第三车位线中的至少两条车位线在所述数字地图中不平行,第一角点为所述第一车位线和所述第二车位线的相交点,其中,所述第一像素位置包括所述第一车位线、所述第二车位线以及所述第三车位线在所述目标图像中的方向信息,所述第三位置信息包括所述第一车位线、所述第二车位线以及所述第三车位线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一车位线以及所述第二车位线在所述目标图像中的方向信息、以及所述第一角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一车位线以及所述第二车位线在所述数字地图中对应的预设方向、以及所述第一角点在所述数字地图中对应的预设位置。

可选地,在第六方面的一种设计中,所述确定模块,具体用于:

接收所述终端设备发送的拍摄所述目标图像时,所述终端设备的重力方向;

根据所述第一像素位置、所述第三位置信息和所述重力方向确定位姿信息。

可选地,在第六方面的一种设计中,所述确定模块,具体用于:

确定所述第一像素位置以及所述第三位置信息的2d-3d对应关系,其中,所述2d-3d对应关系表示所述目标车位线在所述目标图像中的二维坐标与在实际空间中的三维坐标的对应关系;

根据所述2d-3d对应关系,确定所述位姿信息。

第七方面,本申请提供了一种位姿确定装置,所述装置包括:

获取模块,用于获取目标图像,所述目标图像包括目标车位标记;

确定模块,用于根据所述目标车位标记以及所述目标车位标记的外接图形在所述目标图像中的第一像素位置确定位姿信息;其中,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

可选地,在第七方面的一种设计中,所述确定模块,具体用于:

获取所述目标车位标记的外接图形在所述目标图像中的第一像素位置;

获取所述外接图形在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述外接图形在数字地图中的坐标位置;

根据所述第一像素位置和所述第三位置信息确定位姿信息。

可选地,在第七方面的一种设计中,所述确定模块,具体用于:

获取所述目标车位标记的外接图形在所述目标图像中的第一像素位置;

获取所述外接图形在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述外接图形在数字地图中的坐标位置;

根据所述第一像素位置和所述第三位置信息确定位姿信息。

可选地,在第七方面的一种设计中,所述外接图形包括外接矩形框。

第八方面,本申请提供了一种位姿确定装置,其特征在于,所述装置包括:

获取模块,用于获取目标车位标记的外接图形在目标图像中的第一像素位置,所述目标图像包括所述目标车位标记;

获取所述外接图形在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述外接图形在数字地图中的坐标位置;

确定模块,用于根据所述第一像素位置和所述第三位置信息确定位姿信息,其中,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

可选地,在第八方面的一种设计中,所述外接图形包括第一边缘线、第二边缘线和第三边缘线,所述第一边缘线、所述第二边缘线以及所述第三边缘线中的至少两条边缘线在所述数字地图中不平行,第二角点为所述第一边缘线和所述第二边缘线的相交点,其中,所述第一像素位置包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述目标图像中的方向信息,所述第三位置信息包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一边缘线以及所述第二边缘线在所述目标图像中的方向信息、以及所述第二角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一边缘线以及所述第二边缘线在所述数字地图中对应的预设方向、以及所述第二角点在所述数字地图中对应的预设位置。

可选地,在第八方面的一种设计中,所述确定模块,具体用于:

确定所述第一像素位置和所述第二位置信息的2d-3d对应关系,其中,所述2d-3d对应关系表示所述目标车位线在所述目标图像中的二维坐标与在实际空间中的三维坐标的对应关系;

根据所述2d-3d对应关系,确定位姿信息。

可选地,在第八方面的一种设计中,所述外接图形包括外接矩形框。

第九方面,本申请提供了一种位姿确定装置,包括:显示屏;摄像头;一个或多个处理器;存储器;多个应用程序;以及一个或多个计算机程序。其中,一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令。当指令被位姿确定装置执行时,使得位姿确定装置执行上述第一方面及第一方面中任一项可能实现方式、第三方面及第三方面中任一项可能实现方式中任一项所述的步骤。

第十方面,本申请提供了一种服务器,包括:一个或多个处理器;存储器;多个应用程序;以及一个或多个计算机程序。其中,一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令。当指令被电子设备执行时,使得电子设备执行上述第二方面及第二方面中任一项可能实现方式、第四方面及第四方面中任一项可能实现方式中任一项所述的步骤。

第十一方面,本申请提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备或服务器上运行时,使得电子设备执行上述第一方面及第一方面中任一项可能实现方式、第三方面及第三方面中任一项可能实现方式中任一项所述的步骤。

第十二方面,本申请提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备或服务器上运行时,使得电子设备执行上述第二方面及第二方面中任一项可能实现方式、第四方面及第四方面中任一项可能实现方式中任一项所述的步骤。

第十三方面,本申请提供了一种计算机程序产品,当计算机程序产品在电子设备或服务器上运行时,使得电子设备执行上述第一方面及第一方面中任一项可能实现方式、第三方面及第三方面中任一项可能实现方式中任一项所述的步骤。

第十四方面,本申请提供了一种计算机程序产品,当计算机程序产品在电子设备或服务器上运行时,使得电子设备执行上述第二方面及第二方面中任一项可能实现方式、第四方面及第四方面中任一项可能实现方式中任一项所述的步骤。

本申请实施例提供了一种位姿确定方法,包括:获取目标图像,所述目标图像包括目标车位标记以及目标车位线;其中,所述目标车位标记对应的目标车位包括所述目标车位线;根据所述目标车位标记以及所述目标车位线确定位姿信息;其中,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。通过上述方式,在gps信号的定位结果较差时,可以根据所述目标车位标记以及所述目标车位线确定位姿信息,进而实现定位,且相比于基于3d点云进行定位的方式,本实施例中的数字地图中包括的数据较少。

附图说明

图1为本申请实施例提供的终端设备的结构示意图;

图2a为本申请实施例的终端设备的软件结构框图;

图2b为本申请实施例的服务器结构框图;

图2c为本申请实施例的位姿确定系统的结构框图;

图3为本申请实施例提供的一种位姿确定方法的实施例示意图;

图4a为本申请实施例中的一种目标图像的示意;

图4b为本申请实施例中一种目标图像的示意;

图4c为本申请实施例中一种目标车位的示意;

图5为本申请实施例中的目标车位标记的示意;

图6a为本申请例中一种地图的示意;

图6b为本申请实施例提供的一种位姿确定方法的流程示意;;

图7a为本申请实施例提供的一种位姿确定方法的流程示意;

图7b为本申请实施例提供的一种位姿确定方法的流程示意;

图8a至图8d为本申请实施例中的一种终端设备的界面示意图;

图8e为本申请实施例提供的一种位姿确定方法的流程示意;

图9为本申请实施例提供的一种位姿确定方法的流程示意;

图10a和图10b为本申请实施例中的一种终端设备的界面示意图;

图11为本申请实施例提供的一种位姿确定装置的结构示意;

图12为本申请实施例提供的一种位姿确定装置的结构示意;

图13为本申请实施例提供的终端设备的一种结构示意图;

图14为本申请实施例提供的服务器的一种结构示意图。

具体实施方式

下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释,而非旨在限定本发明。

下面结合附图,对本申请的实施例进行描述。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

为便于理解,下面将对本申请实施例提供的终端设备100的结构进行示例说明。参见图1,图1是本申请实施例提供的终端设备的结构示意图。

如图1所示,终端100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universalserialbus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentificationmodule,sim)卡接口195等。其中传感器模块180可以包括压力传感器180a,陀螺仪传感器180b,气压传感器180c,磁传感器180d,加速度传感器180e,距离传感器180f,接近光传感器180g,指纹传感器180h,温度传感器180j,触摸传感器180k,环境光传感器180l,骨传导传感器180m等。

可以理解的是,本发明实施例示意的结构并不构成对终端100的具体限定。在本申请另一些实施例中,终端100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(applicationprocessor,ap),调制解调处理器,图形处理器(graphicsprocessingunit,gpu),图像信号处理器(imagesignalprocessor,isp),控制器,视频编解码器,数字信号处理器(digitalsignalprocessor,dsp),基带处理器,和/或神经网络处理器(neural-networkprocessingunit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。

处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。

在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integratedcircuit,i2c)接口,集成电路内置音频(inter-integratedcircuitsound,i2s)接口,脉冲编码调制(pulsecodemodulation,pcm)接口,通用异步收发传输器(universalasynchronousreceiver/transmitter,uart)接口,移动产业处理器接口(mobileindustryprocessorinterface,mipi),通用输入输出(general-purposeinput/output,gpio)接口,用户标识模块(subscriberidentitymodule,sim)接口,和/或通用串行总线(universalserialbus,usb)接口等。

i2c接口是一种双向同步串行总线,包括一根串行数据线(serialdataline,sda)和一根串行时钟线(derailclockline,scl)。在一些实施例中,处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k,充电器,闪光灯,摄像头193等。例如:处理器110可以通过i2c接口耦合触摸传感器180k,使处理器110与触摸传感器180k通过i2c总线接口通信,实现终端100的触摸功能。

i2s接口可以用于音频通信。在一些实施例中,处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过i2s接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。

pcm接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中,音频模块170也可以通过pcm接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。

uart接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,uart接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过uart接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过uart接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。

mipi接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。mipi接口包括摄像头串行接口(cameraserialinterface,csi),显示屏串行接口(displayserialinterface,dsi)等。在一些实施例中,处理器110和摄像头193通过csi接口通信,实现终端100的拍摄功能。处理器110和显示屏194通过dsi接口通信,实现终端100的显示功能。

gpio接口可以通过软件配置。gpio接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,gpio接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。gpio接口还可以被配置为i2c接口,i2s接口,uart接口,mipi接口等。

usb接口130是符合usb标准规范的接口,具体可以是miniusb接口,microusb接口,usbtypec接口等。usb接口130可以用于连接充电器为终端100充电,也可以用于终端100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如ar设备等。

可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对终端100的结构限定。在本申请另一些实施例中,终端100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过终端100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。

终端100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在终端100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoiseamplifier,lna)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a,受话器170b等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在终端100上的包括无线局域网(wirelesslocalareanetworks,wlan)(如无线保真(wirelessfidelity,wi-fi)网络),蓝牙(bluetooth,bt),全球导航卫星系统(globalnavigationsatellitesystem,gnss),调频(frequencymodulation,fm),近距离无线通信技术(nearfieldcommunication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。

在一些实施例中,终端100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得终端100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(globalsystemformobilecommunications,gsm),通用分组无线服务(generalpacketradioservice,gprs),码分多址接入(codedivisionmultipleaccess,cdma),宽带码分多址(widebandcodedivisionmultipleaccess,wcdma),时分码分多址(time-divisioncodedivisionmultipleaccess,td-scdma),长期演进(longtermevolution,lte),bt,gnss,wlan,nfc,fm,和/或ir技术等。所述gnss可以包括全球卫星定位系统(globalpositioningsystem,gps),全球导航卫星系统(globalnavigationsatellitesystem,glonass),北斗卫星导航系统(beidounavigationsatellitesystem,bds),准天顶卫星系统(quasi-zenithsatellitesystem,qzss)和/或星基增强系统(satellitebasedaugmentationsystems,sbas)。

终端100通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏194和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquidcrystaldisplay,lcd),有机发光二极管(organiclight-emittingdiode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganiclightemittingdiode的,amoled),柔性发光二极管(flexlight-emittingdiode,fled),miniled,microled,micro-oled,量子点发光二极管(quantumdotlightemittingdiodes,qled)等。在一些实施例中,终端100可以包括1个或n个显示屏194,n为大于1的正整数。

终端100可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。

isp用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(chargecoupleddevice,ccd)或互补金属氧化物半导体(complementarymetal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,终端100可以包括1个或n个摄像头193,n为大于1的正整数。

数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当终端100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。终端100可以支持一种或多种视频编解码器。这样,终端100可以播放或录制多种编码格式的视频,例如:动态图像专家组(movingpictureexpertsgroup,mpeg)1,mpeg2,mpeg3,mpeg4等。

npu为神经网络(neural-network,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现终端100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。

外部存储器接口120可以用于连接外部存储卡,例如microsd卡,实现扩展终端100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储终端100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universalflashstorage,ufs)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行终端100的各种功能应用以及数据处理。

终端100可以通过音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,以及应用处理器等实现音频功能。例如音乐播放,录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。

扬声器170a,也称“喇叭”,用于将音频电信号转换为声音信号。终端100可以通过扬声器170a收听音乐,或收听免提通话。

受话器170b,也称“听筒”,用于将音频电信号转换成声音信号。当终端100接听电话或语音信息时,可以通过将受话器170b靠近人耳接听语音。

麦克风170c,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170c发声,将声音信号输入到麦克风170c。终端100可以设置至少一个麦克风170c。在另一些实施例中,终端100可以设置两个麦克风170c,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,终端100还可以设置三个,四个或更多麦克风170c,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。

耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130,也可以是3.5mm的开放移动电子设备平台(openmobileterminalplatform,omtp)标准接口,美国蜂窝电信工业协会(cellulartelecommunicationsindustryassociationoftheusa,ctia)标准接口。

压力传感器180a用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a,电极之间的电容改变。终端100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,终端100根据压力传感器180a检测所述触摸操作强度。终端100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。

陀螺仪传感器180b可以用于确定终端100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180b确定终端100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180b检测终端100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消终端100的抖动,实现防抖。陀螺仪传感器180b还可以用于导航,体感游戏场景。

气压传感器180c用于测量气压。在一些实施例中,终端100通过气压传感器180c测得的气压值计算海拔高度,辅助定位和导航。

磁传感器180d包括霍尔传感器。终端100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中,当终端100是翻盖机时,终端100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。

加速度传感器180e可检测终端100在各个方向上(一般为三轴)加速度的大小。当终端100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。

距离传感器180f,用于测量距离。终端100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,终端100可以利用距离传感器180f测距以实现快速对焦。

接近光传感器180g可以包括例如发光二极管(led)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。终端100通过发光二极管向外发射红外光。终端100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定终端100附近有物体。当检测到不充分的反射光时,终端100可以确定终端100附近没有物体。终端100可以利用接近光传感器180g检测用户手持终端100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式,口袋模式自动解锁与锁屏。

环境光传感器180l用于感知环境光亮度。终端100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合,检测终端100是否在口袋里,以防误触。

指纹传感器180h用于采集指纹。终端100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。

温度传感器180j用于检测温度。在一些实施例中,终端100利用温度传感器180j检测的温度,执行温度处理策略。例如,当温度传感器180j上报的温度超过阈值,终端100执行降低位于温度传感器180j附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,终端100对电池142加热,以避免低温导致终端100异常关机。在其他一些实施例中,当温度低于又一阈值时,终端100对电池142的输出电压执行升压,以避免低温导致的异常关机。

触摸传感器180k,也称“触控器件”。触摸传感器180k可以设置于显示屏194,由触摸传感器180k与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180k也可以设置于终端100的表面,与显示屏194所处的位置不同。

骨传导传感器180m可以获取振动信号。在一些实施例中,骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180m也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息,实现心率检测功能。

按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。终端100可以接收按键输入,产生与终端100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。

sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195,或从sim卡接口195拔出,实现和终端100的接触和分离。终端100可以支持1个或n个sim卡接口,n为大于1的正整数。sim卡接口195可以支持nanosim卡,microsim卡,sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。终端100通过sim卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,终端100采用esim,即:嵌入式sim卡。esim卡可以嵌在终端100中,不能和终端100分离。

终端100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的android系统为例,示例性说明终端100的软件结构。

图2a是本公开实施例的终端100的软件结构框图。

分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(androidruntime)和系统库,以及内核层。

应用程序层可以包括一系列应用程序包。

如图2a所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,wlan,蓝牙,音乐,视频,短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramminginterface,api)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2a所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。

内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。

视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供终端100的通信功能。例如通话状态的管理(包括接通,挂断等)。

资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。

androidruntime包括核心库和虚拟机。androidruntime负责安卓系统的调度和管理。

核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。

系统库可以包括多个功能模块。例如:表面管理器(surfacemanager),媒体库(medialibraries),三维图形处理库(例如:opengles),2d图形引擎(例如:sgl)等。

表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2d和3d图层的融合。

媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:mpeg4,h.264,mp3,aac,amr,jpg,png等。

三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。

2d图形引擎是2d绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。

下面结合捕获拍照场景,示例性说明终端100软件以及硬件的工作流程。

当触摸传感器180k接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。

可以结合上述终端100中设置的部件实现本公开实施例提供的一种确定位姿的方法。例如,可以通过天线1,天线2,移动通信模块150,无线通信模块160等部件实现和服务器之间的通讯,比如传输待查询图像、n个文本字段,接收服务器返回的初始位姿等。可以通过音频模块170,扬声器170a、耳机接口170d进行语音播报对用户的一些提示信息。可以通过显示屏194显示对用户的一些提示信息。可以通过摄像头193拍摄待查询图像、环境图像、初始图像等。可以通过陀螺仪传感器180b辅助确定终端的运动姿态等。可以通过上述终端100中设置的部件和本公开实施例提供的方法实现终端100的初始位姿确定功能。上述仅作举例,不做限定。

本公开再一示例性实施例提供了一种服务器1300。

服务器1300可以包括处理器1310、收发器1320,收发器1320可以与处理器1310连接,如图2b所示。收发器1320可以包括接收器和发送器,可以用于接收或者发送消息或数据,收发器1320可以是网卡。服务器1300还可以包括加速部件(可称为加速器),当加速部件为网络加速部件时,加速部件可以为网卡。处理器1310可以是服务器1300的控制中心,利用各种接口和线路连接整个服务器1300的各个部分,如收发器1320等。在本发明中,处理器1310可以是中央处理器(centralprocessingunit,cpu),可选的,处理器1310可以包括一个或多个处理单元。处理器1310还可以是数字信号处理器、专用集成电路、现场可编程门阵列、gpu或者其他可编程逻辑器件等。服务器1300还可以包括存储器1330,存储器1330可用于存储软件程序以及模块,处理器1310通过读取存储在存储器1330的软件代码以及模块,从而执行服务器1300的各种功能应用以及数据处理。

本公开一示例性实施例提供了一种位姿确定系统,如图2c所示,该系统可以包括终端设备和服务器。其中,终端设备可以是可移动终端、人机交互设备、车载视觉感知设备,如手机、扫地机、智能机器人、无人驾驶车辆、智能监控器、增强现实(augmentedreality,ar)穿戴设备等。相应地,本公开实施例提供的方法可以用于人机交互、车载视觉感知、增强现实、智能监控、无人驾驶、车库找车或者寻出口等应用领域中。

为了便于理解,结合附图和应用场景,对本申请实施例提供的一种位姿确定方法进行具体阐述。

参照图3,图3为本申请实施例提供的一种位姿确定方法的实施例示意图,如图3示出的那样,本申请提供的位姿确定方法,包括:

301、获取目标图像,所述目标图像包括目标车位标记以及目标车位线;其中,所述目标车位标记对应的目标车位包括所述目标车位线。

本申请实施例中,终端设备可以获取目标图像,其中,目标图像中可以包括用户当前停车所在的目标车位。

在一种场景中,当用户完成停车后,需要寻找车库的出口、进入地上楼层的电梯口或楼梯口等,通常情况下,可以是看车库里面的出口标志指示,然而在停车的附近可能找不到明显的出口标志指示。本申请实施例中,终端设备可以引导用户拍摄包括当前停车所在的目标车位的目标图像,或者引导用户从相册中选择包括当前停车所在的目标车位的目标图像。相应的,终端设备可以获取目标图像。

在一种场景中,当用户进入再次车库后,要寻找自己之前停的车,本申请实施例中,终端设备可以引导用户拍摄包括附近任意一个目标车位的目标图像,或者引导用户从相册中选择包括当前停车所在的目标车位的目标图像。相应的,终端设备可以获取目标图像。

在一种实施例中,终端设备可以显示目标拍摄界面,所述目标拍摄界面包括拍摄区域,所述拍摄区域包括预设的引导轮廓,若所述拍摄区域中的目标车位位于所述预设的引导轮廓内或者与所述预设的引导轮廓之间的位置差异在预设的范围内,则拍摄得到所述目标图像。

所述目标拍摄界面还包括引导提示,所述引导提示用于指示将拍摄区域中的目标车位移动至所述预设的引导轮廓内或者与所述预设的引导轮廓之间的位置差异在预设的范围内。

所述目标拍摄界面还包括第二引导提示,其中第二引导提示用于指示拍摄区域内的图像不满足优选图像条件,直到拍摄区域内的图像满足优选图像条件。

其中,优选图像条件至少包括:拍摄区域内的图像的清晰度大于或者等于清晰度阈值。

需要说明的是,步骤301的执行主体可以为终端设备。

302、根据所述目标车位标记以及所述目标车位线确定位姿信息;其中,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

本申请实施例中,终端设备可以获取所述目标车位线在所述目标图像中的第一像素位置;获取所述目标车位线在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述目标车位线在数字地图中的位置;根据所述第一像素位置以及所述第三位置信息确定位姿信息。

本申请实施例中,第一像素位置的确定可以由终端设备独立完成,或者由终端设备和服务器的交互来实现,即,服务器确定第一像素位置,并将第一像素位置发送给终端设备,接下来分别进行说明。

一、终端设备确定第一像素位置。

本申请实施例中,终端设备可以确定所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置。

本申请实施例中,终端设备在获取到目标图像之后,可以确定所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置。

可选地,终端设备可以识别目标图像中包括的目标车位标记,例如可以利用光学字符识别(opticalcharacterrecognition,ocr)技术识别所述目标图像中的目标车位标记。即,终端设备可以基于图像识别算法来确定目标图像中包括的目标车位标记。参照图4a,图4a为本申请实施例中的一种目标图像的示意,如图4a中示出的那样,目标图像包括目标车位标记401,其中图4a中示出的目标车位标记具体为“551”,终端设备可以基于图像识别算法识别出当前目标图像中包括的目标车位标记为“551”。

需要说明的是,本申请实施例中的目标车位标记可以为唯一指示该目标车位的位置的一串数字或者是包含文字的字符串等等,这里并不限定。

可选地,终端设备可以在显示界面上显示车位输入指示框,用户可以在车位输入指示框中输入,可选地,终端设备还可以在显示界面上显示指示信息,以指示用户在车位输入指示框中输入目标图像中的目标车位对应的目标车位标记,其中,目标车位标记可以是用户当前停车的目标车位标记,或者附近任一车辆的目标车位标记。相应的,终端设备可以获取在所述车位输入指示框中输入的所述目标车位标记。

本申请实施例中,所述目标车位可以包括目标车位线、第一角点和目标车位标记,所述第一角点为所述目标车位的目标车位线之间的一个相交点,终端设备可以确定所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置。

所述第一像素位置可以包括目标车位线在所述目标图像中的方向信息。通常,车位线可以为地面上具有一定宽度的印刷线的边界线,针对于一个车位而言,其车位线通常包括两个不相同的方向。具体的,可以参照图4a,如图4a中示出的那样,目标车位通常包括多个车位线,例如图4a中示出的多个车位线403,其中,针对于车辆车头方向左右两侧的车位线403,其在目标图像中的方向相同,针对于车头方向的前后两侧的车位线403,其在目标图像中的方向相同。本申请实施例中的目标车位线可以为多个车位线中的一个或多个。

需要说明的是,本实施例中的目标车位线可以是车位印刷线的边缘线,或者是车位印刷线的中心线,这里并不限定。接下来以目标车位线包括第一车位线为例进行说明。

本申请实施例中,终端设备可以通过图像检测算法来识别出目标图像中的第一车位线,并确定第一车位线在目标图像中的方向信息,其中方向信息可以表示该第一车位线在目标图像中的方向。可选地,可以通过第一车位线与目标图像中横轴或纵轴的方向的夹角来表示第一车位线在目标图像中的方向信息,或者,可以通过第一车位线上的任意两点来表示第一车位线在目标图像中的方向信息(两点可以确定一条直线),其中,上述任意两点可以是第一车位线上的任意两点,例如端点或者是线段中的点。需要说明的是,由于一个车位的车位线在目标图像中通常对应于两个方向,关于究竟是确定包括其中的一个方向的方向信息,还是确定包括两个方向的方向信息,可以参照后续实施例中的描述,这里不再赘述。

需要说明的是,以上第一车位线在目标图像中的方向信息的表示方法仅为一种示意,实际应用中,可以选择其他第一车位线在目标图像中的方向信息的表达方式,这里并不限定。

需要说明的是,终端设备可以确定多个车位线中的至少一个车位线在目标图像中的方向信息,其中,至少一个车位线中的每个车位线在目标图像中的方向信息的具体描述,可以参照上述实施例中的描述,这里不再赘述。

本申请实施例中,所述第一像素位置可以包括所述第一角点在所述目标图像中的像素位置。通常,车位线可以为地面上具有一定宽度的印刷线的边界线,第一角点可以为车位线之间的多个交点中的一个。具体的,可以参照图4a,如图4a中示出的那样,目标车位通常包括多个角点,例如图4a中示出的多个角点402,第一角点可以为多个角点402中的一个。

需要说明的是,本实施例中的角点可以是车位印刷线的边缘线的交点,或者是车位印刷线的相交区域的中心点(如图4b中左下角的角点402),这里并不限定。

本申请实施例中,在一种场景中,车位是独立的,即没有其他车位和本车位共用车位线,此时角点可以包括内角点和外角点,其中内角点可以理解为位于车位印刷线内侧,距离车辆较近的角点,外角点可以理解为位于车位印刷线外侧,距离车辆较远的角点。在一种场景中,车位是非独立的,即与其他车位共用部分车位线,此时角点可以包括的外角点的数量小于独立的车位包括的外角点的数量。参照图4b,图4b为本申请实施例中一种目标图像的示意,如图4b中示出的那样,目标图像包括多个角点,其中和图4a中不同的是,部分外角点由于和其他车位共用了车位印刷线,外角点的数量比图4a中的少。

本申请实施例中,终端设备可以通过图像检测算法来识别出目标图像中的第一角点,并确定第一角点在所述目标图像中的像素位置。可选地,可以通过像素坐标来表示第一角点在所述目标图像中的像素位置,或者,可以通过第一角点对应的两条车位线的方向信息来表示第一角点在所述目标图像中的像素位置(第一角点对应的两条车位线的交点为第一角点)。

需要说明的是,以上第一角点在所述目标图像中的像素位置的表示方法仅为一种示意,实际应用中,可以选择其他第一角点在所述目标图像中的像素位置的表达方式,这里并不限定。

需要说明的是,终端设备可以确定多个角点中的至少一个角点在所述目标图像中的像素位置,其中,至少一个角点中的每个角点在所述目标图像中的像素位置的具体描述,可以参照上述实施例中的描述,这里不再赘述。

需要说明的是,图4a和图4b中示出的目标车位仅为一种示意,在实际应用中目标车位的形状可以但不限于如图4c中示出的那样,参照图4c,图4c为本申请实施例中一种目标车位的示意,图4c示出的四种目标车位的形状示意,其中目标车位可以是图4c示出的多个车位中的一个。

二、由服务器确定所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置。

本申请实施例中,终端在获取到目标图像后,可以将目标图像发送至服务器,相应的,服务器可以确定所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置。关于服务器如何确定所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置,可以参照上述实施例中的描述,这里不再赘述。

本申请实施例中,第三位置信息的确定可以由终端设备独立完成,或者由终端设备和服务器的交互来实现,即服务器确定第三位置信息,并将第三位置信息发送给终端设备,接下来分别进行说明。

一、终端设备获取所述目标车位线在数字地图中对应的第三位置信息。

在一种实施例中,终端设备可以获取目标图像,并确定所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置,获取所述目标车位线在数字地图中对应的第三位置信息,所述第三位置信息表示所述目标车位线在数字地图中预设的位置。

其中,终端设备可以在数字地图中获取到目标车位标记对应的第二位置信息,并从第二位置信息中获取与目标车位线对应的第三位置信息。

在一种实施例中,终端设备可以获取目标图像,并向服务器发送获取到的目标图像,服务器可以确定所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置,并将所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置发送至终端设备,终端设备可以获取所述目标车位线对应的第三位置信息,所述第三位置信息表示所述目标车位在数字地图中预设的位置信息。

本申请实施例中,终端设备可以存储有预设的地图,该地图包括各个车位标记以及与各个车位标记对应的第三位置信息,其中第三位置信息可以表示目标车位线在数字地图中的位置信息,可选地,第三位置信息表示所述目标车位在数字地图中的三维坐标位置。

接下来描述,终端设备如何基于预设的数字地图获取所述目标车位线对应的第三位置信息。

本申请实施例中,地图可以包括各个车位标记对应的表示车位预设的位置信息,具体的,地图中可以包括车位的至少一个角点的位置、或者至少一个车位线的预设方向、或者目标车位标记的外接矩形框对应的预设位置,其中目标车位标记的外接矩形框对应的预设位置可以包括外接矩形框中的至少一个角点的预设位置、或者至少一个边缘线的预设方向。需要说明的是,上述预设位置和预设方向可以在通用横轴墨卡托投影坐标(universaltransversemercator,utm)表达,本申请并不限定。

本申请实施例中,地图可以包括目标车位标记对应的全部位置信息(例如包括多个车位线的预设方向、多个角点的预设位置等),而终端设备从目标图像中确定的第一像素位置可以只获取到目标车位的部分车位线的方向信息、部分角点的像素位置等等,相应的,第三位置信息为与第一像素位置中各个部分一一对应的位置信息。

本申请实施例中,终端设备在确定目标车位标记之后,可以基于数字地图确定第三位置信息,具体的,当所述第一像素位置包括所述第一车位线在所述目标图像中的方向信息时,所述第三位置信息可以包括所述第一车位线对应的预设方向;或,当所述第一像素位置包括所述第一角点在所述目标图像中的像素位置时,所述第三位置信息可以包括所述第一角点对应的预设位置;或,当所述第一像素位置包括所述目标车位标记在所述目标图像中的外接矩形框的像素位置时,所述第三位置信息可以包括所述目标车位标记的外接矩形框对应的预设位置。参照图6a,图6a为本申请例中一种地图的示意,如图6a中示出的那样,地图包括多个角点601、车位线602以及外接矩形框的角点603等等。

可选地,本申请实施例中,第一像素位置可以至少包括特征线1在目标图像中的方向信息、特征线2在目标图像中的方向信息和特征线3在目标图像中的方向信息在目标图像中的方向信息,第三位置信息可以包括特征线1的预设方向、特征线2的预设方向和特征线3的预设方向的预设方向,其中,特征线1、特征线2或特征线3可以为一条车位线或目标车位标记外接矩形框的一条边缘线,特征线1、特征线2或特征线3中的至少两条特征线在目标图像中的方向不同。

可选地,终端设备还可以获取拍摄所述目标图像时,所述终端设备的重力方向,本申请实施例中,第一像素位置可以包括角点1在目标图像中的像素坐标、角点2在目标图像中的像素坐标以及重力方向,第三位置信息可以包括角点1的预设位置和角点2的预设位置,其中,角点1或角点2可以为车位线的一个交点或者是目标车位标记外接矩形框的一个角点。

可选地,本申请实施例中,第一像素位置可以包括角点1在目标图像中的像素坐标、角点2在目标图像中的像素坐标、角点3在目标图像中的像素坐标和角点4在目标图像中的像素坐标,第三位置信息可以包括角点1的预设位置、角点2的预设位置、角点3的预设位置和角点4的预设位置。其中,角点1、角点2、角点3或角点4可以为车位线的一个交点或者是目标车位标记外接矩形框的一个角点。

接下来,介绍上述预设的数字地图的构建方法,建图过程可以采用但不限于如下三种方式中一种:

一、利用全站仪等测距和测角仪器人工测量每个车位的位置信息;

二、由于楼栋的建造是根据预先设计好的建筑cad平面施工图来建造的,对于cad图纸中已经规划好车位的,我们直接从该平面施工图中获取本发明想要的车位图。

三、利用视觉的方式建图,其流程可以为如下:用相机(可以搭配激光lidar一起)扫描车库,确保相机采集的照片覆盖所有的车位,生成3d点云和照片在点云坐标系下位姿,此步骤中若有激光lidar则直接生成结果,若没有激光lidar则通过sfm算法生成结果,利用mvs(multiple-viewstereo)算法生成每张照片的深度图,对每个车位,选取一张能看清该车位的图片,通过ocr提取该车位的车位标记,并从图片上人工标注出车位线左右两侧的内角点的位置,依据该照片的位姿和深度图以及标记的左右两侧的内角点的位置,计算该车位的车位线左右两侧内焦点在点云坐标系中的坐标。车位线的宽度直接用尺子人工测量。对于此车位,再实际测量该车位的车位标记的长度和高度,由于车位标记位于车位中间,结合车位线的坐标即可推算出车位标记方框的坐标。由此,我们获得了每个车位的车位标记,车位线坐标以及车位标记角点坐标,生成点云坐标系下车位线地图后,利用差分gps和打控制点的方式将此坐标系转换到utm坐标系下。

二、服务器确定所述目标车位线在数字地图中对应的第三位置信息。

在一种实施例中,终端设备可以获取目标图像,确定所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置,并将所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置发送至服务器,服务器可以获取所述目标车位线对应的第三位置信息,所述第三位置信息表示所述目标车位线在数字地图中预设的位置信息。

在一种实施例中,终端设备可以获取目标图像,将获取到的目标图像发送至服务器,服务器可以确定所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置,并获取所述目标车位线对应的第三位置信息,所述第三位置信息表示所述目标车位线在数字地图中预设的位置信息。

关于服务器如何获取所述目标车位线对应的第三位置信息,所述第三位置信息表示所述目标车位线在数字地图中预设的位置信息,可以参照上述实施例中的描述,这里不再赘述。

本申请实施例中,根据所述第一像素位置和所述第三位置信息来确定位姿信息的步骤可以由终端设备独立完成,或者由终端设备和服务器的交互来实现,即,服务器确定位姿信息,并将位姿信息发送给终端设备,接下来分别进行说明。

一、终端设备根据所述第一像素位置和所述第三位置信息确定位姿信息;其中所述目标图像为基于终端拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

在一种实施例中,终端设备获取目标图像;获取所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置;获取所述目标车位线对应的第三位置信息;根据所述第一像素位置和所述第三位置信息确定位姿信息;其中所述目标图像为基于终端拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

在一种实施例中,终端设备获取目标图像;获取所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置,并将目标图像包括的目标车位标记发送至服务器,服务器可以获取所述目标车位线对应的第三位置信息,所述第三位置信息表示所述目标车位线在数字地图中预设的位置信息,并将所述目标车位线对应的第三位置信息发送至终端设备,终端设备可以根据所述第一像素位置和所述第三位置信息确定位姿信息;其中所述目标图像为基于终端拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

在一种实施例中,终端设备获取目标图像,并将获取到的目标图像发送至服务器,服务器可以确定所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置,获取所述目标车位线对应的第三位置信息,所述第三位置信息表示所述目标车位线在数字地图中预设的位置信息,并将第一像素位置和所述第三位置信息发送至终端设备,终端设备可以根据所述第一像素位置和所述第三位置信息确定位姿信息;其中所述目标图像为基于终端拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

在一种实施例中,终端设备获取目标图像,并将获取到的目标图像发送至服务器,服务器可以确定所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置,并将目标车位标记对应的目标车位线在所述目标图像中的第一像素位置发送至终端设备,终端设备可以获取所述目标车位线对应的第三位置信息,所述第三位置信息表示所述目标车位线在数字地图中预设的位置信息,根据所述第一像素位置和所述第三位置信息确定位姿信息;其中所述目标图像为基于终端拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

本申请实施例中,终端设备获取到第一像素位置以及第三位置信息后,可以根据所述第一像素位置和所述第三位置信息确定位姿信息;其中所述目标图像为基于终端拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

在一种实施例中,终端设备可以根据所述第一像素位置和所述第三位置信息通过2d-3d坐标匹配算法确定位姿。

本申请实施例中,所述目标车位线包括第一车位线、第二车位线和第三车位线,所述第一车位线、所述第二车位线以及所述第三车位线中的至少两条车位线在所述数字地图中不平行,第一角点为所述第一车位线和所述第二车位线的相交点,其中,所述第一像素位置包括所述第一车位线、所述第二车位线以及所述第三车位线在所述目标图像中的方向信息,所述第三位置信息包括所述第一车位线、所述第二车位线以及所述第三车位线在所述数字地图中对应的预设方向;或,所述第一像素位置包括所述第一车位线以及所述第二车位线在所述目标图像中的方向信息、以及所述第一角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一车位线以及所述第二车位线在所述数字地图中对应的预设方向、以及所述第一角点在所述数字地图中对应的预设位置。

具体的,第一像素位置可以至少包括特征线1在目标图像中的方向信息、特征线2在目标图像中的方向信息和特征线3在目标图像中的方向信息在目标图像中的方向信息,第三位置信息可以包括特征线1的预设方向、特征线2的预设方向和特征线3的预设方向的预设方向。终端设备可以用透视n条线的位姿求解算法(perspectivenlines,pnl)算法利用检测出来的至少3条线(同时包含横线和竖线)的2d-3d匹配计算位姿。

具体的,第一像素位置可以包括角点1在目标图像中的像素坐标、角点2在目标图像中的像素坐标以及重力方向,第三位置信息可以包括角点1的预设位置和角点2的预设位置。终端设备可以用透视2个点的位姿求解算法(perspective2points,p2p)结合重力方向的算法求出位姿。

具体的,第一像素位置可以包括角点1在目标图像中的像素坐标、角点2在目标图像中的像素坐标、角点3在目标图像中的像素坐标和角点4在目标图像中的像素坐标,第三位置信息可以包括角点1的预设位置、角点2的预设位置、角点3的预设位置和角点4的预设位置。终端设备可以用透视n个点的位姿求解算法(perspectivenpoints,pnp)求出位姿。

本申请实施例中,所述位姿信息可以包括拍摄所述目标图像时,所述终端设备所处的坐标位置,终端设备可以根据所述坐标位置进行路径规划,得到规划后的路径,其中所述规划后的路径的起点或终点为所述坐标位置。

本申请实施例中,终端设备可以显示二维导航界面,所述二维导航界面包括所述规划后的路径。

本申请实施例中,所述位姿信息可以包括拍摄所述目标图像时,所述终端设备的偏航角、俯仰角和横滚角,终端设备可以显示ar导航界面,所述ar导航界面包括当前终端设备所处的环境图像以及导航指引,所述导航指引为基于所述终端设备所在的坐标位置、偏航角、俯仰角和横滚角确定的。

二、服务器根据所述第一像素位置和所述第三位置信息确定位姿信息;其中所述目标图像为基于终端拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

在一种实施例中,终端设备获取目标图像;获取所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置;获取所述目标车位线对应的第三位置信息,所述第三位置信息表示所述目标车位线在数字地图中预设的位置信息,并将第一像素位置和所述第三位置信息发送至服务器,服务器可以根据所述第一像素位置和所述第三位置信息确定位姿信息;其中所述目标图像为基于终端拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

在一种实施例中,终端设备获取目标图像;获取所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置,并将目标图像包括的目标车位标记发送至服务器,服务器可以获取所述目标车位线对应的第三位置信息,所述第三位置信息表示所述目标车位线在数字地图中预设的位置信息,根据所述第一像素位置和所述第三位置信息确定位姿信息;其中所述目标图像为基于终端拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

在一种实施例中,终端设备获取目标图像,并将获取到的目标图像发送至服务器,服务器可以确定所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置,获取所述目标车位线对应的第三位置信息,所述第三位置信息表示所述目标车位线在数字地图中预设的位置信息,根据所述第一像素位置和所述第三位置信息确定位姿信息;其中所述目标图像为基于终端拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

在一种实施例中,终端设备获取目标图像,并将获取到的目标图像发送至服务器,服务器可以确定所述目标图像包括的目标车位标记以及所述目标车位标记对应的目标车位线在所述目标图像中的第一像素位置,并将所述目标图像包括的目标车位标记发送至终端设备,终端设备可以获取所述目标车位线对应的第三位置信息,所述第三位置信息表示所述目标车位线在数字地图中预设的位置信息,并将第三位置信息发送至服务器,服务器可以根据所述第一像素位置和所述第三位置信息确定位姿信息;其中所述目标图像为基于终端拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

关于服务器如何根据所述第一像素位置和所述第三位置信息确定位姿信息可以参照上述实施例中的描述,这里不再赘述。

本申请实施例中,终端设备在获取到位姿信息,或者服务器获取到位姿信息并将位姿信息发送至终端设备之后,终端设备可以还可以获取终端设备的位姿变化;并根据位姿信息和获取到的终端设备的位姿变化,确定实时位姿。

在本申请实施中,终端设备可以将获取到的位姿信息作为初始位姿,并通过即时定位与地图构建(simultaneouslocalizationandmapping,slam)跟踪技术,确定终端设备的位姿变化,基于初始位姿和终端的位姿变化,确定实时位姿。终端设备可以基于实时位姿,进行导航、路线规划、避障等处理。例如在进行路径规划时,终端设备根据所述坐标位置进行路径规划,得到规划后的路径,其中所述规划后的路径的起点或终点为所述坐标位置,显示二维导航界面,所述二维导航界面包括所述规划后的路径。或者,显示ar导航界面,所述ar导航界面包括当前终端设备所处的环境图像以及导航指引,所述导航指引为基于所述终端设备的偏航角、俯仰角和横滚角确定的。

可选地,除了可以基于实时位姿,进行导航、路线规划、避障等处理之外,在获取到位姿信息之后,终端设备还可以获取当前场景的预览流;根据位姿信息,确定预览流中的场景对应的数字地图中包含的预设媒体内容;在预览流中渲染媒体内容。

在本申请实施中,如果终端设备为手机或者ar穿戴式设备等,可以基于位姿信息构建虚拟场景。首先,终端设备可以获取当前场景的预览流,例如,用户可以在某商场中拍摄当前环境的预览流。接着,终端设备可以根据上面提到过的方法确定位姿信息作为初始位姿。随后,终端设备可以获取数字地图,数字地图记录了世界坐标系中的各个位置的三维坐标,预设的三维坐标位置处存在对应的预设媒体内容,终端可以在数字地图中,确定实时位姿对应的目标三维坐标,如果目标三维坐标处存在对应的预设媒体内容,则获取预设媒体内容。例如,用户对着一个目标店铺进行拍摄,终端识别到实时位姿,确定当前摄像头正对着一个目标店铺进行拍摄,可以获取目标店铺对应的预设媒体内容,目标店铺对应的预设媒体内容可以是目标店铺的说明信息,比如目标店铺中有哪些商品是值得购买的商品等。基于此终端可以在预览流中渲染媒体内容,此时,用户可以在手机中目标店铺对应的图像附近的预设区域内,查看到目标店铺对应的预设媒体内容。在用户查看完目标店铺对应的预设媒体内容之后,就可以对目标店铺有大概的了解。

可以针对不同场所设置不同的数字地图,这样当用户移动到其他场所时,也可以基于本公开实施例中提供的渲染媒体内容的方式,获取实时位姿对应的预设媒体内容,在预览流中渲染媒体内容。

本申请实施例提供了一种位姿确定方法,包括:获取目标图像,所述目标图像包括目标车位标记以及目标车位线;其中,所述目标车位标记对应的目标车位包括所述目标车位线;根据所述目标车位标记以及所述目标车位线确定位姿信息;其中,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。通过上述方式,在gps信号的定位精度较差时,终端设备可以根据所述目标车位标记以及所述目标车位线确定位姿信息,进而实现定位,且相比于基于3d点云进行定位的方式,本实施例中的地图中包括的数据较少。

参照图6b,图6b为本申请实施例提供的一种位姿确定方法的实施例示意图,如图6b示出的那样,本申请提供的位姿确定方法,包括:

604、获取目标车位线在目标图像中的第一像素位置,所述目标图像包括目标车位标记以及目标车位线;其中,所述目标车位标记对应的目标车位包括所述目标车位线;

605、获取所述目标车位线在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述目标车位线在数字地图中的坐标位置,所述数字地图包括所述目标车位标记对应的第二位置信息,所述第二位置信息包括所述第三位置信息;

606、根据所述第一像素位置以及所述第三位置信息确定位姿信息,其中所述目标图像为基于终端设备拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

步骤604至步骤606的描述可以参照上述实施例中步骤301和步骤302中关于服务器侧的描述,这里不再赘述。

可选地,服务器可以接收所述终端设备发送的目标图像,确定所述目标车位线在所述目标图像中的第一像素位置。

可选地,服务器可以接收所述终端设备发送的所述目标车位线在目标图像中的第一像素位置。

可选地,服务器可以接收所述终端设备发送的目标图像或所述目标车位标记;

在数字地图中确定所述目标车位线对应的第三位置信息。

可选地,服务器可以接收所述终端设备发送的所述目标车位线在数字地图中对应的第三位置信息。

可选地,所述目标车位线包括第一车位线、第二车位线和第三车位线,所述第一车位线、所述第二车位线以及所述第三车位线中的至少两条车位线在所述数字地图中不平行,第一角点为所述第一车位线和所述第二车位线的相交点,服务器可以根据所述第一像素位置以及所述第三位置信息确定位姿信息;

其中,所述第一像素位置包括所述第一车位线、所述第二车位线以及所述第三车位线在所述目标图像中的方向信息,所述第三位置信息包括所述第一车位线、所述第二车位线以及所述第三车位线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一车位线以及所述第二车位线在所述目标图像中的方向信息、以及所述第一角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一车位线以及所述第二车位线在所述数字地图中对应的预设方向、以及所述第一角点在所述数字地图中对应的预设位置。

可选地,服务器可以接收所述终端设备发送的拍摄所述目标图像时,所述终端设备的重力方向;

根据所述第一像素位置、所述第三位置信息和所述重力方向确定位姿信息。

可选地,服务器可以确定所述第一像素位置以及所述第三位置信息的2d-3d对应关系,其中,所述2d-3d对应关系表示所述目标车位线在所述目标图像中的二维坐标与在实际空间中的三维坐标的对应关系;

根据所述2d-3d对应关系,确定所述位姿信息。

参照图7a,图7a为本申请实施例提供的一种位姿确定方法的实施例示意图,如图7a示出的那样,本申请提供的位姿确定方法,包括:

801、获取目标图像,所述目标图像包括目标车位标记。

步骤801的描述可以参照上述实施例中步骤301的描述,这里不再赘述。

802、根据所述目标车位标记以及所述目标车位标记的外接图形在所述目标图像中的第一像素位置确定位姿信息;其中所述目标图像为基于终端拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

本申请实施例中,外接图形可以外接矩形框、外接多边形框等等,以外接图形为外接矩形框为例,终端设备可以获取所述目标车位标记的外接矩形框在所述目标图像中的第一像素位置;获取所述外接矩形框在数字地图中对应的第三位置信息;根据所述第一像素位置和所述第三位置信息确定位姿信息。

本申请实施例中,所述第一像素位置可以包括所述目标车位标记在所述目标图像中的外接矩形框的像素位置。其中,目标车位标记通常印刷在车位的前端,例如,图4a和图4b中示出的目标车位标记401。

本申请实施例中,所述第一像素位置可以包括所述目标车位标记在所述目标图像中的外接矩形框的第二角点的像素位置;或,所述第一像素位置包括所述目标车位标记在所述目标图像中的外接矩形框的边缘线的方向信息。

本申请实施例中,终端设备可以识别出目标车位标记在目标图像的位置,并获取到该目标车号的外接矩形框,该外接矩形框外接在目标车位标记外围,参照图5,图5为本申请实施例中的目标车位标记的示意,如图5中示出的那样,目标车位标记所在区域的外接矩形可以包括四个角点404,本实施例中的第二角点为四个角点404中的一个角点,目标车位标记所在区域的外接矩形可以包括四个边缘线405,本实施例中的第一边缘线为四个边缘线405中的一个边缘线。

本申请实施例中,可以获取所述外接矩形框对应的第三位置信息,所述第三位置信息表示所述目标车位标记的外接矩形框预设的位置信息。

本申请实施例中,所述第三位置信息可以包括所述目标车位标记的外接矩形框对应的预设位置。参照图6a,图6a为本申请例中一种地图的示意,如图6a中示出的那样,地图包括外接矩形框的角点603以及外接矩形框的边缘线等等。

根据所述第一像素位置和所述第三位置信息确定位姿信息;其中所述目标图像为基于终端拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

本申请实施例中,可以根据所述第一像素位置和所述第三位置信息通过2d-3d坐标匹配算法确定位姿。

具体的,第一像素位置可以至少包括特征线1在目标图像中的方向信息、特征线2在目标图像中的方向信息和特征线3在目标图像中的方向信息在目标图像中的方向信息,第三位置信息可以包括特征线1的预设方向、特征线2的预设方向和特征线3的预设方向的预设方向。终端设备可以用透视n条线的位姿求解算法(perspectivenlines,pnl)算法利用检测出来的至少3条线(同时包含横线和竖线)的2d-3d匹配计算位姿。

具体的,第一像素位置可以包括角点1在目标图像中的像素坐标、角点2在目标图像中的像素坐标以及重力方向,第三位置信息可以包括角点1的预设位置和角点2的预设位置。终端设备可以用透视2个点的位姿求解算法(perspective2points,p2p)结合重力方向gravity的算法求出位姿。

具体的,第一像素位置可以包括角点1在目标图像中的像素坐标、角点2在目标图像中的像素坐标、角点3在目标图像中的像素坐标和角点4在目标图像中的像素坐标,第三位置信息可以包括角点1的预设位置、角点2的预设位置、角点3的预设位置和角点4的预设位置。终端设备可以用透视n个点的位姿求解算法(perspectivenpoints,pnp)求出位姿。

需要说明的是,上述各个角点为目标车位标记的外接矩形框的交点,特征线为目标车位标记的外接矩形框的边缘线。

可选地,终端设备可以显示车位输入指示框;获取在所述车位输入指示框中输入的所述目标车位标记。

可选地,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置;终端设备可以根据所述坐标位置进行路径规划,得到规划后的路径,其中所述规划后的路径的起点或终点为所述坐标位置;显示二维导航界面,所述二维导航界面包括所述规划后的路径。

可选地,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角,终端设备可以显示ar导航界面,所述ar导航界面包括当前终端设备所处的环境图像以及导航指引,所述导航指引为基于所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角确定的。

可选地,终端设备可以获取所述终端设备拍摄所述目标图像时的定位信息;所述获取所述目标车位线在数字地图中对应的第三位置信息,包括:在所述数字地图中获取与所述定位信息相匹配的所述外接矩形框对应的第三位置信息。

可选地,所述外接图形包括第一边缘线、第二边缘线和第三边缘线,所述第一边缘线、所述第二边缘线以及所述第三边缘线中的至少两条边缘线在所述数字地图中不平行,第二角点为所述第一边缘线和所述第二边缘线的相交点,所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

根据所述第一像素位置以及所述第三位置信息确定位姿信息;

其中,所述第一像素位置包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述目标图像中的方向信息,所述第三位置信息包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一边缘线以及所述第二边缘线在所述目标图像中的方向信息、以及所述第二角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一边缘线以及所述第二边缘线在所述数字地图中对应的预设方向、以及所述第二角点在所述数字地图中对应的预设位置。

可选地,终端设备可以获取所述终端设备拍摄所述目标图像时的重力方向,根据所述第一像素位置、所述第三位置信息和所述重力方向确定位姿信息。

可选地,终端设备可以确定所述第一像素位置和所述第三位置信息的2d-3d对应关系;根据所述2d-3d对应关系,确定位姿信息。

本申请实施例中,可以通过终端设备执行步骤802或者通过终端设备和服务器之间的交互实现步骤802。

本申请实施例中,终端设备可以获取所述目标车位标记的外接矩形框在所述目标图像中的第一像素位置;获取所述目标车位线在数字地图中对应的第三位置信息,所述第三位置信息表示所述目标车位标记的外接矩形框在数字地图中的位置信息;根据所述第一像素位置和所述第三位置信息确定位姿信息。

本申请实施例中,终端设备可以向服务器发送所述目标图像;接收所述服务器根据所述目标图像确定的位姿信息,其中,所述位姿信息为所述服务器根据所述目标车位标记的外接矩形框在所述目标图像中的第一像素位置以及所述目标车位线在数字地图中对应的第三位置信息确定的,所述第三位置信息表示所述目标车位标记的外接矩形框在数字地图中的位置信息。

本申请实施例中,终端设备可以获取所述目标车位标记的外接矩形框在所述目标图像中的第一像素位置;向所述服务器发送所述目标车位标记和所述第一像素位置;接收所述服务器根据所述目标车位标记和所述第一像素位置确定的位姿信息,其中,所述位姿信息为所述服务器根据所述第一像素位置以及所述目标车位线在数字地图中对应的第三位置信息确定的,所述第三位置信息表示所述目标车位标记的外接矩形框在数字地图中的位置信息。

本申请实施例中,终端设备可以获取所述目标车位线在数字地图中对应的第三位置信息,所述第三位置信息表示所述目标车位标记的外接矩形框在数字地图中的位置信息;向所述服务器发送所述目标图像和所述第三位置信息;接收所述服务器根据所述目标图像和所述第三位置信息确定的位姿信息,其中,所述位姿信息为所述服务器根据所述目标车位标记的外接矩形框在所述目标图像中的第一像素位置以及所述第三位置信息确定的。

本申请实施例中,终端设备可以获取到目标车位标记所在区域的外接矩形框的第二角点在目标图像中的像素位置,以及第一边缘线的方向信息,关于第二角点的像素位置以及第一边缘线的方向信息的具体表达方式,可以参照上述实施例中的描述,这里不再赘述。

在一种场景中,当用户完成停车后,需要寻找车库的出口、进入地上楼层的电梯口或楼梯口等,通常情况下,可以是看车库里面的出口标志指示,然而在停车的附近可能找不到明显的出口标志指示。为了解决上述问题,接下来介绍一种位姿确定方法,参照图7b,图7b为本申请实施例提供的一种位姿确定方法的流程示意,如图7b中示出的那样,本实施例提供的位姿确定方法包括:

701、接收第一导航指令,所述第一导航指令用于指示进行到预设坐标位置的导航。

本申请实施例中,终端设备中预存的地图可以包括车库出口所在的预设坐标位置,本申请实施例中的预设坐标位置可以是出口所在的位置坐标,参照图8a至图8d,图8a至图8d为本申请实施例中的一种终端设备的界面示意图,如图8a中示出的那样,终端设备可以显示用于指示出口导航的控件,用户可以点击上述控件,相应的,终端设备相当于接收第一导航指令,所述第一导航指令用于指示进行到预设坐标位置的导航。

702、显示目标拍摄界面。

本申请实施例中,如图8b中示出的那样,所述目标拍摄界面可以包括拍摄区域,如图8c中示出的那样,所述拍摄区域还可以包括预设的引导轮廓以及引导提示(可以但不限于是如图8c中示出的“请对齐车位线”的提示),所述引导提示用于指示将拍摄区域中的目标车位移动至所述预设的引导轮廓内或者与所述预设的引导轮廓之间的位置差异在预设的范围内,若所述拍摄区域中的目标车位位于所述预设的引导轮廓内或者与所述预设的引导轮廓之间的位置差异在预设的范围内,则拍摄得到所述目标图像。

703、通过对目标图像执行预设的步骤,得到位姿信息。

所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置、拍摄所述目标图像时,所述终端设备的偏航角、俯仰角和横滚角等。

步骤703的具体描述可以参照上述实施例中步骤301至步骤304的描述,这里不再赘述。

704、根据位姿信息进行路径规划,得到规划后的路径,所述规划后的路径的起点为所述坐标位置,所述路径规划的终点为预设坐标位置。

本申请实施例中,当得到终端设备当前所在的位置坐标后,可以基于终端设备当前所在的位置坐标以及车库的出口位置坐标位置进行路径规划,得到规划后的路径。

705、显示ar导航界面,所述ar导航界面包括当前终端设备所处的环境图像以及导航指引,所述导航指引为基于所述终端设备的偏航角、俯仰角和横滚角确定的。

本申请实施例中,终端设备可以显示ar导航界面,所述ar导航界面包括当前终端设备所处的环境图像以及导航指引,参照图8d中的上半界面,其中,图8d中的上半界面示出的ar导航界面包括当前终端设备所处的环境图像以及导航指引。

706、显示二维导航界面,所述二维导航界面包括所述规划后的路径。

本申请实施例中,终端设备可以显示二维导航界面,所述二维导航界面包括所述规划后的路径,参照图8d中的下半界面,其中,图8d中的下半界面示出的二维导航界面包括所述规划后的路径。

需要说明的是,上述步骤705和步骤706可以同时执行以得到图8d中示出的或者类似的既包括ar导航界面也包括二维导航界面的界面。上述步骤705和步骤706可以只执行其中的一个,当执行步骤705时,终端设备可以显示ar导航界面,当执行步骤706时,终端设备可以显示二维导航界面。

需要说明的是,上述图8a至图8d中的界面包括的内容仅为一种示意,本申请并不限定。

参照图8e,图8e为本申请实施例提供的一种位姿确定方法的实施例示意图,如图8e示出的那样,本申请提供的位姿确定方法,包括:

803、获取目标车位标记的外接图形在目标图像中的第一像素位置,所述目标图像包括所述目标车位标记;

804、获取所述外接图形在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述外接图形在数字地图中的坐标位置,所述数字地图包括所述目标车位标记对应的第二位置信息,所述第二位置信息包括所述第三位置信息;

805、根据所述第一像素位置和所述第三位置信息确定位姿信息。

可选地,服务器还用于接收所述终端设备发送的目标图像;确定所述目标车位标记的外接矩形框在目标图像中的第一像素位置。

可选地,服务器还用于接收所述终端设备发送的所述目标车位标记的外接矩形框在目标图像中的第一像素位置。

可选地,服务器还用于接收所述终端设备发送的目标图像或所述目标车位标记;

在数字地图中确定所述目标车位标记对应的第二位置信息。

可选地,服务器还用于接收所述终端设备发送的所述目标车位线在数字地图中对应的第三位置信息。

可选地,所述外接图形包括第一边缘线、第二边缘线和第三边缘线,所述第一边缘线、所述第二边缘线以及所述第三边缘线中的至少两条边缘线在所述数字地图中不平行,第二角点为所述第一边缘线和所述第二边缘线的相交点,服务器还用于:

根据所述第一像素位置以及所述第三位置信息确定位姿信息;

其中,所述第一像素位置包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述目标图像中的方向信息,所述第三位置信息包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一边缘线以及所述第二边缘线在所述目标图像中的方向信息、以及所述第二角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一边缘线以及所述第二边缘线在所述数字地图中对应的预设方向、以及所述第二角点在所述数字地图中对应的预设位置。

可选地,服务器还用于获取所述终端设备拍摄所述目标图像时的重力方向,根据所述第一像素位置、所述第二位置信息和所述重力方向确定位姿信息。

可选地,服务器还用于确定所述第一像素位置和所述第二位置信息的2d-3d对应关系;

根据所述2d-3d对应关系,确定位姿信息。

在一种场景中,当用户再次进入车库后,要寻找自己之前停的车,为了解决上述问题,接下来介绍一种位姿确定方法,参照图9,图9为本申请实施例提供的一种位姿确定方法的流程示意,如图9中示出的那样,本实施例提供的位姿确定方法包括:

901、接收第一导航指令,所述第一导航指令用于指示进行到预设坐标位置的导航。

本申请实施例中,预设坐标位置可以为用户的停车位置。参照图10a和图10b,图10a和图10b为本申请实施例中的一种终端设备的界面示意图,如图10a中示出的那样,终端设备可以显示用于指示车位导航的控件,用户可以点击上述控件,相应的,终端设备相当于接收第一导航指令,所述第一导航指令用于指示进行到预设坐标位置的导航。

902、显示目标拍摄界面。

本申请实施例中,如图10b中示出的那样,所述目标拍摄界面可以包括拍摄区域,步骤902的具体描述可以参照上述实施例中步骤702的描述,这里不再赘述。

903、通过对目标图像执行预设的步骤,得到第一位姿信息。

所述第一位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置、拍摄所述目标图像时,所述终端设备的偏航角、俯仰角和横滚角等。

步骤903的具体描述可以参照上述实施例中步骤301至步骤304的描述,这里不再赘述。

904、根据位姿信息进行路径规划,得到规划后的路径,所述规划后的路径的起点为所述坐标位置,所述路径规划的终点为预设坐标位置。

本申请实施例中,终端设备在停车之后,可以但不限于基于上述步骤301至步骤304得到停车是终端设备的位姿信息,当得到终端设备当前所在的位置坐标后,可以基于终端设备当前所在的位置坐标以及停车是终端设备的位姿信息进行路径规划,得到规划后的路径。

905、显示ar导航界面,所述ar导航界面包括当前终端设备所处的环境图像以及导航指引,所述导航指引为基于所述终端设备的偏航角、俯仰角和横滚角确定的。

906、显示二维导航界面,所述二维导航界面包括所述规划后的路径。

步骤905和步骤906的具体描述可以参照上述实施例中步骤705和步骤706的描述,这里不再赘述。

本申请还提供了一种位姿确定装置,位姿确定装置可以是终端设备,参照图11,图11为本申请实施例提供的一种位姿确定装置的结构示意,如图11中示出的那样,所述位姿确定装置包括:

获取模块1101,用于获取目标图像,所述目标图像包括目标车位标记以及目标车位线;其中,所述目标车位标记对应的目标车位包括所述目标车位线;

确定模块1102,用于根据所述目标车位标记以及所述目标车位线确定位姿信息;其中所述目标图像为基于终端设备拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

可选地,所述确定模块1102,具体用于:

获取所述目标车位线在所述目标图像中的第一像素位置;

获取所述目标车位线在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述目标车位线在数字地图中的坐标位置,所述数字地图包括所述目标车位标记对应的第二位置信息,所述第二位置信息包括所述第三位置信息;

根据所述第一像素位置以及所述第三位置信息确定位姿信息。

可选地,所述确定模块1102,具体用于:

向服务器发送所述目标图像;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述目标车位线在所述目标图像中的第一像素位置以及所述目标车位线在数字地图中对应的第三位置信息确定的。

可选地,所述确定模块1102,具体用于:

获取所述目标车位线在所述目标图像中的第一像素位置;

向所述服务器发送所述目标车位标记和所述第一像素位置;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述第一像素位置以及所述目标车位线在数字地图中对应的第三位置信息确定的。

可选地,所述确定模块1102,具体用于:

获取所述目标车位线在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述目标车位线在数字地图中的位置信息;

向所述服务器发送所述目标图像和所述第三位置信息;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述目标车位线在所述目标图像中的第一像素位置以及所述第三位置信息确定的。

可选地,所述获取模块1101,具体用于:

显示目标拍摄界面,所述目标拍摄界面包括拍摄区域,所述拍摄区域包括预设的引导轮廓;

若所述拍摄区域中的目标车位位于所述预设的引导轮廓内或者与所述预设的引导轮廓之间的位置差异在预设的范围内,则拍摄得到所述目标图像;

所述确定模块,具体用于:

获取所述预设的引导轮廓在所述目标图像中的像素位置。

可选地,所述装置还包括:

显示模块1103,用于显示车位输入指示框;

所述获取模块1101,还用于:获取在所述车位输入指示框中输入的所述目标车位标记。

可选地,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置;

所述装置还包括:

路径规划模块,用于根据所述坐标位置进行路径规划,得到规划后的路径,其中所述规划后的路径的起点或终点为所述坐标位置;

所述显示模块1103,还用于显示二维导航界面,所述二维导航界面包括所述规划后的路径。

可选地,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角,所述装置还包括:

所述显示模块1103,还用于显示ar导航界面,所述ar导航界面包括当前终端设备所处的环境图像以及导航指引,所述导航指引为基于所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角确定的。

可选地,所述确定模块,具体用于:

获取拍摄所述目标图像时,所述终端设备的定位信息;

在所述数字地图中获取与所述定位信息相匹配的所述目标车位线在数字地图中对应的第三位置信息。

可选地,所述目标车位线包括第一车位线、第二车位线和第三车位线,所述第一车位线、所述第二车位线以及所述第三车位线中的至少两条车位线在所述数字地图中不平行,第一角点为所述第一车位线和所述第二车位线的相交点,其中,所述第一像素位置包括所述第一车位线、所述第二车位线以及所述第三车位线在所述目标图像中的方向信息,所述第三位置信息包括所述第一车位线、所述第二车位线以及所述第三车位线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一车位线以及所述第二车位线在所述目标图像中的方向信息、以及所述第一角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一车位线以及所述第二车位线在所述数字地图中对应的预设方向、以及所述第一角点在所述数字地图中对应的预设位置。

可选地,所述确定模块,具体用于:

获取拍摄所述目标图像时,所述终端设备的重力方向;

根据所述第一像素位置、所述第三位置信息和所述重力方向确定位姿信息。

可选地,所述确定模块1102,具体用于:

确定所述第一像素位置以及所述第三位置信息的2d-3d对应关系;

根据所述2d-3d对应关系,确定所述位姿信息。

本申请还提供了一种位姿确定装置,位姿确定装置可以是终端设备,参照图11,图11为本申请实施例提供的一种位姿确定装置的结构示意,如图11中示出的那样,所述位姿确定装置包括:

获取模块1101,用于获取目标图像,所述目标图像包括目标车位标记;

确定模块1102,用于根据所述目标车位标记以及所述目标车位标记的外接图形在所述目标图像中的第一像素位置确定位姿信息;其中所述目标图像为基于终端拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

可选地,所述确定模块1102,具体用于:

获取所述目标车位标记的外接图形在所述目标图像中的第一像素位置;

获取所述外接图形在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述外接图形在数字地图中的坐标位置;

根据所述第一像素位置和所述第三位置信息确定位姿信息。

可选地,所述确定模块1102,具体用于:

向服务器发送所述目标图像;

接收所述服务器根据所述目标图像确定的位姿信息,其中,所述位姿信息为所述服务器根据所述目标车位标记的外接矩形框在所述目标图像中的第一像素位置以及所述目标车位线在数字地图中对应的第三位置信息确定的,所述第三位置信息表示所述目标车位标记的外接矩形框在数字地图中的位置信息。

可选地,所述确定模块1102,具体用于:

获取所述目标车位标记的外接矩形框在所述目标图像中的第一像素位置;

向所述服务器发送所述目标车位标记和所述第一像素位置;

接收所述服务器根据所述目标车位标记和所述第一像素位置确定的位姿信息,其中,所述位姿信息为所述服务器根据所述第一像素位置以及所述目标车位线在数字地图中对应的第三位置信息确定的。

可选地,所述确定模块1102,具体用于:

获取所述目标车位线在数字地图中对应的第三位置信息;

向所述服务器发送所述目标图像和所述第三位置信息;

接收所述服务器根据所述目标图像和所述第三位置信息确定的位姿信息,其中,所述位姿信息为所述服务器根据所述目标车位标记的外接矩形框在所述目标图像中的第一像素位置以及所述第三位置信息确定的。

可选地,所述装置还包括:

显示模块1103,用于显示车位输入指示框;

所述获取模块1101,还用于:获取在所述车位输入指示框中输入的所述目标车位标记。

可选地,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置;

所述装置还包括:

路径规划模块1104,用于根据所述坐标位置进行路径规划,得到规划后的路径,其中所述规划后的路径的起点或终点为所述坐标位置;

所述显示模块1103,还用于显示二维导航界面,所述二维导航界面包括所述规划后的路径。

可选地,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角,所述装置还包括:

所述显示模块1103,还用于显示ar导航界面,所述ar导航界面包括当前终端设备所处的环境图像以及导航指引,所述导航指引为基于所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角确定的。

可选地,所述获取模块1101,还用于:

获取所述终端设备拍摄所述目标图像时的定位信息;所述获取所述目标车位线在数字地图中对应的第三位置信息,包括:在所述数字地图中获取与所述定位信息相匹配的所述目标车位标记对应的第二位置信息。

可选地,所述外接图形包括第一边缘线、第二边缘线和第三边缘线,所述第一边缘线、所述第二边缘线以及所述第三边缘线中的至少两条边缘线在所述数字地图中不平行,第二角点为所述第一边缘线和所述第二边缘线的相交点,所述确定模块,具体用于:

根据所述第一像素位置以及所述第三位置信息确定位姿信息;

其中,所述第一像素位置包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述目标图像中的方向信息,所述第三位置信息包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一边缘线以及所述第二边缘线在所述目标图像中的方向信息、以及所述第二角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一边缘线以及所述第二边缘线在所述数字地图中对应的预设方向、以及所述第二角点在所述数字地图中对应的预设位置。

可选地,所述确定模块1101,具体用于:

获取所述终端设备拍摄所述目标图像时的重力方向,根据所述第一像素位置、所述第二位置信息和所述重力方向确定位姿信息。

可选地,所述确定模块1102,具体用于:

确定所述第一像素位置和所述第三位置信息的2d-3d对应关系;

根据所述2d-3d对应关系,确定位姿信息。

本申请还提供了一种位姿确定装置,位姿确定装置可以是服务器,参照图12,图12为本申请实施例提供的一种位姿确定装置的结构示意,如图12中示出的那样,所述位姿确定装置包括:

获取模块1201,用于获取目标车位线在目标图像中的第一像素位置,所述目标图像包括目标车位标记以及目标车位线;其中,所述目标车位标记对应的目标车位包括所述目标车位线;

获取所述目标车位线在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述目标车位线在数字地图中的坐标位置;

确定模块1202,用于根据所述第一像素位置以及所述第三位置信息确定位姿信息,其中所述目标图像为基于终端设备拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

可选地,所述获取模块1201,具体用于:

接收所述终端设备发送的目标图像;

确定所述目标车位线在目标图像中的第一像素位置。

可选地,所述获取模块1201,具体用于:

接收所述终端设备发送的所述目标车位线在目标图像中的第一像素位置。

可选地,所述获取模块1201,具体用于:

接收所述终端设备发送的目标图像或所述目标车位标记;

在数字地图中确定所述目标车位线对应的第三位置信息。

可选地,所述获取模块1201,具体用于:

接收所述终端设备发送的所述目标车位线在数字地图中对应的第三位置信息。

可选地,所述目标车位线包括第一车位线、第二车位线和第三车位线,所述第一车位线、所述第二车位线以及所述第三车位线中的至少两条车位线在所述数字地图中不平行,第一角点为所述第一车位线和所述第二车位线的相交点,所述确定模块,具体用于:

根据所述第一像素位置以及所述第三位置信息确定位姿信息;

其中,所述第一像素位置包括所述第一车位线、所述第二车位线以及所述第三车位线在所述目标图像中的方向信息,所述第三位置信息包括所述第一车位线、所述第二车位线以及所述第三车位线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一车位线以及所述第二车位线在所述目标图像中的方向信息、以及所述第一角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一车位线以及所述第二车位线在所述数字地图中对应的预设方向、以及所述第一角点在所述数字地图中对应的预设位置。

可选地,所述获取模块1201,还用于:接收所述终端设备发送的拍摄所述目标图像时,所述终端设备的重力方向,所述确定模块1202,具体用于:根据所述第一像素位置、所述第三位置信息和所述重力方向确定位姿信息。

可选地,所述确定模块1202,具体用于:

确定所述第一像素位置以及所述第三位置信息的2d-3d对应关系;

根据所述2d-3d对应关系,确定所述位姿信息。

本申请还提供了一种位姿确定装置,位姿确定装置可以是服务器,参照图12,图12为本申请实施例提供的一种位姿确定装置的结构示意,如图12中示出的那样,所述位姿确定装置包括:

获取模块1201,用于获取目标车位标记的外接图形在目标图像中的第一像素位置,所述目标图像包括所述目标车位标记;获取所述外接图形在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述外接图形在数字地图中的坐标位置;

确定模块1202,用于根据所述第一像素位置和所述第三位置信息确定位姿信息。

可选地,所述获取目标车位标记的外接图形在目标图像中的第一像素位置,包括:

接收所述终端设备发送的目标图像;

确定所述目标车位标记的外接图形在目标图像中的第一像素位置。

可选地,所述获取目标车位标记的外接图形在目标图像中的第一像素位置,包括:

接收所述终端设备发送的所述目标车位标记的外接图形在目标图像中的第一像素位置。

可选地,所述获取所述外接图形在数字地图中对应的第三位置信息,包括:

接收所述终端设备发送的目标图像或所述目标车位标记;

在数字地图中确定所述外接图形在数字地图中对应的第三位置信息。

可选地,所述获取所述外接图形在数字地图中对应的第三位置信息,包括:

接收所述终端设备发送的所述外接图形在数字地图中对应的第三位置信息。

可选地,所述外接图形包括第一边缘线、第二边缘线和第三边缘线,所述第一边缘线、所述第二边缘线以及所述第三边缘线中的至少两条边缘线在所述数字地图中不平行,第二角点为所述第一边缘线和所述第二边缘线的相交点,所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

根据所述第一像素位置以及所述第三位置信息确定位姿信息;

其中,所述第一像素位置包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述目标图像中的方向信息,所述第三位置信息包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一边缘线以及所述第二边缘线在所述目标图像中的方向信息、以及所述第二角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一边缘线以及所述第二边缘线在所述数字地图中对应的预设方向、以及所述第二角点在所述数字地图中对应的预设位置。

可选地,所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

确定所述第一像素位置和所述第三位置信息的2d-3d对应关系;

根据所述2d-3d对应关系,确定位姿信息。

可选地,所述外接图形包括外接矩形框。

接下来介绍本申请实施例提供的一种终端设备,终端设备可以为图11中的位姿确定装置,请参阅图13,图13为本申请实施例提供的终端设备的一种结构示意图,终端设备1300具体可以表现为虚拟现实vr设备、手机、平板、笔记本电脑、智能穿戴设备等,此处不做限定。具体的,终端设备1300包括:接收器1301、发射器1302、处理器1303和存储器1304(其中终端设备1300中的处理器1303的数量可以一个或多个,图13中以一个处理器为例),其中,处理器1303可以包括应用处理器13031和通信处理器13032。在本申请的一些实施例中,接收器1301、发射器1302、处理器1303和存储器1304可通过总线或其它方式连接。

存储器1304可以包括只读存储器和随机存取存储器,并向处理器1303提供指令和数据。存储器1304的一部分还可以包括非易失性随机存取存储器(non-volatilerandomaccessmemory,nvram)。存储器1304存储有处理器和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。

处理器1303控制终端设备的操作。具体的应用中,终端设备的各个组件通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都称为总线系统。

上述本申请实施例揭示的方法可以应用于处理器1303中,或者由处理器1303实现。处理器1303可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1303中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1303可以是通用处理器、数字信号处理器(digitalsignalprocessing,dsp)、微处理器或微控制器,还可进一步包括专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1303可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1304,处理器1303读取存储器1304中的信息,结合其硬件完成上述方法的步骤。

接收器1301可用于接收输入的数字或字符信息,以及产生与终端设备的相关设置以及功能控制有关的信号输入。发射器1302可用于通过第一接口输出数字或字符信息;发射器1302还可用于通过第一接口向磁盘组发送指令,以修改磁盘组中的数据;发射器1302还可以包括显示屏等显示设备。

本申请实施例中,在一种情况下,处理器1303用于:

获取目标图像,所述目标图像包括目标车位标记以及目标车位线;其中,所述目标车位标记对应的目标车位包括所述目标车位线;

根据所述目标车位标记以及所述目标车位线确定位姿信息;其中所述目标图像为基于终端设备拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

可选地,所述根据所述目标车位标记以及所述目标车位线确定位姿信息,包括:

获取所述目标车位线在所述目标图像中的第一像素位置;

获取所述目标车位线在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述目标车位线在数字地图中的坐标位置;

根据所述第一像素位置以及所述第三位置信息确定位姿信息。

可选地,所述根据所述目标车位标记以及所述目标车位线确定位姿信息,包括:

向服务器发送所述目标图像;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述目标车位线在所述目标图像中的第一像素位置以及所述目标车位线在数字地图中对应的第三位置信息确定的。

可选地,所述根据所述目标车位标记以及所述目标车位线确定位姿信息,包括:

获取所述目标车位线在所述目标图像中的第一像素位置;

向所述服务器发送所述目标车位标记和所述第一像素位置;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述第一像素位置以及所述目标车位线在数字地图中对应的第三位置信息确定的。

可选地,所述根据所述目标车位标记以及所述目标车位线确定位姿信息,包括:

获取所述目标车位线在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述目标车位线在数字地图中的位置信息;

向所述服务器发送所述目标图像和所述第三位置信息;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述目标车位线在所述目标图像中的第一像素位置以及所述第三位置信息确定的。

可选地,所述获取所述目标图像,包括:

显示目标拍摄界面,所述目标拍摄界面包括拍摄区域,所述拍摄区域包括预设的引导轮廓;

若所述拍摄区域中的目标车位位于所述预设的引导轮廓内或者与所述预设的引导轮廓之间的位置差异在预设的范围内,则拍摄得到所述目标图像;所述获取所述目标车位线在所述目标图像中的第一像素位置,包括:获取所述预设的引导轮廓在所述目标图像中的像素位置。

可选地,所述根据所述目标车位标记以及所述目标车位线确定位姿信息之前,所述方法还包括:

显示车位输入指示框;

获取在所述车位输入指示框中输入的所述目标车位标记。

可选地,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置;

所述方法还包括:

根据所述坐标位置进行路径规划,得到规划后的路径,其中所述规划后的路径的起点或终点为所述坐标位置;

显示二维导航界面,所述二维导航界面包括所述规划后的路径。

可选地,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角,所述方法还包括:

显示ar导航界面,所述ar导航界面包括当前终端设备所处的环境图像以及导航指引,所述导航指引为基于所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角确定的。

可选地,所述获取所述目标车位线在数字地图中对应的第三位置信息,包括:

获取拍摄所述目标图像时,所述终端设备的定位信息;

在所述数字地图中获取与所述定位信息相匹配的所述目标车位线在数字地图中对应的第三位置信息。

可选地,所述目标车位线包括第一车位线、第二车位线和第三车位线,所述第一车位线、所述第二车位线以及所述第三车位线中的至少两条车位线在所述数字地图中不平行,第一角点为所述第一车位线和所述第二车位线的相交点,所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

根据所述第一像素位置以及所述第三位置信息确定位姿信息;

其中,所述第一像素位置包括所述第一车位线、所述第二车位线以及所述第三车位线在所述目标图像中的方向信息,所述第三位置信息包括所述第一车位线、所述第二车位线以及所述第三车位线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一车位线以及所述第二车位线在所述目标图像中的方向信息、以及所述第一角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一车位线以及所述第二车位线在所述数字地图中对应的预设方向、以及所述第一角点在所述数字地图中对应的预设位置。

可选地,所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

获取拍摄所述目标图像时,所述终端设备的重力方向;

根据所述第一像素位置、所述第三位置信息和所述重力方向确定位姿信息。

可选地,所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

确定所述第一像素位置以及所述第三位置信息的2d-3d对应关系;

根据所述2d-3d对应关系,确定所述位姿信息。

终端设备还可以执行:

获取目标图像,所述目标图像包括目标车位标记;

根据所述目标车位标记以及所述目标车位标记的外接图形在所述目标图像中的第一像素位置确定位姿信息;其中所述目标图像为基于终端拍摄的,所述位姿信息表示终端拍摄所述目标图像时所对应的位姿。

可选地,所述根据所述目标车位标记以及所述目标车位标记的外接图形在所述目标图像中的第一像素位置确定位姿信息,包括:

获取所述目标车位标记的外接图形在所述目标图像中的第一像素位置;

获取所述目标车位线在数字地图中对应的第三位置信息,所述第三位置信息表示所述目标车位标记的外接图形在数字地图中的位置信息;

根据所述第一像素位置和所述第三位置信息确定位姿信息。

可选地,所述根据所述目标车位标记以及所述目标车位标记的外接图形在所述目标图像中的第一像素位置确定位姿信息,包括:

向服务器发送所述目标图像;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述目标车位标记的外接图形在所述目标图像中的第一像素位置以及所述目标外接图形在数字地图中对应的第三位置信息确定的,所述第三位置信息表示所述目标车位标记的外接图形在数字地图中的位置信息。

可选地,所述根据所述目标车位标记以及所述目标车位标记的外接图形在所述目标图像中的第一像素位置确定位姿信息,包括:

获取所述目标车位标记的外接图形在所述目标图像中的第一像素位置;

向所述服务器发送所述目标车位标记和所述第一像素位置;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述第一像素位置以及所述外接图形在数字地图中对应的第三位置信息确定的。

可选地,所述根据所述目标车位标记以及所述目标车位标记的外接图形在所述目标图像中的第一像素位置确定位姿信息,包括:

获取所述外接图形在数字地图中对应的第三位置信息,所述第三位置信息表示所述目标车位标记的外接图形在数字地图中的位置信息;

向所述服务器发送所述目标图像和所述第三位置信息;

接收所述服务器发送的位姿信息,其中,所述位姿信息为所述服务器根据所述目标车位标记的外接图形在所述目标图像中的第一像素位置以及所述第二位置信息确定的。

可选地,所述方法还包括:

显示车位输入指示框;

获取在所述车位输入指示框中输入的所述目标车位标记。

可选地,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置;

所述方法还包括:

根据所述坐标位置进行路径规划,得到规划后的路径,其中所述规划后的路径的起点或终点为所述坐标位置;

显示二维导航界面,所述二维导航界面包括所述规划后的路径。

可选地,所述位姿信息包括拍摄所述目标图像时,所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角,所述方法还包括:

显示ar导航界面,所述ar导航界面包括当前终端设备所处的环境图像以及导航指引,所述导航指引为基于所述终端设备所处的坐标位置、偏航角、俯仰角和横滚角确定的。

可选地,所述方法还包括:

获取所述终端设备拍摄所述目标图像时的定位信息;所述获取所述外接图形在数字地图中对应的第三位置信息,包括:在所述数字地图中获取与所述定位信息相匹配的所述外接图形对应的第三位置信息。

可选地,所述外接图形包括第一边缘线、第二边缘线和第三边缘线,所述第一边缘线、所述第二边缘线以及所述第三边缘线中的至少两条边缘线在所述数字地图中不平行,第二角点为所述第一边缘线和所述第二边缘线的相交点,所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

根据所述第一像素位置以及所述第三位置信息确定位姿信息;

其中,所述第一像素位置包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述目标图像中的方向信息,所述第三位置信息包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一边缘线以及所述第二边缘线在所述目标图像中的方向信息、以及所述第二角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一边缘线以及所述第二边缘线在所述数字地图中对应的预设方向、以及所述第二角点在所述数字地图中对应的预设位置。

可选地,所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

确定所述第一像素位置和所述第三位置信息的2d-3d对应关系;

根据所述2d-3d对应关系,确定位姿信息。

可选地,所述外接图形包括外接矩形框。

本申请实施例还提供了一种服务器,请参阅图14,图14是本申请实施例提供的服务器一种结构示意图,具体的,服务器1400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessingunits,cpu)1414(例如,一个或一个以上处理器)和存储器1432,一个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中,存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1414可以设置为与存储介质1430通信,在服务器1400上执行存储介质1430中的一系列指令操作。

服务器1400还可以包括一个或一个以上电源1426,一个或一个以上有线或无线网络接口1450,一个或一个以上输入输出接口1458;或,一个或一个以上操作系统1441,例如windowsservertm,macosxtm,unixtm,linuxtm,freebsdtm等等。

本申请实施例中,中央处理器1414,用于获取目标车位标记的外接图形在目标图像中的第一像素位置,所述目标图像包括所述目标车位标记;

获取所述外接图形在数字地图中对应的第三位置信息,其中,所述第三位置信息表示所述外接图形在数字地图中的坐标位置;

根据所述第一像素位置和所述第三位置信息确定位姿信息。

可选地,所述获取目标车位标记的外接图形在目标图像中的第一像素位置,包括:

接收所述终端设备发送的目标图像;

确定所述目标车位标记的外接图形在目标图像中的第一像素位置。

可选地,所述获取目标车位标记的外接图形在目标图像中的第一像素位置,包括:

接收所述终端设备发送的所述目标车位标记的外接图形在目标图像中的第一像素位置。

可选地,所述获取所述外接图形在数字地图中对应的第三位置信息,包括:

接收所述终端设备发送的目标图像或所述目标车位标记;

在数字地图中确定所述外接图形在数字地图中对应的第三位置信息。

可选地,所述获取所述外接图形在数字地图中对应的第三位置信息,包括:

接收所述终端设备发送的所述外接图形在数字地图中对应的第三位置信息。

可选地,所述外接图形包括第一边缘线、第二边缘线和第三边缘线,所述第一边缘线、所述第二边缘线以及所述第三边缘线中的至少两条边缘线在所述数字地图中不平行,第二角点为所述第一边缘线和所述第二边缘线的相交点,所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

根据所述第一像素位置以及所述第三位置信息确定位姿信息;

其中,所述第一像素位置包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述目标图像中的方向信息,所述第三位置信息包括所述第一边缘线、所述第二边缘线以及所述第三边缘线在所述数字地图中对应的预设方向;或,

所述第一像素位置包括所述第一边缘线以及所述第二边缘线在所述目标图像中的方向信息、以及所述第二角点在所述目标图像中的像素位置,所述第三位置信息包括所述第一边缘线以及所述第二边缘线在所述数字地图中对应的预设方向、以及所述第二角点在所述数字地图中对应的预设位置。

可选地,所述根据所述第一像素位置以及所述第三位置信息确定位姿信息,包括:

确定所述第一像素位置和所述第三位置信息的2d-3d对应关系;

根据所述2d-3d对应关系,确定位姿信息。

可选地,所述外接图形包括外接矩形框。

本申请实施例中还提供一种包括计算机程序产品,当其在计算机上运行时,使得计算机执行位姿确定方法的步骤。

本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有用于进行信号处理的程序,当其在计算机上运行时,使得计算机执行如前述实施例描述的方法中的位姿确定方法的步骤。

另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用cpu、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、u盘、移动硬盘、rom、ram、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘(solidstatedisk,ssd))等。

再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献

  • 日榜
  • 周榜
  • 月榜