相机位姿确定、虚拟物体显示方法、装置及电子设备与流程

技术特征：
1.一种相机位姿确定方法，其特征在于，包括：获取当前帧图像；所述当前帧图像包括待追踪物体；确定所述当前帧图像对应的相机初始位姿；根据所述相机初始位姿，将所述待追踪物体的三维模型投影至相机成像平面，得到投影图像；其中，所述三维模型为根据预设三维对象数据库中与所述当前帧图像相似度最高的目标图像得到的；所述目标图像为对预设的三维标记物体进行环绕拍摄而得到的；根据所述投影图像和所述当前帧图像之间的差异，对所述相机初始位姿进行校正，得到目标相机位姿。2.根据权利要求1所述的相机位姿确定方法，其特征在于，所述根据所述投影图像和所述当前帧图像之间的差异，对所述相机初始位姿进行校正，得到目标相机位姿，包括：根据所述投影图像，生成所述当前帧图像的物体边缘图像；所述物体边缘图像携带有所述待追踪物体的三维模型在所述投影图像中的物体边缘特征；根据所述物体边缘图像和所述当前帧图像，确定所述当前帧图像对应的位姿调整参数；根据所述位姿调整参数，对所述相机初始位姿进行校正，得到所述目标相机位姿。3.根据权利要求2述的相机位姿确定方法，其特征在于，当所述当前帧图像为非第一帧图像时，所述根据所述位姿调整参数，对所述相机初始位姿进行校正，得到所述目标相机位姿，包括：根据所述位姿调整参数，对所述相机初始位姿进行调整，得到调整后位姿；获取前一帧图像中的前一帧特征点在世界坐标系中的三维位置信息；通过预标定的相机内部参数，根据所述调整后位姿和所述前一帧特征点在世界坐标系中的三维位置信息，确定所述前一帧特征点在所述当前帧图像中的投影点；根据所述前一帧特征点在所述当前帧图像中的投影点，确定所述目标相机位姿。4.根据权利要求3述的相机位姿确定方法，其特征在于，所述根据所述前一帧特征点在所述当前帧图像中的投影点，确定所述目标相机位姿，包括：根据所述投影点，确定所述当前帧图像中的多个候选像素点；所述候选像素点与所述投影点之间的像素距离小于预设的距离阈值；在多个所述候选像素点中，确定目标像素点；其中，所述目标像素点在所述当前帧图像中的特征描述子与所述前一帧特征点在所述前一帧图像中的特征描述子之间的相似度符合预设条件；获取所述目标像素点在所述当前帧图像中的二维位置信息，并通过所述相机内部参数，根据所述目标像素点在所述当前帧图像中的二维位置信息和所述前一帧特征点在世界坐标系中的三维位置信息，确定所述目标相机位姿。5.一种虚拟物体显示方法，其特征在于，包括：获取目标相机位姿；所述目标相机位姿为根据权利要求1至4中任一项所述的相机位姿确定方法确定得到的；根据所述目标相机位姿，确定待添加虚拟物体在所述当前帧图像中与所述待追踪物体之间的遮挡关系；根据所述遮挡关系，在所述当前帧图像中渲染出所述待添加虚拟物体。
6.根据权利要求5所述的虚拟物体显示方法，其特征在于，所述根据所述目标相机位姿，确定待添加虚拟物体在所述当前帧图像中与所述待追踪物体之间的遮挡关系，包括：基于所述目标相机位姿，构建虚拟空间场景，所述虚拟空间场景包括相机的观测点、所述待添加虚拟物体和所述待追踪物体的三维模型；获取相机成像平面的像素点，并根据所述观测点、所述观测点的相机朝向信息和所述像素点，在所述虚拟空间场景中生成遮挡关系判定射线，其中，所述遮挡关系判定射线的原点为所述观测点；根据所述遮挡关系判定射线，确定待添加虚拟物体在所述当前帧图像中与所述待追踪物体之间的遮挡关系。7.一种相机位姿确定装置，其特征在于，包括：获取单元，被配置为执行获取当前帧图像；所述当前帧图像包括待追踪物体；定位单元，被配置为执行确定所述当前帧图像对应的相机初始位姿；投影单元，被配置为执行根据所述相机初始位姿，将所述待追踪物体的三维模型投影至相机成像平面，得到投影图像；其中，所述三维模型为根据预设三维对象数据库中与所述当前帧图像相似度最高的目标图像得到的；所述目标图像为对预设的三维标记物体进行环绕拍摄而得到的；校正单元，被配置为执行根据所述投影图像和所述当前帧图像之间的差异，对所述相机初始位姿进行校正，得到目标相机位姿。8.一种虚拟物体显示装置，其特征在于，包括：获取单元，被配置为执行获取目标相机位姿；所述目标相机位姿为根据权利要求7所述的相机位姿确定装置得到的；确定单元，被配置为执行根据所述目标相机位姿，确定待添加虚拟物体在所述当前帧图像中与所述待追踪物体之间的遮挡关系；渲染单元，被配置为执行根据所述遮挡关系，在所述当前帧图像中渲染出所述待添加虚拟物体。9.一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的相机位姿确定方法，或者，实现如权利要求5至6中任一项所述的虚拟物体显示方法。10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至4中任一项所述的相机位姿确定方法，或者，执行如权利要求5至6中任一项所述的虚拟物体显示方法。

技术总结
本公开关于一种相机位姿确定、虚拟物体显示方法及装置。所述方法包括：获取当前帧图像；所述当前帧图像包括待追踪物体；确定所述当前帧图像对应的相机初始位姿；根据所述相机初始位姿，将所述待追踪物体的三维模型投影至相机成像平面，得到投影图像；其中，所述三维模型为根据预设三维对象数据库中与所述当前帧图像相似度最高的目标图像得到的；所述目标图像为对预设的三维标记物体进行环绕拍摄而得到的；根据所述投影图像和所述当前帧图像之间的差异，对所述相机初始位姿进行校正，得到目标相机位姿。采用本方法能够准确地定位出相机位姿。姿。姿。


技术研发人员：周杰 郭小燕
受保护的技术使用者：北京达佳互联信息技术有限公司
技术研发日：2020.04.27
技术公布日：2021/11/14