一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

目标对象的运动展示方法、装置、电子设备及存储介质与流程

2022-06-05 20:21:13 来源:中国专利 TAG:


1.本公开涉及增强现实技术领域,具体而言,涉及一种目标对象的运动展示方法、装置、电子设备及存储介质。


背景技术:

2.随着体育赛事的蓬勃发展,整个体育产业链也不断壮大,各类高水平的体育比赛时刻吸引着体育迷的关注。体育迷可以通过去现场或者转播的视频来观看目标赛事。
3.然而,现有的观看方式,不论是现场观看还是通过电视进行观看,观众都只能单纯的看到目标对象(比如运动员或者运动器械)的运动画面,并未有更深入的介绍信息,对于一些专业性的体育比赛来说,观众可能很难确定当前的一些关键运动信息,导致观赛体验不佳。


技术实现要素:

4.本公开实施例至少提供一种目标对象的运动展示方法、装置、电子设备及存储介质。
5.第一方面,本公开实施例提供了一种目标对象的运动展示方法,包括:
6.获取增强现实ar设备拍摄的目标场所的现实场景图像;
7.在所述现实场景图像中包含目标运动对象的情况下,获取所述目标运动对象的实际运动轨迹信息以及预测运动轨迹信息;
8.基于所述现实场景图像,以及所述实际运动轨迹信息和预测运动轨迹信息,在所述ar设备展示所述目标运动对象运动的ar特效。
9.本公开实施例中,首先获取增强现实ar设备拍摄的目标场所的现实场景图像,在现实场景图像中包含目标运动对象的情况下,获取目标运动对象的实际运动轨迹信息以及预测运动轨迹信息,然后基于现实场景图像,以及实际运动轨迹信息和预测运动轨迹信息,在ar设备展示所述目标运动对象运动的ar特效,如此,观赛者在观看目标赛事时,通过ar设备不仅可以看到目标运动对象的实时位置信息,还可以通过ar特效看到目标运动对象的实际运动轨迹信息和预测运动轨迹信息,从而提高了观赛者的观赛体验。
10.根据第一方面,在一种可能的实施方式中,所述获取所述目标运动对象的实际运动轨迹信息以及预测运动轨迹信息,包括:
11.将部署在现实场景中的至少一个摄像装置拍摄的所述目标场所的现场图像或者所述ar设备拍摄的所述现实场景图像作为目标图像,基于所述目标图像确定所述目标运动对象的实时位置信息;
12.基于所述实时位置信息,确定所述实际运动轨迹信息以及所述预测运动轨迹信息。
13.本公开实施例中,先根据目标图像确认目标运动对象的实时位置信息,然后基于实时位置信息确定实际运动轨迹信息以及预测运动轨迹信息,如此,才可以实现随着目标
运动对象的移动,而实时更新轨迹信息的展示位置的效果,使得轨迹信息与目标运动对象的衔接自然顺畅,提高了观看体验。
14.根据第一方面,在一种可能的实施方式中,所述基于所述目标图像确定所述目标运动对象的实时位置信息,包括:
15.基于所述目标运动对象在所述目标图像对应的图像坐标系下的位置坐标信息,确定所述目标运动对象在所述目标场所的三维场景地图对应的地图坐标系下的位置坐标信息;
16.将确定的所述目标运动对象在所述地图坐标系下的位置坐标信息作为所述实时位置信息。
17.本公开实施例中,通过预先构建的表征现实场景的三维场景地图,来确定目标运动对象的实时位置信息,可以提高实时位置信息的确定精度。
18.根据第一方面,在一种可能的实施方式中,所述基于所述实时位置信息,确定所述实际运动轨迹信息以及所述预测运动轨迹信息,包括:
19.基于所述实时位置信息,确定所述实际运动轨迹信息以及所述目标运动对象的运动方向信息;
20.基于所述实时位置信息,以及所述运动方向信息,确定所述预测运动轨迹信息。
21.本公开实施例中,由于先基于目标运动对象的实时位置信息确定目标运动对象的运动方向信息,再根据该运动方向信息来确定预测运动轨迹信息,进而可以提高预测运动轨迹信息的确定精度。
22.根据第一方面,在一种可能的实施方式中,所述基于所述现实场景图像,以及所述实际运动轨迹信息和预测运动轨迹信息,在所述ar设备展示所述目标运动对象运动的ar特效,包括:
23.基于所述现实场景图像,以及所述目标场所对应的三维场景地图,确定所述ar设备的拍摄位姿;
24.基于所述ar设备的拍摄位姿,以及所述实际运动轨迹信息和预测运动轨迹信息,在所述ar设备展示所述目标运动对象运动的ar特效。
25.本公开实施例中,基于ar设备的拍摄位姿,在ar设备展示目标运动对象运动的ar特效,使得目标运动对象运动的ar特效与现实场景图像的契合度更高,进而提升了ar特效的显示效果。
26.根据第一方面,在一种可能的实施方式中,所述基于所述ar设备的拍摄位姿,以及所述实际运动轨迹信息和预测运动轨迹信息,在所述ar设备展示所述目标运动对象运动的ar特效,包括:
27.基于获取的所述三维场景地图所对应的地图坐标系下的所述实际运动轨迹信息和预测运动轨迹信息、以及所述ar设备的拍摄位姿,确定在所述ar设备的设备坐标系下的实际运动轨迹信息和预测运动轨迹信息;
28.基于所述设备坐标系和所述ar设备的屏幕坐标系之间的转换关系,确定在所述屏幕坐标系下的实际运动轨迹信息和预测运动轨迹信息;
29.基于所述屏幕坐标系下的实际运动轨迹信息和预测运动轨迹信息,在所述ar设备展示所述目标运动对象运动的ar特效。
30.本公开实施例中,通过不同坐标系之间的转换关系,得到屏幕坐标系下的实际运动轨迹信息和预测运动轨迹信息,使得目标运动对象在地图坐标系下的实时位置发生变化时,屏幕坐标系下的实际运动轨迹信息和预测运动轨迹信息也会实时更新相应的展示位置,提高了轨迹信息的展示精度以及展示效果。
31.根据第一方面,在一种可能的实施方式中,所述实际运动轨迹信息的ar特效与所述预测运动轨迹ar特效的呈现效果不同。
32.本公开实施例中,由于实际运动轨迹信息的ar特效与预测运动轨迹ar特效的呈现效果不同,可以使得观赛者能够清楚的将实际运动轨迹信息和预测运动轨迹信息进行区分,提升了用户的视觉体验。此外,通过两种ar特效进行展示,还提升了ar特效的显示效果。
33.第二方面,本公开实施例提供了一种目标对象的运动展示装置,包括:
34.图像获取模块,用于获取增强现实ar设备拍摄的目标场所的现实场景图像;
35.轨迹获取模块,用于在所述现实场景图像中包含目标运动对象的情况下,获取所述目标运动对象的实际运动轨迹信息以及预测运动轨迹信息;
36.特效展示模块,用于基于所述现实场景图像,以及所述实际运动轨迹信息和预测运动轨迹信息,在所述ar设备展示所述目标运动对象运动的ar特效。
37.根据第二方面,在一种可能的实施方式中,轨迹获取模块具体用于:
38.将部署在现实场景中的至少一个摄像装置拍摄的所述目标场所的现场图像或者所述ar设备拍摄的所述现实场景图像作为目标图像,基于所述目标图像确定所述目标运动对象的实时位置信息;
39.基于所述实时位置信息,确定所述实际运动轨迹信息以及所述预测运动轨迹信息。
40.根据第二方面,在一种可能的实施方式中,轨迹获取模块具体用于:
41.基于所述目标运动对象在所述目标图像对应的图像坐标系下的位置坐标信息,确定所述目标运动对象在所述目标场所的三维场景地图对应的地图坐标系下的位置坐标信息;
42.将确定的所述目标运动对象在所述地图坐标系下的位置坐标信息作为所述实时位置信息。
43.根据第二方面,在一种可能的实施方式中,轨迹获取模块具体用于:
44.基于所述实时位置信息,确定所述实际运动轨迹信息以及所述目标运动对象的运动方向信息;
45.基于所述实时位置信息,以及所述运动方向信息,确定所述预测运动轨迹信息。
46.根据第二方面,在一种可能的实施方式中,特效展示模块具体用于:
47.基于所述现实场景图像,以及所述目标场所对应的三维场景地图,确定所述ar设备的拍摄位姿;
48.基于所述ar设备的拍摄位姿,以及所述实际运动轨迹信息和预测运动轨迹信息,在所述ar设备展示所述目标运动对象运动的ar特效。
49.根据第二方面,在一种可能的实施方式中,特效展示模块具体用于:
50.基于获取的所述三维场景地图所对应的地图坐标系下的所述实际运动轨迹信息和预测运动轨迹信息、以及所述ar设备的拍摄位姿,确定在所述ar设备的设备坐标系下的
实际运动轨迹信息和预测运动轨迹信息;
51.基于所述设备坐标系和所述ar设备的屏幕坐标系之间的转换关系,确定在所述屏幕坐标系下的实际运动轨迹信息和预测运动轨迹信息;
52.基于所述屏幕坐标系下的实际运动轨迹信息和预测运动轨迹信息,在所述ar设备展示所述目标运动对象运动的ar特效。
53.根据第二方面,在一种可能的实施方式中,所述实际运动轨迹信息的ar特效与所述预测运动轨迹ar特效的呈现效果不同。
54.第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的目标对象的运动展示方法的步骤。
55.第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的目标对象的运动展示方法的步骤。
56.为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
57.为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
58.图1示出了本公开实施例所提供的一种目标对象的运动展示方法的流程图;
59.图2示出了本公开实施例所提供的目标对象的实际运动轨迹和预测运动轨迹的ar特效示意图;
60.图3示出了本公开实施例所提供的一种获取目标运动对象的实际运动轨迹信息以及预测运动轨迹信息的方法流程图;
61.图4示出了本公开实施例所提供的一种基于目标图像确定目标运动对象的实时位置信息的方法流程图;
62.图5示出了本公开实施例所提供的一种基于实时位置信息确定实际运动轨迹信息以及预测运动轨迹信息的方法流程图;
63.图6示出了本公开实施例所提供的一种基于现实场景图像展示目标运动对象运动的ar特效的方法流程图;
64.图7示出了本公开实施例所提供的一种基于ar设备的拍摄位姿展示目标运动对象运动的ar特效的方法流程图;
65.图8示出了本公开实施例所提供的一种生成三维场景地图的方法流程图;
66.图9示出了本公开实施例所提供的一种确定ar设备的拍摄位姿的方法流程图;
67.图10示出了本公开实施例所提供的一种目标对象的运动展示装置的结构示意图;
68.图11示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
69.为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
70.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
71.本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括a、b、c中的至少一种,可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
72.随着体育赛事的蓬勃发展,整个体育产业链也不断壮大,各类高水平的体育比赛时刻吸引着体育迷的关注。体育迷可以通过去比赛现场或者转播的视频来观看目标赛事。
73.经研究发现,现有的观看方式,不论是现场观看还是通过电视进行观看,观众都只能看到目标对象(比如运动员或者运动器械)的运动画面,并未有更深入的介绍信息,对于一些专业性的体育比赛来说,观众可能很难确定当前的一些关键运动信息,导致观赛体验不佳。
74.基于上述研究,本公开提供了一种目标对象的运动展示方法,在识别出现实场景图像中包含目标运动对象(比如运动员或者运动器械)的情况下,获取目标运动对象的实际运动轨迹信息以及预测运动轨迹信息,并基于现实场景图像以及实际运动轨迹信息和预测运动轨迹信息,在ar设备展示目标运动对象运动的ar特效。如此,观赛者在观看目标赛事时,通过ar设备不仅可以看到目标运动对象的实时状态,还可以看到目标运动对象的历史和预测轨迹信息,从而丰富了观赛者的观赛体验。
75.为便于对本实施例进行理解,首先对本公开实施例所公开的一种目标对象的运动展示方法进行详细介绍,本公开实施例所提供的目标对象的运动展示方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为移动设备、用户终端、终端、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该目标对象的运动展示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
76.参见图1所示,为本公开实施例提供的目标对象的运动展示方法的流程图,该目标对象的运动展示方法包括以下s101~s103:
77.s101,获取增强现实ar设备拍摄的目标场所的现实场景图像。
78.示例性地,ar设备为能够支持ar功能的智能设备,示例性说明,ar设备包括但不限于:手机、平板电脑、ar眼镜等能够呈现增强现实效果的电子设备。也即,该ar设备可以是前
述具有一定计算能力的电子设备中的终端设备。ar设备可以内置图像采集部件也可以外接图像采集部件,在ar设备进入工作状态后,可以通过图像采集部件实时拍摄现实场景图像。
79.示例性地,目标场所是指用于供观赛者观看目标赛事的场地。比如,目标场所可以是体育场馆,此时,观赛者可以在该体育场馆观看目标赛事的实况信息;又例如,该目标场所可以是设置有视频播放装置的房间,此时,观赛者可以通过转播的视频来观看目标赛事。
80.s102,在现实场景图像中包含目标运动对象的情况下,获取目标运动对象的实际运动轨迹信息以及预测运动轨迹信息。
81.示例性地,目标运动对象包括运动员或者运动器械。其中,针对不同的目标赛事,运动器械可以不同。比如,若当前赛事为足球比赛,则运动器械则是足球;而若当前赛事为篮球比赛,则该运动器械则是篮球;其他赛事的情况亦如此,在此不再一一举例说明。
82.示例性地,可以根据不同的目标赛事预先设置运动对象的图像,然后将ar设备所拍摄的现实场景图像和预设的运动对象的图像进行比对,在ar设备所拍摄的现实场景图像中包含预设的运动对象时,确定识别出目标运动对象。例如,可以预先设置足球的图像,若通过比对识别出现实场景中包括足球时,即可确定该现实场景图像中包含目标运动对象;又例如,可以预先设置a球员的图像,若通过比对识别出现实场景中包括该a球员时,确定现实场景图像中包含目标运动对象。
83.s103,基于现实场景图像,以及实际运动轨迹信息和预测运动轨迹信息,在ar设备展示目标运动对象运动的ar特效。
84.示例性地,参见图2所示,在识别出现实场景图像中包含目标运动对象(足球)的情况下,可以以图层叠加的方式,将实际运动轨迹信息和预测运动轨迹信息叠加于现实场景图像之上并进行展示,其中,s1为该目标运动对象的实际运动轨迹信息,也即历史运动轨迹信息;s2为该目标运动对象的预测运动轨迹信息。
85.可以理解,为了呈现不同的观感体验,实际运动轨迹信息的ar特效与预测运动轨迹信息的ar特效的呈现效果不同。
86.本公开实施例中,首先获取增强现实ar设备拍摄的目标场所的现实场景图像,在现实场景图像中包含目标运动对象的情况下,获取目标运动对象的实际运动轨迹信息以及预测运动轨迹信息,然后基于现实场景图像,以及实际运动轨迹信息和预测运动轨迹信息,在ar设备展示所述目标运动对象运动的ar特效,如此,观赛者在观看目标赛事时,通过ar设备不仅可以看到目标运动对象的实时位置信息,还可以通过ar特效看到目标运动对象的实际运动轨迹信息和预测运动轨迹信息,从而提高了观赛者的观赛体验。
87.下面将结合具体实施例对上述s102~s103进行详细介绍。
88.针对上述s102,在获取目标运动对象的实际运动轨迹信息以及预测运动轨迹信息时,如图3所示,可以包括以下s1021~1022:
89.s1021,将部署在现实场景中的至少一个摄像装置拍摄的目标场所的现场图像或者ar设备拍摄的现实场景图像作为目标图像,基于目标图像确定目标运动对象的实时位置信息。
90.可以理解,由于目标场所(如体育场馆)通常会部署摄像装置以对目标赛事进行多角度拍摄并记录,因此可以将部署在现实场景中的至少一个摄像装置拍摄的目标场所的现场图像作为目标图像,或者,也可以将ar设备拍摄的现实场景图像作为目标图像,基于该目
标图像可以确定目标运动对象的实时位置信息。
91.s1022,基于实时位置信息,确定实际运动轨迹信息以及预测运动轨迹信息。
92.本公开实施例中,先根据目标图像确认目标运动对象的实时位置信息,然后基于实时位置信息确定实际运动轨迹信息以及预测运动轨迹信息,如此,才可以实现随着目标运动对象的移动,而实时更新轨迹信息的展示位置的效果,使得轨迹信息与目标运动对象的衔接自然顺畅,提高了观看体验。
93.针对上述s1021,在基于目标图像确定目标运动对象的实时位置信息时,如图4所示,可以包括以下s10211~10212:
94.s10211,基于目标运动对象在目标图像对应的图像坐标系下的位置坐标信息,确定目标运动对象在目标场所的三维场景地图对应的地图坐标系下的位置坐标信息。
95.示例性地,可以通过预先拍摄现实场景得到的视频或者图像数据,生成表征现实场景的三维场景地图,具体生成方式详见后文,该三维场景地图基于现实场景对应的视频数据生成,可以构建与现实场景在相同坐标系下完全重合的三维场景地图,因此可以将该三维场景地图作为现实场景的高精度地图使用。
96.示例性地,在目标图像为部署在现实场景中的至少一个摄像装置拍摄的目标场所的现场图像的情况下,由于部署在现实场景中的至少一个拍摄装置在三维场景地图对应的地图坐标系下的位姿是确定的,因此,基于目标运动对象在目标图像对应的图像坐标系下的位置坐标信息,以及该拍摄装置在地图坐标系下的位姿,即可得到目标运动对象在地图坐标系下的位置坐标信息。
97.示例性地,在目标图像为ar设备拍摄的现实场景图像的情况下,基于目标运动对象在目标图像对应的图像坐标系下的位置坐标信息,以及ar设备在地图坐标系下的位姿,即可得到目标运动对象在地图坐标系下的位置坐标信息,其中,ar设备的位姿的确定方式详见后文。
98.s10212,将确定的目标运动对象在地图坐标系下的位置坐标信息作为实时位置信息。
99.本公开实施例中,通过预先构建的表征现实场景的三维场景地图,来确定目标运动对象的实时位置信息,可以提高实时位置信息的确定精度。
100.针对上述s1022,在基于实时位置信息,确定实际运动轨迹信息以及预测运动轨迹信息时,如图5所示,可以包括以下s10221~10222:
101.s10221,基于实时位置信息,确定实际运动轨迹信息以及目标运动对象的运动方向信息。
102.s10222,基于实时位置信息,以及运动方向信息,确定预测运动轨迹信息。
103.可以理解,由于实际运动轨迹信息是已经真实发生的轨迹信息,因此,在确定实时位置信息后,即可确定目标运动对象的实际运动轨迹信息。而预测运动轨迹信息由于是未发生的,是根据目标运动对象的当前运动状态而确定的,因此,需要先确定目标运动对象的运动方向信息,再根据该运动方向信息来确定预测运动轨迹信息,进而可以提高预测运动轨迹信息的确定精度。
104.针对上述s103,在基于现实场景图像,以及实际运动轨迹信息和预测运动轨迹信息,在ar设备展示目标运动对象运动的ar特效时,如图6所示,可以包括以下s1031~1032:
105.s1031,基于现实场景图像,以及目标场所对应的三维场景地图,确定ar设备的拍摄位姿。
106.示例性地,三维场景地图是基于该现实场景的视频数据构成的,现实场景图像为该现实场景的图像,因此可以基于该现实场景图像和三维场景地图,来确定图像采集部件的当前位姿数据,因为图像采集部件位于ar设备上,且ar设备的屏幕展示的现实场景图像是由图像采集部件采集到的,因此可以将图像采集部件的当前位姿数据作为ar设备在现实场所中的当前位姿数据。
107.示例性地,ar设备的当前位姿数据包括ar设备在现实场所对应的世界坐标系下的当前位置坐标和当前姿态数据,其中当前姿态数据可以通过该ar设备的当前朝向来表示,ar设备的当前朝向可以通过ar设备中的图像采集部件的光轴与世界坐标系中的x轴、y轴和z轴的当前夹角来表示。
108.应理解,由于该三维场景地图是与现实场景在相同坐标系下完全重合的三维场景地图,因此该三维场景所对应的地图坐标系和现实场所对应的世界坐标系是完全相同的。
109.s1032,基于ar设备的拍摄位姿,以及实际运动轨迹信息和预测运动轨迹信息,在ar设备展示目标运动对象运动的ar特效。
110.本公开实施例中,基于ar设备的拍摄位姿,在ar设备展示目标运动对象运动的ar特效,使得目标运动对象运动的ar特效与现实场景图像的契合度更高,进而提升了ar特效的显示效果。
111.针对上述s1032,在基于ar设备的拍摄位姿,以及实际运动轨迹信息和预测运动轨迹信息,在ar设备展示目标运动对象运动的ar特效时,如图7所示,可以包括以下s10321~10323:
112.s10321,基于获取的三维场景地图所对应的地图坐标系下的实际运动轨迹信息和预测运动轨迹信息、以及ar设备的拍摄位姿,确定在ar设备的设备坐标系下的实际运动轨迹信息和预测运动轨迹信息。
113.其中,ar设备的拍摄位姿也可以用地图坐标系与ar设备的设备坐标系之间的转换关系表示。
114.s10322,基于设备坐标系和ar设备的屏幕坐标系之间的转换关系,确定在屏幕坐标系下的实际运动轨迹信息和预测运动轨迹信息。
115.s10323,基于屏幕坐标系下的实际运动轨迹信息和预测运动轨迹信息,在ar设备展示目标运动对象运动的ar特效。
116.本公开实施例中,通过不同坐标系之间的转换关系,得到屏幕坐标系下的实际运动轨迹信息和预测运动轨迹信息,使得目标运动对象在地图坐标系下的实时位置发生变化时,幕坐标系下的实际运动轨迹信息和预测运动轨迹信息也会实时更新相应的展示位置,提高了轨迹信息的展示精度以及展示效果。
117.可以理解,在另一些实施方式中,可以只获取地图坐标系下的目标运动对象的实时位置信息和实际运动轨迹信息,接着将地图坐标系下的目标运动对象的实时位置信息和实际运动轨迹信息转换到设备坐标系下的实时位置信息和实际运动轨迹信息,再转换到屏幕坐标系下的实时位置信息和实际运动轨迹信息;然后基于该屏幕坐标系下的实时位置信息和实际运动轨迹信息,确定屏幕坐标系下的预测运动轨迹信息;最后基于屏幕坐标系下
的实际运动轨迹信息和预测运动轨迹信息,在ar设备展示目标运动对象运动的ar特效。
118.针对上述多次提到的三维场景地图,如图8所示,具体可以按照以下方式预先构建,包括s601~s603:
119.s601,获取多张现实场景样本图像。
120.示例性地,可以预先通过ar设备对该现实场景,比如体育场馆进行多角度拍摄,得到该现实场景对应的大量现实场景样本图像。
121.s602,基于多张现实场景样本图像,构建表征现实场景的初始三维场景虚拟模型。
122.针对s602,在基于多张现实场景样本图像,生成现实场景对应的初始三维场景虚拟模型时,可以包括:
123.(1)从获取的每张现实场景样本图像中提取多个特征点;
124.(2)基于提取的多个特征点,以及预存的与现实场景匹配的三维样本图,生成初始三维场景虚拟模型;其中,三维样本图为预存储的表征现实场景形貌特征的三维图。
125.具体地,针对每张现实场景样本图像提取的特征点可以为能够表征该张现实场景样本图像关键信息的点,比如针对包含目标物(比如篮球架)的现实场景样本图像,这里的特征点可以表示该目标物轮廓信息的特征点。
126.示例性地,这里预存的与现实场景的三维样本图可以包括提前设置好的能够表征该现实场景形貌特征、且带有尺寸标注的三维图,比如可以是表征该现实场景形貌特征的计算机辅助设计(computer aided design,cad)三维图。
127.针对该现实场景,当提取的特征点足够多时,特征点构成的特征点云,可以构成表征该现实场景的三维模型,这里的特征点云中的特征点是没有单位的,特征点云构成的三维模型也是没有单位的,然后将该特征点云与带有尺度标注的且能够表征该现实场景形貌特征的三维图对齐后,即得到该现实场景对应的初始三维场景虚拟模型。
128.s603,将构建的初始三维场景虚拟模型上的标定特征点与现实场景对应的标定特征点进行对齐,生成三维场景地图。
129.生成的初始三维模型可能会存在失真现象,然后可以通过现实场景对应的二维地图对其进行调整,可以得到准确度较高的三维场景虚拟模型。
130.针对s603,在将构建的初始三维场景模型上的标定特征点与现实场景对应的标定特征点进行对齐,生成三维场景地图时,包括:
131.(1)在现实场景对应的初始三维场景模型中提取用于表征现实场景多个空间位置点的标定特征点;
132.(2)确定标定特征点在现实场景对应的真实二维地图中的真实坐标数据,并基于每个标定特征点对应的真实坐标数据,调整初始三维场景模型中各个特征点的坐标数据。
133.示例性地,可以选择一些表征目标物边缘、角落的空间位置点的特征点作为这里的标定特征点,然后基于标定特征点对应的真实坐标数据以及该标定特征点在初始三维场景虚拟模型中的坐标数据,确定坐标数据调整量,然后基于该坐标数据调整量对初始三维模型中各个特征点的坐标数据进行修正,即可以得到准确度较高的三维场景虚拟模型。
134.针对上述s1031,在基于现实场景图像,以及目标场所对应的三维场景地图,确定ar设备的拍摄位姿时,如图9所示,可以包括以下s10311~s10313:
135.s10311,提取现实场景图像包含的特征点,以及提取预先构建三维场景地图时的
每张现实场景样本图像的特征点。
136.s10312,基于现实场景图像对应的特征点以及预先构建三维场景地图时的每张现实场景样本图像对应的特征点,确定与现实场景图像相似度最高的目标现实场景样本图像。
137.s10313,基于目标现实场景样本图像对应的拍摄位姿数据,确定ar设备的拍摄位姿。
138.示例性地,在获取到ar设备拍摄的现实场景图像后,可以通过该现实场景图像中特征点,以及预先构建三维场景地图时每张现实场景样本图像的特征点,找到与该现实场景图像相似度最高的目标现实场景样本图像,比如可以基于现实场景图像的特征点的特征信息与每张现实场景样本图像的特征点的特征信息,确定该现实场景图像和每张现实场景样本图像的相似度值,将相似度值最高且超过相似度阈值的现实场景样本图像作为这里的目标现实场景样本图像。
139.在确定出目标现实场景样本图像后,可以基于将该目标现实场景样本图像对应的拍摄位姿数据确定ar设备的拍摄位姿。
140.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
141.基于同一技术构思,本公开实施例中还提供了与目标对象的运动展示方法对应的目标对象的运动展示装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述目标对象的运动展示方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
142.参照图10所示,为本公开实施例提供的一种目标对象的运动展示装置500的示意图,该目标对象的运动展示装置500包括:
143.图像获取模块501,用于获取增强现实ar设备拍摄的目标场所的现实场景图像;
144.轨迹获取模块502,用于在所述现实场景图像中包含目标运动对象的情况下,获取所述目标运动对象的实际运动轨迹信息以及预测运动轨迹信息;
145.特效展示模块503,用于基于所述现实场景图像,以及所述实际运动轨迹信息和预测运动轨迹信息,在所述ar设备展示所述目标运动对象运动的ar特效。
146.在一种可能的实施方式中,轨迹获取模块502具体用于:
147.将部署在现实场景中的至少一个摄像装置拍摄的所述目标场所的现场图像或者所述ar设备拍摄的所述现实场景图像作为目标图像,基于所述目标图像确定所述目标运动对象的实时位置信息;
148.基于所述实时位置信息,确定所述实际运动轨迹信息以及所述预测运动轨迹信息。
149.在一种可能的实施方式中,轨迹获取模块502具体用于:
150.基于所述目标运动对象在所述目标图像对应的图像坐标系下的位置坐标信息,确定所述目标运动对象在所述目标场所的三维场景地图对应的地图坐标系下的位置坐标信息;
151.将确定的所述目标运动对象在所述地图坐标系下的位置坐标信息作为所述实时
位置信息。
152.在一种可能的实施方式中,轨迹获取模块502具体用于:
153.基于所述实时位置信息,确定所述实际运动轨迹信息以及所述目标运动对象的运动方向信息;
154.基于所述实时位置信息,以及所述运动方向信息,确定所述预测运动轨迹信息。
155.在一种可能的实施方式中,特效展示模块503具体用于:
156.基于所述现实场景图像,以及所述目标场所对应的三维场景地图,确定所述ar设备的拍摄位姿;
157.基于所述ar设备的拍摄位姿,以及所述实际运动轨迹信息和预测运动轨迹信息,在所述ar设备展示所述目标运动对象运动的ar特效。
158.在一种可能的实施方式中,特效展示模块503具体用于:
159.基于获取的所述三维场景地图所对应的地图坐标系下的所述实际运动轨迹信息和预测运动轨迹信息、以及所述ar设备的拍摄位姿,确定在所述ar设备的设备坐标系下的实际运动轨迹信息和预测运动轨迹信息;
160.基于所述设备坐标系和所述ar设备的屏幕坐标系之间的转换关系,确定在所述屏幕坐标系下的实际运动轨迹信息和预测运动轨迹信息;
161.基于所述屏幕坐标系下的实际运动轨迹信息和预测运动轨迹信息,在所述ar设备展示所述目标运动对象运动的ar特效。
162.在一种可能的实施方式中,所述实际运动轨迹信息的ar特效与所述预测运动轨迹ar特效的呈现效果不同。
163.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
164.基于同一技术构思,本公开实施例还提供了一种电子设备。参照图11所示,为本公开实施例提供的电子设备700的结构示意图,包括处理器701、存储器702、和总线703。其中,存储器702用于存储执行指令,包括内存7021和外部存储器7022;这里的内存7021也称内存储器,用于暂时存放处理器701中的运算数据,以及与硬盘等外部存储器7022交换的数据,处理器701通过内存7021与外部存储器7022进行数据交换。
165.本技术实施例中,存储器702具体用于存储执行本技术方案的应用程序代码,并由处理器701来控制执行。也即,当电子设备700运行时,处理器701与存储器702之间通过总线703通信,使得处理器701执行存储器702中存储的应用程序代码,进而执行前述任一实施例中所述的方法。
166.其中,存储器702可以是,但不限于,随机存取存储器(random access memory,ram),只读存储器(read only memory,rom),可编程只读存储器(programmable read-only memory,prom),可擦除只读存储器(erasable programmable read-only memory,eprom),电可擦除只读存储器(electric erasable programmable read-only memory,eeprom)等。
167.处理器701可能是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)等;还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵
列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
168.可以理解的是,本技术实施例示意的结构并不构成对电子设备700的具体限定。在本技术另一些实施例中,电子设备700可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
169.本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中的目标对象的运动展示方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
170.本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中的目标对象的运动展示方法的步骤,具体可参见上述方法实施例,在此不再赘述。
171.其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(software development kit,sdk)等等。
172.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
173.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
174.另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
175.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
176.最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献