一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

增强现实AR呈现方法、装置、电子设备及存储介质与流程

2022-06-05 19:37:08 来源:中国专利 TAG:

增强现实ar呈现方法、装置、电子设备及存储介质
技术领域
1.本公开涉及增强现实技术领域,具体而言,涉及一种增强现实ar呈现方法、装置、电子设备和存储介质。


背景技术:

2.随着体育赛事的蓬勃发展,整个体育产业链也不断壮大,各类体育比赛时刻吸引着体育迷的关注。体育迷可以通过去现场或者实时转播的视频来观看目标赛事。
3.然而,现有的观看方式,不论是现场观看还是通过电视进行观看,观众都只能单纯的看到目标人物的运动画面,当赛事达到精彩时刻时,仅仅通过回放的方式使得观众重新看一次该精彩时刻,展现形式较为单一,导致观赛体验不佳。


技术实现要素:

4.本公开实施例至少提供一种ar呈现方法、装置、电子设备及存储介质。
5.第一方面,本公开实施例提供了一种ar呈现方法,包括:
6.获取增强现实ar设备拍摄的现实场景图像;
7.在识别出所述现实场景图像中包含目标人物,且检测到所述目标人物所处的目标赛事达到特定阶段的情况下,基于所述现实场景图像,在所述ar设备中呈现与所述目标人物相关联的视频。
8.本公开实施例中,首先获取ar设备拍摄的现实场景图像,然后在识别出所述现实场景图像中包含目标人物,且检测到所述目标人物所处的目标赛事达到特定阶段的情况下,基于所述现实场景图像,在所述ar设备中呈现与所述目标人物相关联的视频,如此,可以在目标赛事达到特定阶段时,呈现与目标人物相关联的视频,使得观赛者可以在看到实时的目标人物的情况下,还可以通过ar效果观看到与目标人物相关联的视频,进而便于观赛者掌握每个目标人物的状态,提高了观赛体验。
9.根据第一方面,在一种可能的实施方式中,所述检测到所述目标人物所处的目标赛事达到所述特定阶段,包括:
10.检测针对呈现于所述ar设备中的虚拟控件的目标触发操作;
11.在检测到所述目标触发操作满足目标条件的情况下,确定所述目标人物所处的目标赛事达到所述特定阶段。
12.本公开实施例中,根据是否检测到针对呈现于所述ar设备中的虚拟控件的目标触发操作,来确定目标赛事是否达到特定阶段,可以满足不同用户的不同需求,提高了用户体验。另外,只有在目标触发操作满足目标条件的情况下,才确定目标赛事达到特定阶段,进而可以避免因误触而带来误判的情况发生,提高了判断的精度。
13.根据第一方面,在一种可能的实施方式中,所述检测到所述目标人物所处的目标赛事达到所述特定阶段,包括:
14.识别所述现实场景图像中的目标标记物;
15.在所述目标标记物上所标记的内容,以及预设的目标赛事的相关规则,满足预设条件时,确定所述目标赛事达到所述特定阶段。
16.本公开实施例中,通过目标标记物上所标记的内容,及预设的目标赛事的相关规则是否满足预设条件,来确定所述目标赛事是否达到所述特定阶段,进而可以将目标赛事的精彩时刻进行自动呈现,可以针对性的提示用户在赛事过程中的一些精彩时刻。
17.根据第一方面,在一种可能的实施方式中,所述检测到所述目标人物所处的目标赛事达到所述特定阶段,包括:
18.识别所述现实场景图像中的多个目标对象;
19.在所述多个目标对象之间满足预设的关联关系时,确定所述目标赛事达到所述特定阶段。
20.本公开实施例中,可以根据目标对象之间的关联关系是否满足预设的关联关系来确定目标赛事是否达到特定阶段,进而可以将运动员的每个得分的时刻或者与得分失之交臂的时刻等时刻都进行自动呈现,从而可以针对性的提示用户在赛事过程中的一些精彩时刻。
21.根据第一方面,在一种可能的实施方式中,所述基于所述现实场景图像,在所述ar设备中呈现与所述目标人物相关联的视频,包括:
22.基于所述现实场景图像,在所述ar设备中呈现当前时刻之前的特定时间段的与所述目标人物相关联的视频。
23.根据第一方面,在一种可能的实施方式中,所述基于所述现实场景图像,在所述ar设备中呈现当前时刻之前的特定时间段的与所述目标人物相关联的视频,包括:
24.从对所述目标赛事进行实时转播的视频中,筛选所述特定时间段的与所述目标人物相关联的视频帧,并将所述视频帧进行组合,以形成目标视频;
25.基于所述现实场景图像,在所述ar设备中呈现所述目标视频。
26.本公开实施例中,可以对现有的实时转播中的视频资源进行处理后,得到目标视频,避免了对初始视频进行处理,提升了视频处理的效率,如此可以实现资源的合理利用,在现有资源的基础上实现该ar呈现方法。
27.根据第一方面,在一种可能的实施方式中,所述基于所述现实场景图像,在所述ar设备中呈现当前时刻之前的特定时间段的与所述目标人物相关联的视频,包括:
28.基于所述现实场景图像,确定所述ar设备所在的目标场所;
29.从所述目标场所中用于采集图像的各个摄像设备的视频中,查找所述特定时间段的与所述目标人物相关联的视频帧,并将所述视频帧进行组合,以形成目标视频;
30.基于所述现实场景图像,在所述ar设备中呈现所述目标视频。
31.本公开实施例中,通过目标场所中用于采集图像的各个摄像设备的视频中,查找所述特定时间段的与所述目标人物相关联的视频帧,可以获得不同角度拍摄的视频,以便提供更为全面的目标人物的视频。
32.根据第一方面,在一种可能的实施方式中,所述将所述视频帧进行组合,以形成目标视频,包括:
33.在所述目标人物在同一时刻存在多张视频帧的情况下,根据所述视频帧的画面完整度和/或视频帧的画面分辨率,确定所述多张视频帧的优先级;
34.根据所述优先级确定目标视频帧,并将所述目标视频帧进行组合,以形成所述目标视频。
35.本公开实施例中,在目标人物在同一时刻存在多张视频帧的情况下,从中选择优先级较高的视频帧来组合形成目标视频,进而可以提高目标视频的画面质量,提高用户的观看体验。
36.根据第一方面,在一种可能的实施方式中,所述识别出所述现实场景图像中包含目标人物,包括:
37.将所述现实场景图像和预设的人物图像进行比对;
38.在所述现实场景图像中包括所述预设的人物图像的情况下,确定识别出所述现实场景图像中包含所述目标人物。
39.本公开实施例中,通过将现实场景图像和预设的人物图像进行比对来识别目标人物,可以提高目标人物识别的准确率。
40.第二方面,本公开实施例提供了一种ar呈现装置,包括:
41.获取模块,用于获取增强现实ar设备拍摄的现实场景图像;
42.呈现模块,用于在识别出所述现实场景图像中包含目标人物,且检测到所述目标人物所处的目标赛事达到特定阶段的情况下,基于所述现实场景图像,在所述ar设备中呈现与所述目标人物相关联的视频。
43.根据第二方面,在一种可能的实施方式中,所述呈现模块具体用于:
44.检测针对呈现于所述ar设备中的虚拟控件的目标触发操作;
45.在检测到所述目标触发操作满足目标条件的情况下,确定所述目标人物所处的目标赛事达到所述特定阶段。
46.根据第二方面,在一种可能的实施方式中,所述呈现模块具体用于:
47.识别所述现实场景图像中的目标标记物;
48.在所述目标标记物上所标记的内容,及预设的目标赛事的相关规则,满足预设条件的情况下,确定所述目标赛事达到所述特定阶段。
49.根据第二方面,在一种可能的实施方式中,所述呈现模块具体用于:
50.识别所述现实场景图像中的多个目标对象;
51.在所述多个目标对象之间满足预设的关联关系时,确定所述目标赛事达到所述特定阶段。
52.根据第二方面,在一种可能的实施方式中,所述呈现模块具体用于:
53.基于所述现实场景图像,在所述ar设备中呈现当前时刻之前的特定时间段的与所述目标人物相关联的视频。
54.根据第二方面,在一种可能的实施方式中,所述呈现模块具体用于:
55.从对所述目标赛事进行实时转播的视频中,筛选所述特定时间段的与所述目标人物相关联的视频帧,并将所述视频帧进行组合,以形成目标视频;
56.基于所述现实场景图像,在所述ar设备中呈现所述目标视频。
57.根据第二方面,在一种可能的实施方式中,所述呈现模块具体用于:
58.基于所述现实场景图像,确定所述ar设备所在的目标场所;
59.从所述目标场所中用于采集图像的各个摄像设备的视频中,查找所述特定时间段
的与所述目标人物相关联的视频帧,并将所述视频帧进行组合,以形成目标视频;
60.基于所述现实场景图像,在所述ar设备中呈现所述目标视频。
61.根据第二方面,在一种可能的实施方式中,所述呈现模块具体用于:
62.在所述目标人物在同一时刻存在多张视频帧的情况下,根据所述视频帧的画面完整度和/或视频帧的画面分辨率,确定所述多张视频帧的优先级;
63.根据所述优先级确定目标视频帧,并将所述目标视频帧进行组合,以形成所述目标视频。
64.根据第二方面,在一种可能的实施方式中,所述呈现模块具体用于:
65.将所述现实场景图像和预设的人物图像进行比对;
66.在所述现实场景图像中包括所述预设的人物图像的情况下,确定识别出所述现实场景图像中包含所述目标人物。
67.第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的ar呈现方法的步骤。
68.第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的ar呈现方法的步骤。
69.为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
70.为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
71.图1示出了本公开实施例所提供的一种ar呈现方法的流程图;
72.图2示出了本公开实施例所提供的一种呈现与目标人物相关联的视频的示意图;
73.图3示出了本公开实施例所提供的第一种检测目标赛事达到特定阶段的方法流程图;
74.图4示出了本公开实施例所提供的一种在ar设备中呈现虚拟控件的界面示意图;
75.图5示出了本公开实施例所提供的第二种检测目标赛事达到特定阶段的方法流程图;
76.图6示出了本公开实施例所提供的第三种检测目标赛事达到特定阶段的方法流程图;
77.图7示出了本公开实施例所提供的一种多个对象之间的关联关系的示意图;
78.图8示出了本公开实施例所提供的一种呈现与目标人物相关联的视频的方法流程图;
79.图9示出了本公开实施例所提供的另一种呈现与目标人物相关联的视频的方法流程图;
80.图10示出了本公开实施例所提供的一种生成三维场景地图的方法流程图;
81.图11示出了本公开实施例所提供的一种增强现实ar呈现装置的结构示意图;
82.图12示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
83.为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
84.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
85.本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括a、b、c中的至少一种,可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
86.随着体育赛事的蓬勃发展,整个体育产业链也不断壮大,各类体育比赛时刻吸引着体育迷的关注。体育迷可以通过去现场或者实时转播的视频来观看目标赛事。
87.现有的观看方式,不论是现场观看还是通过电视进行观看,观众都只能单纯的看到目标人物的运动画面,当赛事达到精彩时刻时,仅仅通过回放的方式使得观众重新看一次该精彩时刻,展现形式较为单一,导致观赛体验不佳。因此,如何提高观众的观赛体验,为本公开要解决的技术问题。
88.经研究发现,ar(augmented reality,增强现实)技术是一种将虚拟信息与真实世界巧妙融合的技术,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。因此,可以将ar技术应用到观赛的事项上,进而解决本公开的技术问题。
89.基于上述研究,本公开提供了一种ar呈现方法,首先获取ar设备拍摄的现实场景图像;然后在识别出现实场景图像中包含目标人物,且检测到目标人物所处的目标赛事达到特定阶段的情况下,基于现实场景图像,在ar设备中呈现与目标人物相关联的视频,如此,可以在目标赛事达到特定阶段(比如达到赛点)时,呈现与目标人物相关联的视频,使得观赛者可以在看到实时的目标人物的情况下,还可以通过ar效果观看到与目标人物相关联的视频,进而便于观赛者掌握每个目标人物的状态,提高了观赛体验。
90.为便于对本实施例进行理解,首先对本公开实施例所公开的一种ar呈现方法进行详细介绍,本公开实施例所提供的ar呈现方法的执行主体一般为具有一定计算能力的计算
机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为移动设备、用户终端、终端、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该ar呈现方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
91.参见图1所示,为本公开实施例提供的ar呈现方法的流程图,该ar呈现方法包括以下s101~s102:
92.s101,获取ar设备拍摄的现实场景图像。
93.本公开实施例中,ar设备为能够支持ar功能的智能设备,示例性说明,ar设备包括但不限于:手机、平板电脑、ar眼镜等能够呈现增强现实效果的电子设备。也即,该ar设备可以是前述具有一定计算能力的电子设备中的终端设备。ar设备可以内置图像采集部件也可以外接图像采集部件,在ar设备进入工作状态后,可以通过图像采集部件实时拍摄现实场景图像。
94.s102,在识别出现实场景图像中包含目标人物,且检测到目标人物所处的目标赛事达到特定阶段的情况下,基于现实场景图像,在ar设备中呈现与目标人物相关联的视频。
95.示例地,可以将所拍摄的实场景图像和预设的人物图像进行比对,在现实场景图像中包括预设的人物图像的情况下,确定识别出现实场景图像中包含目标人物。例如,若当前目标赛事为一场篮球赛,而观赛者比较关注球星“乔丹”,因此可以将“乔丹”的图像作为预设的人物图像,在识别到现实场景图像中包括“乔丹”的情况下,即可确定识别出现实场景图像中包含目标人物。
96.可以理解,在一些实施方式中,该预设的人物图像可以是根据目标赛事的不同而预先设置好的,比如,若目标赛事为篮球赛,则可以将该篮球赛中所涉及的所有队员或者部分队员的人物图像设置为预设的人物图像。
97.在另一些实施方式中,该预设的人物图像还可以由用户设置,比如,若目标赛事为篮球赛,而不同的用户可能关注的人物不同,比如a用户可能比较关注x人物,而b用户则比较关注y人物,因此,为了满足不同用户的需求,还可以响应用户的操作,将该目标赛事所对应的各个人物的图像呈现于该ar设备中,然后响应用户的特定操作,将用户选择的至少一个目标人物图像作为预设的人物图像,如此,用户可以根据自己的喜好而确定目标人物,提高了用户体验。
98.示例地,参见图2所示,当前用户所观看的是篮球比赛,其中在该次比赛中的目标人物是c,因此,在检测到目标人物c所处的目标赛事达到特定阶段的情况下,基于现实场景图像,在ar设备中呈现与目标人物c相关联的视频。本实施方式中,与目标人物c相关联的视频为当前时刻之前的特定时间段的与目标人物c相关联的视频,也即为前情回顾的视频。例如,若检测到目标人物c有将篮球投进篮筐而获得得分,此时则呈现目标人物c投篮过程以及篮球进入篮筐的过程的视频,如此则可以使得用户可以再次观看目标人物c的精彩时刻。
99.需要说明的是,本技术实施例中,该ar呈现的方法是以运动场馆内的实时观赛场景来进行说明的,但不限于此,比如还可以是通过电视来观看竞技类运动比赛的场景上。
100.本公开实施例中,首先获取ar设备拍摄的现实场景图像,然后在识别出现实场景图像中包含目标人物,且检测到目标人物所处的目标赛事达到特定阶段的情况下,基于现实场景图像,在ar设备中呈现与目标人物相关联的视频,如此,可以在目标赛事达到特定阶段(比如获得得分)时,呈现与目标人物相关联的视频,使得观赛者可以在看到实时的目标
人物的情况下,还可以通过ar效果观看到与目标人物相关联的视频,进而便于观赛者掌握每个目标人物的状态,提高了观赛体验。
101.下面将结合具体实施例对上述s102进行详细介绍。
102.在第一种实施方式中,针对上述s102,在检测到目标人物所处的目标赛事达到特定阶段时,如图3所示,可以包括以下s102a1~102a2:
103.s10a1,检测针对呈现于ar设备中的虚拟控件的目标触发操作。
104.示例地,参见图4所示,可以在ar设备的屏幕上呈现一虚拟控件,以提示用户可以对该虚拟控件进行操作。例如,呈现一标注有“精彩时刻”的虚拟控件,以提示用户通过该虚拟控件可以观看精彩时刻。
105.可以理解,为了不影响用户对现实场景图像的观看,该虚拟控件的显示位置可以靠近屏幕的边缘设置。
106.s102a2,在检测到目标触发操作满足目标条件的情况下,确定目标人物所处的目标赛事达到特定阶段。
107.示例地,该目标条件包括目标触发操作的时长是否达到预设时间、该目标触发操作的频率是否达到预设次数,或者该目标触发操作与该虚拟控件的接触面积是否超过预设面积等。比如,在该目标触发操达到预设时长(如3秒以上)的情况下,确定目标触发操作满足目标条件,此时该目标触发操为长按操作;或者,在该目标触发操达到预设次数(如两次)的情况下,确定目标触发操作满足目标条件,此时该目标触发操作为双击操作;或者,在该目标触发操与该虚拟控件的接触面积超过预设面积的情况下,确定目标触发操作满足目标条件,此时该目标触发操作为触摸操作。
108.本公开实施例中,根据是否检测到针对呈现于ar设备中的虚拟控件的目标触发操作,来确定目标赛事是否达到特定阶段,可以满足不同用户的不同需求,提高了用户体验。另外,只有在目标触发操作满足目标条件的情况下,才确定目标赛事达到特定阶段,进而可以避免因误触而带来误判的情况发生,提高了判断的精度。
109.在第二种实施方式中,针对上述s102,在检测到目标人物所处的目标赛事达到特定阶段时,如图5所示,可以包括以下s102b1~102b2:
110.s102b2,识别现实场景图像中的目标标记物。
111.示例地,目标标记物包括但不限于记分牌、赛事进程牌等。其中,记分牌用于记录参加比赛的每个队伍的得分分数;赛事进程牌用于记录比赛的总局数以及当前时刻该比赛所处的局数,比如,若当前赛事为篮球比赛,赛事进程牌可以显示“当前为第四局,共7局”的内容。
112.s102b2,在目标标记物上所标记的内容,及预设的目标赛事的相关规则,满足预设条件的情况下,确定目标赛事达到特定阶段。
113.示例地,预设条件可以根据不同的比赛而进行不同的设定。比如,若当前赛事为篮球比赛,采用七局四胜制,也就是说a、b两支球队只要有一队先赢了四场就算这支球队胜了。在这七局当中总会有一场是个赛点,比如ab的大比分是1:3那b队只要再赢一场就可以取得胜利,比赛就结束了,那么我们可以说b队拿到了赛点,确定目标赛事达到特定阶段。
114.再如乒乓球比赛,小局是11胜制,大局是五场三胜制。在小局中谁先到10分,也就是还差1分就获得这1小局的胜利,这1分就叫做这1小局的局点(也可以说是这1小盘的盘
点)。在大局中谁先赢到第三场,在这一场中谁先到10分,还差1分就获得整场比赛的胜利,这1分就叫做整场比赛的赛点,因此,根据目标标记五所标记的内容及目标赛事的相关规则,即可确定目标赛事是否达到特定阶段。
115.示例地,还可根据目标标记物上所记录的得分情况,确定运动员的当前行为是否打破记录,比如,当前运动员的游泳时间为1分30秒,而世界记录的时间为1分40秒,则此时可以确定运动员成绩打破了世界记录,确定目标赛事达到了特定阶段。
116.本公开实施例中,通过目标标记物上所标记的内容,及预设的目标赛事的相关规则是否满足预设条件,来确定目标赛事是否达到特定阶段,进而可以将目标赛事的精彩时刻进行自动呈现,可以针对性的提示用户在赛事过程中的一些精彩时刻。
117.在第三种实施方式中,针对上述s102,在检测到目标人物所处的目标赛事达到特定阶段时,如图6所示,可以包括以下s102c1~102c2:
118.s102c1,识别现实场景图像中的多个目标对象。
119.示例地,目标对象根据目标赛事的不同而不同,例如,在目标赛事为篮球比赛的情况下,该多个目标对象可以包括篮球和篮筐;在目标赛事为足球比赛的情况下,该多个目标对象可以包括足球和球门;其他比赛类似,在此不做限定和说明。
120.s102c2,在多个目标对象之间满足预设的关联关系时,确定目标赛事达到特定阶段。
121.示例地,参见图7所示,在目标赛事为足球比赛的情况下,在足球进入球门范围内的情况下,确定足球和球门满足预设的关联关系,此时为运动员获得得分时刻,确定目标赛事达到特定阶段,因此呈现与目标人物相关联的视频。
122.本公开实施例中,可以根据目标对象之间的关联关系是否满足预设的关联关系来确定目标赛事是否达到特定阶段,进而可以对运动员的每个得分的精彩时刻或者与得分失之交臂的时刻进行自动呈现,从而可以针对性的提示用户在赛事过程中的一些精彩时刻。
123.在第四种实施方式中,针对上述s102,在基于现实场景图像,在ar设备中呈现当前时刻之前的特定时间段的与目标人物相关联的视频时,如图8所示,可以包括以下s102d1~102d2:
124.s102d1,从对目标赛事进行实时转播的视频中,筛选特定时间段的与目标人物相关联的视频帧,并将视频帧进行组合,以形成目标视频。
125.s102d2,基于现实场景图像,在ar设备中呈现目标视频。
126.示例地,可以基于ar设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定ar设备的实时位姿,基于ar设备的实时位姿,在ar设备展示在相应的现实场景图像,并呈现目标视频。
127.示例地,可以将该目标视频叠加于该现实场景图像上并进行显示。可以理解,为了实现目标视频与目标人物的关联,可以将该目标视频呈现于靠近目标人物的位置。
128.示例性地,可以通过预先拍摄现实场景得到的视频或者图像数据,生成表征现实场景的三维场景地图,具体生成方式详见后文,该三维场景地图基于现实场景对应的视频数据生成,可以构建与现实场景在相同坐标系下完全重合的三维场景地图,因此可以将该三维场景地图作为现实场景的高精度地图使用。
129.本公开实施例中,可以对现有的实时转播中的视频资源进行处理后,得到目标视
频,避免了对初始视频进行处理,提升了视频处理的效率,如此可以实现资源的合理利用,在现有资源的基础上实现该ar呈现方法。
130.在第五种实施方式中,针对上述s102,在基于现实场景图像,在ar设备中呈现当前时刻之前的特定时间段的与目标人物相关联的视频时,如图9所示,可以包括以下s102e1~102e3:
131.s102e1,基于现实场景图像,确定ar设备所在的目标场所。
132.示例地,基于ar设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定ar设备所在的目标场所。例如,可以对各个目标场所构建相应的三维场景地图,然后将现实场景图像和三维场景地图进行比对,若当前现实场景图像和某一三维场景地图相匹配时,确定ar设备在该相应的三维场景地图所对应的目标场所。
133.s102e2,从目标场所中用于采集图像的各个摄像设备的视频中,查找特定时间段的与目标人物相关联的视频帧,并将视频帧进行组合,以形成目标视频。
134.s102e3,基于现实场景图像,在ar设备中呈现目标视频。
135.该步骤与上述步骤s102d2类似,在此不再赘述。
136.本公开实施例中,通过目标场所中用于采集图像的各个摄像设备的视频中,查找所述特定时间段的与所述目标人物相关联的视频帧,可以获得不同角度拍摄的视频,以便提供更为全面的目标人物的视频。
137.针对上述提到的“将视频帧进行组合,以形成目标视频”,包括以下:
138.(1)在目标人物在同一时刻存在多张视频帧的情况下,根据视频帧的画面完整度和/或视频帧的画面分辨率,确定多张视频帧的优先级。
139.(2)根据优先级确定目标视频帧,并将目标视频帧进行组合,以形成目标视频。
140.本公开实施例中,在目标人物在同一时刻存在多张视频帧的情况下,从中选择优先级较高的视频帧来组合形成目标视频,进而可以提高目标视频的画面质量,提高用户的观看体验。
141.针对上述多次提到的三维场景地图,如图10所示,具体可以按照以下方式预先构建,包括s601~s603:
142.s601,获取多张现实场景样本图像。
143.示例性地,可以预先通过ar设备对该现实场景,比如某一体育场馆进行多角度拍摄,得到该现实场景对应的大量现实场景样本图像。
144.s602,基于多张现实场景样本图像,构建表征现实场景的初始三维场景虚拟模型。
145.针对s602,在基于多张现实场景样本图像,生成现实场景对应的初始三维场景虚拟模型时,可以包括:
146.(1)从获取的每张现实场景样本图像中提取多个特征点;
147.(2)基于提取的多个特征点,以及预存的与现实场景匹配的三维样本图,生成初始三维场景虚拟模型;其中,三维样本图为预存储的表征现实场景形貌特征的三维图。
148.具体地,针对每张现实场景样本图像提取的特征点可以为能够表征该张现实场景样本图像关键信息的点,比如针对包含目标物(比如墙壁)的现实场景样本图像,这里的特征点可以表示该目标物轮廓信息的特征点。
149.示例性地,这里预存的与现实场景的三维样本图可以包括提前设置好的能够表征
该现实场景形貌特征、且带有尺寸标注的三维图,比如可以是表征该现实场景形貌特征的计算机辅助设计(computer aided design,cad)三维图。
150.针对该现实场景,当提取的特征点足够多时,特征点构成的特征点云,可以构成表征该现实场景的三维模型,这里的特征点云中的特征点是没有单位的,特征点云构成的三维模型也是没有单位的,然后将该特征点云与带有尺度标注的且能够表征该现实场景形貌特征的三维图对齐后,即得到该现实场景对应的初始三维场景虚拟模型。
151.s603,将构建的初始三维场景虚拟模型上的标定特征点与现实场景对应的标定特征点进行对齐,生成三维场景地图。
152.生成的初始三维模型可能会存在失真现象,然后可以通过现实场景对应的二维地图对其进行调整,可以得到准确度较高的三维场景虚拟模型。
153.针对s603,在将构建的初始三维场景模型上的标定特征点与现实场景对应的标定特征点进行对齐,生成三维场景地图时,包括:
154.(1)在现实场景对应的初始三维场景模型中提取用于表征现实场景多个空间位置点的标定特征点;
155.(2)确定标定特征点在现实场景对应的真实二维地图中的真实坐标数据,并基于每个标定特征点对应的真实坐标数据,调整初始三维场景模型中各个特征点的坐标数据。
156.示例性地,可以选择一些表征目标物边缘、角落的空间位置点的特征点作为这里的标定特征点,然后基于标定特征点对应的真实坐标数据以及该标定特征点在初始三维场景虚拟模型中的坐标数据,确定坐标数据调整量,然后基于该坐标数据调整量对初始三维模型中各个特征点的坐标数据进行修正,即可以得到准确度较高的三维场景虚拟模型。
157.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
158.基于同一技术构思,本公开实施例中还提供了与ar呈现方法对应的ar呈现装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述ar呈现方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
159.参照图11所示,为本公开实施例提供的一种ar呈现装置500的示意图,该ar呈现装置包括:
160.获取模块501,用于获取增强现实ar设备拍摄的现实场景图像;
161.呈现模块502,用于在识别出现实场景图像中包含目标人物,且检测到目标人物所处的目标赛事达到特定阶段的情况下,基于现实场景图像,在ar设备中呈现与目标人物相关联的视频。
162.在一种可能的实施方式中,呈现模块502具体用于:
163.检测针对呈现于ar设备中的虚拟控件的目标触发操作;
164.在检测到目标触发操作满足目标条件的情况下,确定目标人物所处的目标赛事达到特定阶段。
165.在一种可能的实施方式中,呈现模块502具体用于:
166.识别现实场景图像中的目标标记物;
167.在目标标记物上所标记的内容,及预设的目标赛事的相关规则,满足预设条件的
情况下,确定目标赛事达到特定阶段。
168.在一种可能的实施方式中,呈现模块502具体用于:
169.识别现实场景图像中的多个目标对象;
170.在多个目标对象之间满足预设的关联关系时,确定目标赛事达到特定阶段。
171.在一种可能的实施方式中,呈现模块502具体用于:
172.基于现实场景图像,在ar设备中呈现当前时刻之前的特定时间段的与目标人物相关联的视频。
173.在一种可能的实施方式中,呈现模块502具体用于:
174.从对目标赛事进行实时转播的视频中,筛选特定时间段的与目标人物相关联的视频帧,并将视频帧进行组合,以形成目标视频;
175.基于现实场景图像,在ar设备中呈现目标视频。
176.在一种可能的实施方式中,呈现模块502具体用于:
177.基于现实场景图像,确定ar设备所在的目标场所;
178.从目标场所中用于采集图像的各个摄像设备的视频中,查找特定时间段的与目标人物相关联的视频帧,并将视频帧进行组合,以形成目标视频;
179.基于现实场景图像,在ar设备中呈现目标视频。
180.在一种可能的实施方式中,呈现模块502具体用于:
181.在目标人物在同一时刻存在多张视频帧的情况下,根据视频帧的画面完整度和/或视频帧的画面分辨率,确定多张视频帧的优先级;
182.根据优先级确定目标视频帧,并将目标视频帧进行组合,以形成目标视频。
183.在一种可能的实施方式中,呈现模块502具体用于:
184.将现实场景图像和预设的人物图像进行比对;
185.在现实场景图像中包括预设的人物图像的情况下,确定识别出现实场景图像中包含目标人物。
186.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
187.基于同一技术构思,本公开实施例还提供了一种电子设备。参照图12所示,为本公开实施例提供的电子设备700的结构示意图,包括处理器701、存储器702、和总线703。其中,存储器702用于存储执行指令,包括内存7021和外部存储器7022;这里的内存7021也称内存储器,用于暂时存放处理器701中的运算数据,以及与硬盘等外部存储器7022交换的数据,处理器701通过内存7021与外部存储器7022进行数据交换。
188.本技术实施例中,存储器702具体用于存储执行本技术方案的应用程序代码,并由处理器701来控制执行。也即,当电子设备700运行时,处理器701与存储器702之间通过总线703通信,使得处理器701执行存储器702中存储的应用程序代码,进而执行前述任一实施例中的方法。
189.其中,存储器702可以是,但不限于,随机存取存储器(random access memory,ram),只读存储器(read only memory,rom),可编程只读存储器(programmable read-only memory,prom),可擦除只读存储器(erasable programmable read-only memory,eprom),电可擦除只读存储器(electric erasable programmable read-only memory,
eeprom)等。
190.处理器701可能是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)等;还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
191.可以理解的是,本技术实施例示意的结构并不构成对电子设备700的具体限定。在本技术另一些实施例中,电子设备700可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
192.本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中的ar呈现方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
193.本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中的行为检测方法的步骤,具体可参见上述方法实施例,在此不再赘述。
194.其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(software development kit,sdk)等等。
195.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
196.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
197.另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
198.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得
一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
199.最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献