一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种增强现实场景下的数据展示方法、装置以及电子设备与流程

2022-06-05 20:21:07 来源:中国专利 TAG:


1.本公开涉及增强现实技术领域,具体而言,涉及一种增强现实场景下的数据展示方法、装置以及电子设备。


背景技术:

2.增强现实(augmented reality,ar)技术,通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后,叠加到真实世界中,从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。近些年来,ar设备的应用越来越广泛,例如生活、工作、娱乐。针对运动领域,运动员在训练或者比赛的过程中,教练员主要通过现场观看的方式判断运动员的运动姿势是否标准,或者,通过观看训练录像或者比赛录像的方式判断运动员的运动姿势是否标准。但是,现有技术中运动员的运动姿势的比对方式存在比对效率低,主观性强的问题;因此,现有的运动员的运动姿势的比对方法无法快速且准确的给出运动姿势的标准程度。


技术实现要素:

3.本公开实施例至少提供一种增强现实场景下的数据展示方法、装置以及电子设备。
4.第一方面,本公开实施例提供了一种增强现实场景下的数据展示方法,包括:获取增强现实ar设备采集到的包含目标识别对象的真实场景图像;识别所述真实场景图像中所述目标识别对象的运动姿态信息;基于所述运动姿态信息,确定对所述目标识别对象的运动姿态信息的姿态指示信息;其中,所述姿态指示信息用于指示所述运动姿态信息的完成程度;在所述ar设备的ar展示界面中展示包含所述姿态指示信息的第一ar特效。
5.在本公开实施例中,通过ar设备采集真实场景图像,并根据真实场景图像识别目标识别对象的运动姿态信息的姿态指示信息,并在ar设备上对该姿态指示信息进行展示的方式,能够在目标识别对象训练和比赛的过程中,实时确定目标识别对象的运动姿态信息的完成程度,不仅提升了运动姿态信息的比对方式比对效率,且比对结果更为客观,能够得到更加客观的比对结果,还能提供给用户提供运动过程的辅助参考信息。
6.一种可选的实施方式中,所述识别所述真实场景图像中所述目标识别对象的运动姿态信息,包括:提取所述真实场景图像中所述目标识别对象的外形轮廓数据;根据提取到的所述外形轮廓数据确定所述真实场景图像中所述目标识别对象的运动姿态信息。
7.通过上述描述可知,运动姿态信息的准确程度可以影响姿态指示信息的准确性,在本公开实施例中,通过提取目标识别对象的外形轮廓数据,并根据该外形轮廓数据确定目标识别对象的运动姿态信息的方式,运算简单且识别成功率高,在提高了运动姿态的识别准确度的同时,还简化了ar设备的计算量,节省了ar设备的内存消耗。
8.一种可选的实施方式中,所述确定对所述目标识别对象的运动姿态信息的姿态指示信息,包括:获取参考运动姿态信息;基于所述参考运动姿态信息和识别到的所述运动姿态信息,确定所述目标识别对象的运动姿态信息的姿态指示信息。
9.一种可选的实施方式中,所述参考运动姿态信息包括以下至少之一:所述运动姿态信息指示的姿势类型下的标准运动姿态信息、所述目标识别对象的历史运动姿态信息。
10.通在本公开实施例中,不仅可以将目标识别对象在当前时刻确定出运动姿态信息与其对应的标准运动姿态信息进行比对,还可以将目标识别对象在当前时刻确定出运动姿态信息与历史运动姿态信息进行比对,从而实现对当前时刻确定出的运动姿态信息进行更加全面的评价,能够更加直观的展示出当前时刻确定出的运动姿态信息的客观评价结果,使得姿态指示信息所指示的结果更加准确。
11.一种可选的实施方式中,所述基于所述参考运动姿态信息和识别到的所述当前运动姿态信息,确定所述目标识别对象的运动姿态信息的姿态指示信息,包括:获取与所述运动姿态信息对应的姿势类型的至少一个评分项,所述当前运动姿态信息相对于每个所述评分项的评分项参数值,以及所述参考运动姿态信息相对于每个所述评分项的标准参数值;针对每个所述评分项,根据每个所述评分项所对应的评分项参数值和所述标准参数值,确定所述姿态指示信息。
12.在本公开实施例中,通过每个评分项所对应的评分项参数值和标准参数值确定姿态指示信息的方式,能够更加全面的对运动姿态信息进行分析,从而提高姿态指示信息准确性,进而缓解由于分析的角度过于单一导致的确定出的姿态指示信息准确性差的问题。
13.一种可选的实施方式中,所述姿态指示信息包括姿态评分值;所述方法还包括:根据以下方式获取所述历史运动姿态信息:获取所述ar设备所在赛事区域内的历史监控视频;从所述历史监控视频中筛选出包括所述目标识别对象的目标视频帧;确定所述目标视频帧中所述目标识别对象的运动姿态信息的姿态评分值;将所述姿态评分值满足预设分数要求的所述目标识别对象的运动姿态信息确定为所述历史运动姿态信息。
14.在本公开实施例中,通过根据历史监控视频确定目标识别对象的运动姿态信息的姿态评分值,并在姿态评分值中选择满足预设分数要求的历史运动姿态信息的方式,可以实现从大量的数据中准确并快速的提取有用的数据作为历史运动姿态信息。此时,将本公开实施例所确定出的历史运动姿态信息和目标识别对象的当前运动姿态信息进行比对之后所确定出的姿态指示信息能够对目标识别对象的当前运动姿态信息进行更加准确的分析评价,同时还提高了根据该姿态指示信息为用户提供的辅助参考信息的可靠性。
15.一种可选的实施方式中,所述在所述ar设备的ar展示界面中展示包含所述姿态指示信息的第一ar特效,包括:在所述ar展示界面中展示虚拟讲解员对所述姿态指示信息进行讲解的第一ar特效。
16.由于ar展示界面的展示区域是有限的,因此在该ar展示界面上可以展示用户认为重要的参数,例如,姿势指示信息。但是其他更详细的比对参数则无法用过ar展示界面来获取。基于此,在本公开实施例中,通过虚拟讲解员讲解姿态指示信息的方式可以为用户展示更加全面的比对参数,弥补了ar展示界面的展示区域有限的不足。此时,在通过虚拟讲解员进行讲解之后,用户就可以通过ar展示界面了解姿态指示信息中的重要信息,还可以通过语音讲解方式了解姿态指示信息中的其他信息。
17.一种可选的实施方式中,所述方法还包括:获取所述ar设备的拍摄位姿;在检测到所述ar设备的摄像装置在所述拍摄位姿下采集到的真实场景图像不满足图像识别条件的情况下,在所述ar设备的ar展示界面中展示拍摄位姿调整信息的第二ar特效,其中,所述拍
摄位姿调整信息为用于指示用户调整所述摄像装置的拍摄位姿的信息。
18.在本公开实施例中,通过在真实场景图像不满足图像识别条件的情况下,调整ar设备的拍摄装置的拍摄位姿的方式,能够得到更加准确的运动姿态信息,在根据该运动姿态进行确定姿态指示信息时,提高了姿态指示信息的可靠性和准确性。
19.一种可选的实施方式中,所述获取增强现实ar设备采集到的包含目标识别对象的真实场景图像,包括:获取所述ar设备采集到的至少一个初始图像;在所述至少一个初始图像中确定满足目标条件的图像为所述真实场景图像,其中,所述目标条件包括以下至少之一:所述初始图像中包含所述目标识别对象,所述初始图像中所包含的目标识别对象的运动姿态为目标运动姿态。
20.在本公开实施例中,通过设置目标条件,能够从大量的初始图像中提取包含关键信息的真实场景图像进行识别处理,从而简化了ar设备的图像识别处理的过程,提高了对真实场景图像进行识别的效率,同时还可以节省ar设备的内存消耗。
21.一种可选的实施方式中,所述方法还包括:从预设好的至少一种运动提示信息中确定与所述姿态指示信息相匹配的运动提示信息;在所述ar设备的ar展示界面中展示包含所述运动提示信息的第三ar特效。
22.现有技术中运动员的运动姿势的比对方式为运动员在训练或者比赛的过程中,教练员主要通过现场观看的方式判断运动员的运动姿势是否标准,或者,通过观看训练录像或者比赛录像的方式判断运动员的运动姿势是否标准,该方法比对效率低,主观性强。在本公开实施例中,通过在ar展示界面中展示运动提示信息的方式,能够提高姿势比对的效率,并为运动员生成指导性意见,从而节省了运动员的训练时间,提高了训练效率。
23.第二方面,本公开实施例提供了一种增强现实场景下的数据展示装置,包括:获取单元,用于获取增强现实ar设备采集到的包含目标识别对象的真实场景图像;识别单元,用于识别所述真实场景图像中所述目标识别对象的运动姿态信息;确定单元,用于基于所述运动姿态信息,确定对所述目标识别对象的运动姿态信息的姿态指示信息;其中,所述姿态指示信息用于指示所述运动姿态信息的完成程度;展示单元,用于在所述ar设备的ar展示界面中展示包含所述姿态指示信息的第一ar特效。
24.第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面中任一所述的增强现实场景下的数据展示方法的步骤。
25.第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述第一方面中任一所述的增强现实场景下的数据展示方法的步骤。
26.为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
27.为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出
了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
28.图1示出了本公开实施例所提供的一种增强现实场景下的数据展示方法的流程图;
29.图2示出了本公开实施例所提供的增强现实场景下的数据展示方法中,获取增强现实ar设备采集到的包含目标识别对象的真实场景图像具体方法的流程图;
30.图3示出了本公开实施例所提供的增强现实场景下的数据展示方法中,识别所述真实场景图像中所述目标识别对象的运动姿态信息具体方法的流程图;
31.图4示出了本公开实施例所提供的增强现实场景下的数据展示方法中,获取所述目标识别对象的运动姿态信息的姿态指示信息具体方法的流程图;
32.图5示出了本公开实施例所提供的一种包含姿态指示信息的第一ar特效的展示效果图;
33.图6示出了本公开实施例所提供的另一种包含姿态指示信息的第一ar特效的展示效果图;
34.图7示出了本公开实施例所提供的第三种种包含姿态指示信息的第一ar特效的展示效果图;
35.图8示出了本公开实施例所提供的第四种包含运动提示信息的第三ar特效的展示效果图;
36.图9示出了本公开实施例所提供的一种增强现实场景下的数据展示装置的示意图;
37.图10示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
38.为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
39.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
40.本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括a、b、c中的至少一种,可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
41.经研究发现,运动员在训练或者比赛的过程中,教练员主要通过现场观看的方式判断运动员的运动姿势是否标准,或者,通过观看训练录像或者比赛录像的方式判断运动
员的运动姿势是否标准。但是,现有技术中运动员的运动姿势的比对方式存在比对效率低,主观性强的问题;因此,现有的运动员的运动姿势的比对方法无法快速且准确的给出运动姿势的标准程度。
42.基于上述研究,本公开提供了一种增强现实场景下的数据展示方法、装置以及电子设备。在本公开实施例中,通过ar设备采集真实场景图像,并根据真实场景图像识别目标识别对象的运动姿态信息的姿态指示信息,以及在ar设备上对该姿态指示信息进行展示的方式,能够在目标识别对象训练和比赛的过程中,实时确定目标识别对象的运动姿态信息的完成程度,不仅提升了运动姿态信息的比对方式的比对效率,且比对结果更为客观,能够得到更加客观的比对结果,还能提供给用户提供运动过程的辅助参考信息。
43.为便于对本实施例进行理解,首先对本公开实施例所公开的一种增强现实场景下的数据展示方法进行详细介绍,本公开实施例所提供的增强现实场景下的数据展示方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(user equipment,ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(personal digital assistant,pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该增强现实场景下的数据展示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
44.参见图1所示,为本公开实施例提供的增强现实场景下的数据展示方法的流程图。
45.需要说明的是,本公开实施例提供的增强现实场景下的数据展示方法可以应用在具有ar功能的计算机设备中,且该计算机设备为具有摄像功能的设备。该计算机设备可以为智能移动设备,例如,智能手表、智能手机、平板电脑、ar眼镜等计算机设备。
46.所述方法包括步骤s101~s107,其中:
47.s101:获取增强现实ar设备采集到的包含目标识别对象的真实场景图像。
48.在本公开实施例中,增强现实ar设备可以为上述所描述的具有ar功能和摄像功能的计算机设备。ar设备可以通过内置的摄像装置采集ar设备所在区域内的真实场景图像。其中,可以设置ar设备一直采集真实场景图像,还可以设置ar设备每隔一段时间采集真实场景图像,还可以设置ar设备在获取到用户发送的采集指令之后,开始采集真实场景图像。
49.例如,该增强现实ar设备为智能移动终端,此时,可以通过该智能移动终端的摄像装置采集真实场景图像;又例如,该增强现实ar设备为智能手表,则可以通过智能手表的摄像装置采集真实场景图像。
50.在本公开实施例中,在ar设备所采集到真实场景图像之后,还可以在真实场景图像中提取人脸图像,并根据该人脸图像确定真实场景图像中所包含的对象是否为预先设定的识别对象,其中,可以预先设置多个识别对象。如果判断出是,则确定真实场景图像中包含目标识别对象。在确定出包含目标识别对象之后,还可以获取目标识别对象的对象信息,其中,该对象信息可以包括以下至少之一:姓名,性别,年龄,历史参赛视频,历史训练监控视频,最佳比赛成绩等信息。如果判断出真实场景图像中所包含的对象不是预先设定的识别对象,则可以在ar设备上生成一个显示信息,用于指示用户当前ar设备采集到的真实场景图像中不包含目标识别对象,从而指示用户重新采集真实场景图像。
51.s103:识别所述真实场景图像中所述目标识别对象的运动姿态信息。
52.在本公开实施例中,ar设备在识别出真实场景图像中包含目标识别对象之后,就
可以识别真实场景图像中目标识别对象的运动姿态信息。
53.如果真实场景图像中包含多个对象,则可以将多个对象确定为目标识别对象,并识别目标识别对象的运动姿态信息。除此之外,还可以在多个对象指定部分对象为目标识别对象,并识别目标识别对象的运动姿态信息。
54.s105:基于所述运动姿态信息,确定对所述目标识别对象的运动姿态信息的姿态指示信息;其中,所述姿态指示信息用于指示所述运动姿态信息的完成程度。
55.在本公开实施例中,ar设备在确定出目标识别对象的运动姿态信息之后,就可以确定对用于指示目标识别对象的运动姿态信息的完成程度的姿态指示信息。其中,运动姿态信息的完成程度还可以理解为运动姿态信息的标准程度,或者,运动姿态信息与标准姿态信息之间的相似程度。
56.需要说明的是,运动姿态信息可以为单个动作的运动姿态信息,此时,姿态指示信息可以为用于指示该单个动作的完成程度的信息。运动姿态信息还可以为一套完整动作的运动姿态信息,此时,姿态指示信息可以为用于指示该套动作的完成程度的信息。
57.在本公开实施例中,姿态指示信息可以包含以下至少一种信息:运动姿态信息的姿态评分值(例如,运动姿态信息针对于每个姿态评分项的姿态评分值)、运动姿态信息存在的缺陷等。其中,该姿态评分值用于表征运动姿态信息的标准程度,例如,标准程度越高,该姿态评分值越高。
58.s107:在所述ar设备的ar展示界面中展示包含所述姿态指示信息的第一ar特效。
59.在本公开实施例中,在确定出目标识别对象的运动姿态信息的姿态指示信息之后,就可以在ar设备的ar展示界面中展示包含姿态指示信息的第一ar特效。
60.需要说明的是,如果目标识别对象为多个,那么可以在ar展示界面中分别展示包含每个目标识别对象的姿态指示信息的第一ar特效。如果目标识别对象为多个,还可以在ar展示界面中展示包含用户所选择展示的目标识别对象的姿态指示信息的第一ar特效。
61.在本公开实施例中,通过ar设备采集真实场景图像,并根据真实场景图像识别目标识别对象的运动姿态信息的姿态指示信息,以及在ar设备上对该姿态指示信息进行展示的方式,能够在目标识别对象训练和比赛的过程中,实时确定目标识别对象的运动姿态信息的完成程度,不仅提升了运动姿态信息的比对方式的比对效率,且比对结果更为客观,能够得到更加客观的比对结果,还能提供给用户提供运动过程的辅助参考信息。
62.通过上述描述可知,在本公开实施例中,首先获取增强现实ar设备采集到的包含目标识别对象的真实场景图像。
63.在一个可选的实施方式中,如图2所示,步骤s101,获取增强现实ar设备采集到的包含目标识别对象的真实场景图像,包括如下步骤:
64.步骤s201,获取所述ar设备采集到的至少一个初始图像;
65.步骤s202,在所述至少一个初始图像中确定满足目标条件的图像为所述真实场景图像,其中,所述目标条件包括以下至少之一:所述初始图像中包含所述目标识别对象,所述初始图像中所包含的目标识别对象的运动姿态为目标运动姿态。
66.在ar设备在开启之后,可以设置ar设备的摄像装置一直处于采集的状态,ar设备可以采集到多帧初始图像。在识别真实场景图像中目标识别对象的运动姿态信息时,可以在多帧初始图像中确定满足目标条件的图像为真实场景图像,并在确定出的真实场景图像
中识别目标识别对象的运动姿态信息。如果初始图像不满足目标条件,则舍弃该初始图像,并继续判断下一帧初始图像是否满足目标条件。
67.在本公开实施例中,目标条件包括以下至少之一:初始图像中包含目标识别对象,初始图像中所包含的目标识别对象的运动姿态为目标运动姿态。可以理解的是,该目标运动姿态可以用于表征目标识别对象在执行某种运动,例如,根据该目标运动姿态确定目标识别对象所做的运动为体操,或者根据该目标运动姿态确定目标识别对象所做的运动为打篮球等。
68.例如,用户通过具有ar功能的智能移动终端采集得到至少一个初始图像。之后,可以依次对每个初始图像进行识别,以确定初始图像中是否包含目标识别对象,其中,用户可以预先在智能移动终端中预先设定一个或多个目标识别对象。在确定出初始图像中包含任意一个目标识别对象之后,则确定该初始图像满足目标条件,此时,将该初始图像确定为真实场景图像。
69.又例如,用户通过具有ar功能的智能移动终端采集得到至少一个初始图像。之后,可以依次对每个初始图像进行识别,以确定初始图像中是否包含目标识别对象,其中,用户可以预先在智能移动终端中预先设定一个或多个目标识别对象。在确定出初始图像中包含任意一个目标识别对象之后,还可以确定初始图像中包含的目标识别对象的运动姿态是否为目标运动姿态。如果判断出是,则确定该初始图像满足目标条件,此时,将该初始图像确定为真实场景图像。
70.在本公开实施例中,通过设置目标条件,能够从大量的初始图像中提取包含关键信息的真实场景图像进行识别处理,从而简化了ar设备的图像识别处理的过程,提高了对真实场景图像进行识别的效率,同时还可以节省ar设备的内存消耗。
71.在本公开实施例中,在按照上述描述的方式获取真实场景图像之后,就可以识别真实场景图像中目标识别对象的运动姿态信息。
72.在一个可选的实施方式中,如图3所示,步骤s103,识别所述真实场景图像中所述目标识别对象的运动姿态信息,包括如下过程:
73.步骤s301,提取所述真实场景图像中所述目标识别对象的外形轮廓数据;
74.步骤s302,根据提取到的所述外形轮廓数据确定所述真实场景图像中所述目标识别对象的运动姿态信息。
75.在本公开实施例中,可以通过姿态识别模型提取真实场景图像中目标识别对象的外形轮廓数据,其中,外形轮廓数据包括:多个外形轮廓点和每个外形轮廓点的位置信息。外形轮廓点的数量越多,根据外形轮廓数据确定的目标识别对象的运动姿态信息就更准确。上述姿态识别模型可以为基于深度神经网络的姿态识别模型,该姿态识别模型的输入数据为外形轮廓数据,该姿态识别模型的输出数据可以为目标识别对象的运动姿态信息,例如,运动姿态信息可以为外形轮廓数据所属于每种预设运动姿态的概率。
76.通过上述描述可知,运动姿态信息的准确程度可以影响姿态指示信息的准确性,在本公开实施例中,通过提取目标识别对象的外形轮廓数据,并根据该外形轮廓数据确定目标识别对象的运动姿态信息的方式,运算简单且识别成功率高,在提高了运动姿态的识别准确度的同时,还简化了ar设备的计算量,节省了ar设备的内存消耗。
77.在本公开实施例中,在识别得到运动姿态信息之后,就可以确定对运动姿态信息
的姿态指示信息,并在ar设备的ar展示界面中展示包含所述姿态指示信息的第一ar特效。通过对目标识别对象的运动姿态信息进行识别,并确定该运动姿态信息的姿态指示信息,以及对该姿态指示信息进行展示的方式,现对于现有技术,能够为用户得到更加准确的运动姿态信息,并为用户快速的展示运动姿态信息的姿态指示信息。
78.在本公开实施例中,还可以获取ar设备的拍摄位姿;在检测到ar设备的摄像装置在拍摄位姿下采集到的真实场景图像不满足图像识别条件的情况下,在ar设备的ar展示界面中展示拍摄位姿调整信息的第二ar特效,其中,拍摄位姿调整信息为用于指示用户调整摄像装置的拍摄位姿的信息。
79.用户在通过ar设备拍摄真实场景图像时,虽然真实场景图像中包含目标识别对象,但是由于ar设备的拍摄姿态的问题,可能导致根据真实场景图像确定出的运动姿态信息不完整,此时,可以确定出真实场景图像不满足图像识别条件。为了得到满足图像识别条件的真实场景图像,就需要调整ar设备的拍摄位姿。
80.例如,在目标识别对象的正前方,左侧和右侧拍摄图像时,将得到三种拍摄视角不相同的真实场景图像,从而得到三种视角不相同的运动姿态信息。但是,在确定运动姿态信息的姿态指示信息时,为了保证姿态指示信息的准确性,需要根据完整的运动姿态信息确定姿态指示信息,其中,完整的运动姿态信息可以为ar设备在目标识别对象的左侧和右侧时,所确定得到的运动姿态信息。
81.在一个可选的实施方式中,如果该ar设备的摄像装置能够实现360旋转,或者ar设备可以自动进行移动,则可以自动调整ar设备的拍摄位姿至理想的拍摄位姿,例如,控制ar设备自动移动至理想位置,并将摄像装置的拍摄角度自动调整至理想的拍摄角度。
82.在另一个可选的实施方式中,如果该ar设备的摄像装置无法进行旋转,或者,ar设备无法自动移动,那么可以在ar设备的ar展示界面上展示拍摄位姿调整信息的第二ar特效,在该拍摄位姿调整信息中可以包含ar设备的拍摄位姿的调整方式,例如,调整至目标识别对象的左侧,或者右侧,或者向上移动ar设备等指示信息。
83.在本公开实施例中,通过在真实场景图像不满足图像识别条件的情况下,调整ar设备的拍摄装置的拍摄位姿的方式,能够得到更加准确的运动姿态信息,在根据该运动姿态进行确定姿态指示信息时,提高了姿态指示信息的可靠性和准确性。
84.在本公开实施例中,在按照上述所描述的方式识别到目标识别对象姿态运动信息之后,就可以基于所述运动姿态信息,确定对所述目标识别对象的运动姿态信息的姿态指示信息。
85.在一个可选的实施方式中,如图4所示,步骤s105获取所述目标识别对象的运动姿态信息的姿态指示信息,包括如下过程:
86.步骤s401,获取参考运动姿态信息;其中,所述参考运动姿态信息包括以下至少之一:所述运动姿态信息指示的姿势类型下的标准运动姿态信息、所述目标识别对象的历史运动姿态信息;
87.步骤s402,基于所述参考运动姿态信息和识别到的所述运动姿态信息,确定所述目标识别对象的运动姿态信息的姿态指示信息。
88.在一个可选的实施方式中,可以结合目标识别对象的运动姿态信息与其对应的标准运动姿态信息确定目标识别对象的姿态指示信息。也即,在参考运动姿态信为标准运动
姿态信息的情况下,则可以先确定目标识别对象的运动姿态信息的姿势类型,并在数据库中确定该姿势类型所对应的标准运动姿态信息。最后,基于标准运动姿态信息和目标识别对象的运动姿态信息确定目标识别对象的姿态指示信息。
89.在一个可选的实施方式中,可以结合目标识别对象的运动姿态信息与目标识别对象的历史运动姿态信息确定目标识别对象的姿态指示信息。在本公开实施例中,可以通过下述所描述的几种方式确定目标识别对象的历史运动姿态信息。
90.方式一:
91.在数据库中查找目标识别对象的历史评分记录,其中,历史评分记录为根据目标识别对象的历史训练视频和/或历史比赛视频确定的历史运动姿态信息。例如,可以通过步骤s101至步骤s107所描述的方法对历史训练视频和/或历史比赛视频中的视频帧进行处理得到姿态评分值(姿态指示信息),然后,将处理得到的姿态评分值存储在数据库的指定位置作为目标识别对象的历史评分记录。
92.具体地,在本公开实施例中,可以从历史评分记录中查找最高姿态评分值作为历史运动姿态信息;除此之外,还可以从历史评分记录中查找近一段时间内的最高姿态评分值作为历史运动姿态信息,例如,在历史评分记录中查找近半年内的最高姿态评分值作为历史运动姿态信息。
93.方式二:
94.首先,获取ar设备所在赛事区域内的历史监控视频;然后,从历史监控视频中筛选出包括目标识别对象的目标视频帧。
95.在此情况下,历史监控视频可以为未经上述步骤s101至步骤s107所描述的方法处理的图像。此时,可以对历史监控视频进行图像识别处理,以在历史监控视频所包含的图像帧中确定包含目标识别对象的目标视频帧。其中,可以采用上述实施方式中所描述的方式在目标视频帧中识别目标识别对象,此处不再详细赘述。
96.在筛选出目标视频帧之后,就可以通过上述步骤s101至步骤s107所描述的方式确定目标视频帧中目标识别对象的运动姿态信息的姿态评分值。如果目标视频帧的数量为多个,则可以得到多个姿态评分值。
97.最后,将姿态评分值满足预设分数要求的目标识别对象的运动姿态信息确定为历史运动姿态信息。其中,满足预设分数要求可以理解为姿态评分值大于预定阈值,预定阈值可以根据实际需要来进行设定,本公开实施不做具体限定;满足预设分数要求还可以理解为多个姿态评分值中的最高姿态评分值。
98.基于此,在得到多个姿态评分值之后,就可以将姿态评分值满足预设分数要求的目标识别对象的运动姿态信息确定为历史运动姿态信息。
99.需要说明的是,如果满足预设分数要求的姿态评分值数量为多个,则可以在多个姿态评分值中随机选择姿态评分值,或者选择距离当前时刻最近的姿态评分值。
100.在本公开实施例中,通过根据历史监控视频确定目标识别对象的运动姿态信息的姿态评分值,并在姿态评分值中选择满足预设分数要求的历史运动姿态信息的方式,可以实现从大量的数据中准确并快速的提取有用的数据作为历史运动姿态信息。此时,将本公开实施例所确定出的历史运动姿态信息和目标识别对象的当前运动姿态信息进行比对之后所确定出的姿态指示信息能够对目标识别对象的当前运动姿态信息进行更加准确的分
析评价,同时提高了根据该姿态指示信息为用户提供的辅助参考信息的可靠性。
101.通过上述描述可知,在本公开实施例中,不仅可以将目标识别对象在当前时刻确定出运动姿态信息与其对应的标准运动姿态信息进行比对,还可以将目标识别对象在当前时刻确定出运动姿态信息与历史运动姿态信息进行比对,从而实现对当前时刻确定出的运动姿态信息进行更加全面的评价,能够更加直观的展示出当前时刻确定出的运动姿态信息的客观评价结果,使得姿态指示信息所指示的结果更加准确。
102.在本公开实施例中,在按照上述所描述的方式获取参考运动姿态信息之后,就可以获取与运动姿态信息对应的姿势类型的至少一个评分项;其中,评分项为用于对运动姿态信息进行评分的项目,例如,可以从动作完整度、动作连接度、动作难度系数、动作失误程度等方面确定上述评分项。需要说明的是,不同类型的运动姿态信息所对应的至少一个评分项是不相同的。用户可以根据实际需要设定每种类型的运动姿态信息所对应的至少一个评分项的具体内容,本公开对此不作具体限定。
103.在获取上述至少一个评分项之后,就可以获取运动姿态信息相对于每个所述评分项的评分项参数值,以及获取参考运动姿态信息相对于每个所述评分项的标准参数值。针对每个所述评分项,根据每个所述评分项所对应的评分项参数值和所述标准参数值,确定所述姿态指示信息。
104.具体地,在本公开实施例中,针对每个评分项,可以通过数据处理方法对该评分项所对应的评分项参数值和标准参数值进行计算,计算得到该评分项的评分值,例如,可以通过特征距离计算方法(比如,欧式距离)来对评分项参数值和标准参数值进行计算,从而得到用于表征评分项参数值和标准参数值之间的相似程度的特征距离,并将该特征距离作为该评分项的评分值。在计算得到每个评分项的评分值之后,就可以对至少一个评分值进行加权求和计算,得到姿态指示信息,例如,姿态评分值。其中,每个评分项的权重值可以为预先根据每个评分项的重要程度确定的权重值。在按照上述所描述的方式确定出姿态指示信息之后,就可以在述ar设备的ar展示界面中展示包含姿态指示信息的第一ar特效。
105.在本公开实施例中,通过每个评分项所对应的评分项参数值和标准参数值确定姿态指示信息的方式,能够更加全面的对运动姿态信息进行分析,从而提高姿态指示信息准确性,进而缓解由于分析的角度过于单一导致的确定出的姿态指示信息准确性差的问题。
106.在本公开实施例中,在按照上述所描述的方式确定姿态指示信息之后,就可以在所述ar设备的ar展示界面中展示包含所述姿态指示信息的第一ar特效。
107.如图5所示为一种可选的包含姿态指示信息的第一ar特效的展示效果图,从展示效果图中可以看出,左侧的图为标准运动姿势,右侧的图为真实场景图像中识别到的当前运动姿势,在ar展示界面中,可以将标准运动姿势和当前运动姿势通过比对的方式展示在ar展示界面中,进而能够方便教练员或者运动员对两个运动姿势进行比对,以发现当前运动姿势的缺陷。从图5中还可以看出,第一ar特效中还包括姿态评分值(即,姿态指示信息),如图5中所示的姿态评分值为9.0,表示标准运动姿势和当前运动姿势之间的相速度为90%。
108.需要说明的是,在该第一ar特效中,还可以展示标准运动姿势和当前运动姿势之间相似度比较低的动作,并通过指示箭头的方式进行标示,例如,如图6所示的第一ar特效的展示效果图,可以通过“不同点1”的方式来展示标准运动姿势和当前运动姿势之间相似
度比较低的动作。除此之外,还可以通过其他的方式来进行展示,本公开实施例不作具体限定。
109.在本公开实施例的一个可选实施方式中,还可以在所述ar展示界面中展示虚拟讲解员对所述姿态指示信息进行讲解的第一ar特效。
110.具体地,在本公开实施例中,如图7所示,可以通过虚拟讲解员对姿态指示信息进行讲解的方式展示姿态指示信息。虚拟讲解员在进行讲解时,不仅可以讲解姿态指示信息的具体数值,还可以讲解针对每个评分项的评分值,以及讲解标准运动姿势和当前运动姿势之间相似度比较低的动作。
111.由于ar展示界面的展示区域是有限的,因此在该ar展示界面上可以展示用户认为重要的参数,例如,姿势指示信息。但是其他更详细的比对参数则无法用过ar展示界面来获取。基于此,在本公开实施例中,通过虚拟讲解员讲解姿态指示信息的方式可以为用户展示更加全面的比对参数,弥补了ar展示界面的展示区域有限的不足。此时,在通过虚拟讲解员进行讲解之后,用户就可以通过ar展示界面了解姿态指示信息中的重要信息,还可以通过语音讲解方式了解姿态指示信息中的其他信息。
112.在本公开实施例中,该方法还包括如下步骤:
113.从预设好的至少一种运动提示信息中确定与所述姿态指示信息相匹配的运动提示信息;在所述ar设备的ar展示界面中展示包含所述运动提示信息的第三ar特效。
114.在本公开实施例中,可以预先在数据库中设定至少一种运动提示信息,以及每种运动提示信息所对应的姿态指示信息。具体地,可以获取历史姿态指示信息,并为历史姿态指示信息确定对应的运动提示信息,并建立历史姿态指示信息和运动提示信息之间的关联关系,并将该关联关系存储到数据库中。在获取到目标识别对象的姿态指示信息之后,就可以根据该关联关系在数据库中查找与该姿态指示信息相匹配的运动提示信息,如图8所示,在ar设备的ar展示界面中展示包含运动提示信息的第三ar特效。
115.需要说明的是,第三ar特效可以以全屏的方式展示在ar展示界面上,还可以为如图8所示的方式进行展示。
116.现有技术中运动员的运动姿势的比对方式为运动员在训练或者比赛的过程中,教练员主要通过现场观看的方式判断运动员的运动姿势是否标准,或者,通过观看训练录像或者比赛录像的方式判断运动员的运动姿势是否标准,该方法比对效率低,主观性强。在本公开实施例中,通过在ar展示界面中展示运动提示信息的方式,能够提高姿势比对的效率,并为运动员生成指导性意见,从而节省了运动员的训练时间,提高了训练效率。
117.通过上述描述可知,在本公开实施例中,在分析得到目标识别对象在当前时刻的运动姿态信息之后,就可以根据该运动姿态信息确定姿态指示信息。当教练员或者目标识别对象佩戴ar设备的场景下,就可以将该姿态指示信息呈现在ar设备上。进一步地,本公开实施例通过将当前时刻的运动姿态信息与参考运动姿态信息进行比较,从而确定姿态指示信息的方式,可以实现对目标识别对象的比赛过程或者训练过程所做的动作进行实时的分析,并实时为教练员或者目标识别对象进行呈现,对目标识别对象的后期训练方法的制定具有一定性的指导意义。
118.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功
能和可能的内在逻辑确定。
119.基于同一发明构思,本公开实施例中还提供了与增强现实场景下的数据展示方法对应的增强现实场景下的数据展示装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述增强现实场景下的数据展示方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
120.参照图9所示,为本公开实施例提供的一种增强现实场景下的数据展示装置的示意图,所述装置包括:获取单元91、识别单元92、确定单元93、展示单元94;其中,
121.获取单元,用于获取增强现实ar设备采集到的包含目标识别对象的真实场景图像;
122.识别单元,用于识别所述真实场景图像中所述目标识别对象的运动姿态信息;
123.确定单元,用于基于所述运动姿态信息,确定对所述目标识别对象的运动姿态信息的姿态指示信息;其中,所述姿态指示信息用于指示所述运动姿态信息的完成程度;
124.展示单元,用于在所述ar设备的ar展示界面中展示包含所述姿态指示信息的第一ar特效。
125.在本公开实施例中,通过ar设备采集真实场景图像,并根据真实场景图像识别目标识别对象的运动姿态信息的姿态指示信息,并在ar设备上对该姿态指示信息进行展示的方式,能够在目标识别对象训练和比赛的过程中,实时确定目标识别对象的运动姿态信息的完成程度,相对于现有技术中通过现场观看(或者监控视频)来判断运动员的运动姿势是否标准的方式,本公开实施例所提供的运动姿态信息的比对方式比对效率高,且主观性弱,能够得到更加客观的比对结果。
126.一种可能的实施方式中,识别单元,还用于:提取所述真实场景图像中所述目标识别对象的外形轮廓数据;根据提取到的所述外形轮廓数据确定所述真实场景图像中所述目标识别对象的运动姿态信息。
127.一种可能的实施方式中,确定单元,用于:获取参考运动姿态信息;基于所述参考运动姿态信息和识别到的所述运动姿态信息,确定所述目标识别对象的运动姿态信息的姿态指示信息。
128.一种可能的实施方式中,所述参考运动姿态信息包括以下至少之一:所述运动姿态信息指示的姿势类型下的标准运动姿态信息、所述目标识别对象的历史运动姿态信息。
129.一种可能的实施方式中,确定单元,用于:获取与所述运动姿态信息对应的姿势类型的至少一个评分项,所述运动姿态信息相对于每个所述评分项的评分项参数值,以及所述参考运动姿态信息相对于每个所述评分项的标准参数值;针对每个所述评分项,根据每个所述评分项所对应的评分项参数值和所述标准参数值,确定所述姿态指示信息。
130.一种可能的实施方式中,所述姿态指示信息包括姿态评分值;该装置还用于:根据以下方式获取所述历史运动姿态信息:获取所述ar设备所在赛事区域内的历史监控视频;从所述历史监控视频中筛选出包括所述目标识别对象的目标视频帧;确定所述目标视频帧中所述目标识别对象的运动姿态信息的姿态评分值;将所述姿态评分值满足预设分数要求的所述目标识别对象的运动姿态信息确定为所述历史运动姿态信息。
131.一种可能的实施方式中,展示单元,用于:在所述ar展示界面中展示虚拟讲解员对所述姿态指示信息进行讲解的第一ar特效。
132.一种可能的实施方式中,该装置还用于:获取所述ar设备的拍摄位姿;在检测到所述ar设备的摄像装置在所述拍摄位姿下采集到的真实场景图像不满足图像识别条件的情况下,在所述ar设备的ar展示界面中展示拍摄位姿调整信息的第二ar特效,其中,所述拍摄位姿调整信息为用于指示用户调整所述摄像装置的拍摄位姿的信息。
133.一种可能的实施方式中,获取单元,用于:获取所述ar设备采集到的至少一个初始图像;在所述至少一个初始图像中确定满足目标条件的图像为所述真实场景图像,其中,所述目标条件包括以下至少之一:所述初始图像中包含所述目标识别对象,所述初始图像中所包含的目标识别对象的运动姿态为目标运动姿态。
134.一种可能的实施方式中,该装置还用于:从预设好的至少一种运动提示信息中确定与所述姿态指示信息相匹配的运动提示信息;在所述ar设备的ar展示界面中展示包含所述运动提示信息的第三ar特效。
135.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
136.对应于图1中的增强现实场景下的数据展示方法,本公开实施例还提供了一种电子设备700,如图10所示,为本公开实施例提供的电子设备700结构示意图,包括:
137.处理器71、存储器72、和总线73;存储器72用于存储执行指令,包括内存721和外部存储器722;这里的内存721也称内存储器,用于暂时存放处理器71中的运算数据,以及与硬盘等外部存储器722交换的数据,处理器71通过内存721与外部存储器722进行数据交换,当所述电子设备700运行时,所述处理器71与所述存储器72之间通过总线73通信,使得所述处理器71执行以下指令:
138.获取增强现实ar设备采集到的包含目标识别对象的真实场景图像;识别所述真实场景图像中所述目标识别对象的运动姿态信息;基于所述运动姿态信息,确定对所述目标识别对象的运动姿态信息的姿态指示信息;其中,所述姿态指示信息用于指示所述运动姿态信息的完成程度;在所述ar设备的ar展示界面中展示包含所述姿态指示信息的第一ar特效。
139.本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的增强现实场景下的数据展示方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
140.本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的增强现实场景下的数据展示方法的步骤,具体可参见上述方法实施例,在此不再赘述。
141.其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(software development kit,sdk)等等。
142.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实
现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
143.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
144.另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
145.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
146.最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献