虚拟训练方法、装置以及虚拟训练系统与流程

1.本发明实施例涉及虚拟现实领域，尤其涉及一种虚拟训练方法、装置以及虚拟训练系统。


背景技术：

2.人们在长期的社会实践中逐步形成的各种身体活动，其中对身心有益的内容，被人们有意识地加以运用，逐渐产生和形成了体育项目。随着社会和科学的进步，体育项目在不断地更新和发展。
3.对于一些体育项目，例如足球比赛、篮球比赛、棒球比赛等项目，为了更好地完成此类体育项目，需要运动员(可以是专业运动员，也可以是热爱此项目的非专业运动员)加以训练，例如训练足球战术、射门、发球等。
4.然而，在真实的训练场景中，尤其是对于非专业运动员而言，其训练很容易受多方面因素(例如场地、人员、时间等)制约。因此，亟需一种能够实现虚拟训练，并使训练者能够体验到真实模拟训练效果的方法。


技术实现要素：

5.鉴于此，本发明实施例提供一种虚拟训练方法、装置以及虚拟训练系统，以实现真实的模拟训练效果。
6.第一方面，本发明实施例提供一种虚拟训练方法，所述方法包括：
7.在训练者进行虚拟训练的过程中，通过可穿戴设备获取所述训练者的肢体姿态数据，以及通过图像采集模块获取所述训练者进行虚拟训练时的真实场景图像；
8.基于所述真实场景图像，生成与预设的训练模式相匹配的虚拟训练场景；
9.基于所述真实场景图像和所述肢体姿态数据，确定虚拟对象在所述虚拟训练场景中的移动轨迹；
10.按照所述移动轨迹，对所述虚拟训练场景中的所述虚拟对象进行移动，以实现在虚拟训练过程中通过训练者的肢体对所述虚拟对象进行虚拟控制。
11.可选的，所述方法还包括：
12.在训练者进行虚拟训练的过程中，通过头戴式设备获取所述训练者的头部姿态数据；
13.所述基于所述真实场景图像，生成与预设的训练模式相匹配的虚拟训练场景，包括：
14.基于所述头部姿态数据和预设的训练模式，生成虚拟场景图像；
15.将所述虚拟场景图像和所述真实场景图像进行融合，得到与所述训练模式相匹配的虚拟训练场景，其中，所述头部姿态数据和所述真实场景图像对应相同的采集时刻。
16.可选的，所述将所述虚拟场景图像和所述真实场景图像进行融合，包括：
17.基于预设的颜色空间，对所述虚拟场景图像和所述真实场景图像分别进行划分，
得到所述虚拟场景图像在所述颜色空间包括的每一子空间下的第一图像子集，以及得到所述真实场景图像在每一所述子空间下的第二图像子集；
18.将每一所述第一图像子集分别与其对应的第二图像子集进行融合，其中，所述第一图像子集与其对应的第二图像子集对应同一所述子空间。
19.可选的，所述基于预设的颜色空间，对所述虚拟场景图像和所述真实场景图像分别进行划分，得到所述虚拟场景图像在所述颜色空间包括的每一子空间下的第一图像子集，以及得到所述真实场景图像在每一所述子空间下的第二图像子集，包括：
20.针对所述虚拟场景图像和所述真实场景图像中的每一像素点，根据所述像素点在每一颜色通道下的分量值，从预设的颜色空间中确定对应的子空间，其中，所述像素点在每一颜色通道下的分量值分别落入其对应子空间在该颜色通道下的分量范围；
21.将所述虚拟场景图像中，对应同一子空间的像素点归入同一第一图像子集，得到所述虚拟场景图像在所述颜色空间包括的每一子空间下的第一图像子集；
22.将所述真实场景图像中，对应同一子空间的像素点归入同一第二图像子集，得到所述真实场景图像在所述颜色空间包括的每一子空间下的第二图像子集。
23.可选的，所述将每一所述第一图像子集分别与其对应的第二图像子集进行融合，包括：
24.针对每一第一图像子集，对所述第一图像子集和其对应的第二图像子集分别进行小波变换，得到所述第一图像子集和其对应的第二图像子集中每一像素点的频域值；
25.根据所述频域值，对所述第一图像子集和其对应的第二图像子集分别进行频域划分，得到所述第一图像子集对应的m个第一频域区域以及所述第二图像子集对应的m个第二频域区域；
26.将每一所述第一频域区域分别与其对应的第二频域区域进行融合，其中，所述第一频域区域与其对应的第二频域区域对应同一频域。
27.可选的，所述将每一所述第一频域区域分别与其对应的第二频域区域进行融合，包括：
28.针对每一所述第一频域区域，确定所述第一频域区域的第一低频带能量值，以及确定所述第一频域区域对应的第二频域区域的第二低频带能量值；
29.根据所述第一低频带能量值与所述第二低频带能量值确定目标图像融合策略；
30.按照所述目标图像融合策略，将所述第一频域区域与其对应的第二频域区域进行融合。
31.可选的，所述根据所述第一低频带能量值与所述第二低频带能量值之间差值的绝对值确定目标图像融合策略，包括：
32.确定所述第一低频带能量值与所述第二低频带能量值之间差值的绝对值；
33.将所述绝对值与预设阈值进行比较；
34.若比较出所述绝对值小于所述预设阈值，则将第一图像融合策略确定为目标图像融合策略；
35.若比较结果为所述绝对值大于或等于所述预设阈值，则将第二图像融合策略确定为目标图像融合策略。
36.可选的，所述基于所述真实场景图像和所述肢体姿态数据，确定虚拟对象在所述
虚拟训练场景中的移动轨迹，包括：
37.基于所述真实场景图像，在所述虚拟训练场景中确定所述训练者的肢体与所述虚拟对象的虚拟碰撞位置；
38.基于所述肢体姿态数据，确定虚拟对象在所述虚拟训练场景中的移动轨迹，其中，所述移动轨迹以所述虚拟碰撞位置为起点。
39.可选的，所述方法还包括：
40.在训练者进行虚拟训练的过程中，通过所述可穿戴设备获取所述虚拟对象的受力数据；
41.基于所述受力数据对当前的状态转移矩阵进行更新；
42.所述基于所述肢体姿态数据，确定虚拟对象在所述虚拟训练场景中的移动轨迹，包括：
43.基于更新后的状态转移矩阵、所述肢体姿态数据，并利用卡尔曼滤波算法确定所述训练者当前的系统状态；
44.基于所述训练者当前的系统状态，确定所述虚拟对象在所述虚拟训练场景中的移动轨迹。
45.可选的，所述基于所述受力数据对当前的状态转移矩阵进行更新，包括：
46.基于所述受力数据构建测量噪声协方差矩阵；
47.利用所述测量噪声协方差矩阵对当前的状态转移矩阵进行设定运算，得到更新后的状态转移矩阵。
48.可选的，所述基于所述受力数据构建测量噪声协方差矩阵，包括：
49.将根据每一维度下的受力数据所构建的测量噪声协方差矩阵，按照预设的权重进行加权求和，得到最终的测量噪声协方差矩阵。
50.第二方面，本发明实施例提供一种虚拟训练系统，所述系统包括：
51.可穿戴设备，在训练者进行虚拟训练的过程中，采集所述训练者的肢体姿态数据；
52.图像采集模块，在训练者进行虚拟训练的过程中，通过图像采集模块获取所述训练者进行虚拟训练时的真实场景图像；
53.头戴式显示设备，在训练者进行虚拟训练的过程中，通过可穿戴设备获取所述训练者的肢体姿态数据，以及通过图像采集模块获取所述训练者进行虚拟训练时的真实场景图像；基于所述真实场景图像，生成与预设的训练模式相匹配的虚拟训练场景；基于所述真实场景图像和所述肢体姿态数据，确定虚拟对象在所述虚拟训练场景中的移动轨迹；按照所述移动轨迹，对所述虚拟训练场景中的所述虚拟对象进行移动，以实现在虚拟训练过程中通过训练者的肢体对所述虚拟对象进行虚拟控制。
54.第三方面，本发明实施例提供一种虚拟训练装置，所述装置包括：
55.第一获取模块，用于在训练者进行虚拟训练的过程中，通过可穿戴设备获取所述训练者的肢体姿态数据；
56.第二获取模块，用于在训练者进行虚拟训练的过程中，通过图像采集模块获取所述训练者进行虚拟训练时的真实场景图像；
57.虚拟场景生成模块，用于基于所述真实场景图像，生成与预设的训练模式相匹配的虚拟训练场景；
58.轨迹确定模块，用于基于所述真实场景图像和所述肢体姿态数据，确定虚拟对象在所述虚拟训练场景中的移动轨迹；
59.移动模块，用于按照所述移动轨迹，对所述虚拟训练场景中的所述虚拟对象进行移动，以实现在虚拟训练过程中通过训练者的肢体对所述虚拟对象进行虚拟控制。
60.第四方面，本发明实施例提供一种电子设备，包括：处理器和存储器；
61.所述处理器用于执行所述存储器中存储的虚拟训练程序，以实现第一方面中任一项所述的虚拟训练方法。
62.第五方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述方法的步骤。
63.本发明实施例提供的技术方案，通过在训练者进行虚拟训练的过程中，通过可穿戴设备获取训练者的肢体姿态数据，以及通过图像采集模块获取训练者进行虚拟训练时的真实场景图像，基于真实场景图像，生成与预设的训练模式相匹配的虚拟训练场景，基于真实场景图像和肢体姿态数据，确定虚拟对象在虚拟训练场景中的移动轨迹，按照移动轨迹，对虚拟训练场景中的虚拟对象进行移动，可以实现在虚拟训练过程中通过训练者的肢体对虚拟对象进行虚拟控制，从而实现虚拟训练，相较于真实场景下的训练而言，虚拟训练能够节省人力资源以及运动员体力；并且，由于是基于真实场景图像来生成虚拟训练场景的，因此能够实现将真实场景与虚拟场景进行融合，从而增强用户体验的真实感；以及由于生成的是预设训练模式下的虚拟训练场景，因此能够实现多种模式的虚拟训练，从而达到更加真实的模拟训练效果。
附图说明
64.图1为本发明实施例涉及的一种虚拟训练系统的架构示意图；
65.图2为本发明实施例提供的一种专用训练球鞋的示意图；
66.图3为本发明实施例提供的一种虚拟训练方法的实施例流程图；
67.图4为本发明实施例提供的另一种虚拟训练方法的实施例流程图；
68.图5为本发明实施例提供的又一种虚拟训练方法的实施例流程图；
69.图6为本发明实施例提供的一种将虚拟场景图像和真实场景图像进行融合的实施例流程图；
70.图7为rgb颜色空间的一种示例；
71.图8为本发明实施例提供的一种虚拟训练装置的实施例框图；
72.图9为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
73.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
74.参见图1，为本发明实施例涉及的一种虚拟训练系统的架构示意图。图1所示例的
虚拟训练系统100中包括可穿戴设备101、头戴式显示设备102，以及图像采集模块103。
75.其中，可穿戴设备101可由训练者穿戴于肢体上。例如，在足球虚拟训练场景下，可穿戴设备101可具体实现为专用训练球鞋，由训练者穿戴于脚部。参见图2，为本发明实施例提供的一种专用训练球鞋的示意图。又例如，在篮球或者棒球训练场景下，可穿戴设备101可具体实现为专用训练手套，由训练者穿戴于手部。
76.本发明实施例中，不论可穿戴设备101具体采用何种实现形式，其都可包括以下组成部分：mcu控制芯片、无线通信模块(例如wi-fi模块)、多种传感器(包括但不限于：陀螺仪、加速度传感器、压力传感器、地磁传感器等)。例如，如图2所示例的专用训练球鞋上设置有标号
①
至
⑤
所示的5个传感器。
77.上述mcu控制芯片可负责提供各个传感器的控制信号、时钟、各个传感器采集数据的接收、预处理等。
78.上述无线通信模块可负责可穿戴设备101与头戴式显示设备102进行数据传输。
79.上述多种传感器可负责采集训练者的肢体姿态数据。可以理解的是，当可穿戴设备101具体实现为专用训练球鞋时，可穿戴设备101负责采集训练者的脚部姿态数据；当可穿戴设备101的具体实现为专用训练手套时，可穿戴设备101负责采集训练者的手部姿态数据。进一步的，当上述多种传感器包括陀螺仪时，训练者的肢体姿态数据包括训练对象肢体的旋转角度信息；当上述多种传感器包括加速器传感器时，训练者的肢体姿态数据包括训练对象肢体的加速度信息；等等。
80.头戴式显示设备102可由训练者配戴于头部。可选的，头戴式显示设备102可为混合现实眼镜，也即应用混合现实技术的vr眼镜。其中，混合现实技术是虚拟现实技术的进一步发展，其通过在现实场景中呈现虚拟场景信息，实现在现实世界、虚拟世界以及用户之间搭建起一个交互反馈的信息回路，以增强用户体验的真实感。混合现实技术作为一种通用性技术，以及基于混合现实技术的全息展示和空间定位等特性，目前被广泛应用于诸多领域，例如工业、设计、展览、建筑、医疗、教育等领域。
81.本发明实施例中，头戴式显示设备102可包括以下组成部分：处理器(具备较强的图像渲染能力)、显示屏、无线通信模块(例如wi-fi模块)、一个或多个传感器等。
82.上述处理器可负责头戴式显示设备102的供电、接口通讯、数据处理、图像融合、渲染等。
83.上述显示屏负责显示虚拟场景，例如虚拟训练场景。可选的，显示屏可为高清显示屏。
84.上述无线通信模块可负责头戴式显示设备102与可穿戴设备101进行数据传输。
85.上述传感器可用于采集训练者的头部姿态数据。可选的，传感器可包括陀螺仪。
86.图像采集模块103用于采集真实场景图像，并将采集到的真实场景图像传输到头戴式显示设备102的处理器中，以由处理器将真实场景图像与虚拟场景进行融合，得到能够使得训练者具有真实体验感的虚拟场景。
87.可选的，图像采集模块103可集成于头戴式显示设备102中，例如，头戴式显示设备102还可包括高清摄像头，该高清摄像头即为图像采集模块103。图像采集模块103还可独立于头戴式显示设备102。本发明实施例对此不做限制。
88.至此，完成图1所示虚拟训练系统100系统架构的相关描述。下面基于图1所示例的
虚拟训练系统100，通过具体实施例对本发明实施例提供的虚拟训练方法做出解释说明，实施例并不构成对本发明的限定。
89.参见图3，为本发明实施例提供的一种虚拟训练方法的实施例流程图。如图3所示，该流程可包括以下步骤：
90.步骤301、在训练者进行虚拟训练的过程中，通过可穿戴设备获取训练者的肢体姿态数据，以及通过图像采集模块获取训练者进行虚拟训练时的真实场景图像。
91.在实践中，当按照本发明实施例提供的虚拟训练方法进行虚拟训练时，训练者首先佩戴好图1中所示例的头戴式显示设备102，并在相应的肢体部位上固定好可穿戴设备101。
92.当上述准备工作就绪后，在一实施例中，训练者还可通过头戴式显示设备102上显示屏的操作界面选择一个训练模式，例如，在足球虚拟训练场景下，训练者可选择以下训练模式之一：战术训练、射门训练、传球训练等。然后，训练者启动图1所示例的虚拟训练系统，以开始虚拟训练。
93.在训练者进行虚拟训练的过程中，可穿戴设备101可通过其包括的多个传感器获取训练者的肢体姿态数据，同时通过图像采集模块103获取训练者进行训练时的真实场景图像。
94.在一实施例中，可穿戴设备101和图像采集模块103可分别按照各自的采集频率来周期性地采集训练者训练时的肢体姿态数据和真实场景图像。
95.步骤302、基于真实场景图像，生成与预设的训练模式相匹配的虚拟训练场景。
96.首先说明的是，本发明实施例中，可按照训练者选择的训练模式来生成虚拟训练场景。其中，训练模式不同，对应的虚拟训练场景可以是不同的。例如，在战术训练模式下，虚拟训练场景中可包括多个虚拟队员，并且不同战术训练模式下，虚拟球员在虚拟训练场地中的移动轨迹可以有所不同；又例如，在射门训练模式下，虚拟训练场景中可包括球门、虚拟守门员等。
97.由此可见，本发明实施例提供的虚拟训练方法能够渲染出不同训练模式下的虚拟训练场景，从而能够实现多种模式的虚拟训练，例如能够实现足球战术训练、传球训练、射门训练等；并且，相较于真实场景中的训练，能够节省人力资源以及运动员的体力。
98.其次，由步骤302的描述可见，本发明实施例中，基于真实场景图像生成于预设的训练模式相匹配的虚拟训练场景，这能够实现将真实场景与虚拟场景进行融合，从而增强用户体验的真实感。至于具体是如何基于真实场景图像生成与预设的训练模式相匹配的虚拟训练场景的，在下文中通过图4所示实施例进行说明，这里先不详述。
99.步骤303、基于真实场景图像和训练者的肢体姿态数据，确定虚拟对象在虚拟训练场景中的移动轨迹。
100.步骤304、按照移动轨迹，对虚拟训练场景中的虚拟对象进行移动，以实现在虚拟训练过程中通过训练者的肢体对虚拟对象进行虚拟控制。
101.以下对步骤303和步骤304进行统一说明：
102.以足球虚拟训练场景为例，在实践中，训练者可在头戴式设备102所显示的虚拟训练场景，也即体验到的虚拟训练场景中，使用脚部对虚拟足球进行虚拟控制，从而实现虚拟训练。这也就是说，在足球虚拟训练场景中，上述虚拟对象指虚拟足球，训练者在进行虚拟
训练的过程中通过肢体对虚拟对象进行虚拟控制。
103.当然，在不同的虚拟训练场景中，虚拟对象不同。例如，在篮球虚拟训练场景中，虚拟对象指虚拟篮球。本发明实施例中对虚拟对象的具体形式不做限制。
104.在真实场景中，当训练者的脚部触碰到足球时，足球将进行移动。基于此，本发明实施例中，当确定训练者的脚部触碰到虚拟对象时(这里的触碰也是虚拟触碰)，可基于触碰时刻下采集到的真实场景图像以及训练者的肢体姿态数据，确定虚拟对象在虚拟训练场景中的移动轨迹，然后，按照该移动轨迹，对虚拟训练场景中的虚拟对象进行移动。如此，则可模拟出真实的训练效果。
105.至于具体是如何基于真实场景图像以及训练者的肢体姿态数据，确定虚拟对象在虚拟训练场景中的移动轨迹的，在下文中通过图5所示实施例进行说明，这里先不详述。
106.本发明实施例提供的技术方案，通过在训练者进行虚拟训练的过程中，通过可穿戴设备获取训练者的肢体姿态数据，以及通过图像采集模块获取训练者进行虚拟训练时的真实场景图像，基于真实场景图像，生成与预设的训练模式相匹配的虚拟训练场景，基于真实场景图像和肢体姿态数据，确定虚拟对象在虚拟训练场景中的移动轨迹，按照移动轨迹，对虚拟训练场景中的虚拟对象进行移动，可以实现在虚拟训练过程中通过训练者的肢体对虚拟对象进行虚拟控制，从而实现虚拟训练，相较于真实场景下的训练而言，虚拟训练能够节省人力资源以及运动员体力；并且，由于是基于真实场景图像来生成虚拟训练场景的，因此能够实现将真实场景与虚拟场景进行融合，从而增强用户体验的真实感；以及由于生成的是预设训练模式下的虚拟训练场景，因此能够实现多种模式的虚拟训练，从而达到更加真实的模拟训练效果。
107.参见图4，为本发明实施例提供的另一种虚拟训练方法的实施例流程图。该图4所示流程在上述图3所示流程的基础上，着重描述是如何基于真实场景图像生成与预设的训练模式相匹配的虚拟训练场景的，可包括以下步骤：
108.步骤401、在训练者进行虚拟训练的过程中，通过头戴式设备获取训练者的头部姿态数据。
109.步骤402、基于头部姿态数据和预设的训练模式，生成虚拟场景图像。
110.本发明实施例涉及的训练场景中，训练者需要跑动，而随着训练者跑动，训练者的视角、所观看到的画面也将发生变化，因此，本发明实施例中提出，基于训练者在虚拟训练过程中的头部姿态数据和预设的训练模式，共同来生成虚拟场景图像。通过该种处理生成的虚拟场景图像，不仅能够满足预设的训练模式，还能够与训练者的实时视角相匹配，从而增强用户体验的真实感。
111.步骤403、将虚拟场景图像和真实场景图像进行融合，得到与训练模式相匹配的虚拟训练场景，其中，头部姿态数据和真实场景图像对应相同的采集时刻。
112.在一实施例中，可应用目前常用的图像处理算法，例如拉普拉斯金字塔、神经网络、离散小波变换等，来实现将虚拟场景图像和真实场景图像进行融合，得到与训练模式相匹配的虚拟训练场景。
113.然而，应用上述常用的图像处理算法，虽然可以获得较好的融合性能，可以将原始图像分解成不同尺度的分量，使图像纹理清晰度和识别率提高，具有良好的视觉效果。但是，当原始图像中存在较小的目标时，使用上述算法融合后的图像边缘轮廓不清晰，对比度
差且细节不够丰富。
114.对此，本发明实施例提出另一实施例来实现将虚拟场景图像和真实场景图像进行融合，得到与训练模式相匹配的虚拟训练场景。具体的，如图6所示，为本发明实施例提供的一种将虚拟场景图像和真实场景图像进行融合的实施例流程图，包括以下步骤：
115.步骤601、基于预设的颜色空间，对虚拟场景图像和真实场景图像分别进行划分，得到虚拟场景图像在颜色空间包括的每一子空间下的第一图像子集，以及得到真实场景图像在每一子空间下的第二图像子集。
116.可选的，上述颜色空间可以为rgb颜色空间。
117.在一实施例中，如图7所示，可将rgb颜色空间划分为8个子空间，该8个子空间在每一颜色通道(包括r通道、g通道以及b通道)下的分量范围如下述表1所示：
118.表1
[0119][0120][0121]
可以理解的是，上述描述的将rgb颜色空间划分为8个子空间仅仅是一种示例性说明，在实际应用中，还可将rgb颜色空间划分为更多个子空间，本发明实施例对此不做限制。
[0122]
基于上述所示例的颜色空间，步骤601中基于预设的颜色空间，对虚拟场景图像和真实场景图像分别进行划分，得到虚拟场景图像在颜色空间包括的每一子空间下的第一图像子集，以及得到真实场景图像在每一子空间下的第二图像子集的具体实现可包括：针对虚拟场景图像和真实场景图像中的每一像素点，根据该像素点在每一颜色通道下的分量值，从预设的颜色空间中确定对应的子空间，其中，该像素点在每一颜色通道下的分量值分别落入其对应子空间在该颜色通道下的分量范围。将虚拟场景图像中，对应同一子空间的像素点归入同一第一图像子集，得到虚拟场景图像在颜色空间包括的每一子空间下的第一图像子集；以及将真实场景图像中，对应同一子空间的像素点归入同一第二图像子集，得到真实场景图像在颜色空间包括的每一子空间下的第二图像子集。
[0123]
举例来说，假设虚拟场景图像中某一个像素点的像素值为(24，24，24)。按照上述描述，可确定该像素点对应子空间black，从而将该像素点归入子空间black下的第一图像
子集。
[0124]
步骤602、将每一第一图像子集分别与其对应的第二图像子集进行融合，其中，第一图像子集与其对应的第二图像子集对应同一子空间。
[0125]
由步骤602的描述可见，本发明实施例中，在图像子集，也即在颜色子空间中进行图像融合，如此能够提高图像融合精度。并且，颜色子空间数量越多，图像融合精度越高。
[0126]
具体的，将第一图像子集与其对应的第二图像子集进行融合的基本思想是：将内容细节极为相似的图像区域进行融合。具体实现可包括：对第一图像子集和其对应的第二图像子集分别进行小波变换，得到第一图像子集和其对应的第二图像子集中每一像素点的频域值，然后，根据频域值，对第一图像子集和其对应的第二图像子集分别进行频域划分，得到第一图像子集对应的m个第一频域区域以及第二图像子集对应的m个第二频域区域。最后，将每一第一频域区域分别与其对应的第二频域区域进行融合。这里所说的对应是指：第一频域区域与其对应的第二频域区域对应同一频域。
[0127]
进一步的，本发明实施例中，在将第一频域区域与其对应的第二频域区域进行融合时，使用基于图像频域局部能量的判别方法，这可以很好地反映原始图像的纹理轮廓，体现了图像的视觉效果，提升场景融合的效果。
[0128]
具体的，将第一频域区域与其对应的第二频域区域进行融合的具体实现可包括：针对每一第一频域区域，按照下述公式(一)分别确定第一频域区域的第一低频带能量值，以及确定第一频域区域对应的第二频域区域的第二低频带能量值。
[0129][0130]
上述公式(一)中，q为区域q中的点，w(q)表示权值，cj(x,q)表示像素值，e(x,q)表示低频带能量值。
[0131]
然后，根据第一低频带能量值与第二低频带能量值确定目标图像融合策略。最后，按照目标图像融合策略，将第一频域区域与其对应的第二频域区域进行融合。
[0132]
其中，根据第一低频带能量值与第二低频带能量值之间差值的绝对值确定目标图像融合策略的具体实现可包括：确定第一低频带能量值与第二低频带能量值之间差值的绝对值，将绝对值与预设阈值进行比较，若比较出绝对值小于预设阈值，则意味着第一频域区域和第二频域区域相似性较大，因此，可将第一图像融合策略确定为目标图像融合策略。这里，第一图像融合策略是指将第一频域区域或第二频域区域确定为融合结果。反之，若比较出绝对值大于或等于预设阈值，则意味着第一频域区域和第二频域区域相似性较小，因此，可将第二图像融合策略确定为目标图像融合策略，这里，第二图像融合策略是指按照保留像素点的原则对第一频域区域和第二频域区域进行合成。通过该种处理，可以实现在第一频域区域和第二频域区域相似性较小的情况下，保留原有像素点，避免遗失图像轮廓细节，提高图像融合精度。
[0133]
通过图4所示流程，实现了基于真实场景图像生成与预设的训练模式相匹配的虚拟训练场景，其中在将真实场景图像和虚拟场景图像进行融合时，在图像子集，也即在颜色子空间中进行图像融合，如此能够提高图像融合精度，使得最终生成的虚拟训练场景能够具有更高的真实体验感。
[0134]
参见图5，为本发明实施例提供的又一种虚拟训练方法的实施例流程图。该图5所示流程在上述图3所示流程的基础上，着重描述是如何基于真实场景图像和训练者的肢体
姿态数据，确定虚拟对象在虚拟训练场景中的移动轨迹的，可包括以下步骤：
[0135]
步骤501、基于真实场景图像，在虚拟训练场景中确定训练者的肢体与虚拟对象的虚拟碰撞位置。
[0136]
当虚拟训练场景渲染完成之后，训练者可以通过头戴式显示设备102的显示屏看到虚拟的训练场地、虚拟队员、虚拟对象(例如虚拟足球)等物体。以足球虚拟训练场景为例，训练者可以抬起脚部去触碰虚拟训练场景中的虚拟足球(当然这里是虚拟触碰)。当训练者抬起脚部触碰虚拟足球时，图像采集模块103采集到的真实场景图像中可包含训练者的脚部，从而此时的虚拟训练场景中也包含训练者脚部对应的画面。如此，则可根据真实场景图像定位出训练者的肢体与虚拟对象的虚拟碰撞位置。
[0137]
步骤502、在训练者进行虚拟训练的过程中，通过可穿戴设备获取所述虚拟对象的受力数据。
[0138]
步骤503、基于受力数据对当前的状态转移矩阵进行更新。
[0139]
步骤504、基于更新后的状态转移矩阵、训练者的肢体姿态数据，并利用卡尔曼滤波算法确定训练者当前的系统状态。
[0140]
步骤505、基于训练者当前的系统状态，确定虚拟对象在虚拟训练场景中的移动轨迹，该移动轨迹以上述虚拟碰撞位置为起点。
[0141]
以下对步骤502至505进行统一说明：
[0142]
首先说明，如图1可见，可穿戴设备上具有多个传感器，而对于多传感器系统而言，数据具有多样性和复杂性，因此对数据融合算法的基本要求是具有鲁棒性和并行处理能力。
[0143]
在现有技术中，主要使用卡尔曼滤波算法来融合低层次实时动态多传感器冗余数据，当系统状态与传感器的误差符合高斯白噪声模型时，卡尔曼滤波可以为融合数据提供最优估计。然而在系统模型和噪声统计特性存在不确定性的条件下，该方法的准确性和鲁棒性会受到一定限制。
[0144]
对此，本发明实施例提出，在传统卡尔曼滤波算法的基础上，针对训练者的肢体姿态数据，引入多元误差观测方程，自适应调整测量噪声协方差矩阵进行补偿，从而优化卡尔曼滤波算法，使得在实际使用中，能够面对外部环境影响保持较高的准确性和鲁棒性。
[0145]
具体的，如上述步骤502至步骤505所描述的，在训练者进行虚拟训练的过程中，通过可穿戴设备获取虚拟对象的受力数据。在真实训练场景中，足球所受外力不仅包括训练者的撞击力，还包括地磁引力，因此，该这里的受力数据可包括：地磁传感器采集到的地磁数据、加速度传感器采集到的加速度数据、压力传感器采集到的压力数据等。然后，基于受力数据对当前的状态转移矩阵进行更新，再然后基于更新后的状态转移矩阵、训练者的肢体姿态数据，并利用如下述公式(二)所示例的卡尔曼滤波算法确定训练者当前的系统状态。最后，基于训练者当前的系统状态，确定虚拟对象在虚拟训练场景中的移动轨迹，该移动轨迹以上述虚拟碰撞位置为起点。
[0146]
xk＝ax
k-1
qkꢀꢀꢀꢀꢀꢀꢀ
公式(二)
[0147]
在上述公式(二)中，xk为k时刻的系统状态变量，x
k-1
为k-1时刻的系统状态变量，a为状态转移矩阵，负责将k和k-1时刻的状态联系起来，qk代表均值为0、方差为q的高斯分布噪声函数。需要注意的是，在理想状态下，系统噪声符合高斯分布。
[0148]
其中，基于受力数据对当前的状态转移矩阵进行更新的具体实现包括：基于受力数据构建测量噪声协方差矩阵，基于下述公式(三)实现利用测量噪声协方差矩阵对当前的状态转移矩阵进行设定运算，得到更新后的状态转移矩阵。
[0149]a′
＝rar
t
ꢀꢀꢀꢀꢀꢀꢀꢀ
公式(三)
[0150]
在上述公式(三)中，a
′
为更新后的状态转移矩阵，r为测量噪声协方差矩阵，a为当前的状态转移矩阵。
[0151]
上述描述中，基于受力数据构建测量噪声协方差矩阵的具体实现可包括：将根据每一维度下的受力数据所构建的测量噪声协方差矩阵，按照预设的权重进行加权求和，得到最终的测量噪声协方差矩阵。
[0152]
以加速度计和地磁计引入的噪声为例，假设ra和rm分别为加速度维度下和磁力维度下的测量噪声协方差矩阵，那么可按照下述公式(四)来计算最终的测量噪声协方差矩阵。
[0153]
r＝wara w
mrm
ꢀꢀ
公式(四)
[0154]
在上述公式(四)中，wa和wm为权重，介于0到1之间。在实践中，可根据人体动力学对上述权重进行标定。
[0155]
此外，需要说明的是，上述步骤501至步骤505的顺序仅仅是示意性说明，其他符合合理执行逻辑的执行顺序也在本发明实施例保护范围之内。
[0156]
通过图5所示流程，实现了基于真实场景图像和训练者的肢体姿态数据，确定虚拟对象在虚拟训练场景中的移动轨迹。其中由于在根据训练者的肢体姿态数据确定虚拟对象在虚拟训练场景中的移动轨迹时，引入多元误差观测方程，自适应调整测量噪声协方差矩阵进行补偿，从而优化卡尔曼滤波算法，使得在实际使用中，能够面对外部环境影响保持较高的准确性和鲁棒性。
[0157]
最后，以足球虚拟训练场景为例对本发明实施例提供的技术方案做出说明：
[0158]
本发明实施例提出的虚拟训练方法能够基于混合现实技术，将渲染出的虚拟球员、足球等场景融合到现实球场中，并且训练者可以通过软件根据战术的不同设置不同的球员人数及跑动(也即训练模式)，并穿戴图1所示例的头戴式显示设备102以及图2所示例的专用训练球鞋。
[0159]
在训练过程中，图像采集模块103可实时采集真实场景图像，并传输到头戴式显示设备102，头戴式显示设备102的处理器根据预设的训练模式进行虚拟训练场景的构建，并通过显示屏对构建出的虚拟训练场景进行显示，使得训练者能够观看到虚拟训练场景，并使用专用训练球鞋去触碰场景中的虚拟足球。
[0160]
在训练者使用专用训练球鞋去触碰场景中的虚拟足球时，通过专用训练球鞋上的传感器采集脚部姿态数据，以及通过图像采集模块103来定位专用训练球鞋和虚拟足球的虚拟接触位置，进而判断虚拟足球的移动轨迹(可根据实际射门力量、速度、接触位置等预先设置好足球轨迹资料库)，并按照移动轨迹在虚拟训练场景中进行渲染，从而能够达到足球战术训练以及传球、射门练习的效果模拟。这相比于vr足球训练游戏，可以到达更真实模拟效果，并且相比于单纯现实场景中的训练，可以节省人力资源以及运动员体力。
[0161]
参见图8，为本发明实施例提供的一种虚拟训练装置的实施例框图。如图8所示，该装置包括：第一获取模块81、第二获取模块82、虚拟场景生成模块83、轨迹确定模块84，以及
移动模块85。
[0162]
其中，第一获取模块81，用于在训练者进行虚拟训练的过程中，通过可穿戴设备获取所述训练者的肢体姿态数据；
[0163]
第二获取模块82，用于在训练者进行虚拟训练的过程中，通过图像采集模块获取所述训练者进行虚拟训练时的真实场景图像；
[0164]
虚拟场景生成模块83，用于基于所述真实场景图像，生成与预设的训练模式相匹配的虚拟训练场景；
[0165]
轨迹确定模块84，用于基于所述真实场景图像和所述肢体姿态数据，确定虚拟对象在所述虚拟训练场景中的移动轨迹；
[0166]
移动模块85，用于按照所述移动轨迹，对所述虚拟训练场景中的所述虚拟对象进行移动，以实现在虚拟训练过程中通过训练者的肢体对所述虚拟对象进行虚拟控制。
[0167]
可选的，所述装置还包括(图中未示出)：
[0168]
第三获取模块，用于在训练者进行虚拟训练的过程中，通过头戴式设备获取所述训练者的头部姿态数据；
[0169]
所述虚拟场景生成模块83包括(图中未示出)：
[0170]
生成子模块，用于基于所述头部姿态数据和预设的训练模式，生成虚拟场景图像；
[0171]
融合子模块，用于将所述虚拟场景图像和所述真实场景图像进行融合，得到与所述训练模式相匹配的虚拟训练场景，其中，所述头部姿态数据和所述真实场景图像对应相同的采集时刻。
[0172]
可选的，所述融合子模块包括(图中未示出)：
[0173]
划分子模块，用于基于预设的颜色空间，对所述虚拟场景图像和所述真实场景图像分别进行划分，得到所述虚拟场景图像在所述颜色空间包括的每一子空间下的第一图像子集，以及得到所述真实场景图像在每一所述子空间下的第二图像子集；
[0174]
第一处理子模块，用于将每一所述第一图像子集分别与其对应的第二图像子集进行融合，其中，所述第一图像子集与其对应的第二图像子集对应同一所述子空间。
[0175]
可选的，所述划分子模块具体用于：
[0176]
针对所述虚拟场景图像和所述真实场景图像中的每一像素点，根据所述像素点在每一颜色通道下的分量值，从预设的颜色空间中确定对应的子空间，其中，所述像素点在每一颜色通道下的分量值分别落入其对应子空间在该颜色通道下的分量范围；
[0177]
将所述虚拟场景图像中，对应同一子空间的像素点归入同一第一图像子集，得到所述虚拟场景图像在所述颜色空间包括的每一子空间下的第一图像子集；
[0178]
将所述真实场景图像中，对应同一子空间的像素点归入同一第二图像子集，得到所述真实场景图像在所述颜色空间包括的每一子空间下的第二图像子集。
[0179]
可选的，所述第一处理子模块包括(图中未示出)：
[0180]
小波变换子模块，用于针对每一第一图像子集，对所述第一图像子集和其对应的第二图像子集分别进行小波变换，得到所述第一图像子集和其对应的第二图像子集中每一像素点的频域值；
[0181]
频域划分子模块，用于根据所述频域值，对所述第一图像子集和其对应的第二图像子集分别进行频域划分，得到所述第一图像子集对应的m个第一频域区域以及所述第二
图像子集对应的m个第二频域区域；
[0182]
频域融合子模块，用于将每一所述第一频域区域分别与其对应的第二频域区域进行融合，其中，所述第一频域区域与其对应的第二频域区域对应同一频域。
[0183]
可选的，所述频域融合子模块包括(图中未示出)：
[0184]
能量确定子模块，用于针对每一所述第一频域区域，确定所述第一频域区域的第一低频带能量值，以及确定所述第一频域区域对应的第二频域区域的第二低频带能量值；
[0185]
融合策略确定子模块，用于根据所述第一低频带能量值与所述第二低频带能量值确定目标图像融合策略；
[0186]
第二处理子模块，用于按照所述目标图像融合策略，将所述第一频域区域与其对应的第二频域区域进行融合。
[0187]
可选的，所述融合策略确定子模块具体用于：
[0188]
确定所述第一低频带能量值与所述第二低频带能量值之间差值的绝对值；将所述绝对值与预设阈值进行比较；若比较出所述绝对值小于所述预设阈值，则将第一图像融合策略确定为目标图像融合策略；若比较结果为所述绝对值大于或等于所述预设阈值，则将第二图像融合策略确定为目标图像融合策略。
[0189]
可选的，所述轨迹确定模块84包括(图中未示出)：
[0190]
起点确定子模块，用于基于所述真实场景图像，在所述虚拟训练场景中确定所述训练者的肢体与所述虚拟对象的虚拟碰撞位置；
[0191]
确定子模块，用于基于所述肢体姿态数据，确定虚拟对象在所述虚拟训练场景中的移动轨迹，其中，所述移动轨迹以所述虚拟碰撞位置为起点。
[0192]
可选的，所述装置还包括(图中未示出)：
[0193]
第四获取模块，用于在训练者进行虚拟训练的过程中，通过所述可穿戴设备获取所述虚拟对象的受力数据；
[0194]
更新模块，用于基于所述受力数据对当前的状态转移矩阵进行更新；
[0195]
所述确定子模块包括(图中未示出)：
[0196]
状态确定子模块，用于基于更新后的状态转移矩阵、所述肢体姿态数据，并利用卡尔曼滤波算法确定所述训练者当前的系统状态；
[0197]
轨迹确定子模块，用于基于所述训练者当前的系统状态，确定所述虚拟对象在所述虚拟训练场景中的移动轨迹。
[0198]
可选的，所述更新模块包括(图中未示出)：
[0199]
构建子模块，用于基于所述受力数据构建测量噪声协方差矩阵；
[0200]
运算子模块，用于利用所述测量噪声协方差矩阵对当前的状态转移矩阵进行设定运算，得到更新后的状态转移矩阵。
[0201]
可选的，所述构建子模块具体用于：将根据每一维度下的受力数据所构建的测量噪声协方差矩阵，按照预设的权重进行加权求和，得到最终的测量噪声协方差矩阵。
[0202]
本发明实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，
[0203]
存储器903，用于存放计算机程序；
[0204]
处理器901，用于执行存储器903上所存放的程序时，实现如下步骤：
[0205]
在训练者进行虚拟训练的过程中，通过可穿戴设备获取所述训练者的肢体姿态数据，以及通过图像采集模块获取所述训练者进行虚拟训练时的真实场景图像；
[0206]
基于所述真实场景图像，生成与预设的训练模式相匹配的虚拟训练场景；
[0207]
基于所述真实场景图像和所述肢体姿态数据，确定虚拟对象在所述虚拟训练场景中的移动轨迹；
[0208]
按照所述移动轨迹，对所述虚拟训练场景中的所述虚拟对象进行移动，以实现在虚拟训练过程中通过训练者的肢体对所述虚拟对象进行虚拟控制。
[0209]
上述服务器提到的通信总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0210]
通信接口用于上述服务器与其他设备之间的通信。
[0211]
存储器可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0212]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0213]
本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的虚拟训练方法的步骤。
[0214]
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0215]
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0216]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。