游戏数据处理方法、系统、装置、电子设备和存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种游戏数据处理方法、系统、装置、电子设备和存储介质。


背景技术：

2.随着科技的发展，产生了增强现实(augmented reality，ar)体感技术，ar体感综合了体感实感(动作捕捉)、ar增强现实(图像识别)、vr虚拟现实(实时抠像)等技术，将数字信息、三维虚拟模型及场景与真实场景进行融合。
3.ar体感技术已广泛应用于体感游戏场景中，传统的ar体感游戏往往安装在本地终端设备，由本地终端设备完成人体的动作推理和计算，从而实现对本地终端设备的显示界面的控制。
4.然而，这种传统的ar体感游戏技术，对本地终端设备的存储空间和计算速度提出了更高的要求，使得本地终端设备的成本较高。


技术实现要素：

5.本技术实施例提供了一种游戏数据处理方法、系统、装置、电子设备和存储介质，可以降低本地终端设备的成本，且提高游戏数据的计算速度。
6.第一方面，提供一种游戏数据处理方法，该方法包括：
7.接收用户终端发送的游戏对应的真实场景数据；
8.根据游戏的数据推理规则对真实场景数据进行推理，确定真实场景下的目标主体的姿态数据；
9.将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据；
10.将渲染数据发送至用户终端，以使用户终端播放渲染数据。
11.第二方面，提供一种游戏数据处理方法，该方法包括：
12.获取游戏对应的真实场景数据；
13.将真实场景数据发送至云服务器，以使云服务器根据游戏的数据推理规则对真实场景数据进行推理，确定真实场景下的目标主体的姿态数据；将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据；
14.接收并播放渲染数据。
15.第三方面，提供一种游戏数据处理系统，该系统包括云服务器和用户终端；
16.用户终端，用于获取游戏对应的真实场景数据，并将真实场景数据发送至云服务器；
17.云服务器，用于接收用户终端发送的游戏对应的真实场景数据，根据游戏的数据推理规则对真实场景数据进行推理，确定真实场景下的目标主体的姿态数据，将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据，并将渲染数据发送至用户终端；
18.用户终端，还用于接收并播放渲染数据。
19.第四方面，提供一种游戏数据处理装置，该装置包括：
20.接收模块，用于接收用户终端发送的游戏对应的真实场景数据；
21.确定模块，用于根据游戏的数据推理规则对真实场景数据进行推理，确定真实场景下的目标主体的姿态数据；
22.融合模块，用于将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据；
23.发送模块，用于将渲染数据发送至用户终端，以使用户终端播放渲染数据。
24.第五方面，提供一种游戏数据处理装置，该装置包括：
25.采集模块，用于获取游戏对应的真实场景数据；
26.发送模块，用于将真实场景数据发送至云服务器，以使云服务器根据游戏的数据推理规则对真实场景数据进行推理，确定真实场景下的目标主体的姿态数据；将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据
27.接收模块，用于接收并播放渲染数据。
28.第六方面，提供一种电子设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现上述游戏数据处理方法。
29.第七方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述游戏数据处理方法。
30.上述游戏数据处理方法、系统、装置、电子设备和存储介质，云服务器接收用户终端发送的游戏对应的真实场景数据，根据游戏的数据推理规则对真实场景数据进行推理，确定真实场景下的目标主体的姿态数据，将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据，将渲染数据发送至用户终端，以使用户终端播放渲染数据。在本方法中，游戏安装在云服务器端，云服务器负责实现目标主体的姿态数据与游戏的场景数据的融合，提高了游戏数据的处理速度和效率，云服务器直接将渲染数据传回至用户终端，用户终端仅仅用于播放渲染数据，减少了用户终端对于游戏数据的处理量，释放了用户终端的计算资源，同时，用户终端不再需要安装游戏，一方面解决了用户终端安装游戏造成的耗费时间、耗费存储空间的问题，另一方面，降低了用户终端的造价成本和游戏购买成本。
附图说明
31.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1为一个实施例中游戏数据处理方法的应用环境图；
33.图2为一个实施例中游戏数据处理方法的流程图；
34.图3为一个实施例中游戏数据处理方法的流程图；
35.图4为一个实施例中游戏数据处理方法的流程图；
36.图5为一个实施例中游戏数据处理方法的流程图；
37.图6为一个实施例中游戏数据处理方法的流程图；
38.图7为一个实施例中游戏数据处理方法的流程图；
39.图8为一个实施例中游戏数据处理方法的流程图；
40.图9为一个实施例中游戏数据处理方法的流程图；
41.图10为一个实施例中游戏数据处理系统的结构示意图；
42.图11为一个实施例中游戏数据处理系统中云服务器的结构示意图；
43.图12为一个实施例中游戏数据处理系统中用户终端的结构示意图；
44.图13为一个实施例中游戏数据处理装置的结构框图；
45.图14为一个实施例中游戏数据处理装置的结构框图；
46.图15为一个实施例中电子设备的结构示意图。
具体实施方式
47.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
48.可以理解，本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本技术的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
49.图1为一个实施例中游戏数据处理方法的应用环境示意图。如图1所示，该应用环境包括云服务器和用户终端。其中，用户终端102通过网络与云服务器104进行通信。其中，用户终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、智能电视等可以运行体感游戏的终端设备，云服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
50.图2为一个实施例中游戏数据处理方法的流程图。本实施例中的游戏数据处理方法，以运行于图1中的云服务器上为例进行描述。如图2所示，游戏数据处理方法包括步骤201至步骤204。
51.步骤201，接收用户终端发送的游戏对应的真实场景数据。
52.其中，游戏指的是当前运行的游戏，示例地，游戏可以为体感游戏，例如，赛跑类、舞蹈类的体感游戏等，用户在进入游戏之后，用户终端通过获取用户的肢体摆动、姿态变化的视频数据或音频数据，与云服务器进行数据交互、数据处理，来实现对游戏的控制；真实场景数据指的是包含用户在内的用户终端所采集到的场景数据。
53.在本实施例中，云服务器接收用户终端发送的真实场景数据，该真实场景数据可以为视频流数据，也可以为图像数据；可选地，云服务器在接收到真实场景数据之后，若该真实场景数据为编码之后的数据，云服务器需要对该真实场景数据执行解码操作。
54.步骤202，根据游戏的数据推理规则对真实场景数据进行推理，确定真实场景下的目标主体的姿态数据。
55.其中，游戏的数据推理规则包括各个游戏所关注的不同局部特征，例如，游戏a关注的局部特征为目标主体的手臂；游戏b关注的局部特征为目标主体的头部；游戏c关注的局部特征为目标主体的腿部；不同游戏关注不同的局部特征，自然具有基于局部特征所对
应的数据推理规则。
56.在本实施例中，云服务器接受用户终端发送的真实场景数据，根据游戏的数据推理规则，确定当前推理操作所关注的局部特征，基于真实场景数据做进行特征提取，得到真实场景数据中对应的局部特征数据集，可选地，基于局部特征数据集确定目标主体在真实场景下的姿态数据。示例地，可以基于预设的人体骨架信息以及提取到的局部特征进行推理计算，例如，基于手势进行推理计算，得到真实场景下的目标主体的姿态数据。
57.步骤203，将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据。
58.其中，游戏的场景数据指的是游戏在显示界面所在场景下的数据。
59.在本实施例中，云服务器根据预设的数据转换规则，将目标主体的姿态数据转换为游戏的场景下对应的姿态数据，而后将游戏的场景下对应的姿态数据与游戏的场景数据进行融合渲染，得到云游戏对应的渲染数据。例如，将获取到的姿态数据与游戏的场景中虚拟人物的动作进行融合，使得虚拟人物展现与用户的同步的动作或姿态。可选地，云服务器可以将游戏的场景下对应的姿态数据输入至云游戏应用中，触发游戏画面实时的渲染，得到云游戏对应的渲染数据。
60.步骤204，将渲染数据发送至用户终端，以使用户终端播放渲染数据。
61.在本实施例中，云服务器将游戏的渲染数据发送至用户终端，使得用户终端在接收到渲染数据之后进行播放展示，可选地，云服务器还可以在发送之前，对渲染数据进行编码处理，向用户终端发送编码处理后的渲染数据，本实施例对此不做限定。
62.本实施例中的游戏数据处理方法，云服务器接收用户终端发送的游戏对应的真实场景数据，根据游戏的数据推理规则对真实场景数据进行推理，确定真实场景下的目标主体的姿态数据，将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据，将渲染数据发送至用户终端，以使用户终端播放渲染数据。在本方法中，游戏应用安装在云服务器端，云服务器负责实现目标主体的姿态数据与游戏的场景数据的融合，提高了游戏数据的处理速度和效率，云服务器直接将渲染数据传回至用户终端，用户终端仅仅用于播放渲染数据，减少了用户终端对于游戏数据的处理量，释放了用户终端的计算资源，同时，用户终端不再需要安装游戏，一方面解决了用户终端安装游戏造成的耗费时间、耗费存储空间的问题，另一方面，降低了用户终端的造价成本和游戏购买成本。
63.在其中一个可选的实施例中，真实场景数据包括视频流数据；如图3所示，根据游戏的数据推理规则对真实场景数据进行推理，确定真实场景下的目标主体的姿态数据，包括：
64.步骤301，根据游戏的数据推理规则对视频流数据中的每一帧图像进行特征提取，确定每一帧图像中目标主体的局部特征。
65.在本实施例中，云服务器根据游戏所对应的数据推理规则，对用户终端发送的真实场景数据进行特征提取，当然，真实场景数据可以为视频流数据，也可以为图像数据，根据数据推理规则对真实场景数据进行特征提取，得到数据推理规则所对应的每一帧图像中目标主体的局部特征。
66.步骤302，根据每一帧图像中目标主体的局部特征，确定真实场景下的目标主体的姿态数据。
67.其中，根据解码处理后的数据流做人体骨架和手势的推理计算，
68.在本实施例中，云服务器在确定每一帧图像中目标主体的局部特征之后，根据目标主体的局部特征做人体骨架和手势的推理计算，得到目标主体在真实场景下的姿态数据，例如，姿态数据可以包括目标主体的手臂从上到下挥动、目标主体的手臂从左往后挥动、目标主体的手臂多次挥动等；目标主体转头、目标主体歪头、目标主体点头等，本实施例对此不做限定。
69.在本实施例中，云服务器可以根据用户终端发送的真实场景数据和当前的游戏对应的数据推理规则进行真实场景数据的局部特征提取以及目标主体的姿态数据的计算，基于云服务器进行以上计算操作，可以提高游戏数据处理效率。
70.云服务器在得到目标主体的姿态数据之后，根据目标主体的姿态数据确定在游戏中对应的渲染数据。在其中一个可选的实施例中，如图4所示，将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据，包括：
71.步骤401，将目标主体的姿态数据转换为游戏场景下的姿态数据。
72.其中，目标主体的姿态数据的计算场景是真实场景数据所在的坐标系；游戏场景下的姿态数据指的是在游戏界面所在坐标系下的姿态数据。
73.在本实施例中，云服务器两个不同坐标系之间的映射关系，根据目标主体的姿态数据，确定游戏场景下的姿态数据。
74.可选地，根据游戏的显示界面坐标与真实场景坐标之间的映射关系，将目标主体的姿态数据在真实场景下的位置坐标转换为游戏的显示界面坐标下的位置坐标，得到游戏场景下的姿态数据。
75.其中，云服务器可以根据真实场景坐标获取目标主体的姿态数据所对应的位置坐标，根据映射关系，得到游戏的显示界面坐标下的位置坐标。
76.步骤402，将游戏场景下的姿态数据和游戏的场景数据进行融合，得到渲染数据。
77.在本实施例中，云服务器在得到游戏场景下的姿态数据之后，将标游戏场景下的姿态数据和游戏的场景数据进行融合，可选地，云服务器在得到游戏的显示界面坐标下的位置坐标之后，将游戏的显示界面坐标下的位置坐标输入至游戏模型中，与游戏的场景数据进行融合，得到执行姿态数据之后的游戏的渲染数据。
78.在本实施例中，云服务器根据目标主体的姿态数据和游戏场景下的姿态数据，得到执行姿态数据之后的渲染数据，在云服务器中执行游戏数据的渲染操作，提高游戏数据渲染的效率。
79.不同的用户终端的显示界面具有不同的分辨率和尺寸，为了优化用户体验，云服务器还可以根据用户终端显示界面的分辨率和尺寸，进行适应性的调整。
80.在其中一个可选的实施例中，如图5所示，该方法还包括：
81.步骤501，接收用户终端发送的调节指令；调节指令中携带用户终端的显示界面分辨率和码率。
82.在本实施例中，云服务器可以接收用户终端发送的显示界面分辨率和码率；或者，云服务器还可以向用户终端发送获取显示界面分辨率和码率的请求，以获取用户终端的显示界面的分辨率和码率。
83.步骤502，根据显示界面分辨率和码率，将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据。
84.在本实施例中，云服务器在根据目标主体的姿态数据与游戏的场景数据的融合渲染过程中，考虑到不同用户终端的显示界面的分辨率和码率，渲染得到适应于当前用户终端的显示界面的分辨率和码率的游戏界面的渲染数据。
85.在本实施例中，根据不同的用户终端的显示界面的分辨率和尺寸，适应性的进行目标主体的姿态数据与游戏的场景数据的融合、渲染，得到的渲染数据更适合当前用户终端的显示界面，优化了用户体验。
86.为了减小游戏数据的处理延迟，在其中一个可选的实施例中，将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据，包括：
87.在抽象层hal调用gpu资源执行将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据的步骤。
88.在本实施例中，可以在android模拟单元的hal层进行数据的拦截和获取，示例地，基于hal层直接调用底层的gpu能力进行目标主体的姿态数据与游戏的场景数据进行融合、渲染。
89.在本实施例中，基于hal层可以直接调用云服务器的gpu资源，能够减小云游戏数据处理的延迟。
90.图6为另一个实施例中游戏数据处理方法的流程图。本实施例中的游戏数据处理方法，以运行于图1中的用户终端上为例进行描述。如图6所示，游戏数据处理方法包括步骤601至步骤603。
91.步骤601，获取游戏对应的真实场景数据。
92.其中，游戏指的是当前运行的游戏。真实场景数据指的是包含用户在内的用户终端所采集到的场景数据。
93.在本实施例中，用户终端可以基于本身的采集设备，根据预设的采集频率，获取游戏下的真实场景数据，其中，采集设备可以为摄像头，也可以为与用户终端通信连接的ar设备。可选地，为了减少传输数据包的大小，用户终端还可以对真实场景数据进行初步处理，例如，对真实场景数据进行数据有效性提取处理，剔除无效数据等操作。
94.步骤602，将真实场景数据发送至云服务器。
95.在本实施例中，用户终端在采集到游戏对应的真实场景数据之后，将真实场景数据发送至云服务器，以使云服务器根据游戏的数据推理规则对真实场景数据进行推理，确定真实场景下的目标主体的姿态数据；将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据。
96.步骤603，接收并播放渲染数据。
97.在本实施例中，用户终端接收云服务器返回的渲染数据，基于显示界面，播放该渲染数据，可选地，用户终端可能需要对返回的渲染数据进行解码处理，而后播放解码处理后的渲染数据，本实施例对此不做限定。
98.本实施例中的游戏数据处理方法，用户终端获取游戏对应的真实场景数据，将真实场景数据发送至云服务器，以使云服务器根据游戏的数据推理规则对真实场景数据进行推理，确定真实场景下的目标主体的姿态数据，将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据，用户终端接收并播放渲染数据。在本方法中，游戏安装在云服务器端，云服务器负责实现目标主体的姿态数据与游戏的场景数据的融合，提高了游戏数据
的处理速度和效率，云服务器直接将渲染数据传回至用户终端，用户终端仅仅用于播放渲染数据，减少了用户终端对于游戏数据的处理量，释放了用户终端的计算资源，同时，用户终端不再需要安装游戏，一方面解决了用户终端安装游戏造成的耗费时间、耗费存储空间的问题，另一方面，降低了用户终端的造价成本和游戏购买成本。
99.用户终端基于采集设备获取游戏对应的真实场景数据，在其中一个可选的实施例中，如图7所示，获取游戏对应的真实场景数据，包括：
100.步骤701，采集原始真实场景数据。
101.在本实施例中，用户终端可以基于采集设备获取用户的原始真实场景数据，其中，采集设备可以为摄像头、ar设备等，原始真实场景数据指的是包含用户在内的真实场景数据，该数据可以为视频流数据，也可以为图像数据。
102.步骤702，对原始真实场景数据进行预处理，得到真实场景数据；预处理包括去重处理、感兴趣区域的提取处理、音频降噪处理中的至少一个。
103.其中，去重处理指的是删除确认的重复数据；感兴趣区域的提取处理指的是基于感兴趣区域进行原始真实场景数据的提取切割；音频降噪处理指的是对原始真实场景数据对应的音频进行降噪处理。
104.在本实施例中，用户终端对原始真实场景数据进行预处理中的至少一种操作，例如，可以对原始真实场景操作仅进行感兴趣区域的提取处理；还可以对原始真实场景数据进行去重处理和感兴趣区域的提取处理；或者，还可以对原始真实场景数据进行以上三种预处理，最终得到预处理之后的真实场景数据。
105.在本实施例中，用户终端对原始真实场景数据进行预处理，减少传输数据包的大小，节省了数据传输资源，提高了数据传输速度。
106.用户终端可以对采集到的原始真实场景的数据做预处理，以减少要发送给云服务器的数据量，节省传输资源。在一个场景下，预处理可以为对原始真实场景数据的去重处理，在其中一个可选的实施例中，如图8所示，预处理为去重处理；对原始真实场景数据进行预处理，包括：
107.步骤801，检测相邻两帧的原始真实场景数据的相似度。
108.其中，相邻两帧的原始真实场景数据可以为视频流中相邻两帧的数据；也可以是时间帧上，相邻两帧的图像数据。
109.在本实施例中，用户终端根据相邻两帧的原始真实场景的数据，以及预设的图像/视频特征提取算法，确定相邻两帧的原始真实场景的相似度，示例地，根据相邻两帧的原始真实场景中提取到的特征对应的特征数量、特征的位置确定两帧数据的相似度。
110.步骤802，若相似度大于预设阈值，则对相邻两帧的原始真实场景数据进行去重处理。
111.在本实施例中，用户终端若确定相邻两帧的原始真实场景数据的相似度大于预设阈值，则确定相邻两帧的原始真实场景数据的相似度极高，可认定为重复数据，此时，用户终端对相邻两帧的原始真实场景数据进行去重处理，可选地，可以删除其中一帧原始真实场景数据，保留另外一帧原始真实场景数据；可选地，在确定相似度大于预设阈值的情况下，还可以根据两帧原始真实场景数据的清晰度，包括清晰度较高的一帧原始真实场景数据，删除清晰度较低的一帧原始真实场景数据，本实施例对此不做限定。
112.在本实施例中，根据相邻两帧的原始真实场景数据的相似度做数据的有效性分析，即做数据的去重处理，在存在相似度大于预设阈值的情况下，保留一帧，删除一帧，极大地减少了传输数据量，节省了数据传输资源，提高了数据传输速度。
113.在另一个场景下，用户终端对原始真实场景数据做预处理，可以是对原始真实场景数据做切割处理。在其中一个可选的实施例中，如图9所示，预处理为感兴趣区域的提取处理；对原始真实场景数据进行预处理，包括：
114.步骤901，接收云服务器发送的感兴趣区域信息。
115.其中，感兴趣区域信息为云服务器根据各个游戏对应的历史真实场景数据，进行训练所确定的感兴趣区域对应的信息。
116.在本实施例中，用户终端接收云服务器发送的当前游戏对应的感兴趣区域信息，其中，感兴趣区域信息可以包括感兴趣区域的轮廓信息、特征信息等。
117.步骤902，根据感兴趣区域信息，从原始真实场景数据中提取感兴趣区域。
118.在本实施例中，用户终端根据接收到的感兴趣区域信息，提取各帧原始真实场景数据中提取感兴趣区域，得到各帧原始真实场景数据所对应的感兴趣区域数据集，可选地，用户终端还可以根据感兴趣区域对原始真实场景数据进行切割，得到包括感兴趣区域的最小原始真实场景数据，本实施例对其不做限定。
119.在本实施例中，根据感兴趣区域信息对原始真实场景数据做感兴趣区域的提取处理，只保留每一帧原始真实场景数据中的感兴趣区域，减小了每一帧的原始真实场景数据的大小，极大地减少了传输数据量，节省了数据传输资源，提高了数据传输速度；并且，用户终端不需要进行感兴趣区域的训练确定，直接根据从云服务器接收到的感兴趣区域进行区域提取，释放了用户终端的计算资源。
120.在又一个场景下，用户终端对原始真实场景数据做预处理，还可以是对原始真实场景数据的音频做降噪处理。在其中一个可选的实施例中，预处理为音频降噪处理；对原始真实场景数据进行预处理，包括：
121.根据预设的音频降噪算法，对原始真实场景数据中的音频进行降噪处理。
122.其中，预设的音频降噪算法包括lms自适应滤波器降噪、基本谱减法、维纳滤波降噪等，用户终端根据预设的音频降噪算法，对原始真实场景数据对应的音频进行降噪处理，得到音频降噪之后的，本实施例对此不做限定。
123.在本实施例中，对原始真实场景数据对应的音频数据做降噪处理，从音频的维度减少了原始真实场景数据的大小，减少数据量，节省了数据传输资源，提高了数据传输速度。
124.应该理解的是，虽然图2
‑
9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2
‑
9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
125.图10为一个实施例的游戏数据处理系统的结构框图。如图10所示，该系统包括云
服务器和终端。
126.其中，云服务器中包括android模拟单元和ai计算单元；用户终端包括显示界面、处理中心和采集设备。云服务器中安装有预设的所有游戏，换句话说，云服务器负责所有游戏数据的推理、计算、渲染处理。
127.在本实施例中，用户终端不需要安装游戏应用，以android游戏为例，游戏安装在云服务器的android模拟单元中，其中，可选地，android模拟单元可以是一个容器，也可以是虚拟机。在运行游戏的过程中，云服务器将游戏应用的产生的视频流、音频流实时传输到用户终端，用户终端可以是手机、电视、机顶盒、眼镜等设备。用户终端基于用户操作产生的指令，将图像设备采集到的视频流、音频流发送给云服务器的android模拟单元。可选地，云服务器的android模拟单元和ai计算单元可以独立部署于两个容器docker中，使得各个单元计算更加迅速，时间更短，或者，还可以在android模拟单元所在的容器内集成ai计算单元的hal层，比如说将两个docker容器合为一个容器，部署将更加的方便，同时也会进一步地缩小延迟。
128.其中，云服务器与用户终端的交互过程包括，1.用户终端基于采集设备获取用户的视频流数据、图像数据、音频流数据等；2.用户终端可以对采集到的视频流数据、图像数据、音频流数据进行简单的预处理，以缩小采集到的数据流的大小，并发送给云服务器；3.云服务器接受用户终端发送的数据流，进行解码之后做人体骨架和手势的推理计算，最后经过翻译单元将手势和体感转化为云游戏的坐标；4.云服务器将推理计算、翻译得到的云游戏的坐标输入至云游戏应用中，得到云游戏对应的渲染数据，并将渲染数据进行压缩编码发送给用户终端进行播放。
129.上述游戏数据处理系统，游戏安装在云服务器端，云服务器负责实现目标主体的姿态数据与游戏的场景数据的融合，提高了游戏数据的处理速度和效率，云服务器直接将渲染数据传回至用户终端，用户终端仅仅用于播放渲染数据，减少了用户终端对于游戏数据的处理量，释放了用户终端的计算资源，同时，用户终端不再需要安装游戏，一方面解决了用户终端安装游戏造成的耗费时间、耗费存储空间的问题，另一方面，降低了用户终端的造价成本和游戏购买成本。
130.在其中一个可选的实施例中，云服务器的系统结构示意图可参考图11所示，图11中云服务器包括了两个大单元，分别为android模拟单元和ai计算单元。
131.其中，ai代理器ai
‑
proxy接收用户终端发过来的数据流，并根据预设的数据协议，对数据流进行拆包处理，将拆包处理后的数据流传输给编码模块decode模块；decode模块根据预设的编码/解码规则，对拆包处理后的数据流进行解码处理，并将解码处理后的数据流传输给ai运行单元ai runtime；ai runtime是ai功能的集合单元，采用plugin的模式设计，支持多种ai框架，包括但不限于使用tensorflow、torch等。每一种ai的框架作为一个element插件集成到ai框架中。训练和计算的硬件加速也采用相同的设计，用户可以决定用gpu、fpga、cpu进行训练和计算，框架具有很好的扩展性和易用性。ai runtime根据解码处理后的数据流做人体骨架和手势的推理计算，最后经过翻译单元将手势和体感转化为云游戏的坐标，将云游戏的坐标输入至android模拟单元的云代理cloud
‑
proxy模块中。
132.其中，由于ai计算单元和android模拟单元部署在同一个单位上(出于性能考虑，可以是一个进程的多个线程，也可以是一台服务器的多个进程)，在ai计算单元的云管理
cloud
‑
manager模块中通过各种本地进程间通信(inter
‑
process communication，ipc)，将处理之后的数据送给android模拟单元中的云代理cloud
‑
proxy模块，例如，可以通过unix domain socket、共享内存等方式来传输。
133.云代理cloud
‑
proxy模块做训练数据的转码操作，将其转化为android模拟单元能够识别的输入input事件，并将input事件输入至android模拟单元的虚拟input设备中，android模拟单元的游戏应用收到输入指令之后，触发游戏画面实时的渲染，发出渲染的指令给android模拟单元的框架层，完成游戏画面的渲染操作，得到渲染数据。
134.可选的，为了能够减小云游戏的延迟，可以在android模拟单元的hal层进行数据的拦截和获取，示例地，基于hal层直接调用底层的gpu能力进行游戏画面的渲染，渲染数据直接通过hal层发送至编码模块进行编码；将编码之后的渲染数据和音频数据通过android模拟单元的推流模块，比如利用webrtc、lib555等将渲染数据和音频数据传输给用户终端，以使用户终端进行渲染数据和音频数据的解码和播放。
135.用户终端的系统结构示意图可参考图12所示，图12中，用户终端包括显示模块display、媒体组件media component、控制组件control component、ai组件ai component、以及采集设备camera。
136.其中，ai component中包括采样模块、去重编码模块、数据传输模块，采样模块根据预设的采样频率从采集设备中获取用户的视频流数据、图像数据等，将采集到的数据传输给去重编码模块；去重编码模块将采集到的数据做去重处理、感兴趣区域的提取处理、音频降噪处理，并在处理之后对数据进行压缩编码，比如可以做jpeg编码，充分降低传输数据的大小；而后，将压缩编码后的数据通过数据传输模块发送至云服务器，其中，数据传输模块与云服务器中的ai
‑
proxy模块建立连接，其连接可以采用rtsp，webtrc等协议实现。
137.其中，用户终端的控制组件中的ui通道负责显示实时的网络情况，解码延时信息、码率信息等。同时通过该模块还可以提供动态的调整分辨率和码率的功能，将用户的一些请求通过消息通道传递给后端的android系统内。
138.媒体组件的音视频模块负责接收android模拟单元渲染和编码之后的数据，进行音视频的接收和同步操作，而后进行同步处理后的数据将传输至解码模块，进行解码处理，最终传输至显示模块进行播放显示。
139.图13为一个实施例的游戏数据处理装置的结构框图。如图13所示，该装置包括：
140.接收模块01，用于接收用户终端发送的游戏对应的真实场景数据；
141.确定模块02，用于根据游戏的数据推理规则对真实场景数据进行推理，确定真实场景下的目标主体的姿态数据；
142.融合模块03，用于将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据；
143.发送模块04，用于将渲染数据发送至用户终端，以使用户终端播放渲染数据。
144.在其中一个可选的实施例中，真实场景数据包括视频流数据；确定模块02，用于根据游戏的数据推理规则对视频流数据中的每一帧图像进行特征提取，确定每一帧图像中目标主体的局部特征；根据每一帧图像中目标主体的局部特征，确定真实场景下的目标主体的姿态数据。
145.在其中一个可选的实施例中，融合模块03，用于将目标主体的姿态数据转换为游
戏场景下的姿态数据；将游戏场景下的姿态数据和游戏的场景数据进行融合，得到渲染数据。
146.在其中一个可选的实施例中，融合模块03，用于根据游戏的显示界面坐标与真实场景坐标之间的映射关系，将目标主体的姿态数据在真实场景下的位置坐标转换为游戏的显示界面坐标下的位置坐标，得到游戏场景下的姿态数据。
147.在其中一个可选的实施例中，接收模块01，还用于接收用户终端发送的调节指令；调节指令中携带用户终端的显示界面分辨率和码率；
148.融合模块03，还用于根据显示界面分辨率和码率，将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据。
149.在其中一个可选的实施例中，融合模块03，还用于在抽象层hal调用gpu资源执行将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据的步骤。
150.图14为一个实施例的游戏数据处理装置的结构框图。如图14所示，该装置包括：
151.采集模块11，用于获取游戏对应的真实场景数据；
152.发送模块12，用于将真实场景数据发送至云服务器，以使云服务器根据游戏的数据推理规则对真实场景数据进行推理，确定真实场景下的目标主体的姿态数据；将目标主体的姿态数据与游戏的场景数据进行融合，得到渲染数据；
153.接收模块13，用于接收并播放渲染数据。
154.在其中一个可选的实施例中，采集模块11，用于采集原始真实场景数据；对原始真实场景数据进行预处理，得到真实场景数据；预处理包括去重处理、感兴趣区域的提取处理、音频降噪处理中的至少一个。
155.在其中一个可选的实施例中，预处理为去重处理；采集模块11，用于检测相邻两帧的原始真实场景数据的相似度；若相似度大于预设阈值，则对相邻两帧的原始真实场景数据进行去重处理。
156.在其中一个可选的实施例中，预处理为感兴趣区域的提取处理；采集模块11，用于接收云服务器发送的感兴趣区域信息；根据感兴趣区域信息，从原始真实场景数据中提取感兴趣区域。
157.在其中一个可选的实施例中，预处理为音频降噪处理；采集模块11，用于根据预设的音频降噪算法，对原始真实场景数据中的音频进行降噪处理。
158.上述游戏数据处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将游戏数据处理装置按照需要划分为不同的模块，以完成上述游戏数据处理装置的全部或部分功能。
159.关于游戏数据处理装置的具体限定可以参见上文中对于游戏数据处理方法的限定，在此不再赘述。上述游戏数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
160.图15为一个实施例中服务器(或云端等)的内部结构示意图。如图15所示，该服务器包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个服务器的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存
储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种游戏数据处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
161.本领域技术人员可以理解，图15中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的服务器的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
162.本技术实施例中提供的游戏数据处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本技术实施例中所描述方法的步骤。
163.本技术实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行游戏数据处理方法的步骤。
164.一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行游戏数据处理方法。
165.本技术所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddr sdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。
166.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。