一种随机数据访问的串行化系统的制作方法

1.本发明属于计算机技术领域，具体是指一种随机数据访问的串行化系统。


背景技术：

2.随着计算机技术的高速发展，特别是云计算时代的来临，数据规模越来越大，游戏和程序容量爆炸式增长，一些大型游戏的容量往往已经超过200gb，一些手机程序的大小也超过10gb，一些应用数据更是超过tb级别。
3.在公司开发和推广游戏运行时的过程中发现，由于大型游戏的容量较大，用户的网络环境复杂，用户通常需要等待几分钟乃至几十分钟才能开始游戏，严重影响了用户体验。而且长时间的等待过程中，很多用户直接放弃，也间接影响了盈利；因此，在现有分发技术(线下光盘，硬盘，闪存等存储介质，线上下载安装)条件下，所以如何降低用户的获取成本和获取时间，成为当务之急。
4.定义：
5.数据访问串行化：利用机器学习模型，根据程序的历史状态和当前上下文可以计算出接下来需要访问的数据集合及其概率，据此将随机的数据访问表示成近似串行的方式，实现数据的预加载，预测加载和随机读取。


技术实现要素：

6.为了解决上述难题，本发明提供了一种随机数据访问的串行化系统，将这些数据的访问变成“串行化”的，使用类似流媒体的方式来服务数据访问，完美解决游戏，程序以及数据的分发和访问：让游戏即点即玩，不用等待安装，不用等待下载；程序也能够即点即开，快速进入，不用等待下载安装；对大数据的访问也无需等待下载到本地，随时随机访问成为可能；而且无需担心本地存储容量。
7.为了实现上述功能，本发明采取的技术方案如下：一种随机数据访问的串行化系统，包括大数据分析处理子系统、数据访问串行化服务端子系统、用户端运行时子系统、预测和指令相结合的数据分发子系统；
8.所述大数据分析处理子系统包括机器学习算法子系统、行为数据处理和建模子系统、模型评价子系统。
9.所述机器学习算法子系统根据调研和实际生产中的反馈，选取了aproiri，朴素贝叶斯，贝叶斯网络，k-means，knn，dbscan，svm，lstm，cnn，adaboost，gbdt，randomforest等机器学习算法，将这些算法的一个或者多个组合，构建了机器学习算法池；
10.所述行为数据处理和建模子系统，使用机器学习算法池中不同的算法处理所收集的用户行为和程序行为，并结合数据的类型和特性，为不同用户和不同数据建立了数据访问预测模型。这些模型可以根据用户行为和程序行为，预测出用户接下来需要的数据；
11.所述模型评价子系统，对每个用户的每个数据，在模型评价阶段，根据样本下的稳定性，预测成功率，计算复杂度等指标选择表现最好的前几个模型。
12.所述数据访问串行化服务端子系统，在接收到用户端的数据访问请求时，对用户进行鉴权，对访问的数据进行鉴权，如果非法则拒绝访问；如果是预先加载请求，则选择对应的模型，生成预加载数据包；如果是即时读取请求，则直接查找对应的压缩后的数据块，加密后返回给用户端；如果是预测下载请求，选择对应的模型，输入用户端传入的用户行为和程序上下文，计算出即将需要的数据，查找对应的压缩后数据块，加密后返回给用户端；用户端可以和服务端协商，选择非压缩，非加密的数据；服务端将数据划分成数据块，针对不同的数据选择压缩率高且解压时间消耗少的压缩算法和压缩参数，生成压缩后数据块。
13.所述用户端运行时子系统，接管数据访问请求并映射成缓存和服务端数据访问，通过预加载，即时读取，预测加载来满足数据访问需求，对用户和游戏(程序)开发者透明，将用户在玩游戏(使用程序)过程中的行为记录下来，包括按键、按键时长、各界面停留时间、程序响应、程序运行上下文和程序的数据访问等信息，并上报给服务端，分析后建立数据访问模型；
14.截获程序的数据访问请求，并将数据访问映射成本地缓存和服务端的数据访问，并对用户透明；
15.系统初始化阶段，根据用户类型和数据类型，向服务端请求特定版本的预加载包，加入本地缓存，网络好，访问模型简单的场景下，可以没有预加载包；
16.对每次数据请求，本地缓存命中则直接返回数据，否则根据用户当前的行为和程序上下文信息，和服务端通信，请求当前需要的数据；
17.接受服务端返回的数据，并根据协议进行必要的解密，解压等操作，满足游戏(程序，或普通的数据访问)的访问需求，加入本地缓存；
18.如果当前没有数据访问请求，则传输用户当前的行为和程序的上下文信息，向服务器请求下一阶段可能用到的数据(预测)，加入本地缓存；
19.按照用户信息，网络状况，本地算力，剩余存储空间，服务端指令，按照特定的算法来管理本地缓存，确保用户体验。比如对于弱网，本地存储小的用户，本地缓存使用高压缩比的算法存储压缩后数据，使用更加激进的缓存失效算法删除无效缓存；对于网络不稳定的用户，则和服务端协商更贪婪的预加载和预测策略，减少网络抖动带来的影响。
20.所述预测和指令相结合的数据分发子系统，在通常情况下，系统根据用户行为和程序行为，以及大数据处理系统生成的模型来下发用户用到或者即将要用到的数据；数据分发子系统也支持游戏(程序)开发者在按照协议在游戏(程序)代码中或者服务端植入指令，当游戏(程序)运行到这些地方或者上下文满足指定的条件时，数据分发子系统会执行对应的指令，比如下发特定数据或者删除缓存中特定数据等操作，预测和指令相结合方式下，数据访问可以达到和访问本地数据一样零网络延时。
21.本发明采取上述结构取得有益效果如下：本发明提供的随机数据访问的串行化系统，设计合理，包括以下优点：
22.(1)在运行时支持下，游戏无需下载，无需安装，即点即玩，和现存云游戏方案比，无需服务端渲染，而且由于传输的是游戏数据而不是渲染后的视频，极大降低了流量成本。
23.(2)极大地降低了游戏(程序)对用户端(手机或电脑)存储容量的要求，在本发明的支持下，用户理论上可以拥有多个游戏(程序)。
24.(3)本发明极大地降低了游戏(程序)开发中的容量限制，而且对用户和开发者都
是透明的，游戏开发者可以使用访问本地文件的方式访问任意容量的游戏资源，天然支持元宇宙游戏等开放式游戏，也极大地降低了游戏的开发难度。
25.(4)本发明天然支持ar/vr等可交互视频。
26.(5)在服务端持续鉴权的架构下，减少游戏(程序)的盗版情况。
27.(6)本发明融合了云端数据和本地数据的访问接口，降低了云存储 本地计算模式的技术门槛，真正盘活云端存储更加便捷。
28.(7)在服务端持续鉴权，密钥协商 加密 解密，以及运行时支持服务端指令的架构下，可靠的数据授权访问和销毁成为可能。
附图说明
29.图1为本发明提供的随机数据访问的串行化系统的示意框图；
30.图2为本发明提供的随机数据访问的串行化系统的通用数据流媒体化的大数据分析子系统框图；
31.图3为本发明提供的随机数据访问的串行化系统的服务端数据访问处理流程框图；
32.图4为本发明提供的随机数据访问的串行化系统的用户端数据访问处理流程图；
33.图5为本发明提供的随机数据访问的串行化系统的用户端运行时子系统框图。
具体实施方式
34.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。以下结合附图，对本发明做进一步详细说明。
36.如图1-5所示，本发明提供的随机数据访问的串行化系统，包括大数据分析处理子系统、数据访问串行化服务端子系统、用户端运行时子系统、预测和指令相结合的数据分发子系统；大数据分析处理子系统包括机器学习算法子系统、行为数据处理和建模子系统、模型评价子系统；所述机器学习算法子系统根据调研和实际生产中的反馈，选取了机器学习算法，将这些算法的一个或者多个组合，构建了机器学习算法池；所述行为数据处理和建模子系统，使用机器学习算法池中不同的算法处理所收集的用户行为和程序行为，并结合数据的类型和特性，为不同用户和不同数据建立了数据访问预测模型。这些模型可以根据用户行为和程序行为，预测出用户接下来需要的数据；模型评价子系统，对每个用户的每个数据，在模型评价阶段，根据样本下的稳定性，预测成功率，计算复杂度等指标选择表现最好的前几个模型。
37.数据访问串行化服务端子系统，在接收到用户端的数据访问请求时，对用户进行
鉴权，对访问的数据进行鉴权，如果非法则拒绝访问；如果是预先加载请求，则选择对应的模型，生成预加载数据包；如果是即时读取请求，则直接查找对应的压缩后的数据块，加密后返回给用户端；如果是预测下载请求，选择对应的模型，输入用户端传入的用户行为和程序上下文，计算出即将需要的数据，查找对应的压缩后数据块，加密后返回给用户端；用户端可以和服务端协商，选择非压缩，非加密的数据；服务端将数据划分成数据块，针对不同的数据选择压缩率高且解压时间消耗少的压缩算法和压缩参数，生成压缩后数据块。
38.用户端运行时子系统，接管数据访问请求并映射成缓存和服务端数据访问，通过预加载，即时读取，预测加载来满足数据访问需求，对用户和游戏(程序)开发者透明，将用户在玩游戏(使用程序)过程中的行为记录下来，包括按键、按键时长、各界面停留时间、程序响应、程序运行上下文和程序的数据访问等信息，并上报给服务端，分析后建立数据访问模型；
39.截获程序的数据访问请求，并将数据访问映射成本地缓存和服务端的数据访问，并对用户透明；
40.系统初始化阶段，根据用户类型和数据类型，向服务端请求特定版本的预加载包，加入本地缓存，网络好，访问模型简单的场景下，可以没有预加载包；
41.对每次数据请求，本地缓存命中则直接返回数据，否则根据用户当前的行为和程序上下文信息，和服务端通信，请求当前需要的数据；
42.接受服务端返回的数据，并根据协议进行必要的解密，解压等操作，满足游戏(程序，或普通的数据访问)的访问需求，加入本地缓存；
43.如果当前没有数据访问请求，则传输用户当前的行为和程序的上下文信息，向服务器请求下一阶段可能用到的数据(预测)，加入本地缓存；
44.按照用户信息，网络状况，本地算力，剩余存储空间，服务端指令，按照特定的算法来管理本地缓存，确保用户体验。比如对于弱网，本地存储小的用户，本地缓存使用高压缩比的算法存储压缩后数据，使用更加激进的缓存失效算法删除无效缓存；对于网络不稳定的用户，则和服务端协商更贪婪的预加载和预测策略，减少网络抖动带来的影响。
45.预测和指令相结合的数据分发子系统，在通常情况下，系统根据用户行为和程序行为，以及大数据处理系统生成的模型来下发用户用到或者即将要用到的数据；数据分发子系统也支持游戏(程序)开发者在按照协议在游戏(程序)代码中或者服务端植入指令，当游戏(程序)运行到这些地方或者上下文满足指定的条件时，数据分发子系统会执行对应的指令，比如下发特定数据或者删除缓存中特定数据等操作，预测和指令相结合方式下，数据访问可以达到和访问本地数据一样零网络延时。
46.以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。