一种基于端侧计算的中心化存储系统及控制方法与流程

1.本发明涉及数据处理领域，具体是一种基于端侧计算的中心化存储系统及控制方法。


背景技术：

2.当前，中心化存储主要以其高可用、高容量来保证了能够提供诸如数据中心、数据仓库、数据湖、大数据分析等场景，在人工智能领域为模型建模提供计算数据资源、在图形处理领域提供了大量的图片数据，在消费领域提供订单历史记录，可以说在数据中心(idc)高度发达的今天，中心化的存储结构为移动互联网提供了大量的场景支持也是大数据ai时代的基础设施，但是随着计算服务的定制化，诸如定制化推荐定制化生成、低延时搜索、数据关系服务运算的产生，逐渐需要扩展计算资源的集群，不断增加服务器端的设备和计算算方复杂性才能够保证服务海量用户，如今智能终端的普及以及高性能终端(甚至出现某些高端手机芯片的计算能力已经逼近基础计算服务器)、区块链技术的诞生，使得我们可以重新思考如何利用好广泛的服务群体客户的终端设备，来为自己的信息做计算，因此产生了基于端侧计算的中心化存储结构的想法，把海量数据存储于中心，在客户端放置海量数据的生成数据(索引、摘要)，通过客户端的计算极大的扩展中心化存储的使用能力，让服务器端轻量化减重。


技术实现要素：

3.本发明的目的在于克服现有技术的不足，提供一种基于端侧计算的中心化存储系统控制方法，包括如下步骤：步骤一，客户端将首次上传的原始数据上传到数据存储模块，同时客户端根据原始数据的信息生成基础数据状态信息，序号为n，所述的基础数据状态信息存储在客户端，并将基础数据状态信息与对应的原始数据同时存储到数据存储模块；步骤二，若用户在客户端对原始数据进行数据操作，则根据用户数据操作的内容，在存储在客户端的基础数据状态信息的基础上进行状态信息修改，生成序号加一的基础数据状态信息，同时序号加一的基础数据状态信息更新到数据存储模块中，与基础数据状态信息构成基础数据状态信息序列；步骤三，客户端访问数据时，先根据客户端存储的基础数据状态信息的序号，匹配到原始数据，再根据序号加一的个数，匹配到对应的基础数据状态信息，根据对应的基础数据状态信息中的数据操作的内容，对原始数据进行对应的数据操作，生成访问数据，发送到对应的客户端；步骤四，在访问数据传输的过程中，检测传输过程的流量状况，对传输过程中进行异常流量检测与排除，直到完成访问数据传输。
4.进一步的，其特征在于，所述的数据操作包括增加数据、删除数据和修改数据。
5.进一步的，所述的根据用户数据操作的内容，在存储在客户端的基础数据状态信
息的基础上进行状态信息修改，生成序号加一的基础数据状态信息，包括：客户端在对原始数据进行数据操作前，先获取对应原始数据的基础数据状态信息的序号加一的个数，当客户端进行数据操作后，在获取的序号加一的个数基础上再加一，生成序号加一的基础数据状态信息。
6.进一步的，所述的在访问数据传输的过程中，检测传输过程的流量状况，对传输过程中进行异常流量检测与排除，包括：s1，根据网络监控与调节模块中的数据采集模块的历史流量数据，通过流量预测模块得到各条线路的预测流量，并设定各条线路的预警流量阈值；s2，根据各条线路的预测流量，调度模块生成设备调度策略，根据调度策略调度模块调度各条线路的设备；s3，检测传输线路的实时的流量，当线路的流量到达预警流量阈值，先判断流量是否为异常流量，若为异常流量，则进入步骤四；若为正常流量，则通过调度模块向该条线路添加备用分流设备进行流量分流；s4，若为异常流量，先判断该条线路设备是否满足切换要求，若满足切换要求，则增加分流设备；若不满足切换要求，则暂停该条线路，进行故障排除。
7.应用所述的一种基于端侧计算的中心化存储系统控制方法的一种基于端侧计算的中心化存储系统，包括数据处理模块、通信装置、数据存储模块、存储状态监控装置、报警装置、网络监控与调节模块、客户端管理模块、电源模块；所述的通信装置、数据存储模块、存储状态监控装置、报警装置、网络监控与调节模块、客户端管理模块、电源模块分别与所述的数据处理模块连接；其中的存储状态监控装置用于检测数据处理模块的工作状态；所述的网络监控与调节模块用于监控客户端与数据存储模块之间的网络状况，以及进行故障处理；所述的客户端管理模块用于对客户端进行存储和网络资源调度；所述的报警装置用于发出报警信息；所述的电源模块用于为存储系统进行供电。
8.优选的，所述的数据存储模块包括容量检测模块、传输速率监测装置；所述的容量检测模块、传输速率监测装置分别与所述的数据处理模块连接。
9.优选的，所述的存储状态监控装置包括温度变化检测模块、散热装置；所述的温度变化检测模块、散热装置分别与所述的数据处理模块连接。
10.优选的，所述的网络监控与调节模块包括流量预测模块、调度模块、干预模块、数据采集模块、智能分流模块；所述的流量预测模块、调度模块、干预模块、数据采集模块、智能分流模块分别与所述的数据处理模块连接。
11.优选的，所述的客户端管理模块包括客户端数据收发监控装置、客户端调度模块；所述的客户端数据收发监控装置、客户端调度模块分别与所述的数据处理模块连接。
12.本发明的有益效果是：本发明旨在通过维护本地的全相关用户状态集合信息从而创新铺设通用端侧计算，使服务器仅仅需要关注idc核心的通信带宽和文件存储，而不必担心多客户端计算产生的重大算力难度，因为本地i/o带宽会限制住计算的容量，但是把本地i/o分担给所有便携设备并且将计算任务分担给他们，会极大简化服务器端的承载上限。
附图说明
13.图1为种基于端侧计算的中心化存储系统控制方法；图2为一种基于端侧计算的中心化存储系统。
具体实施方式
14.下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
15.为了使本发明的目的，技术方案及优点更加清楚明白，结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
16.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
17.而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。
18.以下结合实施例对本发明的特征和性能作进一步的详细描述。
19.如图1所示，一种基于端侧计算的中心化存储系统控制方法，包括如下步骤：步骤一，客户端将首次上传的原始数据上传到数据存储模块，同时客户端根据原始数据的信息生成基础数据状态信息，序号为n，所述的基础数据状态信息存储在客户端，并将基础数据状态信息与对应的原始数据同时存储到数据存储模块；其中的基础数据状态信息包括原始数据的数据大小、数据组成以及存储位置；步骤二，若用户在客户端对原始数据进行数据操作，则根据用户数据操作的内容，在存储在客户端的基础数据状态信息的基础上进行状态信息修改，生成序号加一的基础数据状态信息，同时序号加一的基础数据状态信息更新到数据存储模块中，与基础数据状态信息构成基础数据状态信息序列；步骤三，客户端访问数据时，先根据客户端存储的基础数据状态信息的序号，匹配到原始数据，再根据序号加一的个数，匹配到对应的基础数据状态信息，根据对应的基础数据状态信息中的数据操作的内容，对原始数据进行对应的数据操作，生成访问数据，发送到对应的客户端；步骤四，在访问数据传输的过程中，检测传输过程的流量状况，对传输过程中进行异常流量检测与排除，直到完成访问数据传输。
20.所述的数据操作包括增加数据、删除数据和修改数据。
21.所述的根据用户数据操作的内容，在存储在客户端的基础数据状态信息的基础上进行状态信息修改，生成序号加一的基础数据状态信息，包括：客户端在对原始数据进行数据操作前，先获取对应原始数据的基础数据状态信息的序号加一的个数，当客户端进行数据操作后，在获取的序号加一的个数基础上再加一，生成序号加一的基础数据状态信息。
22.所述的在访问数据传输的过程中，检测传输过程的流量状况，对传输过程中进行异常流量检测与排除，包括：s1，根据网络监控与调节模块中的数据采集模块的历史流量数据，通过流量预测模块得到各条线路的预测流量，并设定各条线路的预警流量阈值；s2，根据各条线路的预测流量，调度模块生成设备调度策略，根据调度策略调度模块调度各条线路的设备；s3，检测传输线路的实时的流量，当线路的流量到达预警流量阈值，先判断流量是否为异常流量，若为异常流量，则进入步骤四；若为正常流量，则通过调度模块向该条线路添加备用分流设备进行流量分流；s4，若为异常流量，先判断该条线路设备是否满足切换要求，若满足切换要求，则增加分流设备；若不满足切换要求，则暂停该条线路，进行故障排除。
23.所述的历史流量数据为流量计算周期内流量数据的峰值、流量变化率、数据总量、流量峰值持续时间。
24.所述的根据数据采集模块的历史流量数据，通过流量预测模块得到各条线路的预测流量，包括如下过程，先根据历史流量数据得到预测流量数据峰值，采用如下公式计算：其中的n为流量计算周期的个数，ai为流量计算周期i内的流量数据的峰值，根据预测流量数据峰值调度模块调用对应的设备；再根据流量峰值持续时间得到预测流量峰值持续时间，采用如下公式:若预测流量峰值持续时间大于设备稳定峰值运行时间，则增加设备进行分流；其中的n为流量计算周期的个数，bi为流量计算周期i内的流量峰值持续时间。
25.所述的判断流量是否为异常流量包括如下过程：根据历史流量数据的流量变化率得到参考流量变化率，采用如下公式：其中的n为流量计算周期的个数，为流量
计算周期i内的流量变化率，当流量变化率大于参考流量变化率，则为异常流量。
26.所述的判断该条线路设备是否满足切换要求包括如下过程：若设备流量增加到设备正常运行的最大值所需的时间大于切换到新设备的时间，则满足切换要求，否则，则不满足。
27.如图2所示，应用所述的一种基于端侧计算的中心化存储系统控制方法的一种基于端侧计算的中心化存储系统，包括数据处理模块、通信装置、数据存储模块、存储状态监控装置、报警装置、网络监控与调节模块、客户端管理模块、电源模块；所述的通信装置、数据存储模块、存储状态监控装置、报警装置、网络监控与调节模块、客户端管理模块、电源模块分别与所述的数据处理模块连接；其中的存储状态监控装置用于检测数据处理模块的工作状态；所述的网络监控与调节模块用于监控客户端与数据存储模块之间的网络状况，以及进行故障处理；所述的客户端管理模块用于对客户端进行存储和网络资源调度；所述的报警装置用于发出报警信息；所述的电源模块用于为存储系统进行供电。
28.所述的数据存储模块包括容量检测模块、传输速率监测装置；所述的容量检测模块、传输速率监测装置分别与所述的数据处理模块连接。
29.所述的存储状态监控装置包括温度变化检测模块、散热装置；所述的温度变化检测模块、散热装置分别与所述的数据处理模块连接。
30.所述的网络监控与调节模块包括流量预测模块、调度模块、干预模块、数据采集模块、智能分流模块；所述的流量预测模块、调度模块、干预模块、数据采集模块、智能分流模块分别与所述的数据处理模块连接。
31.其中的调度模块用于根据流量预测模块的流量预测结果，进行调度；所述的干预模块用于对调度进行主动干预；所述的预警模块用于发出预警信息；所述的智能分流模块用于在预警模块发出预警信息后，根据调度结果和流量信息，进行智能分流；所述的数据采集模块包括实时数据采集模块和历史数据模块；所述的实时数据采集模块用于实时的采集流量数据；所述的历史数据模块用于存储并分析历史流量数据；所述的客户端管理模块包括客户端数据收发监控装置、客户端调度模块；所述的客户端数据收发监控装置、客户端调度模块分别与所述的数据处理模块连接。
32.以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。