一种基于云计算构架的云存储数据处理系统的制作方法

1.本发明涉及云计算技术领域，具体涉及一种基于云计算构架的云存储数据处理系统。


背景技术：

2.云存储是指通过集群应用、网格技术或分布式文件系统等技术，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统；当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。
3.现有的云存储数据处理方案在实施时，只是基于需求方的用户主动选择云存储方案，对云存储数据处理过程中存在的异常，云存储提供方不能全方位的对云存储服务进行监测分析，并自适应的对异常状态进行核验和管理并采取措施，导致云存储数据处理的整体效果不佳。


技术实现要素：

4.本发明的目的在于提供一种基于云计算构架的云存储数据处理系统，用于解决现有方案中不能全方位的对云存储服务进行监测分析，并自适应的对异常状态进行核验和管理，导致云存储数据处理的整体效果不佳的技术问题。
5.本发明的目的可以通过以下技术方案实现：
6.一种基于云计算构架的云存储数据处理系统，包括：
7.行为预处理模块，用于根据预设的监测时段对监测区域内不同企业实施云存储的上传行为和下载行为进行预处理，得到上估值和下估值；
8.行为分析模块，用于将上估值和下估值分别与对应的上估阈值和下估阈值进行匹配来对监测区域内不同企业实施云存储的上传行为和下载行为进行分析；
9.行为整合模块，用于对企业在监测时段内实施云存储服务的整体状态进行评估；包括：
10.获取企业的经营类型及其对应的经营权重jq；
11.统计监测时段内企业上传第一占存对应的云存储数据的上传总次数sz和下载第二占存对应的云存储数据的下载总次数xz，以及上异行为的总次数sy和下异行为的总次数xy；
12.将统计标记的各项数据进行整合并通过计算来获取企业实施云存储服务对应的状态估值zg；
13.根据状态估值zg对企业在监测时段内实施云存储服务的整体状态进行评估时，根据企业的经营权重获取对应的状估范围[z1,z2]，并将状态估值zg与状估范围[z1,z2]进行匹配，得到包含状轻信号和状轻企业、状中信号和状中企业的企业分析数据；
[0014]
区域整合模块，用于获取监测区域内各个实施云存储服务企业对应的服务分析数据并进行整合得到服务估值；
[0015]
区域分析模块，用于根据服务估值对监测区域提供的云存储服务状态进行整体评估时，将服务估值与预设的服务阈值进行匹配，得到包含服正信号、服轻信号和服中信号的区域分析数据；
[0016]
区域核验模块，用于根据服务分析数据中的服轻信号和服中信号自适应的对监测区域内提供的云存储服务的整体状态异常进行有效性核验以及告警和调控。
[0017]
优选地，上估值和下估值的获取步骤包括：获取企业上传云存储数据的上传数据占存以及下载云存储数据的下载数据占存；
[0018]
并将大于上传数据占存阈值的上传数据占存以及将大于下载数据占存阈值的下载数据占存分别标记为第一占存和第二占存；
[0019]
统计企业上传云存储数据对应的上传时间；以及统计企业下载云存储数据对应的下载时间；
[0020]
提取第一占存和第二占存以及上传时间和下载时间的数值来获取第一占存与上传时间的比值以及第二占存与下载时间的比值并分别设定为上估值和下估值。
[0021]
优选地，若上估值大于上估阈值以及下估阈值大于下估阈值，则判定对应的上传行为和下载行为异常并将其标记为上异行为和下异行为。
[0022]
优选地，若z1≤zg≤z2，则判定实施云存储服务的整体状态轻度异常并生成状轻信号，并根据状轻信号将该企业标记为状轻企业；
[0023]
若z2＜zg，则判定实施云存储服务的整体状态中度异常并生成状中信号，并根据状中信号将该企业标记为状中企业。
[0024]
优选地，该状态估值zg的计算公式为：
[0025]
zg＝jq
×
(z1
×
sy/sz z2
×
xy/xz α)；式中，z1、z2为预设的比例系数，且0＜z1＜z2，α为补偿系数，取值范围为(0,5)。
[0026]
优选地，区域整合模块的工作步骤包括：
[0027]
统计监测区域内实施云存储服务企业的总数qz；
[0028]
以及统计状轻企业的总数zq和状中企业的总数zz；
[0029]
将统计标记的各项数据进行整合并通过计算来获取监测区域提供云存储服务对应的服务估值fg；该服务估值fg的计算公式为：
[0030]
fg＝(f1
×
zq f2
×
zz)/qz；式中，f1、f2为预设的比例系数，且0＜f1＜f2＜3。
[0031]
优选地，根据服务分析数据中的服轻信号和服中信号分别缩短监测时段的时长得到第一调整时段和第二调整时段，并根据第一调整时段和第二调整时段对监测区域提供的云存储服务状态进行整体核验。
[0032]
优选地，若第一调整时段的核验结果中存在服轻信号或者服中信号，则判定监测区域内提供的云存储服务的整体状态轻度异常核验通过并进行一级告警和调控；
[0033]
若第一调整时段的核验结果中存在服中信号，则判定监测区域内提供的云存储服务的整体状态中度异常核验通过并进行二级告警和调控。
[0034]
优选地，第一调整时段的时长大于和第二调整时段的时长。
[0035]
为了解决上述问题，本发明还提供一种电子设备，电子设备包括：
[0036]
存储器，存储至少一个指令；及
[0037]
处理器，执行存储器中存储的指令以实现上述的一种基于云计算构架的云存储数据处理系统。
[0038]
相比于现有方案，本发明实现的有益效果：
[0039]
1、本发明通过对个体企业实施云存储的上传行为和下载行为进行预处理和筛选获取高io流量行为，并对筛选后的行为进行分析评估状态是否正常并将其汇总归类，可以为后续的企业实施云存储服务的状态评估提供有效的数据支持。
[0040]
2、本发明通过在预设时间内将企业实施云存储服务过程中的异常数据进行整合获取状态估值，基于状态估值来对企业实施云存储服务的整体状态进行评估，并对存在的异常状态进行分类和标记，来为后续监测区域内云存储服务的整体状态评估提供数据支持，通过对个体企业的行为实施监测分析并联立整合，可以有效提高数据统计分析的准确性。
[0041]
3、本发明通过对监测区域内各个企业体验的异常服务进行整合和评估分类获取企业标记，将不同异常级别的标记企业进行整合和评估分类获取监测区域内云存储服务的整体状态，并自适应的对不同异常级别的状态实施动态的核验，通过由点到面、局部到整体的模式，可以及时高效的对云存储数据处理的服务进行调控，提高了云存储数据处理的整体效果。
附图说明
[0042]
下面结合附图对本发明作进一步的说明。
[0043]
图1为本发明一种基于云计算构架的云存储数据处理系统的模块框图。
[0044]
图2为实现本发明实施例的计算机设备的结构示意图。
具体实施方式
[0045]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0046]
实施例一
[0047]
如图1所示，本发明为一种基于云计算构架的云存储数据处理系统，包括行为预处理模块、行为分析模块、行为整合模块、区域整合模块、区域分析模块和区域核验模块；
[0048]
云存储服务在运行过程中，一个云应用程序或者一个具有高io流量的用户会影响到另一个用户的性能，在特殊的情况下，it管理人员需要采用能够提供资源隔离的云存储提供商服务，以此避免与其他数据混合；本发明实施例中，通过对不同类型企业实施云存储的服务进行分析评估是否存在异常，并将监测区域内各个企业的分析评估结果进行整合以及自适应的核验，可以动态实施及时高效的处理措施来提高云存储数据处理的整体效果。
[0049]
行为预处理模块，用于根据预设的监测时段对监测区域内不同企业实施云存储的上传行为和下载行为进行预处理；监测区域可以为企业集合区域，比如各大产业园，科技示范区等等；包括：
[0050]
获取企业上传云存储数据的上传数据占存以及下载云存储数据的下载数据占存；
[0051]
并将大于上传数据占存阈值的上传数据占存以及将大于下载数据占存阈值的下载数据占存分别标记为第一占存和第二占存；第一占存和第二占存对应的单位均为gb；
[0052]
需要注意的是，这里对上传数据占存和下载数据占存进行筛选匹配的目的是用于获取高io流量并实施针对性的分析，判断各个企业实施云存储服务过程中高io流量的运行是否正常；
[0053]
统计企业上传云存储数据对应的上传时间；以及统计企业下载云存储数据对应的下载时间；这里的上传时间和下载时间分别对应第一占存和第二占存的时间，且单位均为秒；
[0054]
提取第一占存和第二占存以及上传时间和下载时间的数值来获取第一占存与上传时间的比值以及第二占存与下载时间的比值并分别设定为上估值和下估值；
[0055]
本发明实施例中，通过对企业实施云存储的上传行为和下载行为进行预处理，可以为后续的企业实施云存储服务的状态评估提供有效的数据支持，还可以消除大量的低io流量行为造成的干扰。
[0056]
行为分析模块，用于将上估值和下估值分别与对应的上估阈值和下估阈值进行匹配来对监测区域内不同企业实施云存储的上传行为和下载行为进行分析；
[0057]
若上估值大于上估阈值以及下估阈值大于下估阈值，则判定对应的上传行为和下载行为异常并将其标记为上异行为和下异行为；
[0058]
本发明实施例中，上估阈值和下估阈值基于现有企业实施云存储服务的大数据来进行设定；此外，上异行为和下异行为是对企业的云存储服务的单次行为是否正常分析得到，实现了对云存储的上传行为和下载行为进一步筛选。
[0059]
行为整合模块，用于对企业在监测时段内实施云存储服务的整体状态进行评估；包括：
[0060]
获取企业的经营类型，设定不同的经营类型分别对应一个不同的经营权重，将获取的企业的经营类型与所有的经营类型进行匹配获取对应的经营权重jq；
[0061]
其中，不同类型的企业对应的云存储服务需求不同，根据不同的经营类型获取对应的经营权重，可以实现不同的企业数字化、差异化的表示；
[0062]
统计监测时段内企业上传第一占存对应的云存储数据的上传总次数sz和下载第二占存对应的云存储数据的下载总次数xz，以及上异行为的总次数sy和下异行为的总次数xy；监测时段的单位可以为小时，也可以为天，可以根据监测区域的实施场景需要进行自定义；
[0063]
将统计标记的各项数据进行整合并通过计算来获取企业实施云存储服务对应的状态估值zg；该状态估值zg的计算公式为：
[0064]
zg＝jq
×
(z1
×
sy/sz z2
×
xy/xz α)；式中，z1、z2为预设的比例系数，且0＜z1＜z2，z1可以取值为0.362，z2可以取值为0.654，α为补偿系数，取值范围为(0,5)，可以取值为0.8692；
[0065]
需要说明的是，状态估值是用于在预设时间内将企业实施云存储服务过程中异常数据进行整合来对其整体状态进行评估的数值；将上异行为以及下异行为占对应行为总次数的比例与企业对应的经营权重进行整合来得到状态估值，基于状态估值可以对企业在监
测时段内实施云存储服务的整体状态进行评估；
[0066]
根据状态估值zg对企业在监测时段内实施云存储服务的整体状态进行评估，包括：
[0067]
根据企业的经营权重获取对应的状估范围[z1,z2]，并将状态估值zg与状估范围[z1,z2]进行匹配；
[0068]
若zg＜z1，则判定实施云存储服务的整体状态正常并生成状正信号；
[0069]
若z1≤zg≤z2，则判定实施云存储服务的整体状态轻度异常并生成状轻信号，并根据状轻信号将该企业标记为状轻企业；
[0070]
若z2＜zg，则判定实施云存储服务的整体状态中度异常并生成状中信号，并根据状中信号将该企业标记为状中企业；
[0071]
状估值以及对应的状正信号、状轻信号和状轻企业、状中信号和状中企业构成企业分析数据；
[0072]
本发明实施例中，通过状估值来对各个企业实施云存储服务的整体状态进行评估和分类，来为后续监测区域内云存储服务的整体状态评估提供数据支持，并且，通过对个体企业的行为实施监测分析并联立整合，可以有效提高数据统计分析的准确性。
[0073]
区域整合模块，用于获取监测区域内各个实施云存储服务企业对应的服务分析数据并进行整合，得到服务估值；包括：
[0074]
统计监测区域内实施云存储服务企业的总数qz；
[0075]
以及统计状轻企业的总数zq和状中企业的总数zz；
[0076]
将统计标记的各项数据进行整合并通过计算来获取监测区域提供云存储服务对应的服务估值fg；该服务估值fg的计算公式为：
[0077]
fg＝(f1
×
zq f2
×
zz)/qz；式中，f1、f2为预设的比例系数，且0＜f1＜f2＜3，f1可以取值为1.236，f2可以取值为2.517；
[0078]
本发明实施例中，服务估值是用于将监测区域内所有实施云存储服务过程中的异常企业进行整合来对云存储服务状态进行整体评估的数值；基于服务估值以便云存储提供方可以及时高效的获取到监测区域存在的异常情况，以便可以针对性的采取措施进行处理。
[0079]
区域分析模块，用于根据服务估值对监测区域提供的云存储服务状态进行整体评估，将服务估值与预设的服务阈值进行匹配；
[0080]
当服务估值小于服务阈值，则判定监测区域内提供的云存储服务的整体状态正常并生成服正信号；
[0081]
当服务估值不小于服务阈值且不大于服务阈值*v％，v为大于一百的实数，则判定监测区域内提供的云存储服务的整体状态轻度异常并生成服轻信号；
[0082]
当服务估值大于服务阈值*v％，则判定监测区域内提供的云存储服务的整体状态中度异常并生成服中信号；
[0083]
服务估值及其对应的服正信号、服轻信号和服中信号构成区域分析数据；
[0084]
本发明实施例中，通过服务估值评估获取监测区域中提供的云存储服务的整体状态，由于云存储服务会受外部因素的影响，比如环境因素，因此对分析评估发现的异常需要进行核验，来消除单次分析结果存在的误差，以此来提高数据分析的准确性。
[0085]
区域核验模块，用于根据服务分析数据中的服轻信号和服中信号自适应的对监测区域内提供的云存储服务的整体状态异常进行有效性核验以及告警和调控；包括：
[0086]
根据服务分析数据中的服轻信号和服中信号分别缩短监测时段的时长得到第一调整时段和第二调整时段，并根据第一调整时段和第二调整时段对监测区域提供的云存储服务状态进行整体核验；第一调整时段的时长大于第二调整时段的时长；
[0087]
若第一调整时段的核验结果中存在服轻信号或者服中信号，则判定监测区域内提供的云存储服务的整体状态轻度异常核验通过并进行一级告警和调控；
[0088]
若第一调整时段的核验结果中存在服中信号，则判定监测区域内提供的云存储服务的整体状态中度异常核验通过并进行二级告警和调控；二级告警的紧急度大于一级告警的紧急度，二级调控对应的处理程度也大于一级调控对应的处理程度；
[0089]
其中，本发明实施例中的核验包含一级告警和调控和二级告警和调控，实际上还包含其它的异常状态，可以根据实际情况进行设定和分级，具体的这里不做赘述。
[0090]
本发明实施例中，通过根据核验的结果及时进行告警和调控，及时消除云存储数据处理过程中存在的不同级别的异常，以便云存储提供方可以及时高效的采取措施进行处理，避免出现更高级别的异常；
[0091]
通过对监测区域内各个企业体验的异常服务进行整合和评估分类获取企业标记，将不同异常级别的标记企业进行整合和评估分类获取监测区域内云存储服务的整体状态，并自适应的对不同异常级别的状态实施动态的核验，通过由点到面、局部到整体的模式，以便可以及时高效的对云存储数据处理的服务进行调控，来提高云存储数据处理的整体效果。
[0092]
此外，上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设比例系数以及相关预设的阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。
[0093]
实施例二
[0094]
如图2所示，是本发明实施例提供的实现一种基于云计算构架的云存储数据处理系统的计算机设备的结构示意图。
[0095]
计算机设备可以包括处理器、存储器和总线，还可以包括存储在存储器中并可在处理器上运行的计算机程序，如一种基于云计算构架的云存储数据处理程序。
[0096]
其中，存储器至少包括一种类型的可读存储介质，可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。存储器在一些实施例中可以是计算机设备的内部存储单元，例如该计算机设备的移动硬盘。存储器在另一些实施例中也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器不仅可以用于存储安装于计算机设备的应用软件及各类数据，例如一种基于云计算构架的云存储数据处理程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0097]
处理器在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中
央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器是计算机设备的控制核心(control unit)，利用各种接口和线路连接整个计算机设备的各个部件，通过运行或执行存储在存储器内的程序或者模块(例如一种基于云计算构架的云存储数据处理程序等)，以及调用存储在存储器内的数据，以执行计算机设备的各种功能和处理数据。
[0098]
总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。总线被设置为实现存储器以及至少一个处理器等之间的连接通信。
[0099]
图2仅示出了具有部件的计算机设备，本领域技术人员可以理解的是，图2示出的结构并不构成对计算机设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0100]
例如，尽管未示出，计算机设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与至少一个处理器逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。计算机设备还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
[0101]
计算机设备还可以包括网络接口，可选地，网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该计算机设备与其他计算机设备之间建立通信连接。
[0102]
该计算机设备还可以包括企业接口，企业接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，企业接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在计算机设备中处理的信息以及用于显示可视化的企业界面。
[0103]
应该了解，实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
[0104]
计算机设备中的存储器存储的一种基于云计算构架的云存储数据处理程序是多个指令的组合。
[0105]
处理器对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
[0106]
计算机设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
[0107]
本发明还提供一种计算机可读存储介质，可读存储介质存储有计算机程序，计算机程序在被计算机设备的处理器所执行。
[0108]
在本发明所提供的几个实施例中，应该理解到，所揭露的方法或者系统，可以通过
其它的方式实现。例如，以上所描述的发明实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0109]
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0110]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0111]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
[0112]
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。