一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

基于存储集群的大数据处理方法及AI系统与流程

2023-01-15 09:34:15 来源:中国专利 TAG:

基于存储集群的大数据处理方法及ai系统
技术领域
1.本发明涉及人工智能与数据处理技术领域,具体而言,涉及一种基于存储集群的大数据处理方法及ai系统。


背景技术:

2.在对海量的大数据存储之后,其应用的过程,一般会包括到对数据进行访问。但是,在一些情况下,进行数据访问的设备可能是非法的,如网络攻击设备,因此,在个例的情况下,可能还不会造成数据的大范围泄露,对数据的安全的影响较小。但是,如果不能对较多的网络攻击进行识别,可能导致数据的大范围泄露。但是,在现有技术中,一般是针对集群中的每一个存储设备分别进行访问监控,以确定是否存在安全问题,如此,就容易导致出现存储保护的可靠度不高的问题。


技术实现要素:

3.有鉴于此,本发明的目的在于提供一种基于存储集群的大数据处理方法及ai系统,以在一定程度上提高存储保护的可靠度。
4.为实现上述目的,本发明实施例采用如下技术方案:一种基于存储集群的大数据处理方法,包括:对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理,以输出所述目标存储集群对应的目标访问行为数据集合,所述目标访问行为数据集合包括多条目标访问行为数据,每一条所述目标访问行为数据用于反映一个目标存储设备在一个时刻或时段下被访问的网络行为;利用目标访问行为识别神经网络,对所述目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理,以输出所述目标存储集群对应的目标数据识别信息,所述目标数据识别信息用于反映所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的安全程度;依据所述目标数据识别信息,对所述目标存储集群进行存储保护。
5.在一些优选的实施例中,在上述基于存储集群的大数据处理方法中,所述对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理,以输出所述目标存储集群对应的目标访问行为数据集合的步骤,包括:确定出一个历史时间周期,并对所述历史时间周期进行等间隔分割处理,以形成所述历史时间周期内的多个历史时间段;对目标存储集群包括的多个目标存储设备中的每一个目标存储设备在所述多个历史时间段中的每一个历史时间段进行访问行为数据提取处理,以输出所述目标存储集群对应的目标访问行为数据集合,所述目标访问行为数据集合中的每一条所述目标访问行为数据用于反映一个所述目标存储设备在一个历史时间段下被访问的网络行为。
6.在一些优选的实施例中,在上述基于存储集群的大数据处理方法中,所述利用目
标访问行为识别神经网络,对所述目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理,以输出所述目标存储集群对应的目标数据识别信息的步骤,包括:依据对应的目标存储设备和对应的访问时间,对所述目标访问行为数据集合包括的多条目标访问行为数据进行处理,以形成所述目标访问行为数据集合对应的目标访问行为数据分布网络;利用目标访问行为识别神经网络,对所述目标访问行为数据分布网络进行数据挖掘处理,以输出所述目标访问行为数据分布网络对应的目标分布网络数据挖掘结果,并对所述目标访问行为数据分布网络对应的相关访问行为数据分布网络进行数据挖掘处理,以输出所述相关访问行为数据分布网络对应的相关分布网络数据挖掘结果,再提取出所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果中的一个以上的分布网络数据挖掘结果,所述目标访问行为数据分布网络包括的多个访问行为数据分布网络区域和所述相关访问行为数据分布网络包括的多个访问行为数据分布网络区域相同,所述多个访问行为数据分布网络区域在所述目标访问行为数据分布网络中的网络分布信息和所述多个访问行为数据分布网络区域在所述相关访问行为数据分布网络中的网络分布信息不完全一致,所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果之间的结果匹配程度大于或等于预先配置的结果匹配程度参考值;利用所述目标访问行为识别神经网络,对所述一个以上的分布网络数据挖掘结果进行识别处理,以输出所述目标存储集群对应的目标数据识别信息,所述目标数据识别信息用于反映所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的目标安全程度。
7.在一些优选的实施例中,在上述基于存储集群的大数据处理方法中,所述利用目标访问行为识别神经网络,对所述目标访问行为数据分布网络进行数据挖掘处理,以输出所述目标访问行为数据分布网络对应的目标分布网络数据挖掘结果,并对所述目标访问行为数据分布网络对应的相关访问行为数据分布网络进行数据挖掘处理,以输出所述相关访问行为数据分布网络对应的相关分布网络数据挖掘结果,再提取出所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果中的一个以上的分布网络数据挖掘结果的步骤,包括:对所述目标访问行为数据分布网络进行网络区域分割处理,以形成所述目标访问行为数据分布网络对应的多个访问行为数据分布网络区域;对所述多个访问行为数据分布网络区域进行拼接处理,以形成所述目标访问行为数据分布网络对应的相关访问行为数据分布网络;利用目标访问行为识别神经网络,对所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行数据挖掘处理,以输出所述目标访问行为数据分布网络和所述相关访问行为数据分布网络对应的一个以上的分布网络数据挖掘结果。
8.在一些优选的实施例中,在上述基于存储集群的大数据处理方法中,所述利用目标访问行为识别神经网络,对所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行数据挖掘处理,以输出所述目标访问行为数据分布网络和所述相关访问行为数据分布网络对应的一个以上的分布网络数据挖掘
结果的步骤,包括:将所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行加载,以加载到目标访问行为识别神经网络包括的数据挖掘模型中进行数据挖掘处理,输出所述目标访问行为数据分布网络和所述相关访问行为数据分布网络对应的一个以上的分布网络数据挖掘结果;所述数据挖掘模型基于示例访问行为数据分布网络和所述示例访问行为数据分布网络对应的示例相关访问行为数据分布网络优化形成,所述示例访问行为数据分布网络对应的实际数据识别信息和所述示例相关访问行为数据分布网络对应的实际数据识别信息一致,所述示例访问行为数据分布网络包括的多个示例访问行为数据分布网络区域和所述示例相关访问行为数据分布网络包括的多个示例访问行为数据分布网络区域相同,所述实际数据识别信息用于反映所述示例访问行为数据分布网络和所述示例相关访问行为数据分布网络对应的安全程度,所述多个示例访问行为数据分布网络区域在所述示例访问行为数据分布网络中的多个网络分布信息和所述多个示例访问行为数据分布网络区域在所述示例相关访问行为数据分布网络中的多个网络分布信息不完全一致。
9.在一些优选的实施例中,在上述基于存储集群的大数据处理方法中,所述利用所述目标访问行为识别神经网络,对所述一个以上的分布网络数据挖掘结果进行识别处理,以输出所述目标存储集群对应的目标数据识别信息的步骤,包括:利用所述目标访问行为识别神经网络,对所述一个以上的分布网络数据挖掘结果包括的目标分布网络数据挖掘结果进行识别处理,以输出所述目标存储集群对应的本身数据识别信息,所述本身数据识别信息用于反映所述目标访问行为数据分布网络对应的第一安全程度;利用所述目标访问行为识别神经网络,对所述一个以上的分布网络数据挖掘结果包括的相关分布网络数据挖掘结果进行识别处理,以输出所述目标存储集群对应的相关数据识别信息,所述相关数据识别信息用于反映所述目标访问行为数据分布网络对应的第二安全程度;依据所述本身数据识别信息和所述相关数据识别信息,确定出所述目标存储集群对应的目标数据识别信息。
10.在一些优选的实施例中,在上述基于存储集群的大数据处理方法中,所述利用所述目标访问行为识别神经网络,对所述一个以上的分布网络数据挖掘结果进行识别处理,以输出所述目标存储集群对应的目标数据识别信息的步骤,包括:对所述一个以上的分布网络数据挖掘结果包括的目标分布网络数据挖掘结果和相关分布网络数据挖掘结果进行结果的聚合操作,以输出对应的聚合分布网络数据挖掘结果;利用所述目标访问行为识别神经网络,对所述聚合分布网络数据挖掘结果进行识别处理,以输出所述目标存储集群对应的目标数据识别信息。
11.在一些优选的实施例中,在上述基于存储集群的大数据处理方法中,所述依据所述目标数据识别信息,对所述目标存储集群进行存储保护的步骤,包括:倘若所述目标数据识别信息反映出所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的安全程度小于或等于预先配置的安全程度阈值,则对所述目
标存储集群包括的多个目标存储设备中的每一个目标存储设备之后接收到的访问请求进行安全验证,并在安全验证未通过时,拒绝该访问请求,或者,在安全验证通过时,执行该访问请求。
12.本发明实施例还提供一种基于存储集群的大数据处理ai系统,其包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,以实现上述的基于存储集群的大数据处理方法。
13.本发明实施例还提供一种可储存介质,该可储存介质属于计算机可读存储介质,且存储有计算机程序,该计算机程序运行时执行上述的基于存储集群的大数据处理方法。
14.本发明实施例提供的一种基于存储集群的大数据处理方法及ai系统,对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理,以输出目标存储集群对应的目标访问行为数据集合,目标访问行为数据集合包括的每一条目标访问行为数据用于反映一个目标存储设备在一个时刻或时段下被访问的网络行为。利用目标访问行为识别神经网络,对目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理,以输出目标存储集群对应的目标数据识别信息。依据目标数据识别信息,对目标存储集群进行存储保护。基于此,通过对目标存储集群包括的多个目标存储设备的全部目标访问行为数据进行识别处理,以确定出表征安全程度的目标数据识别信息,使得该目标数据识别信息的可靠度较高,从而可以保障基于该目标数据识别信息进行存储保护的可靠度也较高,进而可以在一定程度上提高存储保护的可靠度,改善现有技术的不足。
15.为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
16.图1为本发明实施例提供的基于存储集群的大数据处理ai系统的结构框图。
17.图2为本发明实施例提供的基于存储集群的大数据处理方法包括的各步骤的流程示意图。
18.图3为本发明实施例提供的基于存储集群的大数据处理装置包括的各模块的示意图。
具体实施方式
19.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
20.因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
21.如图1所示,本发明实施例提供了一种基于存储集群的大数据处理ai系统。其中,所述基于存储集群的大数据处理ai系统可以包括存储器和处理器。
22.在一些可能的实施方式中,所述存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式,存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序,从而实现本发明实施例提供的基于存储集群的大数据处理方法。
23.在一些可能的实施方式中,所述存储器可以是,但不限于,随机存取存储器(random access memory,ram),只读存储器(read only memory,rom),可编程只读存储器(programmable read-only memory,prom),可擦除只读存储器(erasable programmable read-only memory,eprom),电可擦除只读存储器(electric erasable programmable read-only memory,eeprom)等。所述处理器可以是一种通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)、片上系统(system on chip,soc)等;还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
24.结合图2,本发明实施例还提供一种基于存储集群的大数据处理方法,可应用于上述基于存储集群的大数据处理ai系统。其中,所述基于存储集群的大数据处理方法有关的流程所定义的方法步骤,可以由所述基于存储集群的大数据处理ai系统实现。
25.下面将对图2所示的具体流程,进行详细阐述。
26.步骤s110,对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理,以输出所述目标存储集群对应的目标访问行为数据集合。
27.在本发明实施例中,所述基于存储集群的大数据处理ai系统可以对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理,以输出所述目标存储集群对应的目标访问行为数据集合。所述目标访问行为数据集合包括多条目标访问行为数据,每一条所述目标访问行为数据用于反映一个目标存储设备在一个时刻或时段下被访问的网络行为(如数据的读取、写入、更新等)。
28.步骤s120,利用目标访问行为识别神经网络,对所述目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理,以输出所述目标存储集群对应的目标数据识别信息。
29.在本发明实施例中,所述基于存储集群的大数据处理ai系统可以利用目标访问行为识别神经网络,对所述目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理,以输出所述目标存储集群对应的目标数据识别信息。所述目标数据识别信息用于反映所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的安全程度。
30.步骤s130,依据所述目标数据识别信息,对所述目标存储集群进行存储保护。
31.在本发明实施例中,所述基于存储集群的大数据处理ai系统可以依据所述目标数据识别信息,对所述目标存储集群进行存储保护。
32.基于上述的步骤s110-步骤s130,通过对目标存储集群包括的多个目标存储设备的全部目标访问行为数据进行识别处理,以确定出表征安全程度的目标数据识别信息,使得该目标数据识别信息的可靠度较高,从而可以保障基于该目标数据识别信息进行存储保护的可靠度也较高,进而可以在一定程度上提高存储保护的可靠度,改善现有技术的不足。
33.在一些可能的实施方式中,步骤s110可以包括以下详细的描述:
确定出一个历史时间周期(如最近的10天、一个月等),并对所述历史时间周期进行等间隔分割处理,以形成所述历史时间周期内的多个历史时间段(如1小时、1天等);对目标存储集群包括的多个目标存储设备中的每一个目标存储设备在所述多个历史时间段中的每一个历史时间段进行访问行为数据提取处理,以输出所述目标存储集群对应的目标访问行为数据集合,所述目标访问行为数据集合中的每一条所述目标访问行为数据用于反映一个所述目标存储设备在一个历史时间段下被访问的网络行为。
34.在一些可能的实施方式中,步骤s120可以包括以下详细的描述:依据对应的目标存储设备和对应的访问时间,对所述目标访问行为数据集合包括的多条目标访问行为数据进行处理,以形成所述目标访问行为数据集合对应的目标访问行为数据分布网络(也就是说,在所述目标访问行为数据分布网络,每一条所述目标访问行为数据的网络分布信息依据对应的目标存储设备和对应的访问时间两个维度确定);利用目标访问行为识别神经网络,对所述目标访问行为数据分布网络进行数据挖掘处理,以输出所述目标访问行为数据分布网络对应的目标分布网络数据挖掘结果,并对所述目标访问行为数据分布网络对应的相关访问行为数据分布网络进行数据挖掘处理,以输出所述相关访问行为数据分布网络对应的相关分布网络数据挖掘结果,再提取出所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果中的一个以上的分布网络数据挖掘结果,所述目标访问行为数据分布网络包括的多个访问行为数据分布网络区域和所述相关访问行为数据分布网络包括的多个访问行为数据分布网络区域相同,所述多个访问行为数据分布网络区域在所述目标访问行为数据分布网络中的网络分布信息和所述多个访问行为数据分布网络区域在所述相关访问行为数据分布网络中的网络分布信息不完全一致,所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果之间的结果匹配程度大于或等于预先配置的结果匹配程度参考值(所述结果匹配程度参考值的具体数值不受限制,可以根据实际应用需求进行配置;另外,所述所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果都可以用向量的形式来表示,因而,所述结果匹配程度可以是向量之间的相似度);利用所述目标访问行为识别神经网络,对所述一个以上的分布网络数据挖掘结果进行识别处理,以输出所述目标存储集群对应的目标数据识别信息,所述目标数据识别信息用于反映所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的目标安全程度。
35.在一些可能的实施方式中,所述利用目标访问行为识别神经网络,对所述目标访问行为数据分布网络进行数据挖掘处理,以输出所述目标访问行为数据分布网络对应的目标分布网络数据挖掘结果,并对所述目标访问行为数据分布网络对应的相关访问行为数据分布网络进行数据挖掘处理,以输出所述相关访问行为数据分布网络对应的相关分布网络数据挖掘结果,再提取出所述目标分布网络数据挖掘结果和所述相关分布网络数据挖掘结果中的一个以上的分布网络数据挖掘结果的步骤,可以包括以下详细的描述:对所述目标访问行为数据分布网络进行网络区域分割处理,以形成所述目标访问行为数据分布网络对应的多个访问行为数据分布网络区域;对所述多个访问行为数据分布网络区域进行拼接处理,以形成所述目标访问行为数据分布网络对应的相关访问行为数据分布网络(通过对所述目标访问行为数据分布网络
进行网络区域分割处理,以形成多个访问行为数据分布网络区域之后,对多个访问行为数据分布网络区域进行拼接,以形成对应的相关访问行为数据分布网络,可以保证相关访问行为数据分布网络的形成过程的数据处理量少,提高效率;示例性地,可以将目标访问行为数据分布网络分割为等大小的任意尺寸的10个访问行为数据分布网络区域,再对该10个访问行为数据分布网络区域进行任意的拼接,从而形成对应的相关访问行为数据分布网络);利用目标访问行为识别神经网络,对所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行数据挖掘处理,以输出所述目标访问行为数据分布网络和所述相关访问行为数据分布网络对应的一个以上的分布网络数据挖掘结果。
36.在一些可能的实施方式中,所述对所述目标访问行为数据分布网络进行网络区域分割处理,以形成所述目标访问行为数据分布网络对应的多个访问行为数据分布网络区域的步骤,可以包括以下详细的描述:依据预先配置的初始区域分割尺寸,对所述目标访问行为数据分布网络进行网络区域分割处理,以形成所述目标访问行为数据分布网络对应的候选访问行为数据分布网络区域集合;针对所述候选访问行为数据分布网络区域集合包括的每两个候选访问行为数据分布网络区域,对该两个候选访问行为数据分布网络区域包括的目标访问行为数据进行相关度计算处理,以输出该两个候选访问行为数据分布网络区域之间的区域相关度,在进行相关度计算处理的过程中,可以对目标访问行为数据反映的访问行为进行行为相关度的计算,另外,行为相关度可以是指行为之间的紧密度,如在进行行为a之后进行行为b的可能值,可以基于行为数据库包括的各行为进行预测得到;针对所述候选访问行为数据分布网络区域集合包括的每两个候选访问行为数据分布网络区域,依据该两个候选访问行为数据分布网络区域在所述目标访问行为数据分布网络中的分布距离,对该两个候选访问行为数据分布网络区域之间的区域相关度进行更新处理,以得到该两个候选访问行为数据分布网络区域之间的更新区域相关度(示例性地,可以将该分布距离的倒数与该区域相关度进行乘积计算,以得到更新区域相关度);对所述候选访问行为数据分布网络区域集合包括的每两个候选访问行为数据分布网络区域之间的更新区域相关度进行融合处理(如进行均值计算等),以得到所述候选访问行为数据分布网络区域集合对应的融合区域相关度,再将该融合区域相关度与预先配置的区域相关度参考值进行大小比较处理,所述区域相关度参考值的具体数值可以根据需求进行配置;在所述融合区域相关度小于或等于所述区域相关度参考值的情况下,将所述候选访问行为数据分布网络区域集合包括的多个候选访问行为数据分布网络区域,作为所述目标访问行为数据分布网络对应的多个访问行为数据分布网络区域;在所述融合区域相关度大于所述区域相关度参考值的情况下,回转执行所述依据预先配置的初始区域分割尺寸,对所述目标访问行为数据分布网络进行网络区域分割处理,以形成所述目标访问行为数据分布网络对应的候选访问行为数据分布网络区域集合的步骤,直到当前计算得到的融合区域相关度小于或等于所述区域相关度参考值(另外,在每一次执行所述依据预先配置的初始区域分割尺寸,对所述目标访问行为数据分布网络进行
网络区域分割处理,以形成所述目标访问行为数据分布网络对应的候选访问行为数据分布网络区域集合的步骤时,需要对初始区域分割尺寸进行更新,使得每一次执行该步骤时的值都不相同;在其它示例中,也可以直接基于不同的多个初始区域分割尺寸进行分割,然后,依据前述的步骤,可以得到对应的多个融合区域相关度,再将多个融合区域相关度中具有最小值的融合区域相关度对应的候选访问行为数据分布网络区域集合包括的多个候选访问行为数据分布网络区域,作为所述目标访问行为数据分布网络对应的多个访问行为数据分布网络区域)。
37.在一些可能的实施方式中,所述利用目标访问行为识别神经网络,对所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行数据挖掘处理,以输出所述目标访问行为数据分布网络和所述相关访问行为数据分布网络对应的一个以上的分布网络数据挖掘结果的步骤,可以包括以下详细的描述:将所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行加载,以加载到目标访问行为识别神经网络包括的数据挖掘模型中进行数据挖掘处理,输出所述目标访问行为数据分布网络和所述相关访问行为数据分布网络对应的一个以上的分布网络数据挖掘结果(示例性地,所述数据挖掘模型可以为卷积神经网络,以对所述目标访问行为数据分布网络和所述相关访问行为数据分布网络中的一个以上的访问行为数据分布网络进行关键信息的挖掘提取等);所述数据挖掘模型基于示例访问行为数据分布网络和所述示例访问行为数据分布网络对应的示例相关访问行为数据分布网络优化形成,所述示例访问行为数据分布网络对应的实际数据识别信息和所述示例相关访问行为数据分布网络对应的实际数据识别信息一致,所述示例访问行为数据分布网络包括的多个示例访问行为数据分布网络区域和所述示例相关访问行为数据分布网络包括的多个示例访问行为数据分布网络区域相同,所述实际数据识别信息用于反映所述示例访问行为数据分布网络和所述示例相关访问行为数据分布网络对应的安全程度,所述多个示例访问行为数据分布网络区域在所述示例访问行为数据分布网络中的多个网络分布信息和所述多个示例访问行为数据分布网络区域在所述示例相关访问行为数据分布网络中的多个网络分布信息不完全一致。
38.在一些可能的实施方式中,所述利用所述目标访问行为识别神经网络,对所述一个以上的分布网络数据挖掘结果进行识别处理,以输出所述目标存储集群对应的目标数据识别信息的步骤,可以包括以下详细的描述:利用所述目标访问行为识别神经网络,对所述一个以上的分布网络数据挖掘结果包括的目标分布网络数据挖掘结果进行识别处理(示例性地,可以利用所述目标访问行为识别神经网络包括的数据识别模型进行识别处理,如二分类或多分类,其中,在进行二分类处理时,所述所述本身数据识别信息反映的第一安全程度可以为两个值,如0或1,即要么安全,要么不安全,在进行多分类时,所述所述本身数据识别信息反映的第一安全程度可以为0-1之间的每一个值,值越大,安全程度越高),以输出所述目标存储集群对应的本身数据识别信息,所述本身数据识别信息用于反映所述目标访问行为数据分布网络对应的第一安全程度;利用所述目标访问行为识别神经网络,对所述一个以上的分布网络数据挖掘结果包括的相关分布网络数据挖掘结果进行识别处理,以输出所述目标存储集群对应的相关数
据识别信息,所述相关数据识别信息用于反映所述目标访问行为数据分布网络对应的第二安全程度(同上);依据所述本身数据识别信息和所述相关数据识别信息,确定出所述目标存储集群对应的目标数据识别信息(示例性地,可以将所述本身数据识别信息和所述相关数据识别信息进行加权融合,以得到所述目标存储集群对应的目标数据识别信息)。
39.在另一些可能的实施方式中,所述利用所述目标访问行为识别神经网络,对所述一个以上的分布网络数据挖掘结果进行识别处理,以输出所述目标存储集群对应的目标数据识别信息的步骤,可以包括以下详细的描述:对所述一个以上的分布网络数据挖掘结果包括的目标分布网络数据挖掘结果和相关分布网络数据挖掘结果进行结果的聚合操作,以输出对应的聚合分布网络数据挖掘结果(示例性地,所述聚合操作可以是指,对所述一个以上的分布网络数据挖掘结果包括的目标分布网络数据挖掘结果和相关分布网络数据挖掘结果进行结果的拼接,也可以是指对所述一个以上的分布网络数据挖掘结果包括的目标分布网络数据挖掘结果和相关分布网络数据挖掘结果进行结果的叠加,且可以是加权叠加等);利用所述目标访问行为识别神经网络,对所述聚合分布网络数据挖掘结果进行识别处理,以输出所述目标存储集群对应的目标数据识别信息。
40.在一些可能的实施方式中,所述目标访问行为识别神经网络的训练过程,可以包括以下详细的描述:提取到示例访问行为数据分布网络,所述示例访问行为数据分布网络携带有实际数据识别信息,所述示例访问行为数据分布网络包括多个示例访问行为数据分布网络区域(可以是任意进行分割形成),所述实际数据识别信息用于反映所述示例访问行为数据分布网络对应的安全程度;依据所述多个示例访问行为数据分布网络区域,拼接形成对应的示例相关访问行为数据分布网络(可以是进行任意的拼接形成),所述多个示例访问行为数据分布网络区域在所述示例访问行为数据分布网络中的网络分布信息和所述多个示例访问行为数据分布网络区域在所述示例相关访问行为数据分布网络中的网络分布信息不完全一致;利用所述示例访问行为数据分布网络、所述示例相关访问行为数据分布网络和所述实际数据识别信息,对初始的访问行为识别神经网络进行网络优化处理,形成对应的目标访问行为识别神经网络。
41.在一些可能的实施方式中,所述提取到示例访问行为数据分布网络的步骤,可以包括以下详细的描述:提取到具有至少一条第一重要访问行为数据的第一候选访问行为数据分布网络和具有至少一条第二重要访问行为数据的第二候选访问行为数据分布网络,所述第一候选访问行为数据分布网络和所述第二候选访问行为数据分布网络携带的实际数据识别信息一致(示例性地,所述至少一条第一重要访问行为数据和所述至少一条第二重要访问行为数据可以完全不同;另外,所述至少一条第一重要访问行为数据和所述至少一条第二重要访问行为数据可以都是进行人工识别标出的可疑的异常行为对应的数据,或者,也可以都是进行人工识别标出的正常行为对应的数据);提取出所述第一候选访问行为数据分布网络中包括所述至少一条第一重要访问
行为数据的第一网络部分(示例性地,所述第一网络部分可以由所述至少一条第一重要访问行为数据构成,或者,所述第一网络部分也可以由所述至少一条第一重要访问行为数据和所述至少一条第一重要访问行为数据在所述第一候选访问行为数据分布网络中的相邻访问行为数据构成),并提取出所述第二候选访问行为数据分布网络中包括所述至少一条第二重要访问行为数据的第二网络部分(示例性地,所述第二网络部分可以由所述至少一条第二重要访问行为数据构成,或者,所述第二网络部分也可以由所述至少一条第二重要访问行为数据和所述至少一条第二重要访问行为数据在所述第二候选访问行为数据分布网络中的相邻访问行为数据构成;另外,所述第一网络部分和所述第二网络部分的尺寸可以相同);在所述第一候选访问行为数据分布网络中,将所述第一网络部分更新为所述第二网络部分,形成第三候选访问行为数据分布网络(也就是说,在所述第三候选访问行为数据分布网络中,包括所述第二网络部分和所述第一候选访问行为数据分布网络中所述第一网络部分以外的其它部分);在所述第二候选访问行为数据分布网络中,将所述第二网络部分更新为所述第一网络部分,形成第四候选访问行为数据分布网络(也就是说,在所述第四候选访问行为数据分布网络中,包括所述第一网络部分和所述第二候选访问行为数据分布网络中所述第二网络部分以外的其它部分);对所述第一候选访问行为数据分布网络、所述第二候选访问行为数据分布网络、所述第三候选访问行为数据分布网络和所述第四候选访问行为数据分布网络分别进行标记处理,以分别标记为示例访问行为数据分布网络,所述第一候选访问行为数据分布网络、所述第二候选访问行为数据分布网络、所述第三候选访问行为数据分布网络和所述第四候选访问行为数据分布网络携带的实际数据识别信息一致。
42.在另一些可能的实施方式中,所述提取到示例访问行为数据分布网络的步骤,可以包括以下详细的描述:提取到具有至少一条第三重要访问行为数据的第五候选访问行为数据分布网络和具有至少一条第四重要访问行为数据的第六候选访问行为数据分布网络,所述第五候选访问行为数据分布网络和所述第六候选访问行为数据分布网络携带的实际数据识别信息一致(示例性地,所述至少一条第三重要访问行为数据和所述至少一条第四重要访问行为数据可以完全不同;另外,所述至少一条第三重要访问行为数据和所述至少一条第四重要访问行为数据可以都是进行人工识别标出的可疑的异常行为对应的数据,或者,也可以都是进行人工识别标出的正常行为对应的数据);依据所述第五候选访问行为数据分布网络中所述至少一条第三重要访问行为数据和所述第六候选访问行为数据分布网络具有的所述至少一条第四重要访问行为数据,组合形成对应的第七候选访问行为数据分布网络(示例性地,可以在所述第五候选访问行为数据分布网络中,将所述至少一条第三重要访问行为数据以外的其它访问行为数据替换为所述至少一条第四重要访问行为数据,从而形成对应的第七候选访问行为数据分布网络;也可以在所述第六候选访问行为数据分布网络中,将所述至少一条第四重要访问行为数据以外的其它访问行为数据替换为所述至少一条第三重要访问行为数据,从而形成对应的第七候选访问行为数据分布网络);
对所述第五候选访问行为数据分布网络、所述第六候选访问行为数据分布网络、所述第七候选访问行为数据分布网络进行标记处理,以分别标记为示例访问行为数据分布网络,所述第五候选访问行为数据分布网络、所述第六候选访问行为数据分布网络、所述第七候选访问行为数据分布网络携带的实际数据识别信息一致。
43.在另一些可能的实施方式中,所述提取到示例访问行为数据分布网络的步骤,可以包括以下详细的描述:提取到至少一个候选访问行为数据分布网络,针对所述至少一个候选访问行为数据分布网络中的每一个候选访问行为数据分布网络,对该候选访问行为数据分布网络进行数据挖掘处理(如利用数据挖掘模型进行处理),以输出该候选访问行为数据分布网络对应的候选数据挖掘结果,然后,在对该候选数据挖掘结果进行网络重建处理(所述网络重建处理与所述数据挖掘处理可以为互相相反的处理过程),以得到对应的重建候选访问行为数据分布网络,再将所述至少一个候选访问行为数据分布网络和对应的至少一个重建候选访问行为数据分布网络进行标记处理,以分别标记为示例访问行为数据分布网络。
44.在一些可能的实施方式中,所述利用所述示例访问行为数据分布网络、所述示例相关访问行为数据分布网络和所述实际数据识别信息,对初始的访问行为识别神经网络进行网络优化处理,形成对应的目标访问行为识别神经网络的步骤,可以包括以下详细的描述:分别将所述示例访问行为数据分布网络和所述示例相关访问行为数据分布网络加载到所述访问行为识别神经网络包括的数据挖掘模型中,利用所述数据挖掘模型分别对所述示例访问行为数据分布网络和所述示例相关访问行为数据分布网络进行数据挖掘处理,以形成所述示例访问行为数据分布网络对应的示例分布网络数据挖掘结果和所述示例相关访问行为数据分布网络对应的示例相关分布网络数据挖掘结果;将所述示例分布网络数据挖掘结果和所述示例相关分布网络数据挖掘结果中的一个以上的分布网络数据挖掘结果加载到所述访问行为识别神经网络包括的数据识别模型中,利用数据识别模型进行数据识别处理,以形成对应的一个以上的估计数据识别信息(也就是说,倘若将所述示例分布网络数据挖掘结果和所述示例相关分布网络数据挖掘结果中的一个分布网络数据挖掘结果加载到所述访问行为识别神经网络包括的数据识别模型,则得到一个估计数据识别信息,倘若将所述示例分布网络数据挖掘结果和所述示例相关分布网络数据挖掘结果都加载到所述访问行为识别神经网络包括的数据识别模型,则得到对应的两个估计数据识别信息);依据所述一个以上的估计数据识别信息和所述实际数据识别信息,计算输出一个以上的网络学习代价值;依据所述一个以上的网络学习代价值,确定出所述示例访问行为数据分布网络和所述示例相关访问行为数据分布网络对应的目标网络学习代价值;以及,依据所述目标网络学习代价值,对所述初始的访问行为识别神经网络进行网络优化处理,形成对应的目标访问行为识别神经网络。
45.在一些可能的实施方式中,所述依据所述一个以上的网络学习代价值,确定出所述示例访问行为数据分布网络和所述示例相关访问行为数据分布网络对应的目标网络学习代价值的步骤,可以包括以下详细的描述:
对所述示例分布网络数据挖掘结果和所述示例相关分布网络数据挖掘结果进行结果差异度的计算处理,以输出对应的结果差异度(示例性地,所述结果差异度实际上可以反映出所述数据挖掘模型的挖掘误差);依据所述一个以上的网络学习代价值和所述结果差异度,计算输出所述示例访问行为数据分布网络和所述示例相关访问行为数据分布网络对应的目标网络学习代价值(示例性地,可以将所述一个以上的网络学习代价值和所述结果差异度的加权和值,作为目标网络学习代价值)。
46.在一些可能的实施方式中,步骤s130可以包括以下详细的描述:倘若所述目标数据识别信息反映出所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的安全程度小于或等于预先配置的安全程度阈值,则对所述目标存储集群包括的多个目标存储设备中的每一个目标存储设备之后接收到的访问请求进行安全验证(如基于访问设备的设备身份信息进行设备白名单验证等),并在安全验证未通过时,拒绝该访问请求,或者,在安全验证通过时,执行该访问请求。
47.结合图3,本发明实施例还提供一种基于存储集群的大数据处理装置,可应用于上述基于存储集群的大数据处理ai系统。其中,所述基于存储集群的大数据处理装置可以包括以下的内容:访问行为数据提取模块(属于软件功能模块),用于对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理,以输出所述目标存储集群对应的目标访问行为数据集合,所述目标访问行为数据集合包括多条目标访问行为数据,每一条所述目标访问行为数据用于反映一个目标存储设备在一个时刻或时段下被访问的网络行为;访问行为数据识别模块(属于软件功能模块),用于利用目标访问行为识别神经网络,对所述目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理,以输出所述目标存储集群对应的目标数据识别信息,所述目标数据识别信息用于反映所述目标存储集群在所述多条目标访问行为数据对应的网络行为下具有的安全程度;存储保护处理模块(属于软件功能模块),用于依据所述目标数据识别信息,对所述目标存储集群进行存储保护。
48.在本技术实施例中,对应于上述的基于存储集群的大数据处理方法,还提供了一种可储存介质,该可储存介质属于计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序运行时执行基于存储集群的大数据处理方法的各个步骤。
49.其中,前述计算机程序运行时执行的各步骤,在此不再一一赘述,可参考前文对所述基于存储集群的大数据处理方法的解释说明。
50.综上所述,本发明提供的一种基于存储集群的大数据处理方法及ai系统,对目标存储集群包括的多个目标存储设备进行访问行为数据提取处理,以输出目标存储集群对应的目标访问行为数据集合,目标访问行为数据集合包括的每一条目标访问行为数据用于反映一个目标存储设备在一个时刻或时段下被访问的网络行为。利用目标访问行为识别神经网络,对目标访问行为数据集合包括的多条目标访问行为数据进行数据识别处理,以输出目标存储集群对应的目标数据识别信息。依据目标数据识别信息,对目标存储集群进行存储保护。基于此,通过对目标存储集群包括的多个目标存储设备的全部目标访问行为数据进行识别处理,以确定出表征安全程度的目标数据识别信息,使得该目标数据识别信息的
可靠度较高,从而可以保障基于该目标数据识别信息进行存储保护的可靠度也较高,进而可以在一定程度上提高存储保护的可靠度,改善现有技术的不足。
51.以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献