用于人工智能学习模式的数据存储系统与方法与流程

1.本发明属于数据存储技术领域，具体是用于人工智能学习模式的数据存储系统与方法。


背景技术：

2.人工智能，英文缩写为ai，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
3.专利公开号为cn111611406b的发明提供了用于人工智能学习模式的数据存储系统与方法，该用于人工智能学习模式的数据存储系统与方法通过对人工智能学习场景的运行进行实时跟踪记录，以提高获得的人工智能学习运行数据的时效性和真实性，并且还通过对数据进行筛选来提高筛选后的数据与人工智能学习模式的学习需求内容的匹配性，以及通过对筛选后的数据进行关于跟踪记录时序的排列和云端存储，从而提高对相关数据的存储效率和后续数据利用的便捷性。
4.人工智能在进行学习训练过程中，需要获取大量的学习数据，但针对于此类学习数据存储时，需采用指定的存储中心对学习数据进行存储，在存储过程中，因学习数据的量多、量大以及重复数据过多，很容易造成存储中心内存不足，同时，所存储的数据在进行传输时，因未对此类数据进行安防处理，很容易造成此类数据被外部人员窃取。


技术实现要素：

5.本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了用于人工智能学习模式的数据存储系统与方法，用于解决因学习数据的量多、量大以及重复数据过多，很容易造成存储中心内存不足，同时，所存储的数据在进行传输时，因未对此类数据进行安防处理，很容易造成此类数据被外部人员窃取的技术问题。
6.为实现上述目的，根据本发明的第一方面的实施例提出用于人工智能学习模式的数据存储系统，包括学习数据获取端、适配端、存储中心以及传输终端；
7.所述存储中心包括重复数据处理单元、病毒数据处理单元以及存储库；
8.所述传输终端包括数据分流重组单元和标记单元；
9.所述学习数据获取端，用于对人工智能学习的学习数据进行获取，并将所获取的学习数据传输至存储中心内；
10.所述存储中心内部的重复数据处理单元，用于对学习数据内部的重复数据进行处理，并采用对应的重复标记对重复数据进行替换，并将替换后的学习数据传输至病毒数据处理单元内，并在替换过程中，生成重复数据匹配表；
11.所述病毒数据处理单元，对处理后的学习数据进行接收，并通过md5算法分析处理，通过对分析处理参数进行比对，再根据比对结果查看此学习数据内是否含有隐藏的病毒数据，将存在病毒数据的学习数据进行删除，不进行存储处理；
12.所述传输终端内部的数据分流重组单元，对存储中心所存储的学习数据进行分流
传输处理，其中所传输的数据还包括重复数据匹配表，在处理过程中，标记单元对分流的数据采用记忆标记对数据流进行记忆，后续传输完毕后，通过记忆标记将分流的数据进行整合。
13.优选的，所述重复数据处理单元对重复数据进行处理的具体方式为：
14.对多组学习数据进行分析，从多组学习数据内对重复数据进行提取，并将所提取的重复数据进行重复标记，其中重复标记的表现形式为cfi，其中i＝1、2、
……
、n，其中i代表不同的重复标记，便同时代表不同的重复数据；
15.对不同学习数据内部的重复数据采用重复标记cfi进行替换，并将替换后的重复数据传输至病毒数据处理单元内，并将所替换的重复数据以及重复标记cfi进行捆绑生成重复数据匹配表，并将所替换的重复数据传输至存储库内进行存储。
16.优选的，所述病毒数据处理单元对学习数据进行分析处理的方式为：
17.采用md5算法对学习数据进行参量计算，得到属于该学习数据的参量值，并将其标记为clk，其中k代表不同的学习数据；
18.将计算完毕后的学习数据传输至适配端内，发送完毕后，对所发送的数据采用同样的md5算法进行参量计算，得到对应的比对参值bdk；
19.将参量值clk与比对参值bdk进行比对，若为同一组数值，则不生成任何信号，将处理后的学习数据传输至存储库内进行存储处理，若并不是同一组数值，则代表此学习数据内存在病毒数据，并生成病毒信号，删除此类学习数据。
20.优选的，所述数据分流重组单元对学习数据进行分流传输处理的具体方式为：
21.对学习数据的总容量进行获取，并标记为rlk，确定单组容量参数y1，其中y1的具体取值由操作人员根据经验拟定；
22.根据单组容量参数y1将学习数据进行分割处理，得到若干组容量参数为y1的数据流，并将第一组数据流标记为k1，依次将不同的数据流标记为kt，其中t＝1、2、
……
、n，其中带有标记kn的数据流为最后一组数据流，k2为学习数据内第二组数据流；
23.依次将截断的若干组数据流通过传输通道进行传输，传输完毕后，通过记忆标记kt，将若干组数据流进行整合，得到所传输的学习数据；
24.再根据重复数据匹配表，通过学习数据内部的重复标记从重复数据匹配表内提取对应的重复数据，并将所提取的重复数据填补至学习数据内，得到原始的学习数据，并将学习数据传输至人工智能进行训练。
25.优选的，所述的用于人工智能学习模式的数据存储系统的存储方法，包括以下步骤：
26.步骤一、预先对人工智能学习的学习数据进行获取，将学习数据传输至存储中心内，再对学习数据内部的重复数据采用重复标记对此类数据进行替换，完成替换后，生成对应的重复数据匹配表；
27.步骤二、再通过病毒数据处理单元对处理后的学习数据进行接收，并采用md5算法对学习数据进行分析处理，根据分析处理得到两组比对值，通过比对结果，查看此学习数据内是否含有隐藏的病毒数据；
28.步骤三、再对存储中心所存储的学习数据进行分流传输处理，其中所传输的数据还包括重复数据匹配表，在处理过程中，标记单元对分流的数据采用记忆标记对数据流进
行记忆，后续通过记忆标记，对若干组数据流进行整合，再根据重复数据匹配表，通过学习数据内部的重复标记从重复数据匹配表内提取对应的重复数据，并将所提取的重复数据填补至学习数据内。
29.与现有技术相比，本发明的有益效果是：对学习数据内部的重复数据采用重复标记对此类数据进行替换，生成对应的重复数据匹配表，再通过病毒数据处理单元对处理后的学习数据进行接收，并采用md5算法对学习数据进行分析处理，通过比对结果，查看此学习数据内是否含有隐藏的病毒数据，采用此种方式，不仅可以在存储过程中，充分缩减学习数据的整体存储容量，还可以对学习数据内部的病毒数据进行分析判断，并删除此类学习数据；
30.标记单元对分流的数据采用记忆标记对数据流进行记忆，后续通过记忆标记，对若干组数据流进行整合，再根据重复数据匹配表，通过学习数据内部的重复标记从重复数据匹配表内提取对应的重复数据，并将所提取的重复数据填补至学习数据内，采用分流传输的方式，便可有效避免外部人员对传输的数据进行截取，提升数据传输过程中的安全性，再通过记忆标记，对分流的数据流进行整合。
附图说明
31.图1为本发明原理框架示意图。
具体实施方式
32.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
33.请参阅图1，本技术提供了用于人工智能学习模式的数据存储系统，包括学习数据获取端、适配端、存储中心以及传输终端；
34.所述学习数据获取端输出端与存储中心输入端电性连接，所述适配端与存储中心之间双向连接，所述存储中心输出端与传输终端输入端电性连接；
35.所述存储中心包括重复数据处理单元、病毒数据处理单元以及存储库，所述重复数据处理单元输出端与病毒数据处理单元输入端电性连接，所述病毒数据处理单元输出端与存储库输入端电性连接；
36.所述传输终端包括数据分流重组单元和标记单元，所述数据分流重组单元与标记单元之间双向连接；
37.所述学习数据获取端，用于对人工智能学习的学习数据进行获取，并将所获取的学习数据传输至存储中心内；
38.所述存储中心内部的重复数据处理单元，用于对学习数据内部的重复数据进行处理，并采用对应的重复标记对重复数据进行替换，并将替换后的学习数据传输至病毒数据处理单元内，其中对重复数据进行处理的具体方式为：
39.对多组学习数据进行分析，从多组学习数据内对重复数据进行提取，并将所提取的重复数据进行重复标记，其中重复标记的表现形式为cfi，其中i＝1、2、
……
、n，其中i代
表不同的重复标记，便同时代表不同的重复数据；
40.对不同学习数据内部的重复数据采用重复标记cfi进行替换，并将替换后的重复数据传输至病毒数据处理单元内，并将所替换的重复数据以及重复标记cfi进行捆绑生成重复数据匹配表，并将所替换的重复数据传输至存储库内进行存储(例：假设一组学习数据为：1、3、5、4、3，数字只是一种表现形式，可能某一组数字为一大串数据，采用替换标记cf1替换数据3，替换后的表现形式为：1、cf1、5、4、cf1)。
41.所述病毒数据处理单元，对处理后的学习数据进行接收，并通过md5算法分析处理，查看此学习数据内是否含有隐藏的病毒数据，进行分析处理的具体方式为：
42.采用md5算法对学习数据进行参量计算，得到属于该学习数据的参量值，并将其标记为clk，其中k代表不同的学习数据；
43.将计算完毕后的学习数据传输至适配端内(这里的适配端相当于一个转换终端，一般一些病毒数据，在指定的数据完成发送后，便会进行显现)，发送完毕后，对所发送的数据采用同样的md5算法进行参量计算，得到对应的比对参值bdk；
44.将参量值clk与比对参值bdk进行比对，若为同一组数值，则不生成任何信号，将处理后的学习数据传输至存储库内进行存储处理，若并不是同一组数值，则代表此学习数据内存在病毒数据，并生成病毒信号，删除此类学习数据。
45.所述传输终端内部的数据分流重组单元，对存储中心所存储的学习数据进行分流传输处理，其中所传输的数据还包括重复数据匹配表，在处理过程中，标记单元对分流的数据采用记忆标记对数据流进行记忆，其中进行分流传输处理的具体方式为：
46.对学习数据的总容量进行获取，并标记为rlk，确定单组容量参数y1，其中y1的具体取值由操作人员根据经验拟定；
47.根据单组容量参数y1将学习数据进行分割处理，得到若干组容量参数为y1的数据流，并将第一组数据流标记为k1，依次将不同的数据流标记为kt，其中t＝1、2、
……
、n，其中带有标记kn的数据流为最后一组数据流，k2为学习数据内第二组数据流；
48.依次将截断的若干组数据流通过传输通道进行传输，传输完毕后，通过记忆标记kt，将若干组数据流进行整合，得到所传输的学习数据；
49.再根据重复数据匹配表，通过学习数据内部的重复标记从重复数据匹配表内提取对应的重复数据，并将所提取的重复数据填补至学习数据内，得到原始的学习数据，并将学习数据传输至人工智能进行训练。
50.用于人工智能学习模式的数据存储系统的存储方法，包括以下步骤：
51.步骤一、预先对人工智能学习的学习数据进行获取，将学习数据传输至存储中心内，再对学习数据内部的重复数据采用重复标记对此类数据进行替换，完成替换后，生成对应的重复数据匹配表；
52.步骤二、再通过病毒数据处理单元对处理后的学习数据进行接收，并采用md5算法对学习数据进行分析处理，根据分析处理得到两组比对值，通过比对结果，查看此学习数据内是否含有隐藏的病毒数据；
53.步骤三、再对存储中心所存储的学习数据进行分流传输处理，其中所传输的数据还包括重复数据匹配表，在处理过程中，标记单元对分流的数据采用记忆标记对数据流进行记忆，后续通过记忆标记，对若干组数据流进行整合，再根据重复数据匹配表，通过学习
数据内部的重复标记从重复数据匹配表内提取对应的重复数据，并将所提取的重复数据填补至学习数据内。
54.上述公式中的部分数据均是去除量纲取其数值计算，公式是由采集的大量数据经过软件模拟得到最接近真实情况的一个公式；公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者通过大量数据模拟获得。
55.本发明的工作原理：对人工智能学习的学习数据进行获取，将学习数据传输至存储中心内，再对学习数据内部的重复数据采用重复标记对此类数据进行替换，完成替换后，生成对应的重复数据匹配表，再通过病毒数据处理单元对处理后的学习数据进行接收，并采用md5算法对学习数据进行分析处理，根据分析处理得到两组比对值，通过比对结果，查看此学习数据内是否含有隐藏的病毒数据，采用此种方式，不仅可以在存储过程中，充分缩减学习数据的整体存储容量，还可以对学习数据内部的病毒数据进行分析判断，并删除此类学习数据；
56.再对存储中心所存储的学习数据进行分流传输处理，其中所传输的数据还包括重复数据匹配表，在处理过程中，标记单元对分流的数据采用记忆标记对数据流进行记忆，后续通过记忆标记，对若干组数据流进行整合，再根据重复数据匹配表，通过学习数据内部的重复标记从重复数据匹配表内提取对应的重复数据，并将所提取的重复数据填补至学习数据内，采用分流传输的方式，便可有效避免外部人员对传输的数据进行截取，提升数据传输过程中的安全性，再通过记忆标记，对分流的数据流进行整合。
57.以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。