一种数据采集和分类存储方法及其系统与流程

1.本发明涉及数据采集分类存储技术领域，具体涉及一种数据采集和分类存储方法及其系统。


背景技术：

2.数据对比功能其实是数据完整性验证过程，数据在传输过程中可能由于网络，路径，恶意篡改等等情况导致数据完整性丢失，在做数据分析时，应当保障数据尽可能地完整真实，否则对不完整数据分析出的结果大概率是不准确的，那么在数据分析前应当先通过一些核查程序对数据情况进行完整性的验证。


技术实现要素：

3.本发明的目的在于提出一种数据采集和分类存储方法及其系统，解决采集数据时，数据传输过程中数据的完整性校验问题以及如何存储采集得到的数据的问题。
4.为实现上述目的，本发明实施例提出一种数据采集和分类存储方法，包括如下步骤：
5.数据采集端采集数据并生成原始数据帧，将所述原始数据帧加上n
‑
1位的0生成第一数据帧，并将所述第一数据帧以模2除法的方式除以预设的除数得到一个余数，最后将所述余数附加在所述原始数据帧后面生成第二数据帧，并将所述第二数据帧发送给数据接收端；其中n为所述预设的除数的二进制位数；
6.数据接收端接收所述第二数据帧，将所述第二数据帧以模2除法方式除以所述预设的除数，并判断是否有余数；
7.若没有余数，则数据接收端判定所述第二数据帧完整，对所述第二数据帧进行解析获得原始数据帧，识别原始数据帧的数据类型，并根据其数据类型对所述原始数据帧进行数据加工后进行分类存储；
8.若有余数，则数据接收端判定所述第二数据帧不完整，则生成数据传输错误的反馈信息，并将所述反馈信息发送给所述数据采集端。
9.优选地，所述根据其数据类型对所述原始数据帧进行数据加工后进行分类存储，包括：
10.若数据类型为结构化数据，则将所述原始数据帧直接进行存储；
11.若数据类型为非结构化数据，则进一步识别其数据属性，并根据所述数据属性进行加工后进行分类存储；所述数据属性至少包括图像属性和音频属性。
12.优选地，所述根据所述数据属性进行加工后进行分类存储，包括：
13.若数据属性为图像属性，则利用预先训练好的图像识别模型对所述原始数据帧进行处理，识别其图像元素，根据所述图像元素生成一个或多个标签，并对所述原始数据帧添加该一个或多个标签后进行存储。
14.优选地，所述根据所述数据属性进行加工后进行分类存储，包括：
15.若数据属性为音频属性，则利用预先训练好的音频识别模型对所述原始数据帧进行处理，识别其音频特征，根据所述音频特征生成一个或多个标签，并对所述原始数据帧添加该一个或多个标签后进行存储。
16.优选地，所述方法还包括以下步骤：
17.数据采集端响应于接收到所述反馈信息，根据该反馈信息重新根据采集的数据生成原始数据帧，将该原始数据帧加上n
‑
1位的0生成第一数据帧，并将该第一数据帧以模2除法的方式除以预设的除数得到一个余数，最后将该余数附加在该原始数据帧后面生成第二数据帧，并将该第二数据帧发送给所述数据接收端。
18.本发明实施例还提出一种数据采集和分类存储系统，包括：
19.数据采集端，用于采集数据并生成原始数据帧，将所述原始数据帧加上n
‑
1位的0生成第一数据帧，并将所述第一数据帧以模2除法的方式除以预设的除数得到一个余数，最后将所述余数附加在所述原始数据帧后面生成第二数据帧，并将所述第二数据帧发送给数据接收端；其中n为所述预设的除数的二进制位数；以及
20.数据接收端，包括接收单元、第一处理单元和第二处理单元；
21.所述接收单元用于接收所述第二数据帧，将所述第二数据帧以模2除法方式除以所述预设的除数，并判断是否有余数；
22.所述第一处理单元用于若没有余数，则数据接收端判定所述第二数据帧完整，对所述第二数据帧进行解析获得原始数据帧，识别原始数据帧的数据类型，并根据其数据类型对所述原始数据帧进行数据加工后进行分类存储；
23.所述第二处理单元用于若有余数，则数据接收端判定所述第二数据帧不完整，则生成数据传输错误的反馈信息，并将所述反馈信息发送给所述数据采集端。
24.优选地，所述所述第一处理单元，具体用于：
25.若数据类型为结构化数据，则将所述原始数据帧直接进行存储；
26.若数据类型为非结构化数据，则进一步识别其数据属性，并根据所述数据属性进行加工后进行分类存储；所述数据属性至少包括图像属性和音频属性。
27.优选地，所述所述第一处理单元，具体用于：
28.若数据属性为图像属性，则利用预先训练好的图像识别模型对所述原始数据帧进行处理，识别其图像元素，根据所述图像元素生成一个或多个标签，并对所述原始数据帧添加该一个或多个标签后进行存储。
29.优选地，所述所述第一处理单元，具体用于：
30.若数据属性为音频属性，则利用预先训练好的音频识别模型对所述原始数据帧进行处理，识别其音频特征，根据所述音频特征生成一个或多个标签，并对所述原始数据帧添加该一个或多个标签后进行存储。
31.优选地，所述数据采集端还用于：响应于接收到所述反馈信息，根据该反馈信息重新根据采集的数据生成原始数据帧，将该原始数据帧加上n
‑
1位的0生成第一数据帧，并将该第一数据帧以模2除法的方式除以预设的除数得到一个余数，最后将该余数附加在该原始数据帧后面生成第二数据帧，并将该第二数据帧发送给所述数据接收端。
32.本发明实施例至少具有以下有益效果：
33.在数据采集端对原始数据帧进行数据处理得到第二数据帧，并将所述第二数据帧
发送到数据接收端，数据接收端根据预设的校验方式对所述第二数据帧的完整性进行校验，能够解决数据传输过程中数据的完整性校验问题；同时，对校验通过的第二数据帧，根据其数据类型进行加工后存储，以便于后续检索查找，解决了如何存储采集得到的数据的问题。
34.本发明实施例的其它特征和优点将在随后的说明书中阐述。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明一实施例所述的一种数据采集和分类存储方法流程图。
37.图2为本发明另一实施例所述的一种数据采集和分类存储系统的框架结构图。
具体实施方式
38.以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。
39.参阅图1，本发明一实施例提出一种数据采集和分类存储方法，包括如下步骤：
40.步骤s10、数据采集端采集数据并生成原始数据帧，将所述原始数据帧加上n
‑
1位的0生成第一数据帧，并将所述第一数据帧以模2除法的方式除以预设的除数得到一个余数，最后将所述余数附加在所述原始数据帧后面生成第二数据帧，并将所述第二数据帧发送给数据接收端；其中n为所述预设的除数的二进制位数；
41.步骤s20、数据接收端接收所述第二数据帧，将所述第二数据帧以模2除法方式除以所述预设的除数，并判断是否有余数；
42.步骤s30、若没有余数，则数据接收端判定所述第二数据帧完整，对所述第二数据帧进行解析获得原始数据帧，识别原始数据帧的数据类型，并根据其数据类型对所述原始数据帧进行数据加工后进行分类存储；
43.步骤s40、若有余数，则数据接收端判定所述第二数据帧不完整，则生成数据传输错误的反馈信息，并将所述反馈信息发送给所述数据采集端。
44.具体而言，本发明实施例方法可以选择任一合适的除数，根据选定除数的二进制位数，然后再要发送的数据帧上面加上这个位数
‑
1位的0，然后用新生成的帧以模2除法的方式除上面的除数，得到的余数就是该帧的校验码。注意，余数的位数一定只比除数位数少一位，也就是校验码位数比除数位数少一位，如果前面位是0也不能省略；将计算出来的校验码附加在原数据帧后面，构建成一个新的数据帧进行发送；最后接收端在以模2除法方式除以前面选择的除数，如果没有余数，则说明数据帧在传输的过程中没有出错，则根据所述第二数据帧获得原始数据帧，识别所述原始数据帧的数据类型，并根据其数据类型对所述原始数据帧进行数据加工后进行分类存储。
45.校验码计算示例：
46.①
原始数据帧为10110011，将11001作为除数，除数位数为5，则在数据帧的后面加上5
‑
1位0，得到第一数据帧为101100110000，然后使用模2除法除以除数11001，得到余数0100，该余数作为校验码；
47.②
将计算出来的校验码0100添加在原始数据帧的后面，得到第二数据帧101100110100，再把这个第二数据帧发送到接收端；
48.③
接收端收到第二数据帧后，用上面选定的除数0100，用模2除法除以前面选择的除数，验证余数是否为0，如果为0，则说明数据帧的传输没有出错，根据所述第二数据帧获得原始数据帧。
49.需说明的是，由于经过数据加工之后，各种类型数据都是分门别类,然后归类存储到大数据平台，客户查询其中一个类型数据，可以直接查询相关数据，就减少了大数据平台二次分类和计算，可以大大提高检索效率。
50.本发明实施例方法在数据采集端对原始数据帧进行数据处理得到第二数据帧，并将所述第二数据帧发送到数据接收端，数据接收端根据预设的校验方式对所述第二数据帧的完整性进行校验，能够解决数据传输过程中数据的完整性校验问题；同时，对校验通过的第二数据帧，根据其获得原始数据帧，并根据原始数据帧的数据类型进行加工后存储，以便于后续检索查找，解决了如何存储采集得到的数据的问题。
51.在一些实施例中，所述步骤s30中根据其数据类型对所述原始数据帧进行数据加工后进行分类存储，包括：
52.若数据类型为结构化数据，则将所述原始数据帧直接进行存储；
53.若数据类型为非结构化数据，则进一步识别其数据属性，并根据所述数据属性进行加工后进行分类存储；非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据，所述数据属性为数据格式，包括但不限于办公文档、文本xml、html、各类报表、图像、音频、视频等属性。
54.在一些实施例中，所述步骤s30中根据所述数据属性进行加工后进行分类存储，包括：
55.若数据属性为图像属性，则利用预先训练好的图像识别模型对所述原始数据帧进行处理，识别其图像元素，根据所述图像元素生成一个或多个标签，并对所述原始数据帧添加该一个或多个标签后进行存储。
56.在一些实施例中，所述步骤s30中根据所述数据属性进行加工后进行分类存储，包括：
57.若数据属性为音频属性，则利用预先训练好的音频识别模型对所述原始数据帧进行处理，识别其音频特征，根据所述音频特征生成一个或多个标签，并对所述原始数据帧添加/关联该一个或多个标签后进行存储。
58.基于本实施例方法，根据数据属性采用不同的预设数据加工方式对原始数据帧进行加工处理，获得能够表示其数据特点的特征/标签，并对数据帧添加/关联该一个或多个标签后进行存储，以便于在后续进行检索时，能够根据用户输入的检索关键词与标签和/或数据属性的匹配情况，快速地查找到数据。
59.在一些实施例中，所述方法还包括以下步骤：
60.步骤s50、数据采集端响应于接收到所述反馈信息，根据该反馈信息重新根据采集的数据生成原始数据帧，将该原始数据帧加上n
‑
1位的0生成第一数据帧，并将该第一数据帧以模2除法的方式除以预设的除数得到一个余数，最后将该余数附加在该原始数据帧后面生成第二数据帧，并将该第二数据帧发送给所述数据接收端。
61.参阅图2，本发明实施例还提出一种数据采集和分类存储系统，包括：
62.数据采集端，用于采集数据并生成原始数据帧，将所述原始数据帧加上n
‑
1位的0生成第一数据帧，并将所述第一数据帧以模2除法的方式除以预设的除数得到一个余数，最后将所述余数附加在所述原始数据帧后面生成第二数据帧，并将所述第二数据帧发送给数据接收端；其中n为所述预设的除数的二进制位数；以及
63.数据接收端，包括接收单元、第一处理单元和第二处理单元；
64.所述接收单元用于接收所述第二数据帧，将所述第二数据帧以模2除法方式除以所述预设的除数，并判断是否有余数；
65.所述第一处理单元用于若没有余数，则数据接收端判定所述第二数据帧完整，对所述第二数据帧进行解析获得原始数据帧，识别原始数据帧的数据类型，并根据其数据类型对所述原始数据帧进行数据加工后进行分类存储；
66.所述第二处理单元用于若有余数，则数据接收端判定所述第二数据帧不完整，则生成数据传输错误的反馈信息，并将所述反馈信息发送给所述数据采集端。
67.在一些实施例中，所述所述第一处理单元，具体用于：
68.若数据类型为结构化数据，则将所述原始数据帧直接进行存储；
69.若数据类型为非结构化数据，则进一步识别其数据属性，并根据所述数据属性进行加工后进行分类存储；所述数据属性至少包括图像属性和音频属性。
70.在一些实施例中，所述所述第一处理单元，具体用于：
71.若数据属性为图像属性，则利用预先训练好的图像识别模型对所述原始数据帧进行处理，识别其图像元素，根据所述图像元素生成一个或多个标签，并对所述原始数据帧添加/关联该一个或多个标签后进行存储。
72.在一些实施例中，所述所述第一处理单元，具体用于：
73.若数据属性为音频属性，则利用预先训练好的音频识别模型对所述原始数据帧进行处理，识别其音频特征，根据所述音频特征生成一个或多个标签，并对所述原始数据帧添加/关联该一个或多个标签后进行存储。
74.在一些实施例中，所述数据采集端还用于：响应于接收到所述反馈信息，根据该反馈信息重新根据采集的数据生成原始数据帧，将该原始数据帧加上n
‑
1位的0生成第一数据帧，并将该第一数据帧以模2除法的方式除以预设的除数得到一个余数，最后将该余数附加在该原始数据帧后面生成第二数据帧，并将该第二数据帧发送给所述数据接收端。
75.本实施例系统与上述实施例方法对应，因此，本实施例系统未详述的内容可以参阅上述实施例方法的内容得到，此处不再赘述。
76.以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其
它普通技术人员能理解本文披露的各实施例。