一种海量数据分布式采集方法及系统与流程

1.本发明涉及数据采集技术领域，具体是一种海量数据分布式采集方法及系统。


背景技术：

2.在制造业，随着工业互联网时代的到来，数据采集是实现万物互联的基础，一般系统通过边缘设备对硬件设备进行数据采集，然后上传至云服务端进行处理和展示，而面对海量数据，传统数据采集方式效率较低，无法响应快速变化的需求。例如设备温度监测曲线，传统的数据采集方法，每次都重复采集设备的整套数据，绝大多数的采集数据对需求并无用处，并且对服务器的性能是个巨大的考验，特别是在网络状况差的情况下，负载更为严重，大大增加数据展示和处理质量失败的可能性，直接影响用户体验性。


技术实现要素：

3.为了解决传统数据采集方法效率低且无法响应需求快速变化的技术问题，本发明提供一种海量数据分布式采集方法及系统，能够根据业务需求的紧迫性选择性的进行数据采集，保证数据采集效率及质量。
4.为了实现上述目的，本发明提供一种海量数据分布式采集方法，包括以下步骤：
5.步骤1、获取待采集的海量数据集；
6.步骤2、按业务需求将所述海量数据集划分为多个业务模块；
7.步骤3、对各业务模块进行重要等级划分，得到各业务模块的重要等级；
8.步骤4、设置各业务模块中的数据的采集优先级；
9.步骤5、根据所述各业务模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行分布式数据采集。
10.优选地，所述数据采集次序满足：
11.f＝t k
12.其中，t为重要等级，k为数据的采集优先级，f为数据采集次序；
13.当f≥6时，采集次序为优先，当3≤f≤5时，采集次序为次优先，当f≤2时，采集次序为普通。
14.优选地，所述各业务模块的重要等级划分为：非常重要、重要、一般和不重要，对应数值为4、3、2、1。
15.优选地，设置各业务模块中的数据的采集优先级由高到低，采集优先级依次减小，对应数值为4、3、2、1。
16.优选地，在所述根据所述数据采集次序进行数据采集的过程中，还包括：
17.将当前采集的数据进行显示；
18.将当前采集的数据进行传输；
19.将当前采集的数据进行存储。
20.此外，为了实现上述目的，本发明还提供了一种海量数据分布式采集系统，包括数
据采集设备与云服务端；
21.所述数据采集设备包括以下模块：
22.获取模块，用于获取待采集的海量数据集；
23.分级模块，按业务需求将所述海量数据集划分为多个业务模块；并对各业务模块进行重要等级划分，得到各业务模块的重要等级；
24.设置模块，用于设置各业务模块中的数据的采集优先级；
25.采集模块，用于根据所述各业务模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行数据采集。
26.所述云服务端包括以下模块：
27.显示模块，用于将当前采集的数据进行显示；
28.传输模块，用于将当前采集的数据进行传输；
29.存储模块，用于将当前采集的数据进行存储。
30.本发明提供的一种海量数据分布式采集方法及系统，基于业务模块的重要等级与模块中数据的采集优先级得到的采集次序，在获取边缘设备海量数据时，通过采集次序值进行分布式数据采集，提升数据采集效率并保证数据处理质量。
附图说明
31.下面将结合附图及实施例对本发明作进一步说明，附图：
32.图1是本发明一种海量数据分布式采集方法的执行流程图；
33.图2是本发明一种海量数据分布式采集系统的结构图。
具体实施方式
34.为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
35.参考图1，本实施例所公开的一种海量数据分布式采集方法，包括如下步骤：
36.步骤1、获取待采集的海量数据集；
37.步骤2、按业务需求将所述海量数据集划分为多个业务模块；
38.步骤3、对各业务模块进行重要等级划分，得到各业务模块的重要等级；
39.步骤4、设置各业务模块中的数据的采集优先级；
40.步骤5、根据所述各模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行分布式数据采集。
41.所述各模块重要等级t划分为：非常重要、重要、一般和不重要，对应数值为4、3、2、1。
42.所述各模块中的数据的采集优先级k依次减小，分为：四级、三级、二级、一级，对应数值为4、3、2、1。
43.在本实施例中，所述模块的重要等级t、模块中数据的采集优先级k整体构成本发明数据采集次序f，满足：
44.f＝t k；
45.具体的采集次序参考表1，分为三种：
46.表1采集次序规则
47.采集次序f取值范围优先f≥6次优先3≤f≤5普通f≤2
48.在本实施例中，在所述根据所述数据采集次序进行分布式数据采集的过程中，还包括：
49.将当前采集的数据进行显示；
50.将当前采集的数据进行传输；
51.将当前采集的数据进行存储。
52.参考图2，本实施例所公开的一种海量数据分布式采集系统，包括数据采集设备与云服务端。其中，数据采集设备包括获取模块、分级模块、设置模块、采集模块，云服务端包括显示模块、传输模块、存储模块。
53.具体地：
54.获取模块，设在待数据采集的设备上或与待数据采集的设备通信相连，以用于获取需要进行数据采集的数据集；获取模块与分级模块通信相连，以用于将采集的原始数据按业务需求进行划分；
55.分级模块，设在获取模块与设置模块之间，用于对所述数据集中的业务模块进行重要等级划分，根据业务需求，将数据采集的数据集按模块进行划分，并标记重要性，分为：非常重要、重要、一般和不重要；
56.设置模块，连接分级模块，用于对所述各业务模块中的数据设置数据的采集优先级，根据业务需求，将各模块中的数据按采集优先级进行划分并标记，分为：四级、三级、二级、一级；
57.采集模块，设在分级模块和设置模块之上，用于根据采集次序进行数据采集，采集次序根据数据所在的业务模块重要等级和数据的采集优先级的数值之和来定义级别，数值之和越大，采集次序越优先；反之，数值之和越小，采集次序越靠后。
58.云服务端包括以下模块：
59.显示模块，用于实时显示当前采集的数据及数据采集状态，分为：未采集、采集中、已采集；
60.传输模块，连接数据采集系统内的各个模块，用于数据在整套系统中的传输扭转；
61.存储模块，用于将已采集的数据进行存储，作为后续数据分析的数据基础库。
62.下面结合具体的示例对本实施中的采集次序的计算做出进一步的说明。
63.设置涉及数据采集的模块分别为：水表、电表、设备温度，重要等级分别为：不重要、重要、非常重要，对应数值1、3、4；
64.设置水表
‑
每小时水量、电表
‑
每小时电量、设备温度
‑
实时温度，采集优先级分别为：一级、二级、四级，对应数值1、2、4；
65.根据公式：采集次序f＝模块重要等级t 数据的采集优先级k
66.水表
‑
每小时水量(f)＝1 1＝2；
67.电表
‑
每小时电量(f)＝3 2＝5；
68.设备温度
‑
实时温度(f)＝4 4＝8；
69.根据表1可知
70.设备温度
‑
实时温度(f)≥6，优先采集；
71.电表
‑
每小时电量(f)＝5，次优先采集；
72.水表
‑
每小时水量(f)＝2，普通采集。
73.在本文中，所涉及的前、后、上、下等方位词是以附图中零部件位于图中以及零部件相互之间的位置来定义的，只是为了表达技术方案的清楚及方便。应当理解，所述方位词的使用不应限制本技术请求保护的范围。
74.在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。
75.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。