一种海量数据分布式采集方法及系统与流程

技术特征：
1.一种海量数据分布式采集方法，其特征在于，包括以下步骤：步骤1、获取待采集的海量数据集；步骤2、按业务需求将所述海量数据集划分为多个业务模块；步骤3、对各业务模块进行重要等级划分，得到各业务模块的重要等级；步骤4、设置各业务模块中的数据的采集优先级；步骤5、根据所述各业务模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行分布式数据采集。2.如权利要求1所述的海量数据分布式采集方法，其特征在于，所述数据采集次序满足：f＝t k其中，t为重要等级，k为数据的采集优先级，f为数据采集次序；当f≥6时，采集次序为优先，当3≤f≤5时，采集次序为次优先，当f≤2时，采集次序为普通。3.如权利要求1所述的海量数据分布式采集方法，其特征在于，所述各业务模块的重要等级划分为：非常重要、重要、一般和不重要，对应数值为4、3、2、1。4.如权利要求1所述的海量数据分布式采集方法，其特征在于，设置各业务模块中的数据的采集优先级由高到低，采集优先级依次减小，分为：四级、三级、二级、一级，对应数值为4、3、2、1。5.如权利要求1所述的海量数据分布式采集方法，其特征在于，在所述根据数据采集次序进行分布式数据采集的过程中，还包括：将当前采集的数据进行显示；将当前采集的数据进行传输；将当前采集的数据进行存储。6.一种海量数据分布式采集系统，采用如权利要求1
‑
5任一项所述的海量数据分布式采集方法，其特征在于，包括数据采集设备与云服务端；所述数据采集设备包括以下模块：获取模块，用于获取待采集的海量数据集；分级模块，用于按业务需求将所述海量数据集划分为多个业务模块；并对各业务模块进行重要等级划分，得到各业务模块的重要等级；设置模块，用于设置各业务模块中的数据的采集优先级；采集模块，用于根据所述各业务模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行分布式数据采集；所述云服务端包括以下模块：显示模块，用于将当前采集的数据进行显示；传输模块，用于将当前采集的数据进行传输；存储模块，用于将当前采集的数据进行存储。

技术总结
本发明涉及数据采集技术领域，提供了一种海量数据分布式采集方法及系统，该方法包括如下步骤：获取待采集的海量数据集；按业务需求将所述海量数据集划分为多个业务模块；对各业务模块进行重要等级划分，得到各业务模块的重要等级；设置各业务模块中的数据的采集优先级；根据所述各模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行分布式数据采集。本发明基于业务模块的重要等级与模块中数据的采集优先级得到的采集次序，在获取边缘设备海量数据时，通过采集次序值进行分布式数据采集，提升数据采集效率并保证数据处理质量。率并保证数据处理质量。率并保证数据处理质量。


技术研发人员：程婧 徐军 李军 章书乐 詹开洪 何宁波
受保护的技术使用者：大唐融合通信股份有限公司
技术研发日：2021.06.29
技术公布日：2021/11/4