一种基于元启发式算法的并行工业物联网大数据聚类方法与流程

技术特征：
1.根据权利要求1所述的基于元启发式算法的并行工业物联网大数据聚类方法，其特征在于，具体步骤如下：a)聚类数据准备：输入数据并进行输入分割，将数据集划分为更小的数据块以进行并行处理。将元启发式大数据聚类算法(meta-heuristic based big data clustering algorithm，mhbc)的mapreduce版本记为mr-mhbc，对mr-mhbc算法的种群进行初始化，然后将数据映射到不同节点上运行的每个映射器，以实现并行化。b)聚类中心更新：在每次迭代中模拟军犬对可疑目标的搜索过程进行聚类，计算每个簇的中心，并计算簇心的适应度值。c)最佳适应度求解：在每次迭代中计算每个数据点与聚类中心之间的距离，得到每个数据点与相隔最近的聚类中心的距离，也即最佳适应度值。d)聚类任务合并：对分解的任务进行合并，并判断是否达到算法的终止条件。2.根据权利要求1所述的基于元启发式算法的并行工业物联网大数据聚类方法，其特征在于，所述步骤a)聚类数据准备。为采用mhbc算法，首先要初始化mhbc算法所需的各项参数，为利用mapreduce结构对大数据进行并行化处理，要将初始化参数后的数据进行分组并分配给多台机器，由于每台机器只拥有整个数据集的一部分，因此可以实现并行化。3.根据权利要求1所述的基于元启发式算法的并行工业物联网大数据聚类方法，其特征在于，所述步骤b)聚类中心更新。采用mapreduce模型计算适应度值时，mr-mhbc的每次迭代都在两个阶段中运行，即mr-mhbc-map和mr-mhbc-reduce。mr-mhbc-map阶段对任务进行分解，并对每个数据项进行适应度计算。mr-mhbc-map函数首先从存储在hdfs(hadoop分布式文件系统)中的种群中提取每个簇的中心，然后在每次迭代中模拟军犬对可疑目标的搜索过程进行聚类，检索该聚类中心的可行解向量，该向量是聚类中心的位置向量。4.根据权利要求1所述的基于元启发式算法的并行工业物联网大数据聚类方法，其特征在于，所述步骤c)最佳适应度求解。mr-mhbc-map阶段，每台机器在每次迭代中求解与聚类中心有最佳适应度的数据对象，得到(最佳数据对象id，聚类中心id)的键值对。map函数计算聚类中心与每个数据对象之间的距离，并返回所有数据对象与聚类中心的最小距离，也即最佳适应度值，map函数将该数据对象作为新的键，聚类中心点作为新的值写入键值对中。5.根据权利要求1所述的基于元启发式算法的并行工业物联网大数据聚类方法，其特征在于，所述步骤d)聚类任务合并。由mr-mhbc的第二个阶段mr-mhbc-reduce对任务进行合并，并判断是否达到算法结束的终止条件。在mr-mhbc-map阶段完成后，所有映射器的输出将由reduce函数按键合并和分组。在mr-mhbc-reduce阶段，reduce函数会对mr-mhbc-map阶段生成的每个键值对调用。reduce函数将相同键(表示同一数据对象)的所有值(表示在每台机器中与聚类中心的最小距离)聚合起来，计算整个工业物联网大数据中，每个数据对象与所有聚类中心之间的最小距离。其中，由reduce函数计算每个数据对象与各自聚类中心之间的欧氏距离的平方之和，新计算出的适应度值用于在下一次迭代中更新其他数据对象的位置向量，整个mapreduce循环被重复，这个过程一直持续，直到满足停止标准或达到最大迭代次数。

技术总结
本发明提出了基于军犬的认知工业物联网大数据聚类并行算法，本方法具体分为(1)聚类数据准备、(2)在MR-MHBC-Map阶段将任务分配到不同机器上模拟军犬对可疑目标的搜索过程进行聚类，更新聚类中心、(3)在每台机器上，每次迭代时求解每个数据点的最佳聚类中心、(4)MR-MHBC-Reduce阶段对分解的任务进行合并，并判断是否达到算法的终止条件这四个步骤。本方法利用MapReduce的优势，提出了一种新的基于元启发式的聚类方法来解决大数据问题。该方法充分利用了军犬对可疑目标进行搜索的潜力，并采用MapReduce结构处理大数据集。MR-MHBC算法在聚类大数据集方面优于现有的其他算法，具有重要的现实意义。要的现实意义。要的现实意义。


技术研发人员：赵国荣 赵惠丹 武星 孙驰 沈安娜
受保护的技术使用者：诺得物流股份有限公司
技术研发日：2020.10.28
技术公布日：2022/4/29