一种基于大数据的数据采集处理方法与流程

1.本发明涉及数据采集处理技术领域，具体为一种基于大数据的数据采集处理方法。


背景技术：

2.产品是工业企业进行工业生产活动的直接有效成果。大批量、标准化、生产线是产品加工生产的最重要的特点。但是任何产品在加工生产过程中都不可避免有误差存在。
3.当工厂在产品的加工生产过程中检测到产品有误差产生时，通常由维修检测人员对产品的生产加工设备进行检测维修；但是这无法及时准确的定位到误差产生原因，且需花费大量的时间精力，严重影响工厂对产品的加工生产效率，进一步影响工厂的生产加工收益。因此，设计数据智能采集处理分析的一种基于大数据的数据采集处理方法是很有必要的。


技术实现要素：

4.本发明的目的在于提供一种基于大数据的数据采集处理方法，以解决上述背景技术中提出的问题。
5.为了解决上述技术问题，本发明提供如下技术方案：一种基于大数据的数据采集处理方法，应用于数据采集处理系统，包括采集判断模块、数据处理分析模块与结果管理模块，所述采集判断模块与数据处理分析模块电连接，所述结果管理模块分别与采集判断模块、数据处理分析模块电连接，所述采集判断模块用于对工厂产品的误差数据信息进行采集判断，所述数据处理分析模块用于对出现误差产品的数据进行处理分析，所述结果管理模块用于对处理分析数据进行管理控制。
6.根据上述技术方案，所述采集判断模块包括采集录入模块、对比判断模块与时间选取单元，所述采集录入模块与对比判断模块电连接，所述时间选取单元分别与对比判断模块、时间选取单元电连接，所述采集录入模块用于对产品的误差数据信息进行接收存储，所述对比判断模块用于对产品生产加工过程中的误差数据信息进行比对判断分析，所述时间选取单元用于对生产加工产品的时间段进行选取。
7.根据上述技术方案，所述数据处理分析模块包括数据标准化模块、成分确定模块、比较分析模块与概率计算模块，所述数据标准化模块与成分确定模块电连接，所述成分确定模块与比较分析模块电连接，所述数据标准化模块用于对数据信息进行标准化处理，所述成分确定模块用于对主要成分数据信息进行确定，所述比较分析模块用于对数据信息进行比较分析，所述概率计算模块用于对导致误差产生因素的概率进行计算。
8.根据上述技术方案，所述结果管理模块包括溯源定位模块、信息发送模块与筛选滤除模块，所述溯源定位模块与信息发送模块网络连接，所述信息发送模块与筛选滤除模块电连接，所述溯源定位模块用于对误差产生原因进行溯源定位，所述信息发送模块用于进行数据信息的发送，所述筛选滤除模块用于对可能导致误差产生的因素进行筛选滤除。
9.根据上述技术方案，所述一种基于大数据的数据采集处理方法主要包括以下步骤：
10.步骤s1：建立数据信息库，对每次误差产生原因、误差解决办法及产品加工生产数据进行存储；
11.步骤s2：将检测到的产品加工生产过程产生的误差数据信息上传到数据采集处理系统中进行初步判断处理；
12.步骤s3：根据初步判断结果进一步对产品加工生产过程中误差产生的原因进行分析计算；
13.步骤s4：通过分析计算结果进一步采取相应管理控制。
14.根据上述技术方案，所述步骤s2进一步包括以下步骤：
15.步骤s21：检测到工厂产品加工生产过程中产生误差后，工作人员将产生的产品误差数据信息上传到系统中通过采集录入模块录入存储至系统后，通过电信号启用时间选取单元；
16.步骤s22：时间选取单元将产品加工生产信息出现误差数据的时间点标记并选取至系统后，对比判断模块对该时间点后的产品加工生产误差数据进行对比，当产品加工生产的误差数据按规律变化时，则判断本次误差为系统误差，则通过信息发送模块将该判断结果发送至监测工作平台供维修工作人员参考并结束本次的数据处理；
17.步骤s23：当产品加工生产的误差数据随机变化时，则判断本次误差为随机误差后，通过电信号将判断结果发送至比较分析模块等待进一步处理分析。
18.根据上述技术方案，所述步骤s3进一步包括以下步骤：
19.步骤s31：获取到步骤s23的判断结果后，比较分析模块将产品加工生产的误差信息与数据信息库中存储记录的历史误差产生原因，初步确定产品加工生产中可导致该误差的流程数据，且该流程数据组数为n；
20.步骤s32：根据上述数据通过算术平均值算法得到上述流程数据的算术平均值为进一步根据公式得到流程数据实时标准化指标c1；
21.步骤s33：重复步骤s32得到产品加工生产过程中未产生误差使上述流程数据的标准化指标为c，并计算得到两者差值为c
差
＝|c
1-c|后，根据流程数据加工的先后顺序，提取一组流程数据后，进一步根据产品加工生产流程原理图确定该流程数据所属的加工生产流程后，继续对产品加工生产流程原理图进行识别得到经过该加工流程后需继续经过j道加工工序才能完成产品的加工生产；
22.步骤s34：通过对数据信息库进行查找得到历史误差产生的原因是由该组流程数据导致的次数为s后，通过概率计算模块计算得到该组流程数据导致误差产生的概率为g。
23.根据上述技术方案，所述步骤s34中流程数据导致误差产生概率g的计算公式如下：
24.25.式中，g为流程数据导致误差产生概率，k为概率转换系数、k为大于零的常数，c
差
流程数据的标准化指标差值，j为流程后续继续所需经过的加工工序，s为流程数据导致误差原因的次数。
26.根据上述技术方案，所述步骤s3进一步包括以下步骤：
27.步骤s41：重复步骤s33、步骤s34完成步骤s31初步确定的流程数据的概率计算后，通过筛选滤除模块将概率计算结果小于阈值y的流程数据滤除后，将剩余计算结果由大到小进行排序；
28.步骤s42：根据上述排序结果中的流程数据通过溯源定位模块及生产原理图定位到流程数据所属生产设备的基体部件后，通过信息发送模块将排序结果及溯源定位结果发送至监测工作平台。
29.与现有技术相比，本发明所达到的有益效果是：本发明，通过设置有采集判断模块、数据处理分析模块与结果管理模块，可通过对产品加工生产误差数据按规律变换时判断为系统误差，可知系统误差可通过物产数据的变化规律及维修工作人员的维修工作经验可轻易判断出导致误差产生的原因，故不需进一步进行通过系统分析处理，有效减少系统的分析运算压力，减少因维持系统运行而产生的不必要电能消耗；进一步通过与数据信息库中存储记录的历史误差产生原因可大概判断得到误差产生原因，而该判断结果中所包含的加工流程数据量较多，且数据类型不统一，极大增加后续系统对加工流程数据的分析处理，故将加工流程数据进行标准化处理，有利于体统的分析识别，且进一步增加了系统的分析处理的准确性与高效性。
附图说明
30.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
31.图1是本发明的系统模块组成示意图。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.请参阅图1，本发明提供技术方案：一种基于大数据的数据采集处理方法，应用于数据采集处理系统，包括采集判断模块、数据处理分析模块与结果管理模块，采集判断模块与数据处理分析模块电连接，结果管理模块分别与采集判断模块、数据处理分析模块电连接，采集判断模块用于对工厂产品的误差数据信息进行采集判断，数据处理分析模块用于对出现误差产品的数据进行处理分析，结果管理模块用于对处理分析数据进行管理控制。
34.采集判断模块包括采集录入模块、对比判断模块与时间选取单元，采集录入模块与对比判断模块电连接，时间选取单元分别与对比判断模块、时间选取单元电连接，采集录入模块用于对产品的误差数据信息进行接收存储，对比判断模块用于对产品生产加工过程中的误差数据信息进行比对判断分析，时间选取单元用于对生产加工产品的时间段进行选
取。
35.数据处理分析模块包括数据标准化模块、成分确定模块、比较分析模块与概率计算模块，数据标准化模块与成分确定模块电连接，成分确定模块与比较分析模块电连接，数据标准化模块用于对数据信息进行标准化处理，成分确定模块用于对主要成分数据信息进行确定，比较分析模块用于对数据信息进行比较分析，概率计算模块用于对导致误差产生因素的概率进行计算。
36.结果管理模块包括溯源定位模块、信息发送模块与筛选滤除模块，溯源定位模块与信息发送模块网络连接，信息发送模块与筛选滤除模块电连接，溯源定位模块用于对误差产生原因进行溯源定位，信息发送模块用于进行数据信息的发送，筛选滤除模块用于对可能导致误差产生的因素进行筛选滤除。
37.一种基于大数据的数据采集处理方法主要包括以下步骤：
38.步骤s1：建立数据信息库，对每次误差产生原因、误差解决办法及产品加工生产数据进行存储；
39.步骤s2：将检测到的产品加工生产过程产生的误差数据信息上传到数据采集处理系统中进行初步判断处理；
40.步骤s3：根据初步判断结果进一步对产品加工生产过程中误差产生的原因进行分析计算；
41.步骤s4：通过分析计算结果进一步采取相应管理控制。
42.步骤s2进一步包括以下步骤：
43.步骤s21：检测到工厂产品加工生产过程中产生误差后，工作人员将产生的产品误差数据信息上传到系统中通过采集录入模块录入存储至系统后，通过电信号启用时间选取单元；
44.步骤s22：时间选取单元将产品加工生产信息出现误差数据的时间点标记并选取至系统后，对比判断模块对该时间点后的产品加工生产误差数据进行对比，当产品加工生产的误差数据按规律变化时，则判断本次误差为系统误差，则通过信息发送模块将该判断结果发送至监测工作平台供维修工作人员参考并结束本次的数据处理；通过对产品加工生产误差数据按规律变换时判断为系统误差，可知系统误差可通过物产数据的变化规律及维修工作人员的维修工作经验可轻易判断出导致误差产生的原因，故不需进一步进行通过系统分析处理，有效减少系统的分析运算压力，减少因维持系统运行而产生的不必要电能消耗；
45.步骤s23：当产品加工生产的误差数据随机变化时，则判断本次误差为随机误差后，通过电信号将判断结果发送至比较分析模块等待进一步处理分析。
46.步骤s3进一步包括以下步骤：
47.步骤s31：获取到步骤s23的判断结果后，比较分析模块将产品加工生产的误差信息与数据信息库中存储记录的历史误差产生原因，初步确定产品加工生产中可导致该误差的流程数据，且该流程数据组数为n；
48.步骤s32：根据上述数据通过算术平均值算法得到上述流程数据的算术平均值为进一步根据公式得到流程数据实时标准化指标c1；通过与数
据信息库中存储记录的历史误差产生原因可大概判断得到误差产生原因，而该判断结果中所包含的加工流程数据量较多，且数据类型不统一，极大增加后续系统对加工流程数据的分析处理，故将加工流程数据进行标准化处理，有利于体统的分析识别，且进一步增加了系统的分析处理的准确性与高效性；
49.步骤s33：重复步骤s32得到产品加工生产过程中未产生误差使上述流程数据的标准化指标为c，并计算得到两者差值为c
差
＝|c
1-c|后，根据流程数据加工的先后顺序，提取一组流程数据后，进一步根据产品加工生产流程原理图确定该流程数据所属的加工生产流程后，继续对产品加工生产流程原理图进行识别得到经过该加工流程后需继续经过j道加工工序才能完成产品的加工生产；通过根据流程数据加工的先后顺序，提取一组流程数据并得到经过该加工流程后需继续经过j道加工工序才能完成产品的加工生产，j表明流程数据后所经的加工工序越小、该流程数据在产品的整体加工生产流程中顺序越靠后，间接表明该流程数据导致为误差产生原因的可能性越大，故通过该数据参与后续的概率计算可使计算结果更加科学准确；
50.步骤s34：通过对数据信息库进行查找得到历史误差产生的原因是由该组流程数据导致的次数为s后，通过概率计算模块计算得到该组流程数据导致误差产生的概率为g。
51.步骤s34中流程数据导致误差产生概率g的计算公式如下：
[0052][0053]
式中，g为流程数据导致误差产生概率，k为概率转换系数、k为大于零的常数，c
差
流程数据的标准化指标差值，j为流程后续继续所需经过的加工工序，s为流程数据导致误差原因的次数；由公式可知，c
差
流程数据的标准化指标差值越大、流程后续继续所需经过的加工工序越小及流程数据导致误差原因的次数值越大，流程数据导致误差产生概率越大。
[0054]
步骤s3进一步包括以下步骤：
[0055]
步骤s41：重复步骤s33、步骤s34完成步骤s31初步确定的流程数据的概率计算后，通过筛选滤除模块将概率计算结果小于阈值y的流程数据滤除后，将剩余计算结果由大到小进行排序；
[0056]
步骤s42：根据上述排序结果中的流程数据通过溯源定位模块及生产原理图定位到流程数据所属生产设备的基体部件后，通过信息发送模块将排序结果及溯源定位结果发送至监测工作平台。
[0057]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0058]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。
凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。