一种制造大数据处理平台及方法与流程

1.本发明涉及数据处理技术领域，尤其涉及一种制造大数据处理平台及方法。


背景技术：

2.大数据处理技术在金融业、商业等行业均有较多应用并表现出其固有优点和利用价值，可为企业带来多方面利益。制造大数据除了市场、供应链、售后服务等方面的数据之外，还包括制造实施过程中产生的海量数据，这些数据的融合利用对改善企业生产经营具有很高的指导意义。但由于这些数据，特别是制造实施过程中产生的数据具有源头多、网络多态、结构不一、分布广、存量大等特点，目前制造行业企业对这些数据的利用层面较浅，大多只能对关键数据进行采集、监控和简单的分析利用，难以有效地对制造大数据进行处理和分析，无法进一步挖掘制造大数据的潜在价值，限制了制造企业的生产经营发展。


技术实现要素：

3.为了克服现有技术的缺陷，本发明提供一种制造大数据处理平台及方法，能够利用大数据处理技术有效地对制造大数据进行处理和分析，进一步挖掘制造大数据的潜在价值，为制造企业的生产经营带来利益。
4.为了解决上述技术问题，第一方面，本发明一实施例提供一种制造大数据处理平台，包括大数据预处理层、大数据分析层和终端应用层；所述大数据预处理层与所述大数据分析层通信连接，所述大数据分析层与所述终端应用层通信连接；
5.所述大数据预处理层，用于从数据源系统中抽取出目标数据进行数据清洗，得到待分析数据，将所述待分析数据存储于数据库；
6.所述大数据分析层，用于通过数据分析模块从模型库中调取的分析模型对所述数据库中的待分析数据进行数据分析，得到数据分析结果；
7.所述终端应用层，用于显示所述数据分析结果，或者向用户终端发送所述数据分析结果。
8.进一步地，所述终端应用层，还用于接收所述用户终端对所述数据分析结果的反馈数据，将所述反馈数据发送至所述大数据分析层；
9.所述大数据分析层，还用于根据所述反馈数据优化所述分析模型。
10.进一步地，所述从数据源系统中抽取出目标数据进行数据清洗，得到待分析数据，将所述待分析数据存储于数据库，具体为：
11.通过数据抽取工具，采用全量抽取、增量抽取、先全量抽取后增量抽取相结合的方式，从所述数据源系统中抽取所述目标数据；
12.通过数据清洗工具，基于预先定义的数据完整性、权威性、唯一性、合法性、一致性验证条件，对所述目标数据进行数据清洗，得到所述待分析数据；
13.将所述待分析数据按照数据类型分别存储于对应的所述数据库。
14.进一步地，所述将所述待分析数据按照数据类型分别存储于对应的所述数据库，
具体为：
15.若所述待分析数据为结构化数据，则将所述待分析数据存储于mysql或mssql数据库；
16.若所述待分析数据为半结构化数据，则将所述待分析数据存储于redis数据库；
17.若所述待分析数据为非结构化数据，则将所述待分析数据存储于mongodb数据库和/或elasticsearch数据库。
18.进一步地，所述通过数据分析模块从模型库中调取的分析模型对所述数据库中的待分析数据进行数据分析，得到数据分析结果，具体包括：
19.通过市场趋势分析模块从所述模型库中调取的分析模型对所述待分析数据进行市场趋势分析，得到市场趋势分析结果；
20.通过设备稼动率计算及监控模块从所述模型库中调取的分析模型对所述待分析数据进行设备稼动率计算和关联分析，得到设备稼动率分析结果；
21.通过设备健康评估预测模块从所述模型库中调取的分析模型对所述待分析数据进行设备健康评估和分析，得到设备健康分析结果；
22.通过订单完成指标评估预测模块从所述模型库中调取的分析模型对所述待分析数据进行订单进度统计和分析，得到订单进度分析结果；
23.通过产品缺陷检测模块从所述模型库中调取的分析模型对所述待分析数据进行产品缺陷检测、统计和分析，得到产品缺陷分析结果；
24.通过库存管理及优化模块从所述模型库中调取的分析模型对所述待分析数据进行库存进出平衡优化，得到库存分析结果；
25.通过品控售后挖掘及管理模块从所述模型库中调取的分析模型对所述待分析数据进行品控和售后的关联分析，得到品控售后分析结果。
26.进一步地，所述分析模型包括关联分析模型、回归分析模型、聚类分析模型、神经网络模型、遗传算法模型、决策树模型中的至少一种模型。
27.第二方面，本发明一实施例提供一种制造大数据处理方法，包括：
28.从数据源系统中抽取出目标数据进行数据清洗，得到待分析数据，将所述待分析数据存储于数据库；
29.通过数据分析模块从模型库中调取的分析模型对所述数据库中的待分析数据进行数据分析，得到数据分析结果；
30.显示所述数据分析结果，或者向用户终端发送所述数据分析结果。
31.进一步地，所述制造大数据处理方法，还包括：
32.接收所述用户终端对所述数据分析结果的反馈数据，根据所述反馈数据优化所述分析模型。
33.进一步地，所述从数据源系统中抽取出目标数据进行数据清洗，得到待分析数据，将所述待分析数据存储于数据库，具体为：
34.通过数据抽取工具，采用全量抽取、增量抽取、先全量抽取后增量抽取相结合的方式，从所述数据源系统中抽取所述目标数据；
35.通过数据清洗工具，基于预先定义的数据完整性、权威性、唯一性、合法性、一致性验证条件，对所述目标数据进行数据清洗，得到所述待分析数据；
36.将所述待分析数据按照数据类型分别存储于对应的所述数据库。
37.进一步地，所述通过数据分析模块从模型库中调取的分析模型对所述数据库中的待分析数据进行数据分析，得到数据分析结果，具体包括：
38.通过市场趋势分析模块从所述模型库中调取的分析模型对所述待分析数据进行市场趋势分析，得到市场趋势分析结果；
39.通过设备稼动率计算及监控模块从所述模型库中调取的分析模型对所述待分析数据进行设备稼动率计算和关联分析，得到设备稼动率分析结果；
40.通过设备健康评估预测模块从所述模型库中调取的分析模型对所述待分析数据进行设备健康评估和分析，得到设备健康分析结果；
41.通过订单完成指标评估预测模块从所述模型库中调取的分析模型对所述待分析数据进行订单进度统计和分析，得到订单进度分析结果；
42.通过产品缺陷检测模块从所述模型库中调取的分析模型对所述待分析数据进行产品缺陷检测、统计和分析，得到产品缺陷分析结果；
43.通过库存管理及优化模块从所述模型库中调取的分析模型对所述待分析数据进行库存进出平衡优化，得到库存分析结果；
44.通过品控售后挖掘及管理模块从所述模型库中调取的分析模型对所述待分析数据进行品控和售后的关联分析，得到品控售后分析结果。
45.相比于现有技术，本发明的实施例，具有如下有益效果：
46.通过将大数据预处理层与大数据分析层通信连接，将大数据分析层与终端应用层通信连接，建立制造大数据处理平台，利用大数据预处理层从数据源系统中抽取出目标数据进行数据清洗，得到待分析数据，将待分析数据存储于数据库，利用大数据分析层通过数据分析模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，得到数据分析结果，利用终端应用层显示数据分析结果，或者向用户终端发送数据分析结果，从而能够利用大数据处理技术有效地对制造大数据进行处理和分析，进一步挖掘制造大数据的潜在价值，为制造企业的生产经营带来利益。
附图说明
47.图1为本发明第一实施例中的一种制造大数据处理平台的结构示意图；
48.图2为本发明第一实施例中的制造大数据处理平台对接数据源系统的结构示意图；
49.图3为本发明第二实施例中的一种制造大数据处理方法的流程示意图。
具体实施方式
50.下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。
52.如图1所示，第一实施例提供一种制造大数据处理平台，包括大数据预处理层11、大数据分析层12和终端应用层13；大数据预处理层11与大数据分析层12通信连接，大数据分析层12与终端应用层13通信连接；大数据预处理层11，用于从数据源系统中抽取出目标数据进行数据清洗，得到待分析数据，将待分析数据存储于数据库；大数据分析层12，用于通过数据分析模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，得到数据分析结果；终端应用层13，用于显示数据分析结果，或者向用户终端发送数据分析结果。
53.需要说明的是，数据源系统包括订单服务系统、原材料及供应链管理系统、排产管理系统、制造流程管理系统、交付及售后管理系统。
54.如图2所示，作为示例性地，利用大数据预处理层11，针对分析需求，通过工业多态网关(主要集成opc、modbus、can、485等工业总线/协议)及数据驱动(主要由sql、oracle、mysql/mssql、redis、db2数据库驱动、json、xml等组成)从订单服务系统、原材料及供应链管理系统、排产管理系统、制造流程管理系统、交付及售后管理系统等多个数据源系统中的所有订单数据、原材料库存及供应链数据、排产数据、二维码数据、制造流程数据、交付及售后数据等制造大数据中抽取多源化的目标数据，对目标数据进行数据清洗，得到待分析数据，将待分析数据存储于数据库。
55.利用大数据分析层12，通过内部的市场趋势分析模块、设备稼动率计算及监控模块、设备健康评估预测模块、订单完成指标评估预测模块、产品缺陷检测模块、库存管理及优化模块、品控售后挖掘及管理模块等数据分析模块调取模型库中的分析模型对数据库中的待分析数据进行相应的数据分析，得到数据分析结果。
56.其中，大数据分析层12除了有市场趋势分析模块、设备稼动率计算及监控模块、设备健康评估预测模块、订单完成指标评估预测模块、产品缺陷检测模块、库存管理及优化模块、品控售后挖掘及管理模块这些数据分析模块，还有可管理数据分析模块的模块管理接口模块、可维护分析模型的模型维护接口模块和可传输数据分析结果的数据分析结果接口模块。
57.利用终端应用层13，直接显示数据分析结果，或者向接入的用户终端发送数据分析结果。
58.本实施例能够利用大数据处理技术有效地对制造大数据进行处理和分析，进一步挖掘制造大数据的潜在价值，为制造企业的生产经营带来利益。
59.在优选的实施例当中，终端应用层13，还用于接收用户终端对数据分析结果的反馈数据，将反馈数据发送至大数据分析层12；大数据分析层12，还用于根据反馈数据优化分析模型。
60.作为示例性地，利用终端应用层13，当向接入的用户终端发送数据分析结果后，若用户终端返回对数据分析结果的反馈数据，则将反馈数据转发至大数据分析层12，利用大数据分析层12，根据反馈数据优化分析模型。
61.本实施例通过根据用户终端对数据分析结果的反馈数据优化分析模型，有利于更准确地对制造大数据进行处理和分析。
62.在优选的实施例当中，所述从数据源系统中抽取出目标数据进行数据清洗，得到待分析数据，将待分析数据存储于数据库，具体为：通过数据抽取工具，采用全量抽取、增量
抽取、先全量抽取后增量抽取相结合的方式，从数据源系统中抽取目标数据；通过数据清洗工具，基于预先定义的数据完整性、权威性、唯一性、合法性、一致性验证条件，对目标数据进行数据清洗，得到待分析数据；将待分析数据按照数据类型分别存储于对应的数据库。
63.作为示例性地，通过数据抽取工具，对静态/准动态数据，即订单服务系统、原材料及供应链管理系统、排产管理系统、交付及售后管理系统中的订单数据、原材料库存及供应链数据、排产数据、交付及售后数据采用全量抽取，对制造流程管理系统中的制造流程数据采用增量抽取，并结合先全量抽取后增量抽取的方式，从多个数据源系统的所有制造大数据中抽取目标数据。
64.通过数据清洗工具，基于预先定义的数据完整性、权威性、唯一性、合法性、一致性验证条件，对待分析数据进行数据清洗。对于数据完整性处理，采用推算法、均值法、平滑处理法进行补全；对于数据权威性处理，定义权威数据渠道，设置不同渠道权威级别，在数据利用方面采用结合权威级别的融合算法产生权威数据；对于数据唯一性处理，结合数据权威性，通过去重规则对重复数据进行删除，保留唯一数据；对于数据合法性处理，建立强制合法规则集合，比如字段类型合法规则、字段内容合法规则，采用布隆过滤器对数据进行过滤，提供合法告警提示，针对离群值采用人工方法处理；对于数据一致性处理，通过指标体系、维度、单位、评度等处理方法/算法建立数据的一致性。
65.其中，推算法是建立规则库、协议库，通过规则库、协议库中的规则、协议来从其它未缺失的变量中推算缺失变量值，比如根据代码串中的编码规则推算出特定区间代码所代表的含义，然后对缺失变量赋值。均值法是通过变量相连值计算中间缺失的变量值，比如变量在时间序列数据中出现变量值缺失的情况，缺失该点变量值可以利用相连时间点变量值进行均值计算得出。平滑处理法是如果变量在时间序列中出现变量值连续缺失的情况，该连续缺失的变量值可以利用缺失两端变量点(段)进行平滑计算得出，也可以用线性回归法得到变量值趋势方程，然后按照时间取方程上的数据值作为变量值。
66.结合数据权威性，通过去重规则对重复数据进行删除，保留唯一数据，即在数据源重复出现的情况下，数据源根据权威性的高低来选择，在所选的权威数据中，若数据源中存在数据，则直接利用，若数据源中出现部分数据缺失，则使用数据完整性处理方法进行处理，若权威性最高的数据源不存在，则选择下一权威级别的数据源，并以此类推。
67.本实施例通过对制造大数据进行多方式抽取、多方面清洗，提供可进行大数据分析的待分析数据，有利于实现利用大数据处理技术有效地对制造大数据进行处理和分析。
68.在优选的实施例当中，所述将待分析数据按照数据类型分别存储于对应的数据库，具体为：若待分析数据为结构化数据，则将待分析数据存储于mysql或mssql数据库；若待分析数据为半结构化数据，则将待分析数据存储于redis数据库；若待分析数据为非结构化数据，则将待分析数据存储于mongodb数据库和/或elasticsearch数据库。
69.作为示例性地，抽取、清洗后得到的待分析数据包含结构化、半结构化、非结构化数据，将待分析数据按照数据类型分别存储于对应的数据库，若待分析数据为结构化数据，则将待分析数据存储于mysql或mssql数据库，若待分析数据为需动态更新的半结构化数据，则将待分析数据存储于redis数据库，若待分析数据为文档型的非结构化数据，则将待分析数据存储于mongodb数据库，若待分析数据为可全文检索的非结构数据，则将待分析数据存储于elasticsearch数据库。
70.在优选的实施例当中，所述通过数据分析模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，得到数据分析结果，具体包括：通过市场趋势分析模块从模型库中调取的分析模型对待分析数据进行市场趋势分析，得到市场趋势分析结果；通过设备稼动率计算及监控模块从模型库中调取的分析模型对待分析数据进行设备稼动率计算和关联分析，得到设备稼动率分析结果；通过设备健康评估预测模块从模型库中调取的分析模型对待分析数据进行设备健康评估和分析，得到设备健康分析结果；通过订单完成指标评估预测模块从模型库中调取的分析模型对待分析数据进行订单进度统计和分析，得到订单进度分析结果；通过产品缺陷检测模块从模型库中调取的分析模型对待分析数据进行产品缺陷检测、统计和分析，得到产品缺陷分析结果；通过库存管理及优化模块从模型库中调取的分析模型对待分析数据进行库存进出平衡优化，得到库存分析结果；通过品控售后挖掘及管理模块从模型库中调取的分析模型对待分析数据进行品控和售后的关联分析，得到品控售后分析结果。
71.可以理解的是，数据分析模块包括市场趋势分析模块、设备稼动率计算及监控模块、设备健康评估预测模块、订单完成指标评估预测模块、产品缺陷检测模块、库存管理及优化模块、品控售后挖掘及管理模块。
72.作为示例性地，通过市场趋势分析模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，即通过时间、地理空间、消费者群体类别、预算规模级别、实施场景、构成比例、消费者关注度/重点等指标对产品订单、设计方案、产品款式进行市场趋势分析，得到数据分析结果，以便对生产设计、供应链管理进行预测和调整，提供预先部署建议。
73.通过设备稼动率计算及监控模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，即根据待分析数据对部件
‑
设备
‑
系统
‑
产线或不同对象组合进行稼动率计算，通过关联分析挖掘对象之间的稼动率影响关系，得到数据分析结果，以便用户优化生产计划及设备维修计划，挖掘最大产能。
74.通过设备健康评估预测模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，即利用多维数据融合方法实现参数级、部件级、设备级、系统级的健康评估预测，得到数据分析结果，以提供在线健康评估/预测结果提示，向用户提供基于模型的运维健康决策支持。
75.通过订单完成指标评估预测模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，即统计全地域、全渠道订单进度显示及评估，通过总体、地区、客户等不同分类、不同级别的订单完成进度反映生产进展，得到数据分析结果，以便用户对不同紧急程度的订单进行进度调整优化，并向生产执行系统发出优化提醒，确保订单履约。
76.通过产品缺陷检测模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，即构建多维度产品检测指标体系，统计、归类产品检测结果，通过不同指标挖掘常见缺陷、问题，分析缺陷、问题与生产制造过程参数的关联性，发现产品缺陷发生趋势，得到数据分析结果，以提醒用户提前介入生产调整，保证产品合格率。
77.通过库存管理及优化模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，即利用机器学习算法对订单、采购、出货、物流数据进行训练，构建库存优化数学模型，使采购周期、订单数量、产能、出货周期、物流速度实现“进
‑
出”平衡，并在此基础上减小库存规模，降低库存压力和资金积压量，得到数据分析结果，以实现最小库存规模的
“
进
‑
出”平衡。
78.通过品控售后挖掘及管理模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，即联合产品缺陷检测数据、生产过程参数数据、售后服务反馈数据，采用基于语义分析的关联挖掘方法，发现各类产品质量指标与售后服务的因果、频次等关系，得到数据分析结果，以推荐考虑改进成本在内的生产进行优化措施，达到降低因产品质量导致的售后服务比例。
79.本实施例通过在大数据分析层12设置市场趋势分析模块、设备稼动率计算及监控模块、设备健康评估预测模块、订单完成指标评估预测模块、产品缺陷检测模块、库存管理及优化模块、品控售后挖掘及管理模块，有利于实现利用大数据处理技术有效地对制造大数据进行处理和分析，进一步挖掘制造大数据潜在的价值，为制造企业的生产经营带来利益。
80.在优选的实施例当中，所述分析模型包括关联分析模型、回归分析模型、聚类分析模型、神经网络模型、遗传算法模型、决策树模型中的至少一种模型。
81.本实施例通过在模型库中预存关联分析模型、回归分析模型、聚类分析模型、神经网络模型、遗传算法模型、决策树模型，有利于数据分析模块快速调用其所需要的分析模型进行数据分析，提高制造大数据的处理和分析效率。
82.如图3所示，第二实施例提供一种制造大数据处理方法，包括步骤s1～s3：
83.s1、从数据源系统中抽取出目标数据进行数据清洗，得到待分析数据，将待分析数据存储于数据库；
84.s2、通过数据分析模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，得到数据分析结果；
85.s3、显示数据分析结果，或者向用户终端发送数据分析结果。
86.需要说明的是，数据源系统包括订单服务系统、原材料及供应链管理系统、排产管理系统、制造流程管理系统、交付及售后管理系统。
87.作为示例性地，在步骤s1中，针对分析需求，通过工业多态网关(主要集成opc、modbus、can、485等工业总线/协议)及数据驱动(主要由sql、oracle、mysql/mssql、redis、db2数据库驱动、json、xml等组成)从订单服务系统、原材料及供应链管理系统、排产管理系统、制造流程管理系统、交付及售后管理系统等多个数据源系统中的所有订单数据、原材料库存及供应链数据、排产数据、二维码数据、制造流程数据、交付及售后数据等制造大数据中抽取多源化的目标数据，对目标数据进行数据清洗，得到待分析数据，将待分析数据存储于数据库。
88.在步骤s2中，通过内部的市场趋势分析模块、设备稼动率计算及监控模块、设备健康评估预测模块、订单完成指标评估预测模块、产品缺陷检测模块、库存管理及优化模块、品控售后挖掘及管理模块等数据分析模块调取模型库中的分析模型对数据库中的待分析数据进行相应的数据分析，得到数据分析结果。
89.其中，大数据分析层12除了有市场趋势分析模块、设备稼动率计算及监控模块、设备健康评估预测模块、订单完成指标评估预测模块、产品缺陷检测模块、库存管理及优化模块、品控售后挖掘及管理模块这些数据分析模块，还有可管理数据分析模块的模块管理接口模块、可维护分析模型的模型维护接口模块和可传输数据分析结果的数据分析结果接口
模块。
90.在步骤s3中，直接显示数据分析结果，或者向接入的用户终端发送数据分析结果。
91.本实施例能够利用大数据处理技术有效地对制造大数据进行处理和分析，进一步挖掘制造大数据的潜在价值，为制造企业的生产经营带来利益。
92.在优选的实施例当中，所述制造大数据处理方法，还包括步骤s4：
93.s4、接收用户终端对数据分析结果的反馈数据，根据反馈数据优化分析模型。
94.作为示例性地，在步骤s4中，当向接入的用户终端发送数据分析结果后，若用户终端返回对数据分析结果的反馈数据，则根据反馈数据优化分析模型。
95.本实施例通过根据用户终端对数据分析结果的反馈数据优化分析模型，有利于更准确地对制造大数据进行处理和分析。
96.在优选的实施例当中，所述从数据源系统中抽取出目标数据进行数据清洗，得到待分析数据，将待分析数据存储于数据库，具体为：通过数据抽取工具，采用全量抽取、增量抽取、先全量抽取后增量抽取相结合的方式，从数据源系统中抽取目标数据；通过数据清洗工具，基于预先定义的数据完整性、权威性、唯一性、合法性、一致性验证条件，对目标数据进行数据清洗，得到待分析数据；将待分析数据按照数据类型分别存储于对应的数据库。
97.作为示例性地，通过数据抽取工具，对静态/准动态数据，即订单服务系统、原材料及供应链管理系统、排产管理系统、交付及售后管理系统中的订单数据、原材料库存及供应链数据、排产数据、交付及售后数据采用全量抽取，对制造流程管理系统中的制造流程数据采用增量抽取，并结合先全量抽取后增量抽取的方式，从多个数据源系统的所有制造大数据中抽取目标数据。
98.通过数据清洗工具，基于预先定义的数据完整性、权威性、唯一性、合法性、一致性验证条件，对待分析数据进行数据清洗。对于数据完整性处理，采用推算法、均值法、平滑处理法进行补全；对于数据权威性处理，定义权威数据渠道，设置不同渠道权威级别，在数据利用方面采用结合权威级别的融合算法产生权威数据；对于数据唯一性处理，结合数据权威性，通过去重规则对重复数据进行删除，保留唯一数据；对于数据合法性处理，建立强制合法规则集合，比如字段类型合法规则、字段内容合法规则，采用布隆过滤器对数据进行过滤，提供合法告警提示，针对离群值采用人工方法处理；对于数据一致性处理，通过指标体系、维度、单位、评度等处理方法/算法建立数据的一致性。
99.其中，推算法是建立规则库、协议库，通过规则库、协议库中的规则、协议来从其它未缺失的变量中推算缺失变量值，比如根据代码串中的编码规则推算出特定区间代码所代表的含义，然后对缺失变量赋值。均值法是通过变量相连值计算中间缺失的变量值，比如变量在时间序列数据中出现变量值缺失的情况，缺失该点变量值可以利用相连时间点变量值进行均值计算得出。平滑处理法是如果变量在时间序列中出现变量值连续缺失的情况，该连续缺失的变量值可以利用缺失两端变量点(段)进行平滑计算得出，也可以用线性回归法得到变量值趋势方程，然后按照时间取方程上的数据值作为变量值。
100.结合数据权威性，通过去重规则对重复数据进行删除，保留唯一数据，即在数据源重复出现的情况下，数据源根据权威性的高低来选择，在所选的权威数据中，若数据源中存在数据，则直接利用，若数据源中出现部分数据缺失，则使用数据完整性处理方法进行处理，若权威性最高的数据源不存在，则选择下一权威级别的数据源，并以此类推。
101.本实施例通过对制造大数据进行多方式抽取、多方面清洗，提供可进行大数据分析的待分析数据，有利于实现利用大数据处理技术有效地对制造大数据进行处理和分析。
102.在优选的实施例当中，所述将待分析数据按照数据类型分别存储于对应的数据库，具体为：若待分析数据为结构化数据，则将待分析数据存储于mysql或mssql数据库；若待分析数据为半结构化数据，则将待分析数据存储于redis数据库；若待分析数据为非结构化数据，则将待分析数据存储于mongodb数据库和/或elasticsearch数据库。
103.作为示例性地，抽取、清洗后的待分析数据包含结构化、半结构化、非结构化数据，将待分析数据按照数据类型分别存储于对应的数据库，若待分析数据为结构化数据，则将待分析数据存储于mysql或mssql数据库，若待分析数据为需动态更新的半结构化数据，则将待分析数据存储于redis数据库，若待分析数据为文档型的非结构化数据，则将待分析数据存储于mongodb数据库，若待分析数据为可全文检索的非结构数据，则将待分析数据存储于elasticsearch数据库。
104.在优选的实施例当中，所述通过数据分析模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，得到数据分析结果，具体包括：通过市场趋势分析模块从模型库中调取的分析模型对待分析数据进行市场趋势分析，得到市场趋势分析结果；通过设备稼动率计算及监控模块从模型库中调取的分析模型对待分析数据进行设备稼动率计算和关联分析，得到设备稼动率分析结果；通过设备健康评估预测模块从模型库中调取的分析模型对待分析数据进行设备健康评估和分析，得到设备健康分析结果；通过订单完成指标评估预测模块从模型库中调取的分析模型对待分析数据进行订单进度统计和分析，得到订单进度分析结果；通过产品缺陷检测模块从模型库中调取的分析模型对待分析数据进行产品缺陷检测、统计和分析，得到产品缺陷分析结果；通过库存管理及优化模块从模型库中调取的分析模型对待分析数据进行库存进出平衡优化，得到库存分析结果；通过品控售后挖掘及管理模块从模型库中调取的分析模型对待分析数据进行品控和售后的关联分析，得到品控售后分析结果。
105.可以理解的是，数据分析模块包括市场趋势分析模块、设备稼动率计算及监控模块、设备健康评估预测模块、订单完成指标评估预测模块、产品缺陷检测模块、库存管理及优化模块、品控售后挖掘及管理模块。
106.作为示例性地，通过市场趋势分析模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，即通过时间、地理空间、消费者群体类别、预算规模级别、实施场景、构成比例、消费者关注度/重点等指标对产品订单、设计方案、产品款式进行市场趋势分析，得到数据分析结果，以便用户对生产设计、供应链管理进行预测和调整，提供预先部署建议。
107.通过设备稼动率计算及监控模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，即根据待分析数据对部件
‑
设备
‑
系统
‑
产线或不同对象组合进行稼动率计算，通过关联分析挖掘对象之间的稼动率影响关系，得到数据分析结果，以便用户优化生产计划及设备维修计划，挖掘最大产能。
108.通过设备健康评估预测模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，即利用多维数据融合方法实现参数级、部件级、设备级、系统级的健康评估预测，得到数据分析结果，以提供在线健康评估/预测结果提示，向用户提供基于模型的
运维健康决策支持。
109.通过订单完成指标评估预测模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，即统计全地域、全渠道订单进度显示及评估，通过总体、地区、客户等不同分类、不同级别的订单完成进度反映生产进展，得到数据分析结果，以便用户对不同紧急程度的订单进行进度调整优化，并向生产执行系统发出优化提醒，确保订单履约。
110.通过产品缺陷检测模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，即构建多维度产品检测指标体系，统计、归类产品检测结果，通过不同指标挖掘常见缺陷、问题，分析缺陷、问题与生产制造过程参数的关联性，发现产品缺陷发生趋势，得到数据分析结果，以提醒用户提前介入生产调整，保证产品合格率。
111.通过库存管理及优化模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，即利用机器学习算法对订单、采购、出货、物流数据进行训练，构建库存优化数学模型，使采购周期、订单数量、产能、出货周期、物流速度实现“进
‑
出”平衡，并在此基础上减小库存规模，降低库存压力和资金积压量，得到数据分析结果，以实现最小库存规模的“进
‑
出”平衡。
112.通过品控售后挖掘及管理模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，即联合产品缺陷检测数据、生产过程参数数据、售后服务反馈数据，采用基于语义分析的关联挖掘方法，发现各类产品质量指标与售后服务的因果、频次等关系，得到数据分析结果，以推荐考虑改进成本在内的生产进行优化措施，达到降低因产品质量导致的售后服务比例。
113.本实施例通过设置市场趋势分析模块、设备稼动率计算及监控模块、设备健康评估预测模块、订单完成指标评估预测模块、产品缺陷检测模块、库存管理及优化模块、品控售后挖掘及管理模块，有利于实现利用大数据处理技术有效地对制造大数据进行处理和分析，进一步挖掘制造大数据潜在的价值，为制造企业的生产经营带来利益。
114.在优选的实施例当中，所述分析模型包括关联分析模型、回归分析模型、聚类分析模型、神经网络模型、遗传算法模型、决策树模型中的至少一种模型。
115.本实施例通过在模型库中预存关联分析模型、回归分析模型、聚类分析模型、神经网络模型、遗传算法模型、决策树模型，有利于数据分析模块快速调用其所需要的分析模型进行数据分析，提高制造大数据的处理和分析效率。
116.综上所述，实施本发明的实施例，具有如下有益效果：
117.通过将大数据预处理层11与大数据分析层12通信连接，将大数据分析层12与终端应用层13通信连接，建立制造大数据处理平台，利用大数据预处理层11从数据源系统中抽取出目标数据进行数据清洗，得到待分析数据，将待分析数据存储于数据库，利用大数据分析层12通过数据分析模块从模型库中调取的分析模型对数据库中的待分析数据进行数据分析，得到数据分析结果，利用终端应用层13显示数据分析结果，或者向用户终端发送数据分析结果，从而能够利用大数据处理技术有效地对制造大数据进行处理和分析，进一步挖掘制造大数据的潜在价值，为制造企业的生产经营带来利益。
118.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
119.本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)或随机存储记忆体(random access memory，ram)等。