一种基于联邦学习的制造生产线产品质量预测方法

1.本发明涉及制造生产线产品质量预测技术领域，尤其涉及一种基于联邦学习的制造生产线产品质量预测方法。


背景技术：

2.随着制造业的发展进步，制造企业的产品生产过程愈发复杂，超出了一般的统计规则，因此传统的统计方法面对生产实际陷入了困境。通过建立模型对产品进行质量预测是产品质量控制的重点内容。
3.在生产实际中，通常会通过整合多个来源的数据以更好地进行质量预测分析。随着全球各个国家隐私保护条例的实行，在跨单位、跨产线、多环节的智能制造领域，各组织机构希望保护数据资产，形成了严重的数据孤岛问题。数据孤岛和各种隐私保护条例的实施使得整合多个来源的数据进行研究更为困难。现有技术无法在数据隐私保护的前提下对产品质量进行准确预测。


技术实现要素：

4.鉴于上述的分析，本发明实施例旨在提供一种基于联邦学习的制造生产线产品质量预测方法，用以解决现有的联合训练产品质量预测模型无法保护数据的隐私性的问题。
5.本发明实施例提供了一种基于联邦学习的制造生产线产品质量预测方法，包括以下步骤：
6.获取各生产线产品制造过程中的传感器数据，对所述传感器数据进行特征提取，构建各生产线的本地输入特征矩阵；各生产线根据本地输入特征矩阵和本生产线的产品质量标签构建本地训练集；
7.服务器向各生产线发送初始产品质量预测模型，各生产线基于本地训练集采用前向传播的联邦训练方法对所述产品质量预测模型进行训练，并将训练过程中的模型参数加密发送至服务器；服务器对所有模型参数进行融合；各生产线根据融合后的模型参数更新本地产品质量预测模型；在满足训练要求时，停止训练得到训练好的产品质量预测模型；
8.基于所述训练好的产品质量预测模型，对待预测产品进行质量预测。
9.上述技术方案的有益效果如下：通过采用前向传播的联邦训练方法，各生产线在本地对模型进行训练，只通过加密方式传输模型参数，从而使本生产线的训练样本不离开本地，解决了数据孤岛的问题，提高了数据的隐私保护的同时可以准确的进行模型训练，提高产品质量预测的精度。
10.基于上述技术方案的进一步改进，所述对所述传感器数据进行特征提取，构建本地输入特征矩阵，包括：
11.各生产线对所述传感器数据进行特征提取，将提取的特征信息采用加密方式发送给服务器；服务器得到各生产线的共有特征，并通过加密的方式发送给各生产线；
12.各生产线计算所述共有特征的基尼系数，将所述共有特征的基尼系数发送给服务
器，服务器选取基尼系数最小的m个共有特征作为最终特征发送给各生产线；
13.各生产线根据所述最终特征构建本地输入特征矩阵。
14.上述技术方案的有益效果如下：通过采用计算特征的基尼系数，选取基尼系数最小的特征作为最终特征，基尼系数越小，特征的最优，从而筛选出最重要的特征，使建立的模型更加准确，提高产品质量预测的准确度，提高了产品质量预测模型训练的效率。
15.基于上述技术方案的进一步改进，所述产品质量预测模型包括lstm网络层；所述模型参数包括lstm网络层的隐状态、细胞状态和更新参数。
16.基于上述技术方案的进一步改进，各生产线基于本地训练集采用前向传播的联邦训练方法对所述产品质量预测模型进行训练，将训练后的模型参数发送至服务器，包括：
17.各生产线从服务器获得其所有上游生产线上一时刻的隐状态；将所述上游生产线上一时刻的隐状态与本生产线上一时刻的隐状态聚合，得到历史隐状态信息；
18.各生产线从服务器获得其最接近上游生产线的上一时刻的细胞状态；将所述最接近上游生产线的上一时刻的细胞状态与本生产线上一时刻的细胞状态聚合，得到历史细胞状态信息；
19.基于所述历史隐状态信息、所述历史细胞状态信息和本地训练集，计算得到当前时刻本生产线lstm网络层的隐状态、细胞状态以及所述产品质量预测模型的输出结果；
20.基于所述模型质量预测模型的输出结果和质量标签计算所述产品质量预测模型的更新参数；将所述当前时刻本生产线lstm网络层的隐状态、细胞状态和所述更新参数发送至服务器。
21.上述技术方案的有益效果如下：通过采用前向传播的联邦训练方法对所述产品质量预测模型进行训练，各生产线在进行模型训练时不仅考虑本生产线的历史状态信息，也考虑上游生产线的历史状态信息，从而不仅学习本生产线的前后时序影响关系，也学习上游生产线的加工制造过程对本生产线的影响，进而使使训练的产品质量预测模型更加准确，可以更精确的进行产品质量的预测。
22.基于上述技术方案的进一步改进，所述lstm网络层包括注意力机制模块，所述注意力机制模块用于通过以下公式将所述上游生产线上一时刻的隐状态进行聚合：
[0023][0023][0024][0025]
所述lstm网络层根据以下公式计算得到历史隐状态信息：
[0026][0027]
其中，k表示第i个生产线的上游生产线的数量，表示第j个生产线t-1时刻的隐状态，为注意力分布，w和u分别代表第j个生产线的注意力机制模块的权重系数和偏置，q为查询向量，s为注意力打分函数，ω表示学习参数，tanh为激活函数，表示第i个生产线的t-1时刻的历史隐状态信息，v表示上游生产线的聚合隐状态，ω
t
表示ω的转置。
[0028]
上述技术方案的有益效果如下：通过引入注意力机制，计算各生产线的上游生产
线的隐状态的注意力权重，进而可以确定最相关的上游生产线，忽略其中的噪声和冗余，使建立的模型更加准确，提高产品的质量预测准确率并且提高了产品质量预测模型训练的效率。
[0029]
基于上述技术方案的进一步改进，根据以下公式将所述最接近上游生产线的上一时刻的细胞状态与本生产线上一时刻的细胞状态聚合，得到历史细胞状态信息得到历史细胞状态其中，表示生产线i的上一时刻的细胞状态，表示生产线i的最接近的上游生产线j的上一时刻的细胞状态。
[0030]
上述技术方案的有益效果如下：通过聚合本生产线上一时刻的细胞状态和最接近的生产线的上一时刻的细胞状态，可以有效利用上游生产厂家的学习信息，结合时序生产信息，提高的产品质量预测准确率。
[0031]
基于上述技术方案的进一步改进，根据以下公式计算当前时刻本生产线lstm网络层的细胞状态：
[0032][0033]
其中，为t时刻第i个生产线lstm网络层遗忘门的输出，为t-1时刻第i个生产线lstm网络层的历史细胞状态信息，和均为t时刻第i个生产线lstm网络层输入门的输出，为t时刻第i个生产线lstm网络层的细胞状态。
[0034]
基于上述技术方案的进一步改进，根据以下公式计算当前时刻本生产线lstm网络层的隐状态：
[0035][0036]
其中，为t时刻第i个生产线lstm网络层的隐状态，为第i个生产线t-1时刻的历史隐状态信息，为t时刻第i个生产线的模型的输入数据，wo和bo分别为第i个生产线lstm网络层输出门的权重系数和偏置，σo为sigmoid激活函数，tanh为tanh激活函数，为t时刻第i个生产线lstm网络层的细胞状态。
[0037]
基于上述技术方案的进一步改进，通过以下公式计算产品质量预测模型的更新参数：
[0038][0039][0040]
θ
′i＝θ
i-δθi[0041]
其中，表示第i个生产线本次训练的质量标签，表示第i个生产线本次训练的模型输出值，θi表示第i个生产线当前模型的模型参数，lossi表示第i个生产线的损失函数，m表示第i个生产线本次训练的训练样本数量，δθi表示更新梯度，θ
′i表示更新参数，表示对θi求导。
[0042]
基于上述技术方案的进一步改进，所述服务器采用以下公式对所述模型参数进行
融合
[0043][0044]
其中，ni为第i个生产线的训练样本量，θ
′i为第i个生产线的更新参数，θ表示融合后的参数，n表示生产线数量。
[0045]
上述技术方案的有益效果如下：采用加权平均的方式对更新参数进行融合，根据各生产线的训练样本量为不同更新参数分配不同的更新参数权重，使模型参数的更新更加准确。
[0046]
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
[0047]
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
[0048]
图1为本发明实施例基于联邦学习的制造生产线产品质量预测方法的流程图。
具体实施方式
[0049]
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
[0050]
在生产实际中，产品的生产往往涉及多个组织机构，通常会通过整合多个来源的数据以更好地进行质量预测分析。随着全球各个国家隐私保护条例的实行，在跨单位、跨产线、多环节的智能制造领域，各组织机构希望保护数据资产，形成了严重的数据孤岛问题。数据孤岛和各种隐私保护条例的实施使得整合多个来源的数据进行研究更为困难。现有技术无法在数据隐私保护的前提下对产品质量进行准确预测。
[0051]
为此，本技术提出了一种基于联邦学习的制造生产线产品质量预测方法，能够在原始数据不离开本地的前提下，多条产线联合训练产品质量预测模型，提高了隐私性的同时，提高产品质量预测结果的准确度。
[0052]
本技术的一个具体的实施例公开了一种基于联邦学习的制造生产线产品质量预测方法，如图1所示，包括以下步骤：
[0053]
s1、获取各生产线产品制造过程中的传感器数据，对所述传感器数据进行特征提取，构建各生产线的本地输入特征矩阵；各生产线根据本地输入特征矩阵和本生产线的产品质量标签构建本地训练集。
[0054]
传感器按被测量对象分为内部传感器和外部传感器。内部传感器主要检测制造生产线内部的位置、速度、力矩、温度以及异常变化等信息，例如速度传感器可安装在主动轴上。外部传感器主要检测制造生产线的外部环境状态，它有相对应的接触式(触觉传感器、滑动觉传感器、压觉传感器)和非接触式(视觉传感器、超声测距、激光测距)。生产工厂中的
传感器种类因生产的产品品类而异，一般用于测量工厂的生产资源与生产个数，也包括衡量生产机器的性能，如开工率，故障率等等。设置位置因工厂而异，视情况设置在生产链的各个环节中。
[0055]
例如，在零件制造加工制造过程中，电动机的旋转、移动部件的移动、切削等都会产生热量，且温度分布不均匀，造成温差，使加工机床产生热变形，影响零件加工精度，因此，可在加工机床上某些部位装设温度传感器，采集温度数据。
[0056]
又例如，在机械手掌的内侧安装和配置位置传感器，用于检测机械手掌和一个物体间的接触位置。又例如在旋转件上安装测速传感器用于测量旋转件的转速。
[0057]
为了提高数据的有效性，在对传感器数据进行特征提取前，需要先进行数据预处理，预处理包括数据去重、稀疏数据处理、数据平衡处理、数据降维。
[0058]
示例性的，数据去重可为删除重复样本数据。
[0059]
示例性的，稀疏数据处理为去除过于稀疏的样本数据，例如删去有效数据量小于总样本约10％的特征维度，以保证数据不过于稀疏。
[0060]
在训练模型的过程中，为了防止数据倾斜造成的影响，需要对数据进行平衡，需要对数据进行平衡。示例性的，对各生产线的数据进行平衡处理，正反样例按照一定比例进行抽取，例如将正反样例的比例控制在2:1，以此来保证在进行数据平衡的同时能够保留原始数据集中正例占比较大的比例。
[0061]
选用spearman相关系数对不同维度的相关度进行计算，spearman相关系数是表征相关性的非参数指标，该方法利用单调方程评价两个统计变量的相关性，对原始变量的分布不作要求，适用范围广，相关度过高的维度，包含的信息相对重复，保留其中之一进行训练。
[0062]
具体的，所述传感器数据进行特征提取，构建本地输入特征矩阵，包括：
[0063]
各生产线对所述传感器数据进行特征提取，将提取的特征信息采用加密方式发送给服务器；例如各生产线可对提取的特征进行特定方式的编码，例如使用哈希函数进行编码，保证特征码可识别的同时保持了特征的匿名性，各产线通过加密的方式将编码的特征发送至服务器。
[0064]
服务器得到各生产线的共有特征，并通过加密的方式发送给各生产线。具体的，服务器收到所有生产线发送的特征信息后，筛选出共有特征，将筛选的共有特征同样通过加密的方式发送至各生产线。
[0065]
各生产线计算所述共有特征的基尼系数，将所述共有特征的基尼系数发送给服务器，服务器选取基尼系数最小的m个共有特征作为最终特征发送给各生产线。具体的，根据决策树的cart方法，最优特征为基尼系数最小的特征，因此，每个生产线对每个共有特征进行基尼系数计算，将计算得到的基尼系数发送至服务器，对于每一个共有特征，服务器筛选出各生产线的计算结果的最大值作为该共有特征的最终基尼系数，选择最终基尼系数最小的m个共有特征作为最终特征发送至各生产线。其中，m可根据实际的训练情况进行确定，例如可根据训练的速度进行确定。
[0066]
各生产线根据所述最终特征构建本地输入特征矩阵。具体的，将各生产线对应的最终特征按基尼系数的大小排列得到本地输入特征矩阵。
[0067]
s2、服务器向各生产线发送初始产品质量预测模型，各生产线基于本地训练集采
用前向传播的联邦训练方法对所述产品质量预测模型进行训练，并将训练过程中的模型参数加密发送至服务器；服务器对所有模型参数进行融合；各生产线根据融合后的模型参数更新本地产品质量预测模型；在满足训练要求时，停止训练得到训练好的产品质量预测模型。
[0068]
由于产品加工制造过程中，前序加工制造过程可能会对后续加工过程有影响，因此，本发明一个实施例的产品质量预测模型包括输入层、lstm网络层、linear层、输出层，lstm网络层可以实现状态的传递，可以让模型自主选取需要记忆的状态，学习加工制造过程中的长期依赖关系，linear用于将lstm层的输出转换为一维向量。
[0069]
实施时，本地训练集可根据需要分为训练集和测试集，分别用于模型的训练和测试。各生产线的初始模型是一样的，第一次训练时，各生产线基于训练集对模型进行训练，基于测试集进行模型测试。第一次训练后，各生产线将lstm网络层的隐状态、细胞状态通过加密方式发送至服务器。各生产线根据损失函数公式及更新参数计算公式计算产品质量预测模型的损失及更新参数，将计算得到的更新参数加密发送至服务器。服务器将接收的所有更新参数进行融合，将融合后的参数加密发送至各生产线，各生产线根据融合后的参数更新本地产品质量预测模型。具体的，损失函数和更新参数计算公式如下：
[0070][0071][0072]
θ
′i＝θ
i-δθiꢀꢀꢀ
(3)
[0073]
其中，表示第i个生产线本次训练的质量标签，表示第i个生产线本次训练的模型输出值，θi表示第i个生产线当前模型的模型参数，lossi表示第i个生产线的损失函数，m表示第i个生产线本次训练的训练样本数量，δθi表示更新梯度，θ
′i表示更新参数，表示对θi求导。
[0074]
由于上游生产线对产品的加工制造过程可能会影响下游生产线的产品加工制造过程，因此，在模型训练的过程中，不仅学习各生产线自身的加工过程中的长期依赖关系，也需要考虑上下游生产线加工制造过程的相互依赖关系，因此，各生产线基于本地训练集采用前向传播的联邦训练方法对所述产品质量预测模型进行训练，将训练后的模型参数发送至服务器，包括：
[0075]
s21、各生产线从服务器获得其所有上游生产线上一时刻的隐状态；将所述上游生产线上一时刻的隐状态与本生产线上一时刻的隐状态聚合，得到历史隐状态信息。各生产线得到的历史隐状态信息不仅包括本生产线的上一次训练(即上一时刻)的隐状态信息，也获取其所有上游生产线的上一次训练的隐状态信息，聚合获得历史隐状态信息，从而不仅学习本生产线的加工制造过程的前后依赖关系，也学习其上游生长线的加工制造过程对本生产线的影响，从而综合考虑上下游生产线加工制造过程的相互依赖关系，使训练的产品质量预测模型更加准确，可以更精确的进行产品质量的预测。
[0076]
具体的，lstm网络层通过引入注意力机制，对上游生产线上一时刻的隐状态进行注意力概率分布值的学习与加权平均，从而有选择地筛选出少量重要信息并聚焦到这些重要信息上。具体的，lstm网络层包括注意力机制模块，所述注意力机制模块用于通过以下公
式将所述上游生产线上一时刻的隐状态进行聚合：
[0077][0078][0079][0080]
所述lstm网络层根据以下公式计算得到历史隐状态信息：
[0081][0082]
其中，k表示第i个生产线的上游生产线的数量，表示第j个生产线t-1时刻的隐状态，为注意力分布，w和u分别代表第j个生产线的注意力机制模块的权重系数和偏置，q为查询向量，s为注意力打分函数，ω表示学习参数，tanh为激活函数，表示第i个生产线的t-1时刻的历史隐状态信息，v表示上游生产线的聚合隐状态，ω
t
表示ω的转置。
[0083]
s22、各生产线从服务器获得其最接近上游生产线的上一时刻的细胞状态；将所述最接近上游生产线的上一时刻的细胞状态与本生产线上一时刻的细胞状态聚合，得到历史细胞状态信息。各生产线得到的历史细胞状态信息不仅包括本生产线的上一次训练(即上一时刻)的细胞信息，也获取其最接近的上游生产线的上一次训练的细胞状态信息，聚合获得历史细胞状态信息。细胞状态包含模型的长期记忆，通过聚合本生产线上一时刻的细胞状态和最接近的生产线的上一时刻的细胞状态，可以有效利用上游生产厂家的学习信息，结合时序生产信息，提高的产品质量预测准确率。
[0084]
具体的，通过将生产线i的产品质量预测模型中lstm网络层的上一时刻的细胞状态与最接近的上游生产线j的上一时刻的细胞状态进行相加聚合，得到历史细胞状态其中，表示生产线i的上一时刻的细胞状态，表示生产线i的最接近的上游生产线j的上一时刻的细胞状态。
[0085]
s23、基于所述历史隐状态信息、所述历史细胞状态信息和本地训练集，计算得到当前时刻本生产线lstm网络层的隐状态、细胞状态以及所述产品质量预测模型的输出结果。
[0086]
具体的，将聚合后的历史隐状态信息与生产线i的当前时刻(t时刻)训练数据输入至遗忘门。遗忘门由一个sigmod神经网络层和一个按位乘操作构成。
[0087][0088]
其中σf为遗忘门的激活函数，wf和bf，分别表示第i个生产线lstm网络层的遗忘门的权重系数和偏置，表示遗忘门的输出。
[0089]
lstm网络层的输入门包括sigmoid层与tanh神经网络层，用来决定新输入的信息和中哪些信息将被保留。
[0090][0091][0092]
其中和分别为sigmoid层和tanh神经网络层的输出，σi表示激活函数，wi，bi分别表示第i个生产线lstm网络层输入门的sigmoid层的权重系数和偏置，tanh表示激活函数，wc,bc分别表示第i个生产线lstm网络层输入门的tanh神经网络层的权重系数和偏置。
[0093]
通过以下公式更新当前时刻lstm网络层的细胞状态：
[0094][0095]
其中，为t时刻第i个生产线lstm网络层的细胞状态。
[0096]
lstm网络层的输出门与tanh函数以及按位乘操作共同作用将细胞状态和输入信号传递到输出端，根据输出门的输出与细胞状态，得到新的隐状态：
[0097][0098][0099]
即
[0100]
其中，为t时刻第i个生产线lstm网络层的隐状态，为第i个生产线t-1时刻的历史隐状态信息，为t时刻第i个生产线的模型的输入数据，wo和bo分别为lstm网络层输出门的权重系数和偏置，为输出门的输出，σo为sigmoid激活函数，tanh为tanh激活函数，为t时刻第i个生产线lstm网络层的细胞状态。
[0101]
s24、基于所述模型质量预测模型的输出结果和质量标签计算所述产品质量预测模型的更新参数；将所述当前时刻本生产线lstm网络层的隐状态、细胞状态和所述更新参数发送至服务器。
[0102]
具体的，各生产线根据公式(1)-(3)计算本地产品质量预测模型的更新参数，各生产线将t时刻的隐状态细胞状态和训练后得到的更新参数θ
′i加密发送至服务器。
[0103]
服务器接收到各生产线发送的隐状态和细胞状态进行存储，将接收的所有更新参数进行融合。具体的，服务器采用以下公式对所述模型参数进行融合：
[0104][0105]
其中，ni为第i个生产线的本地训练集的训练样本量，θ
′i为第i个生产线的更新参数，θ表示融合后的参数，n表示生产线数量。
[0106]
服务器将融合后的参数加密发送至各生产线，各生产线根据融合后的模型参数更新本地产品质量预测模型，即各生产线将本地产品质量预测模型的参数更新为融合参数。
[0107]
在满足训练要求时，结束训练。可选的，当所有生产线的损失经均不再显著变化时，满足训练要求。各生产线在一次训练后，可根据公式(1)计算损失，若所有生产线的损失均不再显著变化，则训练结束，得到训练好的产品质量预测模型，否则，继续进行下一次训
练。
[0108]
可选的，也可设置迭代次数，当达到设置的迭代次数后，满足训练要求，停止训练获得训练好的产品质量预测模型。
[0109]
s3、基于所述训练好的产品质量预测模型，对待预测产品进行质量预测。
[0110]
每个生产线获得本生产线，待预测产品的制造过程中传感器采集的数据，根据训练时采用的最终特征，对数据进行特征提取及特征降维，仅保留训练时使用到的最终特征，并进行缺失值处理和归一化预处理，得到特征输入矩阵；将待预测产品的特征输入矩阵训练好的产品质量预测模型，得到本生产线的产品质量的预测结果。
[0111]
与现有技术相比，本发明提供的基于联邦学习的制造生产线产品质量预测方法具有以下有益效果：
[0112]
1、各生产线在本地进行模型训练，训练数据不需要发送至服务器，只将模型参数通过加密方式发送至服务器，从而能够在原始数据不离开本地的前提下，多条生产线联合训练产品质量预测模型，解决了跨产线、跨区域进行联合训练的数据孤岛问题，提高了隐私性的同时，提高了产品质量预测结果的准确度。
[0113]
2、通过采用计算特征的基尼系数，选取基尼系数最小的特征作为最终特征，基尼系数越小，特征的最优，从而筛选出最重要的特征，使建立的模型更加准确，提高产品质量预测的准确度，提高了产品质量预测模型训练的效率。
[0114]
3、通过将上游生产线的隐状态和细胞状态与本生产线的隐状态和细胞状态融合，可以学习到上游生产线的制作过程对本生产线的制作过程的影响，使训练的产品质量预测模型更加精确，提高了预测的精确度。
[0115]
4、通过引入注意力机制，计算各生产线的上游生产线的隐状态的注意力权重，进而可以确定最相关的上游生产线，忽略其中的噪声和冗余，使建立的模型更加准确，提高产品的质量预测准确率并且提高了产品质量预测模型训练的效率。
[0116]
5、采用加权平均的方式对更新参数进行融合，根据各生产线的训练样本量为不同更新参数分配不同的更新参数权重，使模型参数的更新更加准确。
[0117]
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
[0118]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。