一种基于联邦学习与注意力机制的生产线调度方法与流程

1.本发明属于生产线调度领域，具体涉及一种基于联邦学习与注意力机制的生产线调度方法。


背景技术：

2.近年来，制造业在国民经济增长中占有重要地位。随着技术的发展与科技的进步，我国的制造业也从之前的人工密集型向技术密集型转换，在此转换期间，智能设备在生产线中的使用起到了举足轻重的作用。同时在制造业研究的相关众多领域中，作业车间生产线调度优化问题是最基本，也是研究较深入的问题之一。虽然对作业车间生产线调度优化问题进行了多年的调查研究，也取得了部分成果，但随着研究的深入，理论数据与实际结果还存在部分差异；现有的生产线调度只能对自身产量进行预测，同时预测不准确，导致效率低，成本高。


技术实现要素：

3.本发明的目的在于提供一种基于联邦学习与注意力机制的生产线调度方法，本方法能够准确高效地综合各个生产线预测生产调度数据，并优化生产线。
4.本发明提供的这种基于联邦学习与注意力机制的生产线调度方法，包括如下步骤：
5.s1.获取若干个零件厂家的历史生产零件数据；
6.s2.采用长短期记忆网络，生成各个零件厂家的生产零件数据模型；
7.s3.通过加密和纵向联邦学习，将各个零件厂家的生产零件数据模型进行协同训练，获得全局生产零件数据模型；
8.s4.将获得的全局生产零件数据模型作为原始输入序列，通过注意力机制求解作业车间调度问题，生成调度序列，并采用生成的结果进行生产线调度。
9.所述的步骤s2，包括如下步骤：
10.a1.采用历史生产零件数据，对历史生产零件数据进行预处理；生成训练集和测试集；
11.a2.采用长短期记忆网络，建立初始生产零件数据模型，并初始化参数；包括将当前输入和前一个状态输出的门控拼接训练得到四个状态，对当前的输入有选择的进行记忆和忘记，并将选择的记忆和忘记合并输入，对输出进行选择后采用损失函数优化；
12.a3.采用步骤a1生成的训练集对初始生产零件数据模型进行训练，并校验结果是否满足预测精度要求；若校验结果不满足预测精度要求，则继续训练；若校验结果满足预测精度要求，则生成训练好的生产零件数据模型，采用测试集进行预测，同时根据正规化过程将数据转换为原值；参与的第三方传递训练参数和损失函数及其参数。
13.所述的步骤a1，包括如下步骤：
14.b1.对历史生产零件数据进行预处理；预处理包括：对历史生产零件数据进行归一
化处理，加速训练速度；将数据进行标准化处理；将历史生产零件数据设置为数据数列；设置时间步，并根据设置时间步的数据预测之后的数据；
15.b2.根据滑动窗口的大小构造训练集；具体包括根据滑动窗口的大小将历史零件数据依次输入长短期记忆网络模型的输入层。
16.所述的数据数列为，x(n)＝[x(1),x(2),
…
,x(n-1),x(n)]；x(n)表示特征x的第n个时刻的观测值。
[0017]
所述的步骤a2，包括如下步骤：
[0018]
c1.将当前输入x
t
和前一个状态输出的h
t-1
拼接训练得到四个状态，包括z,zf,zi,zo，其中，z表示将结果通过tanh激活函数转换的值；zf,zi,zo表示由拼接向量乘以权重矩阵后，再通过一个sigmoid激活函数转成0到1之间的数值作为门控状态，zf表示忘记门控；zi表示记忆门控；zo表示输出门控；
[0019]
c2.忘记阶段，对上一个节点传进来的输入进行选择性忘记；通过计算得到的zf作为忘记门控，用于选择上一状态的c
t-1
忘记的部分，c
t-1
表示上一时刻的神经元状态，其中，wf表示忘记阶段的权重矩阵；x
t
表示当前时刻的输入；h
t-1
表示神经元上一时刻的输出；σ(
·
)表示sigmoid激活函数；
[0020]
c3.选择记忆阶段，将当前的输入有选择的进行记忆，对输入x
t
进行选择记忆；通过计算得到zi作为记忆门控；其中，wi表示选择记忆阶段的权重矩阵；x
t
表示当前时刻的输入；h
t-1
表示神经元上一时刻的输出；
[0021]
c4.将忘记门控zf和记忆门控zi相加，得到传输给下一个状态的c
t
，c
t
表示当前时刻神经元状态，其中，zf表示忘记门控；zi表示记忆门控；c
t-1
表示上一时刻的神经元状态；z表示将结果通过tanh激活函数将转换为-1到1之间的值；x
t
表示当前时刻的输入；h
t-1
表示神经元上一时刻的输出；tanh(
·
)表示tanh激活函数；表示当前时刻的输入和上一时刻的输出进行拼接，再乘以权重矩阵后的结果；
[0022]
c5.输出阶段，通过zo选择当前状态的输出，包括设置当前输出阶段的权重矩阵，分别对忘记阶段、选择记忆阶段和输出阶段进行权重分配：
[0023][0024]
其中，zo表示输出门控；wo表示输出阶段的权重矩阵；x
t
表示当前时刻的输入；h
t-1
表示神经元上一时刻的输出；
[0025]
c6.输出当前输入数据对应的输出值y
t
，y
t
＝σ(w'h
t
)，其中，σ(
·
)表示sigmoid激活函数；w'表示隐藏状态的权重矩阵；h
t
表示神经元当前时刻的输出；h
t
＝zo·
tanh(c
t
)，zo表示输出门控；tanh(
·
)表示tanh激活函数；c
t
表示当前时刻神经元状态；
[0026]
c7.根据实际使用场景设计损失函数，对均方误差函数进行变形优化；损失函数l为：
[0027][0028]
其中，i表示数据量的计数变量；n表示总数据量，i∈[1,n]；ωi表示模型训练参数；yi表示模型的标签；xi表示模型的特征；f(xi)表示生产零件数据模型输出数据；采用随机梯度下降算法优化损失函数，改变模型训练参数ωi从而最小化损失函数，加速收敛。
[0029]
所述的步骤s3，包括如下步骤：
[0030]
d1.将加密样本对齐，在系统层面进行加密样本对齐，将各个参与方在本地生成的生产零件数据模型进行加密，生成加密样本；对各个加密样本进行处理，使各个参与方的样本对齐；
[0031]
d2.各个参与方分别在本地的生产零件数据模型进行训练对齐的加密样本；
[0032]
d3.由第三方服务器创建加密对，向各个参与方发送公钥，用于加密需要传输的数据；
[0033]
d4.各个参与方分别计算与其相关的特征中间结果，并加密交互，用于求得各个参与方的梯度和损失；
[0034]
d5.各个参与方分别计算本身加密后的梯度并添加掩码发送给第三方服务器，同时有标签点数据的参与方计算加密后的损失发送给第三方服务器，计算目标函数，并加入正则项；标签数据持有方计算梯度损失，并在加密后回传；
[0035]
d6.第三方服务器收集来自无标签数据持有方和标签数据持有方的加密梯度及损失后进行模型更新；对来自各个参与方的模型参数采用不同的权重比例对其进行整合，以获得服务器更新后的联邦模型；
[0036]
d7.第三方服务器解密梯度和损失后回传给各个参与方，各个参与方去除掩码并更新生产零件数据模型，获取更新生产零件数据模型；对第三方服务器在聚合后增加一个逻辑判断，判断接收的各参与方本地计算结果质量，若计算结果质量好，则训练终止，联合建模结束，建立好的全局生产零件数据模型保留在第三方服务器中；否则继续迭代进行模型训练。
[0037]
所述的步骤d1包括采用基于加密的用户id对齐技术，将参与建模的各参与方标记为{f1,f2,f3,...,fn}，每个参与方拥有的用户数据集标记为{d1,d2,d3,...,dn}，n表示参与方的数量；将各个参与方在本地生成的生产零件数据模型进行加密，生成加密样本；对各个加密样本进行处理，使各个参与方的样本采用基于加密的用户id对齐技术对齐；
[0038]
所述的步骤d5，包括目标函数为：其中，ω表示模型参数；xi表示模型的特征；yi表示模型的标签；l(ω,xi,yi)表示模型的损失函数，l(ω,xi,yi)＝max{0.1-ω
t
xiyi}，为正则项；加入正则项具体包括其中，l表示损失函数；λ为超参数，用于控制模型训练中特征的数量；无标签数据持有方a首先向有标签数据持有方β发送对da的同态加密[da]和第t轮状态下的无标签数据参与方的模型参数无标签数据参与方的模型参数x表示模型的特征；标签数据持有方β计算
梯度损失，并在加密后回传；
[0039]
所述的步骤d6包括，第三方服务器c收集来自无标签数据持有方a和标签数据持有方β的加密梯度及损失后进行模型更新；对来自各个参与方的模型参数采用不同的权重比例对其进行整合，以获得服务器更新后的联邦模型；获取服务器更新后的联邦模型参数ω
fl
，包括：
[0040]
ω
fl
＝θ1ω1 θ2ω2 θ3ω3
…
θiωi
…
θnωn[0041]
其中，{θ1,θ2,θ3,
…
,θi,
…
,θn}表示各个参与方的生产零件数据模型参数之间的调整比例；n表示参与方的数量；θi表示第i个参与方的生产零件数据模型参数的调整比例；{ω1,ω2,ω3,
…
,ωi,
…
,ωn}表示各个参与方的生产零件数据模型的模型参数；ωn表示第i个参与方的生产零件数据模型的模型参数。
[0042]
步骤s4中，所述的作业车间调度问题包括一条加工流水线上有若干台机器，若干待加工作业；其中，作业包含若干工序数；设作业的总工序数为每个作业工序数之和；其中每个作业的各个工序的加工时间已确定，并且每个作业必须按照规定的工序的先后顺序进行加工；调度的任务是安排确定工件的加工顺序以及每阶段工件在机器上的分配情况，求解约束条件被满足的同时，使得最大完工时间极小化。
[0043]
约束条件包括：
[0044]
约束一：同一时刻、同一机器只能加工一道工序；
[0045]
约束二：每道工序在指定的机器上加工，且在其前一道工序完成后才能开始加工；
[0046]
约束三：同一个作业的工序先后顺序有约束，不同作业加工工序之间没有先后顺序约束；
[0047]
约束四：各作业的工序顺序和加工时间已确定，不随加工排序该变而改变；
[0048]
约束五：不同工件之间的优先级是相同的。
[0049]
所述的步骤s4，包括如下步骤：
[0050]
e1.将获得的全局生产零件数据模型作为原始输入序列，初始化原始输入序列，加载作业车间调度问题的输入数据；对输入序列进行编码；将注意力扩展到单个输入序列之外的存储网络；
[0051]
e2.加载注意力基质网络，包括：第一阶段根据作业车间调度问题和工序计算两者的向量cosine相似性；第二阶段引入softmax计算方法对第一阶段的得分进行数值转换；通过加权获取注意力值；
[0052]
e3.通过注意力值绕过步骤d7获取的全局生产零件数据模型的顺序处理，对输出序列进行解码，并输出求解到的序列，用于生产线的调度。
[0053]
所述的作业车间调度问题包括，设一条加工流水线上有m台机器，n个待加工作业；其中，作业k包含工序数为lk；设l为n个作业的总工序数，令
[0054]
所述的步骤e2包括：
[0055]
第一阶段根据作业车间调度问题query和第k道工序keyk计算两者的相似性；求作业车间调度问题query和第k道工序keyk的向量cosine相似性：
[0056]
第二阶段引入softmax计算方法对第一阶段的得分进行数值转换，包括：其中，j表示输入序列的计数变量；l
x
表示第x个输入序列的长度；ak表示valuek的权重系数；valuek表示第k个作业的值；simk表示作业车间调度问题query和第k道工序的相似性指标；simj表示第j个输入序列长度的作业车间调度问题query和总工序的相似性指标；
[0057]
通过加权获取注意力值attention：query表示作业车间调度问题；keyk表示第k道工序。
[0058]
本发明提供的这种基于联邦学习与注意力机制的生产线调度方法，在预测准确率较高的前提下保证了本生产线数据的私密与安全，防止了数据的泄露，符合数据安全要求；且由于预测数据较为准确，可以避免生产过剩等造成资源的浪费。各参与方地位对等能够实现公平合作。使用联邦学习进行共同建模，不仅可以使各参与方获得数据保护的同时，也实现共同提升模型效果的目的，且模型无损失，不会出现负迁移，使得生产线调度更接近实际情况，更准确，效果好。
附图说明
[0059]
图1为本发明方法的流程示意图。
[0060]
图2为本发明方法的长短期记忆网络结构示意图。
[0061]
图3为本发明方法的长短期记忆内部状态结构示意图。
[0062]
图4为本发明方法的纵向联邦学习框架示意图。
[0063]
图5为本发明方法的编码-解码框架示意图。
[0064]
图6为本发明方法的注意力机制模型结构示意图。
具体实施方式
[0065]
本发明采用长短期记忆(long short term memory，lstm)网络与联邦学习的结合来预测各零件供应厂商能供应零件数以及利用注意力机制来实现汽车车间生产线调度问题的优化，从而输出一个时间相对较短的作业加工序列，满足厂家需求，达到节省资源的目的。长短期记忆网络是一种特殊的rnn模型，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。其特殊的结构设计使得它可以避免长期依赖问题，记住很早时刻的信息是长短期记忆的默认行为，而不需要专门为此付出很大的代价。长短期记忆的关键就是细胞状态，水平线在图上方贯穿运行。长短期记忆通过门结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。门结构的本质是sigmoid长短期记忆网络和一个按位与或者按位乘的运算操作。sigmoid为激活函数，其表达式为sigmoid(x)＝1/(1 e
x
)。因此使用长短期记忆网络可以更好的得到较为准确的预测结果。联邦学习可以在保证数据隐私安全及合法合规的基础上，实现共同建模，提升ai模型的效果。由于各零件厂商因各种原因不愿公开自己家的生产零件数，各个零件厂商的数据私密，汽车厂家不知各零件
厂商的生产情况，从而导致供需不平衡，库存堆积，资源浪费等问题。联邦学习可以很好的解决这个问题，联邦学习可以在确保各参与者的数据隐私得到保障的同时实现ai建模，且其效果较好。注意力机制(attention machanisim)模型通过允许模型动态地关注有助于执行手头任务的输入的某些部分，将这种相关性概念结合起来。注意力机制网络恰好可以完成从一个序列到另一个序列的映射问题，在计算输出序列时，它会通过某种方式得到该输出序列某一个位置的元素与输入序列每一个位置关联的权重，然后将输入序列与该权重以一定的方式组合来影响输出。因此可以借用注意力机制网络来直接求解组合优化问题完全是一种可行的方案。
[0066]
如图1为本发明方法的流程示意图：本发明提供的这种基于联邦学习与注意力机制的生产线调度方法，包括如下步骤：
[0067]
s1.获取若干个零件厂家的历史生产零件数据；
[0068]
s2.采用长短期记忆网络，生成各个零件厂家的生产零件数据模型；
[0069]
s3.通过加密和纵向联邦学习，将各个零件厂家的生产零件数据模型进行协同训练，获得全局生产零件数据模型；
[0070]
s4.将获得的全局生产零件数据模型作为原始输入序列，通过注意力机制求解作业车间调度问题，生成调度序列，并采用生成的结果进行生产线调度。
[0071]
所述的步骤s2，包括如下步骤：
[0072]
a1.采用历史生产零件数据，生成训练集和测试集，包括如下步骤；
[0073]
b1.对历史生产零件数据进行预处理；预处理包括：对历史生产零件数据进行归一化处理，加速训练速度；将数据进行标准化处理，范围为0到1；将历史生产零件数据设置为数据数列：x(n)＝[x(1),x(2),
…
,x(n-1),x(n)]；x(n)表示特征x的第n个时刻的观测值；设置时间步(timestep)，并根据之前时间步的数据预测之后的数据，在本实施例中设置时间步为5，表示采用前5天的数据预测第6天的数据值。
[0074]
b2.根据滑动窗口d的大小构造训练集d；具体包括根据滑动窗口d的大小将历史零件数据依次输入长短期记忆网络模型的输入层。
[0075]
a2.采用长短期记忆网络，建立初始生产零件数据模型，并初始化参数。
[0076]
所述的步骤a2包括如下步骤：
[0077]
如图2为本发明方法的长短期记忆网络结构示意图。如图3为本发明方法的长短期记忆内部状态结构示意图。c1.采用长短期记忆网络，将当前输入x
t
和前一个状态输出的h
t-1
拼接训练得到四个状态，包括z,zf,zi,zo，其中，z表示将结果通过tanh激活函数转换为-1到1之间的值；zf,zi,zo表示由拼接向量乘以权重矩阵后，再通过一个sigmoid激活函数转成0到1之间的数值作为门控状态；zf表示忘记门控；zi表示记忆门控；zo表示输出门控；
[0078]
c2.忘记阶段，对上一个节点传进来的输入进行选择性忘记(即忘记不重要的，记住重要的)；通过计算得到的zf作为忘记门控，用于选择上一状态的c
t-1
忘记的部分，c
t-1
表示t-1时刻(即上一时刻)的神经元状态，其中，wf表示忘记阶段的权重矩阵；x
t
表示t时刻(即当前时刻)的输入；h
t-1
表示神经元上一时刻的输出；σ(
·
)表示sigmoid激活函数；
[0079]
c3.选择记忆阶段，将当前的输入有选择的进行记忆，对输入x
t
进行选择记忆(即
多记录重要的部分，少记不重要的部分)；通过计算得到zi作为记忆门控；其中，wi表示选择记忆阶段的权重矩阵；x
t
表示t时刻的输入；h
t-1
表示神经元上一时刻的输出；σ(
·
)表示sigmoid激活函数；
[0080]
c4.将忘记门控zf和记忆门控zi相加，得到传输给下一个状态的c
t
，c
t
表示当前时刻神经元状态，其中，zf表示忘记门控；zi表示记忆门控；c
t-1
表示上一时刻的神经元状态；z表示将结果通过tanh激活函数将转换为-1到1之间的值；x
t
表示当前时刻的输入；h
t-1
表示神经元上一时刻的输出；tanh(
·
)表示tanh激活函数；表示当前时刻的输入和上一时刻的输出进行拼接，再乘以权重矩阵后的结果；
[0081]
c5.输出阶段，通过zo选择当前状态的输出，包括设置当前输出阶段的权重矩阵，分别对忘记阶段、选择记忆阶段和输出阶段进行权重分配：
[0082][0083]
其中，zo表示输出门控；wo表示输出阶段的权重矩阵；x
t
表示t时刻的输入；h
t-1
表示神经元上一时刻的输出；
[0084]
c6.输出当前输入数据对应的输出值y
t
，y
t
＝σ(w'h
t
)，其中，σ(
·
)表示sigmoid激活函数；w'表示隐藏状态的权重矩阵；h
t
表示神经元当前时刻的输出；h
t
＝zo·
tanh(c
t
)，zo表示输出门控；tanh(
·
)表示tanh激活函数；c
t
表示当前时刻神经元状态；
[0085]
c7.根据实际使用场景，即汽车零件生产预测的实例设计损失函数，对mse(均方误差)函数进行变形优化，用于加快收敛速度，产生更好的结果；损失函数l为：
[0086][0087]
其中，i表示数据量的计数变量；n表示总数据量，i∈[1,n]；ωi表示模型训练参数；yi表示模型的标签；xi表示模型的特征；f(xi)表示生产零件数据模型输出数据；采用sgd(stochastic gradient descent,随机梯度下降)算法优化损失函数，改变模型训练参数ωi从而最小化损失函数，加速收敛。
[0088]
a3.采用步骤a1生成的训练集对初始生产零件数据模型进行训练，并校验结果是否满足预测精度要求；若校验结果不满足预测精度要求，则继续训练；若校验结果满足预测精度要求，则生成训练好的生产零件数据模型，采用测试集进行预测，同时根据正规化过程将数据转换为原值；参与的第三方传递训练参数和损失函数及其参数。
[0089]
如图4为本发明方法的纵向联邦学习框架示意图。所述的步骤s3，包括如下步骤：
[0090]
d1.将加密样本对齐，本实施例中采用基于加密的用户id对齐技术，在系统层面进行加密样本对齐，在企业感知层面不会暴露非交叉用户；所述的步骤d1包括，将参与建模的各参与方标记为{f1,f2,f3,...,fn}，每个参与方拥有的用户数据集标记为{d1,d2,d3,...,dn}，n表示参与方的数量；将各个参与方在本地生成的生产零件数据模型进行加密，生成加密样本；对各个加密样本进行处理，使各个参与方的样本采用基于加密的用户id对齐技术
对齐。
[0091]
d2.各个参与方分别在本地的生产零件数据模型进行训练对齐的加密样本；
[0092]
d3.由第三方服务器c创建加密对，向各个参与方发送公钥，用于加密需要传输的数据；
[0093]
d4.各个参与方分别计算与其相关的特征中间结果，并加密交互，用于求得各个参与方的梯度和损失；
[0094]
d5.各个参与方分别计算本身加密后的梯度并添加掩码发送给第三方服务器c，同时有标签点数据的参与方计算加密后的损失发送给第三方服务器c，其中，目标函数为：其中，ω表示模型参数；xi表示模型的特征；yi表示模型的标签；l(ω,xi,yi)表示模型的损失函数，l(ω,xi,yi)＝max{0.1-ω
t
xiyi}，为正则项；对于汽车零件生产制造业来说，因其生产零件供需复杂，精度要求很高，相关参与方也较为精密且其特征较多，为了防止模型训练过拟合以及为了加快模型的收敛速度，加入正则项具体包括其中，l表示损失函数；λ为超参数，用于控制模型训练中特征的数量；无标签数据持有方a首先向有标签数据持有方β发送对da的同态加密[da]和第t轮状态下的无标签数据参与方的模型参数]和第t轮状态下的无标签数据参与方的模型参数x表示模型的特征；标签数据持有方β计算梯度损失，并在加密后回传；
[0095]
d6.第三方服务器c收集来自无标签数据持有方a和标签数据持有方β的加密梯度及损失后进行模型更新；为了减少通信次数，降低通信损耗，引入向量s来体现模型的变化，辅助更新；包括，对来自各个参与方(即零件生产厂家)的模型参数采用不同的权重比例对其进行整合，以获得服务器更新后的联邦模型；获取服务器更新后的联邦模型参数ω
fl
，包括：
[0096]
ω
fl
＝θ1ω1 θ2ω2 θ3ω3
…
θiωi
…
θnωn[0097]
其中，{θ1,θ2,θ3,
…
,θi,
…
,θn}表示各个参与方的生产零件数据模型参数之间的调整比例；n表示参与方的数量；θi表示第i个参与方的生产零件数据模型参数的调整比例；{ω1,ω2,ω3,
…
,ωi,
…
,ωn}表示各个参与方的生产零件数据模型的模型参数；ωn表示第i个参与方的生产零件数据模型的模型参数；
[0098]
d7.第三方服务器c解密梯度和损失后回传给各个参与方，各个参与方去除掩码并更新生产零件数据模型，获取更新生产零件数据模型；对第三方服务器c在聚合后增加一个逻辑判断，判断接收的各参与方本地计算结果质量，以提升联邦学习的鲁棒性，若计算结果质量好，则训练终止，联合建模结束，建立好的全局生产零件数据模型保留在第三方服务器c中，以便后续进行预测工作；否则继续迭代进行模型训练。
[0099]
所述的作业车间调度问题可以描述为：一条加工流水线上有m台机器，n个待加工作业；其中，作业k包含工序数为lk；设l为n个作业的总工序数，令其中每个作业的各个工序的加工时间已确定，并且每个作业必须按照规定的工序的先后顺序进行加工。调度的任务是安排确定工件的加工顺序以及每阶段工件在机器上的分配情况，约束条
件被满足的同时，使得最大完工时间极小化。问题需要满足5个约束条件：
[0100]
约束一：同一时刻、同一机器只能加工一道工序；
[0101]
约束二：每道工序在指定的机器上加工，且必须在其前一道工序完成后才能开始加工；
[0102]
约束三：同一个作业的工序先后顺序有约束，不同作业加工工序之间没有先后顺序约束；
[0103]
约束四：各作业的工序顺序和加工时间已确定，不随加工排序该变而改变；
[0104]
约束五：不同工件之间的优先级是相同的。
[0105]
如图5为本发明方法的编码-解码框架示意图。如图6为本发明方法的注意力机制模型结构示意图。所述的步骤s4，包括如下步骤：
[0106]
e1.将获得的全局生产零件数据模型作为原始输入序列，并初始化原始输入序列，加载作业车间调度问题的输入数据；对输入序列进行编码(encoder)；将注意力扩展到单个输入序列之外的存储网络；
[0107]
e2.加载注意力基质网络，包括：
[0108]
第一阶段根据作业车间调度问题query和第k道工序keyk计算两者的相似性(即相关性)；求作业车间调度问题query和第k道工序keyk的向量cosine相似性：
[0109]
第二阶段引入softmax计算方法对第一阶段的得分进行数值转换，其目的是一方面可以进行归一化，将原始计算分支整理为所有元素权重之和为1的概率分布，另一方面是可以通过softmax的内在基质更加突出重要元素的权重；包括：其中，j表示输入序列的计数变量；l
x
表示第x个输入序列的长度；ak表示valuek的权重系数；valuek表示第k个作业的值；simk表示作业车间调度问题query和第k道工序的相似性指标；simj表示第j个输入序列长度的作业车间调度问题query和总工序的相似性指标；
[0110]
通过加权获取注意力值attention：query表示作业车间调度问题；keyk表示第k道工序；
[0111]
e3.通过注意力值绕过步骤d7获取的全局生产零件数据模型的顺序处理，对输出序列进行解码(decoder)，并输出求解到的序列，用于生产线的调度。
[0112]
本发明的优点是：联邦学习与长短期记忆网络的结合可以在预测准确率较高的前提下保证数据的私密与安全，防止了数据的泄露，符合数据安全要求；且由于预测数据较为准确，可以避免生产过剩等造成资源的浪费。各参与方地位对等能够实现公平合作。同时联邦学习还施行奖励政策，能够激发参与方的积极性，进而在数据量较多的前提下预测准确率更高。使用联邦学习进行共同建模，不仅可以使各参与方获得数据保护的同时，也实现共同提升模型效果的目的，且模型无损失，不会出现负迁移，保证联邦模型比独立割裂的独立
模型效果好。注意力机制是解决多任务最先进的模型，它可以在主要任务上提高性能，有助于克服递归长短期记忆网络rnn中的一些挑战。它可以通过对输入序列分配权重，进行训练，从而输出高效优化的序列，在生产调度方面有较好的应用，且符合人们的认知水平，易理解。同时由于本发明主要针对于汽车生产线上的调度问题，根据汽车生产产家的生产机制，假设日生产加工500辆汽车，但是只有4种车型，利用注意力机制就可以较好的安排其生产序列，节省时间以及资源，能够提高生产速度。