一种群体产品剩余寿命预测的联邦迁移学习方法与流程

reisizadeh等人的研究关注联邦学习的通信效率不够高的问题，他们从三个方面给出了提升联邦学习通信效率的方法：服务器上仅对客户端更新的模型进行周期性平均；每一轮训练只有部分设备参与；边缘节点在上传到参数服务器之前对其更新进行量化。
6.总的来看，目前国内外有关联邦学习的研究较为火热，国内主要侧重于实际应用层面，比如商业银行的反欺诈、医学领域的图像分割等实际问题。国外则侧重于原理层面，提出了一些提升联邦学习通信效率和准确性的方法，但发现对联邦迁移学习的研究较少。
7.群体产品由于使用的企业不同，使用的工况也不同，采集到的产品状态数据存在一定程度上的相似性，所以适合采用联邦迁移学习来进行其剩余寿命的预测，这样既可以保证数据隐私安全，同时又能充分地利用所有采集到的数据，一定程度上可以提高预测的准确度。
8.因此，本文将联邦学习和迁移学习结合起来，研究群体产品寿命预测的联邦迁移学习方法。


技术实现要素：

9.为了解决现有技术所存在的问题，本发明提出一种群体产品剩余寿命预测的联邦迁移学习方法。
10.根据本发明的一个方面，所述方法包括：一种群体产品剩余寿命预测的联邦迁移学习方法，包括：获取群体产品原始数据集；将所述原始数据集进行预处理，得到训练集和测试集；将所述训练集送入已构建的群体产品剩余寿命预测模型，并进行训练；其中，所述群体产品剩余寿命预测模型的构建过程包括：设计针对所述群体产品剩余寿命预测的总体框架，所述总体框架客户
‑
服务器架构，所述总体框架包括多个单体产品端和一个中央服务器端；构建基于lstm的剩余寿命预测模型；基于所述lstm的剩余寿命预测模型构建所述单体产品端的本地寿命预测模型和和所述中央服务器端的全局寿命预测模型；经过所述训练得到所述单体产品端的剩余寿命预测模型的权重参数，所述单体产品端将各自训练好的权重参数送到服务器端；所述服务器端对所述单体产品端的权重参数进行参数汇总处理；所述服务器端汇总处理后，确定下一轮迭代的单体产品端预测模型初始化参数。
11.优选地是，所述参数汇总处理根据每个产品端样本的数目和对产品端样本模型的损失值loss值对权重进行加权处理，并且所述服务器端将经过加权处理后将权重下发给各个单体产品端。
12.优选地是，所述权重如下式所示：
[0013][0014]
其中，w
i
代表第i个产品端预测模型的权重，lossi代表第i个产品端预测模型的均方误差值，综合考虑了样本数和模型损失值对加权系数的影响。w则代表着中央服务器预测模型的权重，k代表单体产品端的个数。
[0015]
优选地是，所述单体产品端在接收到服务器下发的权重参数后，选择合适的迁移学习策略来更新本地寿命预测模型；所述单体产品端在更新后的本地寿命预测模型的基础上，再次接收原始数据，对模型进行训练，而后上传本地单体产品端的剩余寿命预测模型的权重参数，然后判断循环次数是否已经达到提前设定的迭代次数，若没有达到，则继续从单
体产品本地寿命预测模型的训练开始，否则任意选择一个产品端的模型继承所有的权重参数即为最终的全局模型。
[0016]
优选地是，将lstm与基于模型的迁移学习结合起来，通过冻结所述中央服务器端全局寿命预测模型的部分或整体来完成迁移学习。
[0017]
优选地是，所述lstm寿命预测模型lstm寿命预测模型。
[0018]
优选地是，所述基于模型的迁移策略任选自如下三种的任一种：随机初始化权重参数，训练后微调；冻结预训练模型的权重参数；冻结预训练模型的结构参数。
[0019]
优选地是，第一种迁移策略是先将预训练模型直接迁移，然后将该模型的第一层lstm层、第二层dense层以及第三层lstm层的结构参数保持不变，随机化其权重参数，随后输入其他同类产品的数据x(t)'，对得到的新模型进行训练，根据输出结果寿命t'不断对前三层的权重参数进行微调，最终得到一个预测效果较好的模型。
[0020]
优选地是，第二种迁移策略是先将预训练模型直接迁移，然后将该模型的第一层lstm层和第二层dense层的结构参数保持不变，随机化其权重参数，随后输入其他同类产品的数据x(t)”，对得到的新模型进行训练，根据输出结果寿命t”不断对前两层的权重参数进行微调，最终得到一个预测效果较好的模型。
[0021]
优选地是，第三种迁移策略是先将预训练模型直接迁移，然后将该模型的第一层lstm层结构参数保持不变，随机化其权重参数，随后输入其他同类产品的数据x(t)”'，对得到的新模型进行训练，根据输出结果寿命t”'不断对第一层的权重参数进行微调，最终得到一个预测效果满意的模型。
附图说明
[0022]
本公开的各种实施例或样例(“示例”)在以下的具体实施方式和附图中得以公开。没必要将附图按比例绘制。一般而言，除非在权利要求中另有规定，否则可以任意顺序执行本发明所公开方法的操作。附图中：
[0023]
图1示出了本发明的针对群体产品剩余寿命预测的总体框架；
[0024]
图2示出了本发明的群体产品寿命预测的联邦迁移学习流程；
[0025]
图3为单体产品端本地寿命预测模型和中央服务器端全局寿命预测模型的设计；
[0026]
图4为lstm网络结构示意图；
[0027]
图4a为lstm遗忘门单元；
[0028]
图4b为lstm输入门单元；
[0029]
图4c为lstm的更新操作；
[0030]
图4d为判断输出细胞的状态特征；
[0031]
图5为lstm寿命预测模型；
[0032]
图5a是基于lstm的寿命预测的模型迁移过程示例；
[0033]
图6为25℃锂电池原始数据；
[0034]
图6为25℃锂电池原始数据；
[0035]
图7为25℃锂电池数据归一化结果图；
[0036]
图8为锂电池数据平滑前后对比图；
[0037]
图9为基于lstm的锂电池单体产品端寿命预测模型结构；
[0038]
图10为单体产品端本地预测结果绘图示例；
[0039]
图11为基于lstm的学习策略；
[0040]
图12为方案一预测结果绘图示例；
[0041]
图13为方案二预测结果绘图示例；
[0042]
图14为方案三预测结果绘图示例。
具体实施方式
[0043]
在详细解释本公开的一个或多个实施例之前，应当理解，实施例不限于它们具体应用中的构造细节，以及下文实施方式或附图所提出步骤或方法。
[0044]
研究群体产品剩余寿命预测，首先要设计针对群体产品剩余寿命预测的总体框架。客户
‑
服务器架构是最常用的一种架构，它的架构比较简单。在这个框架中，多个拥有本地数据的参与方(也可以称为用户或客户)，在中央服务器(也称为参数服务器或聚合服务器)的帮助下，协作共同训练一个适用于所有参与者的机器学习模型。该框架下的具体工作流程是这样的：(1)多个参与方在本地训练模型，得到模型的权重等参数，之后将这些参数发送给中央服务器等待进一步处理。(2)中央服务器得到参与方上传的参数后进行加权平均处理。(3)中央服务器将加权平均处理后的结果下发给各个参与方。(4)各参与方用中央服务器下发的参数更新本地模型。上述步骤会持续进行，直到达到给定的迭代次数，就得到了最终的模型。
[0045]
具体来说，本发明设计的针对群体产品剩余寿命预测的总体框架如图1所示。如图1所示，本发明的群体产品剩余寿命预测的总体框架包括多个单体产品端和一个中央服务器端，示例性地给出了三个单体产品。每个单体产品端通过例如是传感器的手段获得群体产品(例如锂电池)的原始数据，首先对原始数据进行预处理，预处理包含数据归一化、数据平滑处理、数据集划分等方式，然后在本地单体产品端进行训练，将得到的权重参数上传给中央服务器端。图1所示的单体产品
‑
服务器架构，其示例性的三个单体产品端彼此之间没有任何交互，只需要将在单体产品端训练好的剩余寿命预测模型的权重参数上传给服务器端，随后服务器端对这些权重参数进行加权平均处理并将处理后的权重参数下发给三个单体产品端，三个单体产品端处采用迁移学习的思路选择部分参数用以更新模型，重复上述操作直到服务器端的剩余寿命预测全局模型收敛。
[0046]
图2为根据本发明设计的群体产品剩余寿命预测的联邦迁移学习流程图。如图2所示，学习流程图包括：开始时，获取群体产品的原始数据；将原始数据送入单体产品端的剩余寿命预测模型，并进行训练，训练后得到单体产品端的剩余寿命预测模型的权重参数；单体产品端将各自训练好的权重参数送到服务器端；服务器器端汇总所有本地寿命预测模型的权重和损失值，经过加权处理后将权重下发给各个单体产品端；接收到服务器下发的权重参数后，各个单体产品端选择合适的迁移学习策略来更新本地寿命预测模型；单体产品端在更新后的本地寿命预测模型的基础上，再次接收原始数据，对模型进行训练，而后上传本地单体产品端的剩余寿命预测模型的权重参数。上述过程为一个完整的循环，然后判断循环次数是否已经达到提前设定的迭代次数，若没有达到，则继续从单体产品本地寿命预测模型的训练开始，否则任意选择一个产品端的模型继承所有的权重参数即为最终的全局模型。
[0047]
设计好针对群体产品剩余寿命预测的总体框架后，下面按照框架内容完成任务。首先是单体本地寿命预测模型设计，主要包含了以下两个部分：数据分析及预处理、单体本地寿命预测模型构建，然后是中央服务器端全局寿命预测模型的搭建。具体的流程如图3所示。由传感器采集到的产品运行状态数据往往需要经过预处理，才能用于后续寿命预测模型的训练和测试中。本技术选择使用基于机器学习的方法来建立产品端本地寿命预测模型。
[0048]
下面将参照图3对本发明的示例性模块进行详细说明。
[0049]
步骤1：单体产品端数据分析及预处理
[0050]
由于产品运行过程中的非平稳状态的影响或者传感器采集数据时的异常状况，传感器采集到的产品运行状态数据往往存在较大的波动值或数据异常，直接将采集到的这些数据用于模型的训练得到的模型预测效果大都不好，因此在利用这些数据进行寿命预测前往往需要进行预处理。数据预处理主要包括以下三个部分的内容：数据归一化处理、数据平滑处理、数据集划分。
[0051]
步骤1.1：数据归一化处理
[0052]
每次采集到的数据范围尺度不同，如果存在一个尺度范围非常大的数据，小尺度范围的数据对模型训练的影响可以忽略不计，因此需要进行归一化。调研发现常用的数据归一化方法主要有两种：0均值标准化(z
‑
score standardization)、min
‑
max标准化(min
‑
max normalization)。
[0053]
0均值标准化是对每一个数据利用下式进行处理，经过处理后数据的分布符合标准正态分布，即均值为0，标准差为1
[26]
。下式中代表采集到的样本数据，μ表示的是所有样本数据的均值，则是所有样本数据的标准差。
[0054][0055]
min
‑
max标准化是指经过变换使样本值映射到[0，1]，样本数据x(x1，x2，...的标准化方式如下式。
[0056][0057]
上述两种数据归一化方法各有优劣。0均值标准化的处理过程相对复杂，需要事先利用样本进行一些计算，相对来说比较复杂。而对于min
‑
max标准化来说，它的处理过程相对简单，本质上是把样本数据变成[0，1]之间的小数，在不涉及距离度量的时候使用min
‑
max标准化方法更为简便。实际在应用时要根据具体情况选择合适的方法。
[0058]
步骤1.2：数据平滑处理
[0059]
采集到的数据往往存在毛刺和噪声，直接将其用于预测分析效果不好，需要对原始样本数据进行平滑预处理。局部加权回归(locally weighted regression，lwr)算法在数据平滑处理中经常被用到，它的工作流程如下：首先是把样本划分成多个区间，对局部样本进行多项式拟合，然后用最小二乘法估计拟合值，最后便可以完成对原始样本的平滑处理。局部加权回归算法主要的思想就是根据其他点离观测样本点的距离远近计算出不同的权重系数，将样本点乘以对应的拟合权重相加得到观测点的拟合值，所有的样本点经过这样的处理便可以得到去掉噪声的平滑数据。具体的数学原理如下：
[0060]
提前设定一个范围尺度为2k，对于样本集q＝{q1，q2，...，q
n
}中的任意一个样本点
q
i
(i＝1，2，...，n)，用以下式子得到其加权拟合值。
[0061][0062]
其中权重系数w
i
(q
k
)的值由下式决定，从公式可以看出对于距离观测点q
k
越远的样本点q
i
，对应权重系数w
i
(q
k
)的值也越小，而对于距离观测点q
k
越近的样本点q
i
，对应权重系数w
i
(q
k
)的值则越大，这样便可以较好的去除原始数据集中异常的噪声点。
[0063][0064]
局部加权回归算法可以有效地将原始数据集中的噪声去除，使原始数据绘图曲线变得平滑，有利于避免过拟合或欠拟合的情况发生。
[0065]
步骤1.3：数据集划分
[0066]
经过数据归一化处理和数据平滑处理后，在进行模型训练前，还需要将数据集划分为训练集和测试集。k折交叉验证是一种划分数据集的方法，它是通过每次不重复的抽取数据集中的一定数据作为测试集其余作为训练集来完成的，这样可以充分利用数据，适合在分类任务中使用。留出法也是划分数据集时常用到的一种方法，这种方法操作起来比较简便，适合在样本数据量比较充足时使用。具体在应用时，要结合任务需求和数据量的大小来选择合适的方法。
[0067]
步骤2：构建基于lstm的剩余寿命预测模型
[0068]
随着传感器技术的发展，通过传感器获得的产品运行状态数据越来越多，传统的浅层机器学习算法在处理海量数据显得力不从心。而深度学习强大的非线性映射能力和高维特征提取能力使其非常适合应对这种情况。rnn是处理时间序列数据的神经网络，而本文研究的是群体产品，其运行状态数据是随时间慢慢衰减的，属于时间序列数据，因此适合应用rnn来解决。但单纯的rnn存在梯度爆炸和梯度消失的问题，长短期记忆(lstm)通过选择性的遗忘解决了这一问题。因此本文选用lstm来进行群体产品剩余寿命的预测，图4是根据本发明的lstm网络结构示意图。
[0069]
如图4所示。一个lstm单元里面包含三个门来控制细胞状态，这三个门分别称为遗忘门、输入门和输出门。
[0070]
前一时刻的信息在传入下一时刻之前往往要经过选择性的抛弃，遗忘门可以完成这一操作。将h
t
‑1和x
t
带入如下的公式计算得出一个属于[0，1]之间的向量，向量的值表示细胞状态c
t
‑1中有多少信息被保留或抛弃。0表示没有保留，1表示所有都保留。遗忘门如图4a所示，其中有：
[0071]
f
t
＝σ(w
f
·
[h
t
‑1，x
t
] b
f
)
[0072]
下一步是决定向单元状态添加哪些新信息。i
t
是更新信息的权重系数，将h
t
‑1和x
t
代入如图4b所示的第一个公式可以得到，然后通过激活函数tanh，使用h
t
‑1和x
t
生成新的候选状态向量这两步描述如图4b所示，其中有：
[0073]
i
t
＝σ(w
i
·
[h
t
‑1，x
t
] b
i
)
[0074][0075]
通过如下所示的公式可以更新状态信息，根据公式来看更新既涵盖上一时刻部分
状态信息同时也包括此时状态信息的一部分。更新操作如图4c所示，其中：
[0076][0077]
细胞的输出也需要根据h
t
‑1和x
t
来判断，首先将h
t
‑1和x
t
带入o
t
＝σ(w
o
[h
t
‑1，x
t
] b
o
)得到判断条件，然后将c
t
带入tanh激活函数计算出一个属于[
‑
1，1]之间的向量，再乘以判断条件便得到最终输出。这个步骤如图4d所示，其中：
[0078]
o
t
＝σ(w
o
[h
t
‑1，x
t
] b
o
)
[0079]
h
t
＝o
t
*tanh(c
t
)
[0080]
步骤3：构建单体产品端本地寿命预测模型和中央服务器端全局寿命预测模型的搭建
[0081]
在构建基于lstm的剩余寿命预测模型后，进一步构建单体产品端本地寿命预测模型和中央服务器端全局寿命预测模型。
[0082]
本地和全局寿命预测模型的搭建是用lstm层、dropout层以及dense层来完成的，一般在搭建过程中，可以先根据经验设计一个原始的模型，然后输入样本根据预测结果的准确度与预测时间的长短来决定增加或减少lstm的层数，一般来说1至3层的lstm层即可满足预测结果的准确度要求。图5是根据本发明的一个示例性的lstm寿命预测模型示例，如图5所示，模型中含有2个lstm层，2个dense层。输入是产品的状态数据，示例输出是预测的产品的寿命。
[0083]
在本发明中，为了方便中央服务器端和单体产品端的参数的交互更新，中央服务器端的寿命预测模型结构应与单体产品端的寿命预测模型结构相同，这样同时也可以保证全局模型的收敛，因此在构建模型时，中央服务器端的寿命预测模型结构与单体产品端的寿命预测模型在一个构建过程中完成。
[0084]
迁移学习可以利用已有的知识经验来学习新的知识，可以节约模型训练时间，并一定程度上可以提高预测结果的准确度。在单体产品端本地寿命预测模型处计划利用迁移学习的思路来更新本地模型。
[0085]
基于模型的迁移学习是通过将在源域训练好的模型的一部分或整体直接迁移到目标域中使用，在神经网络中使用较多，这也是本发明所用到的方法。这种基于模型的迁移学习的实现方法，首先要事先获得一个已经训练好的用以迁移的模型，这个模型可以是自己训练好的模型，也可以是一些经典的模型，然后将此模型的部分或整体网络结构和权重参数固定，根据实际任务需求添加全连接层，最后输入数据对新模型进行训练并根据模型的训练结构准确度不断优化模型。下面将基于模型，设计本发明的剩余寿命预测模型的迁移学习方法。
[0086]
本发明的迁移学习是固定单体产品端寿命预测模型的模型结构，把汇总处理后的单体产品端权重参数部分作为其初始化参数。因此关建是要汇总处理单体产品端权重参数，同时要考虑选择哪一部分作为下一轮迭代的单体产品端预测模型初始化参数。
[0087]
首先是单体产品端本地寿命预测模型的参数汇总处理。现有的处理方式是根据每个产品端样本的数目对模型的权重进行加权，样本数越多的产品其权重的加权系数越大，但这忽略了模型的损失值对加权系数的影响，造成全局模型的预测精度不够高。本发明是根据loss值和样本数目综合对权重值进行加权处理，如式(1.1)所示。w
i
代表第i个产品端预测模型的权重，loss
i
代表第i个产品端预测模型的均方误差值，综合考虑了样本数和模
型损失值对加权系数的影响。w则代表着中央服务器预测模型的权重，k代表单体产品端的个数。这样做的思想是认为loss值大的单体产品端模型在全局模型的占比更大，其本地数据对全局模型的影响也大。经过中央服务器计算得出的w之后会下发给单体产品端用以更新权重。
[0088][0089]
上述过程是单体产品端和中央服务器端信息交互的一次完整迭代，为了使全局模型达到令人满意的预测效果，这一过程需要重复进行多次。一般要预先设定一个固定的迭代次数m，当上述过程重复达到m次便停止。
[0090]
其次介绍选择哪一部分作为下一轮迭代的本地预测模型初始化参数。由于本文的全局寿命预测模型是基于lstm的，因此在进行迁移学习前，需要掌握lstm与基于模型的迁移学习结合起来的实现方法。将lstm与基于模型的迁移学习结合起来的实现方法是逐层将lstm层的结构参数和权重参数固定，然后重新输入数据训练其他的层数获得新的权重参数，并根据模型的预测结果的准确度来选择最优的冻结层数和最优的结构参数。其中结构参数是指模型的学习率、激活函数、优化器等参数，而权重参数是指模型的偏置及权重值。这其中的原理是已经训练好的模型的前几层具有良好的捕捉输入数据特征关系的功能，直接迁移这几层就可以免去再次重新训练模型使其获得捕捉输入特征的过程，实际在具体应用时迁移几层还需要根据输出预测结果的准确度来决定。因此本发明可以通过冻结中央服务器端全局寿命预测模型的部分或整体来完成迁移学习。
[0091]
图5a是一个基于lstm的寿命预测的模型的迁移过程示例，这里用到的基于lstm的寿命预测模型与图5所示的模型示例一致。如图5a所示，基本的基于模型的迁移策略有三种：随机初始化权重参数，训练后微调；冻结预训练模型的权重参数；冻结预训练模型的结构参数。这三种基本策略组合起来可以变成多种迁移学习的策略。本例中首先根据已经训练好的寿命预测模型得到预训练模型，然后将预训练模型的参数共享，得到了三种迁移学习策略。第一种迁移策略是先将预训练模型直接迁移，然后将该模型的第一层lstm层、第二层dense层以及第三层lstm层的结构参数保持不变，随机化其权重参数，随后输入其他同类产品的数据x(t)'，对得到的新模型进行训练，根据输出结果寿命t'不断对前三层的权重参数进行微调，最终得到一个预测效果较好的模型。第二种迁移策略是先将预训练模型直接迁移，然后将该模型的第一层lstm层和第二层dense层的结构参数保持不变，随机化其权重参数，随后输入其他同类产品的数据x(t)”，对得到的新模型进行训练，根据输出结果寿命t”不断对前两层的权重参数进行微调，最终得到一个预测效果较好的模型。第三种迁移策略是先将预训练模型直接迁移，然后将该模型的第一层lstm层结构参数保持不变，随机化其权重参数，随后输入其他同类产品的数据x(t)”'，对得到的新模型进行训练，根据输出结果寿命t”'不断对第一层的权重参数进行微调，最终得到一个预测效果满意的模型。可以看出这三种迁移策略的方法大致相同，只是每次进行操作的层数不同。在应用到具体的案例中，同一个案例可能存在多个迁移学习的策略，往往需要对源域模型的不同层进行操作，之后根据预测结果的精度和预测时间的长短综合考虑选择最合适的策略，当层数较少时采用上述对每个层逐一进行操作的方法比较适合，但当源域模型层数较多时，往往需要根据经验来进行迁移学习策略的设计，迁移多少层也是基于模型的迁移学习的难点之一。
[0092]
【示例性实施例：锂电池剩余寿命的预测】
[0093]
不同型号的锂电池既有一定程度的相似性同时又存在一定的差异性，可以看作是一种群体产品，而且不同型号的锂电池退化趋势差异性较大，再加上采集锂电池容量数据的成本花费较高且不同企业间由于竞争的原因一般不愿意共享数据，因此这里适合基于lstm对锂电池的寿命进行预测。
[0094]
本发明用到的数据集是通过循环寿命实验采集的，锂离子电池循环寿命试验台是电池研发企业提供，该数据集采集的温度条件是25℃，利用的是限压恒流充放电方式，实验的停止条件是锂电池容量退化到初始值的82％。
[0095]
该数据集包括了10种不同型号的锂离子电池容量退化数据，本文用到了其中的3种(a，b，c组)。共计13组数据，每组数据平均包含1000个容量锂电池数据。不同组间的阴极材料相同，但阳极有差异。本发明选用的25℃温度条件下不同型号的电池退化数据如表1所示。
[0096]
表1 25℃电池分组情况
[0097][0098]
将上述a、b、c组的锂电池组合起来，作为模型训练的数据集使用，具体的组合如表2所示，共计35种组合方式。
[0099]
表2数据集分组情况
[0100][0101]
由于选用了多组不同型号的锂离子电池，不同组别之间的失效过程趋势差异较大，不同型号锂离子电池的原始退化数据(剩余容量)如图6所示。从图中可以看出未经处理前的原始数据失效过程趋势不尽相同，这不利于后续中央服务器端全局寿命预测模型的收敛。
[0102]
在锂电池循环寿命测试过程中，由于不同电池型号的材料存在差异，需要归一化处理锂电池容量数据。由于此处不涉及距离度量和协方差计算，因此采用更为简便的min
‑
max标准化的方法。将失效阈值设定为锂电池初始容量的82％，记其初始容量为1，失效阈值记为0，样本数据x(x1，x2，...，x
n
)的标准化方式如式(1)所示，对25℃温度条件下的锂电池样本数据的归一化结果如图7所示。可以看出，归一化使样本有相同分布，有利于提升寿命预测结果精度。
[0103][0104]
由图7可以看出，经过归一化处理的数据绘制曲线仍存在毛刺状波动，因此需要对原始电池数据进行平滑预处理，选用局部加权回归算法进行处理。如图8是一个锂电池样本数据平滑前后的对比。图中黑色曲线是由原始退化数据绘制而成，蓝色曲线则是由经过平滑处理后的数据绘制而成。从图中可以看出，原始数据退化黑色曲线存在毛刺状波动，经过
局部加权回归平滑处理，平滑数据蓝色曲线在保持与原始数据黑色曲线的曲线走势相近的前提下，消除了噪声的干扰，这有利于提升预测结果的准确性。
[0105]
经过归一化处理和平滑处理后，还需要划分数据集，由于每组的样本数据量比较充足，直接使用留出法。此处把数据集的60％划分为训练集，剩余数据划为测试集。
[0106]
单体产品端本地预测是各个单体产品在本地利用自身的数据训练出一个本地的寿命预测模型，之后将模型的权重参数上传给中央服务器端。本发明的单体产品端本地预测模型利用lstm模型，三个单体产品端均采用相同的模型结构。其模型结构包括两个lstm层，两个dropout层防止过拟合和一个顶层的预测输出层。前两个lstm层的激活函数为tanh(双曲正切)，最后输出层dense层的激活函数为linear(线性)，dropout rate设定为0.3。其中dropout rate的设定要经过多次尝试，当模型过拟合时要增大dropout rate，当模型出现欠拟合时要减小dropout rate，最终确定当dropout rate为0.3时模型的拟合效果较好，模型结构具体见图9所示。模型训练过程中，批训练样本batch_size＝32，单个样本输入数据长度为50，输出数据长度为1，即用前50个数据预测第51个数据，模型训练选择优化器rmsprop，学习率为0.001，训练次数epochs为20。
[0107]
利用上述模型分别对25℃温度条件下采集到的a、b、c三种型号的锂电池数据进行寿命预测并记录预测结果准确度，每次输入一种型号电池的一个样本的退化数据，得到的部分结果如图10所示。根据两条曲线的重合程度可以看出预测效果，根据图像来看预测效果整体上可以接受，但是也存在少数预测结果误差较大的情况，如b_2006、c_3006。
[0108]
中央服务器端的模型便是最终的全局预测模型，为了使全局模型对每个单体产品的数据均有较好的预测效果，全局寿命预测模型依然利用lstm网络进行搭建。
[0109]
为了便于全局模型最后的收敛以及处理单体设备传输的权重等参数，全局模型采用与单体设备端预测模型相似的模型结构，包括两个lstm层，两个dropout层防止过拟合和一个顶层的预测输出层。模型训练过程中，批训练样本batch_size＝32，单个样本数据长度为50，模型训练选择优化器adam，学习率为0.001，训练次数epochs为20。
[0110]
按照之前本发明所公开的内容，首先要汇总处理单体产品端权重参数，之后要考虑选择哪一部分作为下一轮迭代的单体产品端预测模型初始化参数。
[0111]
首先介绍单体产品端权重参数的汇总处理过程，中央服务器获取到单体产品传输的权重需要做进一步处理，按照前述内容是利用loss值对权重值进行加权处理。如式(2)所示，w
i
代表第i个产品端预测模型的权重，loss
i
代表第i个产品端预测模型的损失值，w则代表着中央服务器预测模型的权重。中央服务器计算得出的w之后会下发给单体产品端用以更新权重，在进行实际操作中，发现将单体设备端和中央服务器端的通信次数设定为20便可以达到较好的预测效果。
[0112][0113]
将a型号1个样本和b型号7个样本以及c型号5个样本的锂电池数据搭配组合，共计有35种组合方式，每个组合的3个样本作为单体设备数据在单体产品端本地预测模型处训练，获得权重参数w
i
和损失参数loss
i
，经过加权平均处理后获得处理后的的权重w，随后将这些权重参数下发给各个单体产品用于更新模型。
[0114]
之后介绍选择哪一部分作为下一轮迭代的本地预测模型初始化参数，共计以下三
种方案，具体如图11所示。第一种方法是直接采用前一轮本地寿命预测模型的结构，保证模型结构不变，冻结前四层的权重参数和结构参数，之后将其余层的权重随机化，进行下一轮训练，输入前50个时刻的状态数据，输出下一时刻的状态数据。第二种是采用前一轮本地寿命预测模型的结构，保证模型结构不变，冻结第三层和第四层的权重参数和结构参数，之后将其余层的权重随机化，得到新的模型。第三种方法是采用前一轮本地寿命预测模型的结构，保证模型结构不变，冻结前两层的权重参数和结构参数，并将其余层的权重随机化，得到新的模型。
[0115]
按照第一种方案的思想，直接采用前一轮本地寿命预测模型的结构，保证模型结构不变，冻结前四层的权重参数和结构参数，之后将其余层的权重随机化，进行下一轮训练，经过统计其预测结果平均准确度为95.48％，预测结果部分绘图如12所示。
[0116]
按照第二种方案的思想，采用前一轮本地寿命预测模型的结构，保证模型结构不变，冻结第三层和第四层的权重参数和结构参数，之后将其余层的权重随机化，得到新的模型。预测结果平均准确度为95.55％，相比第一种方案，准确度略有提升，预测结果部分绘图如图13所示。
[0117]
采用第三种方案的思想，保持前一轮本地寿命预测模型的结构不变，冻结前两层的权重参数和结构参数，并将其余层的权重随机化，得到新的模型。得到的预测结果平均准确度为95.72％，准确度相较于方案二又有了一些提高。预测结果部分绘图如图14所示。
[0118]
统计中央服务器端全局模型预测结果和单体产品端本地模型预测结果的准确度如下表所示。根据下表可以计算得出，单体产品端本地模型预测结果平均准确度为95.17％，而中央服务器端全局模型预测结果平均准确度分别为95.48％、95.55％、95.72％，可以看出相较于本地预测模型的准确度，中央服务器端全局模型的预测结果准确度有了一定的提升，最后根据准确度选择方案三作为迁移学习策略。
[0119]
表5.3预测结果准确度统计
[0120][0121]
在本实施例中，按照本发明所公开的lstm模型及构建方法对锂电池样本的剩余寿命进行了预测，根据预测结果的图像和准确度记录来看，显然，使用基于lstm的预测模型对锂电池样本的剩余寿命进行预测，可以有效提高预测结果的准确度。
[0122]
本发明针对群体产品寿命预测的lstm方法进行了研究。针对群体产品剩余寿命预测的问题，本发明提出了一种具体实现方法。首先在各单体产品端进行本地寿命预测模型的预测，之后处理本地模型的参数，然后在单体产品端迁移部分处理过的参数进行下一轮
迭代，最终得到一个全局寿命预测模型，该方法可以在保证数据不泄露的前提下，最大化利用已有的数据，有利于提升寿命预测结果的准确度。
[0123]
在中央服务器端全局寿命预测模型处对现有的fedavg算法进行了改进，不是根据产品端数据量的多少分配权重系数，而是按照产品端寿命预测模型的损失值分配权重系数，损失值较大的寿命预测模型的权重系数也相应较大，这样有助于提升全局寿命预测模型的准确度。
[0124]
综上所述，尽管已经参考附图所示的实施例描述了本发明，但是可在不脱离权利要求范围的情况下使用等同或替代手段。本发明所描述和图示的组件仅仅是可以用于实现本公开的实施例的系统/设备和方法的示例，并且可以在不脱离权利要求范围的情况下用其他设备和组件进行替换。