基于Transformer的深度学习电池荷电状态预估系统及方法与流程

基于transformer的深度学习电池荷电状态预估系统及方法
技术领域
1.本发明涉及电池soc在线预测技术领域，具体地说，涉及一种基于transformer的深度学习电池荷电状态预估系统及方法。


背景技术：

2.锂电池具有储能密度高、使用寿命长、自放电率低、重量轻、绿色环保等优点，目前已经广泛应用于手机、笔记本电脑、电动工具、新能源汽车等多种日常生活场景。其中，荷电状态（soc）是电池使用过程中的关键指标。精确的估计荷电状态在防止过充和过放、提高电池能量利用率、保障电池系统安全性和稳定性方面具有重要的意义，为后续优化整车能量分配提供了必要的条件。若无法准确测量电池的荷电状态，锂电池可能面临过充和过放电的状况，这都会对电池造成损伤，甚至在电池内部会出现不良的电化学反应，进而缩短电池的使用寿命。极端情况下，过充电可能会导致电池发热严重，引发热失控，导致严重的事故。另外在使用过程中，若无法准确测量电池的荷电状态，则无法预测电动汽车的剩余可行驶里程，极容易引发行驶过程中突然抛锚，导致交通事故。
3.电池的荷电状态（soc）的数据定义如下：其中，表示当前剩余电荷量，表示满电时最大电荷量。也即，电池的荷电状态（soc）能够直接反映电池使用过程中可以提供的剩余电荷量，或充电过程中已经充入的电荷量。
4.荷电状态的精确估计是工业界的难题，精确估计电池的荷电状态能够有效地避免电池过充和过放，减少电池损伤，提高电池的使用寿命。
5.目前研究预测锂电池荷电状态的方法主要分为四类：安时积分法，开路电压法，数据驱动法和基于模型的方法。其中，安时积分法是对电流在时间维度上进行积分估计电池的荷电状态，简单易于实现；但是随着时间增加，累计误差会越来越大。其中，开路电压法是通过建立电池离线开户电压和soc之间的关系，但是在实际使用中由于电池充放电电流不断变化，难以应用于电池soc的在线估计。其中，数据驱动法通过积累大量的数据，再基于机器学习和深度学习模型学习估计电池的soc。其中，基于模型的方法包含基于电化学模型和基于等效电路模型的soc估计方法，电化学模型过于复杂，难以求解，难以用于锂电池soc的在线估计。
6.目前，工业界当前普遍采用安时积分法估计荷电状态。该方法简单易实现，但是具有较强的局限性。主要在于：安时积分法模型中考虑的因子单一，缺乏反馈校正能力，随着电池使用次数增加，预估精度大幅下降。


技术实现要素：

7.基于现有对电池荷电状态估计的精度较差的问题，本发明提出了一种基于
transformer的深度学习电池荷电状态预估系统，并基于该系统提出了一种基于transformer的深度学习电池荷电状态预估方法，故而能够较佳地实现锂电池荷电状态的在线高精度预测。
8.根据本发明的一种基于transformer的深度学习电池荷电状态预估系统，其包括，其包括：全连接神经网络，其用于对电池特征序列r及电池初始状态序列s进行处理并输出；transformer神经网络，其用于对电池充放电过程序列t进行处理并输出；线性融合层，其用于对输出和输出进行拼接并加权计算以获取预测的电池soc，；以及输出层，其用于输出。
9.本发明中，通过线性融合层能够将全连接神经网络和transformer神经网络的输出进行融合并输出，故而能够较佳地综合考虑到电池特性、电池初始状态、电池充放电过程的参数在时间轴上的变化对电池soc的影响，使得其能够具备更佳的鲁棒性。
10.作为优选，全连接神经网络具备多个全连接层，对于第l层全连接层，其公式为：其中，和分别表示第l层全连接层的权重项和偏置项，为第l层全连接层的输入，为第l层全连接层的输出并作为第l 1层全连接层的输入，为激活函数。故而能够较佳地实现对电池特征序列r及电池初始状态序列s的处理。
11.作为优选，transformer神经网络具有encoder网络和decoder网络，encoder网络具有encoder多头注意力机制层，decoder网络具有decoder多头注意力机制层。故而能够较佳地实现对电池充放电过程序列t的处理。
12.作为优选，encoder多头注意力机制层包括多个encoder自注意力机制层和全连接层，每个encoder自注意力机制层均具有参数矩阵、和；对于encoder网络中的第m个encoder自注意力机制层，其参数矩阵分别为、和；所述第m个encoder自注意力机制层用于获取如下矩阵：所述第m个encoder自注意力机制层用于获取如下矩阵：所述第m个encoder自注意力机制层用于获取如下矩阵：其中，为encoder多头注意力机制层的输入，encoder多头注意力机制层能够具有多个，第一个encoder多头注意力机制层的输入即为电池充放电过程序列t，且上一个encoder多头注意力机制层的输出作为下一个encoder多头注意力机制层的输入；所述第m个encoder自注意力机制层在获取、和后，其通过如下计算获取输出矩阵：
其中，为参数矩阵的维度。
13.通过上述，能够较佳地实现对电池充放电过程序列t的处理。
14.作为优选，所述多个encoder自注意力机制层用于输出i个输出矩阵，i为所述多个自注意力机制层的总数；全连接层用于依据如下运算获取对应encoder多头注意力机制层的输出：其中，为全连接层的参数矩阵，表示将矩阵进行拼接。
15.故而能够较佳地实现全连接神经网络和transformer神经网络的输出结果的拼接及加权计算。
16.根据本发明的一种基于transformer的深度学习电池荷电状态预估系统方法，其包括如下步骤：步骤s1、构建上述的深度学习电池荷电状态预估系统；步骤s2、系统训练；步骤s3、在电池放电或充电过程中，采集其电池特征序列r、电池初始状态序列s及电池充放电过程序列t，并通过训练完成的深度学习电池荷电状态预估系统预测其soc并输出。
17.通过上述步骤s1
‑
s3，，通过构建全连接神经网络和transformer神经网络，能够同时对影响电池soc的多种特征作为依据，实现对电池soc预测，其能够显著提高荷电状态的预估精度，从而保障电池的安全和稳定。
18.作为优选，步骤s2包括如下步骤，步骤sa、采用高斯分布随机初始化每个网络层的超参数；步骤sb、构建训练样本集；步骤sc、构建损失函数，并通过随机梯度下降（gradient descent）不断更新网络参数使得模型的loss最小。
19.故而能够较佳地实现深度学习电池荷电状态预估系统的训练。
20.作为优选，步骤sb中，在试验室条件下模拟锂电池的充电和放电过程，并依照电芯材质、生产日期、电芯数、bms型号、初始soc、初始循环次数和初始soh进行分组，同时在充电和放电过程中对电压、电流、温度和压差进行采集，并形成时间序列，同时在每次采样时均通过技术检测手段获取当前电池的真实soc；之后即可以真实soc作为标签，以其余数据作为特征地构建训练样本集。故而能够较佳地获取训练样本集。
21.作为优选，步骤sc中，所构建的损失函数为l2损失函数。故而能够较佳地实现对训练效果的评价。
附图说明
22.图1为实施例1中的一种基于transformer的深度学习电池荷电状态预估系统的示意图；图2为实施例1中的encoder网络和decoder网络的示意图；图3为实施例1中的一种基于transformer的深度学习电池荷电状态预估系统的训练流程示意图。
具体实施方式
23.为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。
24.实施例1结合图1所示，本实施例提供了一种基于transformer的深度学习电池荷电状态预估系统，其包括：全连接神经网络，其用于对电池特征序列r及电池初始状态序列s进行处理并输出至；transformer神经网络，其用于对电池充放电过程序列t进行处理并输出；线性融合层，其用于对输出和输出进行拼接并加权计算以获取预测的电池soc，；以及输出层，其用于输出。
25.本实施例中，能够同时构建电池特征序列r、电池初始状态序列s及电池充放电过程序列t。
26.其中，电池特征序列r所表征的为电池的固有特性，如电芯材质、生产日期、电芯数、bms型号等，故能够较佳地将电池的不同固有特性作为soc的预测依据，故而能够较佳充分考虑到对电池soc产生影响的特征。
27.其中，电池初始状态序列s表征的为电池开始充电或放电时的初始状态、如初始soc、初始循环次数及初始soh等，故能够较佳地将电池充放电过程的初始参数引入soc的预测中，故而能够较佳充分考虑到对电池soc产生影响的特征。
28.其中，电池充放电过程序列t表征的为电池充放电过程中的参数的时间序列，如电压、电流、压差、温度等参数，故而能够较佳地实现依据时间轴上的数据对soc的预测，故而使得预测结果更加科学、合理。
29.此外，本实施例中，能够通过transformer神经网络对电池充放电过程序列t进行处理，故而使得其能够具备优秀的非线性拟合能力，且相比于如rnn等循环神经网络，由于其能够并行执行指令，故而具有更快的处理速度。
30.此外，本实施例中，能够通过全连接神经网络实现对电池特征序列r及电池初始状态序列s的处理，故而能够充分考虑到不同类别、不同初始状态对电池soc的影响，故而使得本实施例中的深度学习电池荷电状态预估系统能够具备更强的适应性。
31.本实施例中，通过线性融合层能够将全连接神经网络和transformer神经网络的输出进行融合并输出，故而能够较佳地综合考虑到电池特性、电池初始状态、电池充放电过
程的参数在时间轴上的变化对电池soc的影响，使得其能够具备更佳的鲁棒性。
32.本实施例中，全连接神经网络能够具备多个全连接层，对于第l层全连接层，其公式为：其中，和分别表示第l层全连接层的权重项和偏置项，其通过训练获取；其中，为第l层全连接层的输入，为第l层全连接层的输出并作为第l 1层全连接层的输入；为激活函数，本实施例中，激活函数采用relu函数，即。
33.本实施例中，电池特征序列r的特征包括电芯材质、生产日期、电芯数及bms型号，其对于类型类特征进行embedding操作，即可较佳地转化成便于机器处理的语言；故而能够较佳地实现对电池固有特性的采集。
34.本实施例中，电池初始状态序列s中的特征包括初始soc，初始循环次数以及初始soh。故而能够较佳地采集电池充电或放电开始时的如初始soc、初始循环次数、初始soh等数值。
35.本实施例中通过构建电池特征序列r和电池初始状态序列s，能够较佳地将电池的固有特性及初始状态作为影响因素引入对电池soc的判定中，故而使得判定结果更具备可信性。
36.其中，全连接神经网络的最终输出为。
37.通过本实施例中所构建的全连接神经网络，即可较佳地实现对电池特征序列r及电池初始状态序列s的处理。
38.结合图2所示，本实施例中的transformer神经网络具有encoder网络和decoder网络，encoder网络具有encoder多头注意力机制层，decoder网络具有decoder多头注意力机制层。
39.在encoder网络中，encoder多头注意力机制层包括多个encoder自注意力机制层和全连接层，每个encoder自注意力机制层均具有参数矩阵、和；对于encoder网络中的第m个encoder自注意力机制层，其参数矩阵分别为、和。
40.所述第m个encoder自注意力机制层用于获取如下矩阵：所述第m个encoder自注意力机制层用于获取如下矩阵：所述第m个encoder自注意力机制层用于获取如下矩阵：其中，为encoder多头注意力机制层的输入，可以理解的是encoder多头注意力机制层能够具有多个，第一个encoder多头注意力机制层的输入即为电池充放电过程序列t，且上一个encoder多头注意力机制层的输出作为下一个encoder多头注意力机制层的输入。
41.所述第m个encoder自注意力机制层在获取、和后，其通过如下计算获取输出矩阵：
其中，为参数矩阵（即、和）的维度。
42.可以理解的是，所述多个encoder自注意力机制层能够输出i个输出矩阵，i为所述多个自注意力机制层的总数。
43.之后全连接层能够依据如下运算获取对应encoder多头注意力机制层的输出：其中，为全连接层的参数矩阵，表示将矩阵进行拼接。
44.在decoder网络中，decoder多头注意力机制层具有多个decoder自注意力机制层、encoder
‑
decoder注意力机制层以及全连接层。
45.类似于encoder网络中的encoder自注意力机制层，每个decoder自注意力机制层及encoder
‑
decoder注意力机制层也均具有参数矩阵、和；且在encoder
‑
decoder注意力机制层中，以encoder网络的输出作为其参数矩阵和，以对应decoder多头注意力机制层的输出作为参数矩阵。
46.在decoder网络中，其运算方法与encoder网络的运算方法一致，故不予赘述。
47.通过decoder网络能够获取transformer神经网络的最终输出。
48.在获取全连接神经网络的最终输出和transformer神经网络的最终输出后，线性融合层能够依据如下公式获取最终输出：其中，为线性融合层的权重矩阵，为线性融合层的偏置，为拼接操作。
49.其中，即为最终预测的电池soc。
50.本实施例中，所构建的电池充放电过程序列t，通过在电池充电或放电过程中的n个采样获取，每次采样时，获取当前的电压、电流、温度和压差数据，故电池充放电过程序列t能够表示为：本实施例中，在每完成一次采样后，电池充放电过程序列t即会进行更新，在每次更新后，即能够进行一次预测，故而能够实时获取当前电池的预测soc。
51.通过上述即可较佳地实现对电池充放电过程序列t的处理。
52.基于上述，本实施例还提供了一种基于transformer的深度学习电池荷电状态预估系统方法，其包括如下步骤：步骤s1、构建深度学习电池荷电状态预估系统；步骤s2、系统训练；步骤s3、在电池放电或充电过程中，采集其电池特征序列r、电池初始状态序列s及
电池充放电过程序列t，并通过训练完成的深度学习电池荷电状态预估系统预测其soc并输出。
53.通过上述步骤s1
‑
s3，能够较佳地实现对电池soc的预测。本实施例中的方法，归属于数据驱动法，通过构建全连接神经网络和transformer神经网络，能够同时对影响电池soc的多种特征作为依据，实现对电池soc预测，其能够显著提高荷电状态的预估精度，从而保障电池的安全和稳定。
54.此外本实施例的深度学习电池荷电状态预估系统在搭建完成后，需要对其进行训练，结合图3所示，其具体步骤如下：步骤sa、采用高斯分布随机初始化每个网络层的超参数；步骤sb、构建训练样本集；该步骤中，在试验室条件下模拟锂电池的充电和放电过程，并依照电芯材质、生产日期、电芯数、bms型号、初始soc、初始循环次数和初始soh进行分组，同时在充电和放电过程中对电压、电流、温度和压差进行采集，并形成时间序列，同时在每次采样时均通过技术检测手段获取当前电池的真实soc；之后即可以真实soc作为标签，以其余数据作为特征地构建训练样本集；步骤sc、构建损失函数，并通过随机梯度下降（gradient descent）不断更新网络参数使得模型的loss最小。
55.步骤sc中，所构建的损失函数为l2损失函数。
56.通过上述，能够较佳地实现模型的训练。
57.以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。