一种基于知识蒸馏与物理结构提取的变压器磁场预测模型的轻量化方法

本技术涉及物理场仿真方法，尤其涉及基于机器学习的变压器物理场仿真方法。

背景技术：

1、随着电力设备数字孪生技术的发展，高精度深度学习模型在变压器磁场预测中展现出卓越性能。然而，高精度模型往往伴随着较大的参数量和较长的推理时间，使用基于多头注意力机制与多物理约束的图神经网络模型在变压器磁场预测任务中展现出了良好的预测精度。然而，高精度的物理映射不可避免地伴随着庞大的算力开销。在图注意力的前向推理与状态更新过程中，不仅需要动态检索空间连通边以构建邻接矩阵，更需要计算复杂的多头注意力系数矩阵，并依赖高阶自动微分引擎频繁提取海森矩阵以校准物理定律残差。这种极其沉重的运算量使得模型难以直接下沉部署至算力、内存双重受限的工业现场边缘监测终端。

2、物理结构嵌入神经网络（physics structure informed neural networks，ψ-nn）是一种全新的物理信息嵌入方法。ψ-nn将知识蒸馏理念引入物理信息学习，构建“教师-学生”双网络协同优化机制，通过蒸馏过程实现物理约束与参数正则化的解耦，进而自动提取具有物理意义的网络结构，实现高精度与轻量化的统一。

技术实现思路

1、本技术提供了一种基于知识蒸馏与物理结构提取的变压器磁场预测轻量化方法，以解决高精度的变压器物理场预测代理模型算力开销过大，难以在硬件受限的工业边缘计算终端进行部署的技术问题。

2、本技术采用的技术方案如下：

3、一种基于知识蒸馏与物理结构提取的变压器磁场预测模型的轻量化方法，包括以下步骤：

4、步骤1：获取变压器的运行工况参数，并输入至预先训练完成的包含物理信息的教师网络中，输出变压器内部磁场预测结果；

5、步骤2：构建基于前馈架构的轻量化学生网络，以教师网络所述生成的磁场为拟合目标，通过计算蒸馏损失与参数正则化损失的线性叠加，对该学生网络进行物理启发式训练；

6、步骤3：对完成蒸馏训练的所述学生网络的隐藏层权重进行层次聚类分析，具体包括：提取各隐藏层权重的绝对值作为特征向量，利用层次聚类算法将绝对数值接近的权重参数集自适应地划分为不同的类簇；计算每个类簇的中心，并使用带有原符号的聚类中心替代原始权重，从而提取出包含参数共享与反对称关系的核心关系矩阵r；

7、步骤4：利用所述物理关系矩阵约束并重构所述学生网络的权重参数，完成物理结构的硬编码嵌入，得到重构后的轻量化模型；

8、步骤5：在不同环境下将变压器运行参数输入至重构后的轻量化模型中，输出变压器内部磁场分布的预测结果。

9、进一步地，所述步骤1中变压器的运行工况参数为：单相变压器一次侧、二次侧绕组电流以及一次侧、二次侧绕组感应电压；教师网络为物理信息图神经网络模型，该模型依次包括：一个输入层、三个注意力层以及一个输出层；

10、对物理信息图神经网络模型进行训练的损失函数包括：物理损失和数据损失；其中物理项损失包含：散度、平滑度与边界条件的三项核心物理残差损失；

11、构建散度残差损失如式（1）；

12、（1）；

13、式中，n为样本数，为网络输出第i个空间节点处的磁感应强度，表示梯度算子，表示第i个空间节点；

14、平滑损失如式（2）；

15、（2）；

16、式中，m为内部磁场点总数，表示梯度算子，表示第j个内部空间节点，为网络输出第j个内部空间节点处的磁感应强度；

17、在变压器外部引入狄利克雷边界条件，残差损失如式（3）；

18、（3）；

19、式中，l为边界磁场点总数，为边界权重，表示约束的强度，表示第k个边界节点，为网络输出第k个边界点的磁感应强度，ui为第i个边界点的边界值；总目标损失函数定义为数据损失与多项物理损失的加权和，如式（4）；

20、（4）；

21、式中，，和分别为散度约束、平滑性约束、边界条件约束损失项的权重，为数据损失。

22、进一步地，步骤2中学生网络依次包括：输入层、5个隐藏层、输出层，输出层不添加激活函数，其余每一层添加激活函数tanh；优化函数采用adam，学生网络的总损失函数为蒸馏损失与正则化项的线性叠加，不含物理项损失，如式（5）；

23、（5）；

24、式中，为学生网络的参数，为权重系数；

25、（6）；

26、式中，l是网络层数，为第l层的正则化权重，决定l2正则化对第l层的惩罚力度，是第l层的参数；

27、额外设置一个基准学生网络，该网络在网络层数、神经元个数、激活函数与学生网络保持一致，但使用与教师相同的损失函数，即包含物理项和数据项的损失，而没有蒸馏损失。

28、进一步的，所述步骤3的具体方法为：

29、步骤3.1：为保留参数的符号特征，首先提取第l层权重的绝对值，如式（7）；

30、（7）；

31、步骤3.2：将作为特征向量进行hac聚类，根据设定的距离阈值或层级结构，将参数自适应地划分为k个不同的类，如式（8）；

32、（8）；

33、每一个类都是同一层神经网络中绝对数值极其接近的权重参数集；

34、步骤3.3：计算每个类的中心，如式（9）；

35、（9）；

36、表示第l层的第i个参数；然后用带有原符号的聚类中心替代更新权重如式（10）；

37、（10）；

38、式中，sgn()为符号函数，如果参数为正数，返回1；如果为负数，返回-1；

39、由返回的数据组成变压器电磁等效拓扑的物理关系矩阵r。

40、进一步地，步骤4中，所述利用所述物理关系矩阵约束并重构所述学生网络的权重参数，具体为：

41、在获取了各隐藏层的物理关系矩阵r后，使用r去约束新初始化的可训练参数，第j层的可训练参数矩阵将受到第j层的物理关系矩阵rj的严格限制，如式（11）；

42、（11）；

43、式中，表示第j层中经聚类后保留的独立可训练参数。按照节点顺序选定的非零可训练参数后，得到严密的参数矩阵，如式（12）；

44、（12）；

45、式中，和分别代表第j层中两组独立的、来源于不同聚类中心的可训练的训练集；

46、转换为标准的权重矩阵即为式（13）；

47、（13）；

48、其中，表示第j层的低秩结构化权重矩阵；和表示该层中来源于不同聚类中心、并通过关系矩阵进行符号翻转、参数共享或位置置换后嵌入网络的两个独立权重子矩阵。

49、采用本技术的技术方案的有益效果如下：

50、本技术公开了一种基于知识蒸馏与物理结构提取的变压器磁场预测轻量化方法。本技术通过知识蒸馏与物理结构提取，实现了物理知识从庞大复杂的教师网络向学生网络的迁移。本技术相比起传统的高精度物理场图注意力网络，切断了算法底层对动态图连通索引、注意力张量计算以及高阶自动微分引擎的依赖，将计算过程转化为底层硬件高度优化的前馈全连接网络的连续稠密矩阵乘法。该方法不仅在底层拓扑中保留了变压器电磁传导宏观物理约束，还大幅提高了模型推理速度，在无高端gpu的纯cpu工业边缘监测终端上即可实现单次秒级的极速推理，满足了变电站复杂物理场在线实时数字孪生的工程需求。