一种基于差分进化的PINN网络损失权重优化方法与流程

摘要: 本技术涉及智能优化算法领域,尤其涉及一种基于差分进化的pinn网络损失权重优化方法。背景技术:1、偏微分方程被广泛用于热传导、流体力学、电磁场、材料扩散及工业过...
一种基于差分进化的PINN网络损失权重优化方法与流程

本技术涉及智能优化算法领域,尤其涉及一种基于差分进化的pinn网络损失权重优化方法。

背景技术:

1、偏微分方程被广泛用于热传导、流体力学、电磁场、材料扩散及工业过程中连续变化规律的描述。传统的有限差分法、有限元法和有限体积法在规则区域和低维问题上已经较为成熟,但是通常依赖网格剖分和离散近似。当问题具有高维、复杂边界、高频解或需要跨参数快速建模时,传统数值方法的建模和计算成本会显著增加。

2、物理信息神经网络(physics-informed neural networks, pinn)是通过神经网络表示待求解函数,并利用自动微分去计算偏微分方程残差,然后将pde((partialdifferential equations)残差、边界条件、初始条件等物理约束统一写入损失函数。与单纯数据驱动模型相比,pinn能够在少量观测数据甚至无观测数据的情形下利用物理规律去约束网络输出,因此它已成为偏微分方程求解的重要方法之一。

3、然而,在pinn训练过程中,各损失项的数值量级、梯度幅值和收敛速度常常明显不同。若采用固定经验权重去进行简单加权,那么模型可能会过度优化pde残差而忽略边界或初值约束,也可能会因边界项权重过大而导致物理残差收敛不足。尤其在高频解场景中,损失不平衡会使模型训练更容易出现偏置、收敛缓慢和局部误差放大。

4、现有的自适应权重方法通常需要额外的梯度统计、经验规则或问题相关调参,且在不同的方程和不同的频率条件下可迁移性有限。因此,需要一种能够将pinn损失权重视为待优化变量、降低人工调参依赖、同时兼顾搜索质量和计算代价的优化方法。

技术实现思路

1、本发明的目的在于:为了解决pinn训练中损失项权重的设置依赖经验、各物理约束难以协同收敛以及高频场景下固定权重训练稳定性不足的问题,提供一种基于差分进化的pinn网络损失权重优化方法。

2、本技术的上述目的是通过以下技术方案得以实现的:

3、步骤s1:构建待求解偏微分方程对应的物理信息神经网络模型,确定所述物理信息神经网络模型的损失函数,所述损失函数包括至少两项物理约束损失项,所述物理约束损失项包括:偏微分方程残差损失项、边界条件损失项以及初始条件损失项;

4、步骤s2:将各物理约束损失项的权重参数映射至对数搜索空间,在预设的搜索边界内随机生成差分进化算法的初始种群,其中每个种群个体对应一组所述权重参数在对数空间中的编码值;

5、步骤s3:对初始种群中的每一组权重参数解码后,采用该组权重参数对所述物理信息神经网络模型进行训练,获得候选模型;通过适应度函数在固定评价点集上计算每一候选模型的适应度值,所述适应度值基于所述候选模型在所述固定评价点集上的归一化物理损失总量构造;

6、步骤s4:根据所述适应度值,对当前种群执行差分进化的变异操作、交叉操作和贪婪选择操作,更新种群个体;

7、步骤s5:重复执行步骤s3至步骤s5,直至满足预设的终止条件,输出适应度最优的权重参数组合;利用适应度最优的权重参数组合对所述物理信息神经网络模型进行最终训练,输出训练后的物理信息神经网络模型。

8、可选的,步骤s1包括:

9、物理信息神经网络模型包含傅里叶特征映射层,具体操作步骤为:

10、对于输入的坐标变量,先将其线性缩放至预设区间,再通过随机矩阵生成傅里叶特征;将缩放后的坐标变量与傅里叶特征拼接后输入多层全连接网络;傅里叶特征包括:正弦特征和余弦特征;

11、所述偏微分方程包括泊松方程或热传导方程;

12、对于泊松方程,损失函数包括偏微分方程残差损失项和边界条件损失项;

13、对于热传导方程,损失函数包括偏微分方程残差损失项、边界条件损失项和初始条件损失项;

14、所述偏微分方程残差损失项基于网络输出的二阶空间导数与源项之差构造,所述边界条件损失项基于网络输出在边界处的取值构造,所述初始条件损失项基于网络输出在初始时刻与初始分布之差构造。

15、可选的,步骤s2包括:

16、将各物理约束损失项的权重参数映射至对数搜索空间,具体包括:

17、设第项物理约束损失项的权重为,将其映射为,差分进化算法在空间中执行搜索,训练模型时通过解码得到实际损失权重;所述搜索边界在尺度下涵盖至的数量级范围。

18、可选的,步骤s3包括:

19、对物理信息神经网络模型进行训练时,包括预热阶段和主训练阶段:

20、所述预热阶段中,优先优化边界条件损失项和初始条件损失项;

21、所述主训练阶段中,对各物理约束损失项维护指数滑动均值,以各损失项除以其对应的指数滑动均值的方式进行归一化,再乘以差分进化给出的权重参数;

22、所述主训练阶段还包括残差驱动自适应采样步骤:

23、在每次自适应采样时,生成包含候选点倍率个数的候选配置点,计算各候选配置点处的偏微分方程残差绝对值,选取残差最大的困难点并保留其余比例的随机点,将困难点与随机点合并作为当前训练轮的配置点。

24、可选的,步骤s3还包括:

25、适应度函数采用对数形式抑制极端量级差异:

26、对于泊松方程,适应度函数为:

27、

28、对于热传导方程,适应度函数为:

29、

30、其中、、分别为偏微分方程残差损失值、边界条件损失值、初始条件损失值,、、分别为偏微分方程残差损失项、边界条件损失项以及初始条件损失项的特征尺度;和分别表示泊松方程和热传导方程候选权重组合的适应度值。

31、可选的,步骤s3还包括:

32、采用两阶段评价策略:

33、第一阶段以第一训练轮数、第一采样点数量对种群中全部候选权重进行快速适应度估计;

34、第二阶段从第一阶段种群中选取适应度最优的前k个候选权重,以第二训练轮数、第二采样点数量进行精细评价,其中第二训练轮数大于第一训练轮数,第二采样点数量大于第一采样点数量。

35、一种电子设备,包括处理器、存储器、用户接口及网络接口,所述存储器用于存储指令,所述用户接口和网络接口用于给其他设备通信,所述处理器用于执行所述存储器中存储的指令,以使所述电子设备执行一种基于差分进化的pinn网络损失权重优化方法。

36、一种计算机可读存储介质,所述计算机可读存储介质存储有指令,当所述指令被执行时,执行一种基于差分进化的pinn网络损失权重优化方法。

37、本技术提供的技术方案带来的有益效果是:

38、1)将pde残差损失、边界条件损失和初始条件损失分别作为可优化权重项,避免了单一损失主导训练。

39、2)采用了log10空间编码,使权重搜索能覆盖多个数量级。

40、3)以固定评价点集和归一化物理损失构造适应度,保证了不同候选权重之间的评价标准一致。

41、4)采用两阶段候选筛选策略,先低成本粗筛,再对最好的四个候选进行完整训练配置下的精细评价。

42、5)在pinn主训练中引入残差驱动自适应采样和指数滑动均值损失归一化,提高了困难区域的学习能力并减弱了损失量级差异的影响。