高维非平稳变分推理方法与流程

本发明涉及机器学习与贝叶斯推理，更具体的说是涉及一种高维非平稳变分推理方法。

背景技术：

1、传统贝叶斯推理在面对高维、非平稳、强耦合的随机场时，常因后验分布呈现多模态、重尾及几何奇异性而失效。现有变分推理方法多基于整数阶梯度下降与kullback-leibler散度正则化，无法有效捕捉非马尔可夫动力学中的长时记忆效应与分数阶扩散行为。此外，标准变分下界（elbo）在数据似然高度振荡时收敛至局部伪极值，导致推断偏差无法被现有误差界限控制。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种基于分数阶梯度流与混合熵正则化的变分推理框架的高维非平稳变分推理方法。通过将变分分布嵌入到一个具有分数阶时间导数的wasserstein空间中的动力系统中，并引入一种新型的混合熵泛函，实现对非平稳后验几何结构的自适应逼近。本发明的核心在于：(1)构建分数阶变分梯度流演化方程；(2)定义并计算混合熵正则化项；(3)在高维参数空间中实现非平稳变分参数更新，主要应用于气候-经济耦合系统的极端事件概率预测；高维基因组调控网络的非平稳动力学推断；认知雷达对抗环境下的杂波统计分布盲估计；金融工程中具有随机波动率与分数阶噪声的隐含状态滤波。

2、为实现上述目的，本发明提供了如下技术方案：一种高维非平稳变分推理方法，包括如下步骤：步骤一，将变分分布的时间演化建模为具有caputo分数阶时间导数的连续性方程；步骤二，在自由能泛函中加入由rényi熵与fisher信息泛函线性组合构成的混合熵正则化项；步骤三，采用grünwald-letnikov离散化实现参数更新，其中每一步更新依赖于历史所有时刻的加权平均。

3、作为本发明的进一步改进，步骤一中将变分分布的时间演化建模为具有caputo分数阶时间导数的连续性方程具体如下：设为隐变量，为观测数据序列，定义变分分布的演化服从如下分数阶朗之万方程引导的梯度流：其中：为自由能泛函关于的一阶变分导数；为caputo型分数阶时间导数算子，定义为：该算子引入历史梯度信息的幂律记忆核，使得变分更新具有长时依赖性，为gamma函数。

4、作为本发明的进一步改进，步骤二中在自由能泛函中加入由rényi熵与fisher信息泛函线性组合构成的混合熵正则化项具体如下：构造混合熵泛函：其中：第一项为rényi熵，阶数，用于增强对低概率区域的敏感性，第二项为fisher信息泛函的变体（乘以参数），用于控制概率密度的光滑性及几何曲率；最终优化目标为分数阶变分自由能：其中为温度型正则化系数。

5、作为本发明的进一步改进，步骤三中采用grünwald-letnikov离散化实现参数更新具体如下：设变分分布为高斯混合形式，其中混合系数满足，分数阶变分参数更新方程为：其中：同样为caputo分数阶导数，作用于每个参数的时间轨迹，为步长超参数；表示关于协方差矩阵的矩阵二阶导数，表示hadamard积；采用grünwald-letnikov近似来离散化分数阶导数：其中，为时间步长，为广义二项式系数，使得当前参数更新依赖于历史上所有时刻的参数值，权重呈幂律衰减。

6、作为本发明的进一步改进，步骤二中还包括构造分数阶变分自由能，并推导其对应的分数阶变分下界作为优化目标的理论量化形式的步骤，具体如下：定义分数阶变分证据下界为：其中：为分数阶积分算子，定义为：；为kullback-leibler散度；为混合熵的hessian行列式对数，用于自动调节变分分布的几何复杂度。

7、本发明的有益效果：通过将变分分布的时间演化建模为具有caputo分数阶时间导数的连续性方程，引入了历史梯度信息的幂律记忆核，突破了传统整数阶梯度下降的马尔可夫短视性，能够有效捕捉非平稳动力学中的长时记忆效应与分数阶扩散行为；通过在自由能泛函中加入rényi熵与fisher信息泛函构成的混合熵正则化项，同时增强了对后验分布低概率区域的敏感性和对分布光滑性的控制，能够精准逼近多模态、重尾及具有几何奇异性的高维后验分布；通过采用grünwald-letnikov离散化实现参数更新，使得每一步更新都融合了历史所有时刻的加权信息，保证了非平稳场景下参数演化的连续性与稳定性，避免了传统方法在数据似然高度振荡时收敛至局部伪极值的问题。此外，推导得到的分数阶变分下界提供了严格的理论误差控制，进一步提升了推断结果的可靠性。后续改进分别明确了分数阶朗之万方程的具体形式、混合熵泛函的数学定义、高斯混合分布下的可计算参数更新规则以及理论量化的优化目标，共同构成了完整且高效的高维非平稳变分推理框架。

1.一种高维非平稳变分推理方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的高维非平稳变分推理方法，其特征在于：所述步骤一中将变分分布的时间演化建模为具有caputo分数阶时间导数的连续性方程具体如下：设为隐变量，为观测数据序列，定义变分分布的演化服从如下分数阶朗之万方程引导的梯度流：

3.根据权利要求2所述的高维非平稳变分推理方法，其特征在于：所述步骤二中在自由能泛函中加入由rényi熵与fisher信息泛函线性组合构成的混合熵正则化项具体如下：构造混合熵泛函：

4.根据权利要求3所述的高维非平稳变分推理方法，其特征在于：所述步骤三中采用grünwald-letnikov离散化实现参数更新具体如下：设变分分布为高斯混合形式，其中混合系数满足，分数阶变分参数更新方程为：

5.根据权利要求4所述的高维非平稳变分推理方法，其特征在于：所述步骤二中还包括构造分数阶变分自由能，并推导其对应的分数阶变分下界作为优化目标的理论量化形式的步骤，具体如下：