一种基于大语言模型的分布式因果效应估计方法

摘要: 本发明涉及因果推断,具体为一种基于大语言模型的分布式因果效应估计方法。背景技术:1、随着大语言模型的发展,利用此类模型将非结构化数据(如文本评论、医学记录、图像...
一种基于大语言模型的分布式因果效应估计方法

本发明涉及因果推断,具体为一种基于大语言模型的分布式因果效应估计方法。

背景技术:

1、随着大语言模型的发展,利用此类模型将非结构化数据(如文本评论、医学记录、图像)编码为高质量的数值向量,已成为构建预测与因果分析模型的重要特征工程手段。然而,当此类分析需要在多个数据持有方(如不同医院、企业分支机构)协同进行的分布式场景下开展时,现有技术主要存在如下缺陷:

2、(1) 集中式处理方案存在根本性局限。

3、为获得全局一致的因果效应估计,最直接的方案是将所有参与方的原始数据或由其生成的高维嵌入向量集中至一处进行处理。然而,这种方式需传输大量敏感原始数据,且高维嵌入向量的传输会带来巨大的通信开销,在网络带宽受限的分布式环境中难以实施。

4、(2)现有分布式因果推断方法的局限性。

5、当前主流方法如基于双重机器学习(dml)的分布式因果推断,要求各参与方独立训练复杂的机器学习模型以估计倾向得分或结果方程,随后通过多轮迭代在参与方向同步模型参数或梯度。该方案存在如下缺陷:首先,各参与方需要训练复杂的模型,计算负担沉重;其次,多轮的模型参数或梯度传输导致通信轮次多、整体开销大,对分布式网络的稳定性与延迟提出了高要求。近年来出现了一些基于联邦学习的因果推断方法。例如,中国发明专利cn119990785b公开了一种基于双稳健学习的建成环境与交通事故因果效应分析方法,该方法通过联邦学习框架实现跨区域数据协同分析,结合生成对抗网络生成反事实场景,并耦合双重稳健学习框架量化因果效应。然而,这类基于联邦学习的方案存在以下不足:其一,联邦学习需要多轮通信传输模型参数或梯度,通信开销依然较大;其二,各参与方需训练gbdt、神经网络等复杂模型,计算负担较重;其三,联邦学习采用近似聚合策略,无法保证分布式估计结果与集中式处理结果的数学等价性。

6、(3)简单分布式回归的性能缺陷。

7、各参与方直接在本地高维嵌入向量与处理变量、结果变量间进行线性回归,再将回归系数上传至中心进行平均。这种方案虽计算简单,但其估计结果存在严重问题:由于高维嵌入向量通常存在共线性,且各参与方本地数据分布可能存在差异,简单平均所得估计量的方差较大,估计结果不稳定,且无法保证与集中式处理结果的一致性,估计性能显著下降。

技术实现思路

1、本发明的目的在于提供一种基于大语言模型的分布式因果效应估计方法,其采用随机投影降维与仅上传充分统计量的策略,各参与方无需传输原始高维数据或复杂模型参数,通信负载极低;同时,各参与方仅需进行线性代数运算,避免了训练复杂模型的开销;各参与方使用相同的投影矩阵,中心通过聚合统计量精确重构全局问题,确保了分布式估计结果与集中式处理的数学一致性。

2、为实现上述目的,本发明提供如下技术方案:一种基于大语言模型的分布式因果效应估计方法,包括以下步骤:

3、步骤s1、统一特征提取:各参与方采用相同的大语言模型将本地非结构化协变量数据编码为高维数值向量;

4、步骤s2、随机投影降维:各参与方使用相同的稀疏随机投影矩阵,对所述高维数值向量进行降维,得到降维特征;

5、步骤s3、分布式充分统计量计算与上传:各参与方基于降维特征、处理变量和结果变量,在本地计算充分统计量,并将充分统计量上传至协调方;

6、步骤s4、充分统计量聚合与因果效应估计:协调方聚合各参与方上传的充分统计量,得到聚合统计量,协调方通过求解线性系统方程组,得到因果效应估计量。

7、优选的,步骤s3中,所述充分统计量至少包括样本量、由降维特征与处理变量构建的二阶矩矩阵、由降维特征、处理变量与结果变量构建的交互矩向量以及结果变量平方和。

8、优选的,步骤s3中,各参与方在上传充分统计量之前,采用加法同态加密算法对充分统计量进行加密处理。

9、优选的,步骤s4中,所述聚合统计量包括:对样本量求和得到的总样本量,对二阶矩矩阵求和得到的全局二阶矩矩阵,对交互矩向量求和得到的全局交互矩向量,对结果变量平方和求和得到的全局平方和。

10、优选的,步骤s4中还包括结果验证:协调方将聚合统计量与集中式处理计算得到的统计量进行比对,验证分布式计算结果的数学一致性。

11、优选的,所述因果效应估计量为平均处理效应,协调方通过求解线性系统方程组得到全局回归系数向量,全局回归系数向量对应于处理变量的系数,为平均处理效应估计值。

12、优选的,所述线性系统方程组还包括:基于聚合统计量和全局回归系数向量估计误差方差;并计算平均处理效应估计值的标准误,构建置信区间。

13、与现有技术相比,本发明的有益效果如下:

14、1、本发明通过随机投影降维与仅上传充分统计量的策略,各参与方无需传输原始高维大语言模型嵌入向量,降低了通信负载。同时,整个流程仅需一轮通信,避免了联邦学习等多轮交互方案带来的通信延迟。在计算方面,各参与方仅需进行线性代数运算,无需训练双重机器学习、gbdt等复杂模型,降低了计算负担。

15、2、本发明通过随机投影对高维特征进行正则化,能抑制噪声与冗余,相比直接在原始高维特征上回归,能获得更稳定、偏差更小的估计量;通过中心聚合充分统计量进行一次性求解,其估计精度理论上优于对各参与方局部结果进行简单平均的方法。

16、3、本发明通过各参与方使用相同的随机投影矩阵,以及基于充分统计量的精确聚合机制,确保了分布式估计结果与将所有数据集中后进行普通最小二乘回归的结果在数学上完全等价。

17、4、本发明的各参与方原始数据、降维特征、处理变量及结果变量均保留于本地,仅共享不可逆的充分统计量,满足了数据隐私的要求。本发明可采用加法同态加密对上传的统计量进行加密,实现更强的隐私保护。

1.一种基于大语言模型的分布式因果效应估计方法,包括以下步骤:

2.根据权利要求1所述的一种基于大语言模型的分布式因果效应估计方法,其特征在于:步骤s3中,所述充分统计量至少包括样本量、由降维特征与处理变量构建的二阶矩矩阵、由降维特征、处理变量与结果变量构建的交互矩向量以及结果变量平方和。

3.根据权利要求1所述的一种基于大语言模型的分布式因果效应估计方法,其特征在于:步骤s3中,各参与方在上传充分统计量之前,采用加法同态加密算法对充分统计量进行加密处理。

4.根据权利要求1所述的一种基于大语言模型的分布式因果效应估计方法,其特征在于:步骤s4中,所述聚合统计量包括:对样本量求和得到的总样本量,对二阶矩矩阵求和得到的全局二阶矩矩阵,对交互矩向量求和得到的全局交互矩向量,对结果变量平方和求和得到的全局平方和。

5.根据权利要求4所述的一种基于大语言模型的分布式因果效应估计方法,其特征在于:步骤s4中还包括结果验证:协调方将聚合统计量与集中式处理计算得到的统计量进行比对,验证分布式计算结果的数学一致性。

6.根据权利要求5所述的一种基于大语言模型的分布式因果效应估计方法,其特征在于:所述因果效应估计量为平均处理效应,协调方通过求解线性系统方程组得到全局回归系数向量,全局回归系数向量对应于处理变量的系数,为平均处理效应估计值。

7.根据权利要求6所述的一种基于大语言模型的分布式因果效应估计方法,其特征在于:所述线性系统方程组还包括:基于聚合统计量和全局回归系数向量估计误差方差;并计算平均处理效应估计值的标准误,构建置信区间。