一种知识与数据双驱动的因果结构学习及因果效应评估方法

本发明涉及因果推断的，尤其涉及到一种知识与数据双驱动的因果结构学习及因果效应评估方法，可应用于医疗真实世界研究、工业质量分析、公共管理等需要从高维观测数据中识别因果关系并评估干预效应的场景。

背景技术：

1、随着医疗、工业及公共管理等领域的数据采集能力不断提高，实际业务中积累了大量包含人口特征、状态指标、行为记录及结果信息的高维观测数据。对于此类数据，仅判断变量之间是否存在相关性通常不足以支持干预评价和决策，还需要判断某一处理、干预或暴露因素是否会对目标结局产生实际影响。因此，因果效应评估逐渐成为从观测数据中识别变量作用关系、评价干预效果和辅助决策的重要分析方法。

2、高维观测数据下的因果分析通常包括因果结构构建和因果效应估计两个阶段。在因果结构构建阶段，现有方法主要包括两类：一类由领域专家依据已有研究和专业知识人工构建有向无环图；另一类采用快速因果推断（fast causal inference，fci）等因果结构学习算法，根据变量之间的条件独立关系自动学习因果结构。近年来，大语言模型、知识图谱和图神经网络等技术也被用于领域知识提取、变量关系表示及图结构推理。

3、然而，人工构图需要逐一判断变量之间的因果关系，在变量维度较高、领域知识分散的情况下工作量较大。单纯依据观测数据进行结构学习，又难以充分利用文献知识、变量发生时序及既有领域机制。特别是在高维数据中，混杂变量、中介变量、基线变量和碰撞变量等因果角色相互交织，如果变量角色判断不准确，容易导致调整集选择错误，进而影响因果效应估计。现有知识图谱方法虽然能够组织实体关系，但通常缺乏面向因果建模的“节点级可靠度”和“边级可靠度”两级量化机制，难以将知识可信程度与数据驱动结构学习有机融合。

4、在因果效应估计阶段，现有研究通常在确定处理变量、结局变量及调整变量后，采用基于倾向评分的加权方法、结果回归方法或双重稳健估计方法计算因果效应；也有研究利用机器学习模型拟合处理分配机制和结局响应关系，并通过交叉拟合降低过拟合影响。但在高维、非线性场景下，若干扰模型仅依据预测性能进行选择，处理模型可能因预测能力过强而使倾向评分过度集中于0或1，导致处理组与对照组共同支持减弱，并使逆概率加权估计出现较大方差或数值不稳定。

5、此外，现有方法往往仅输出单一平均处理效应，难以反映估计结果对样本范围、模型设定及随机扰动的稳定程度，也难以解释不同对象之间的效应差异及处理作用于结局的潜在传导机制。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种知识与数据双驱动的因果结构学习及因果效应评估方法。

2、为实现上述目的，本发明所提供的技术方案为：

3、一种知识与数据双驱动的因果结构学习及因果效应评估方法，包括以下步骤：

4、s1、根据待解决的因果问题确定处理变量和结局变量，其余待判定变量作为候选变量，依据发生时序和因果属性将候选变量划分为基线协变量、混杂变量、中介变量、工具变量、碰撞变量及待判定状态，建立统一的因果角色与时序规则；

5、s2、以步骤s1的因果角色与时序规则为判定基准，对每一候选变量依次执行显式因果证据抽取、隐式因果路径推理和大语言模型增强因果挖掘三个递进阶段，前一阶段未能识别的候选变量自动进入后一阶段，每个阶段均进行因果角色判定和可靠度量化，输出各候选变量的因果角色、候选变量分别与处理变量和结局变量之间的因果关系、用于评价对应候选变量因果角色可信程度的节点级可靠度、用于评价对应因果关系可信程度的边级可靠度；

6、s3、基于步骤s2输出的结果构建加权因果知识图谱，利用图神经网络对节点级可靠度低于设定阈值或证据残缺状态的候选变量，基于其到处理变量和结局变量的拓扑距离及邻域关联强度计算图拓扑推断得分，完成拓扑补全与因果角色判定，并将节点级可靠度与图拓扑推断得分融合，形成因果角色与最终节点级可靠度先验；

7、s4、将步骤s3形成的因果角色、最终节点级可靠度先验、各候选变量的边级可靠度及处理前后时序信息作为结构先验注入快速因果推断算法，由高置信知识先验关系与其余待检验关系构成初始边集合，利用观测数据的条件独立性检验删减冗余边并推断边方向，再施加因果角色约束与时序约束对初步定向结果进行修正，得到知识与数据双驱动的最终因果图；

8、s5、将步骤s4得到的最终因果图转换为可执行的图结构，依据后门准则检查处理变量与结局变量之间的后门路径，在满足一致性、条件可交换性和正值性条件下，确定由处理前基线协变量和混杂变量构成、且排除中介变量、碰撞变量及结局后代的处理前调整集；

9、s6、以步骤s5确定的处理前调整集为输入特征分别构建候选处理模型和候选结局模型，对候选处理模型先进行倾向评分重叠性诊断，仅当极端倾向评分占比、有效样本量占比及倾向评分分位数满足预设通过条件时，该候选处理模型才允许进入预测性能比较，再结合预测性能从通过重叠性诊断的处理模型与按预测性能筛选的结局模型中确定最优干扰模型组合；

10、s7、将步骤s5确定的调整集、处理变量、结局变量以及步骤s6确定的最优干扰模型组合作为输入，采用折交叉拟合方式训练处理模型与潜在结局模型并在留出折上生成外样本预测，构造双重稳健增广逆概率加权个体效应项，估计平均处理效应及其标准误与置信区间，得到主效应结果；

11、s8、以步骤s7的主效应结果为对象，依次执行共同支持截尾估计、稳定化逆概率加权估计和替代估计的多估计器敏感性分析，对增广逆概率加权估计量进行效应组成分解诊断，并执行安慰剂处理检验、随机混淆变量检验和随机子集稳定性检验的多重反驳检验，验证主效应结果的稳健性；

12、s9、在步骤s7主效应估计完成后，以处理前效应修饰变量预先定义亚组，复用步骤s5确定的调整集和步骤s6已确定的最优干扰模型组合，在各亚组内基于增广逆概率加权个体效应项计算条件平均处理效应，识别效应异质性；

13、s10、在主效应估计完成后，针对步骤s4经结构学习确认且位于处理后的候选中介变量，独立构建处理变量对中介变量的第一阶段回归模型以及同时纳入处理变量、中介变量和调整集的第二阶段结局模型，估计间接效应及其贡献度并进行显著性检验，解析处理变量影响结局变量的直接路径与间接传导路径。

14、进一步地，步骤s2中所述显式因果证据抽取包括：针对每一候选变量，采用分层检索策略，优先检索处理变量、候选变量与结局变量三者共现证据，无三者共现证据时退回检索处理变量与候选变量、候选变量与结局变量的双变量共现证据，检索式为：

15、；

16、表示针对候选变量构建的显式因果知识检索式；

17、将检索获得的文本输入语义解析模型，对文本中明确陈述的因果关系进行结构化解析，依据因果方向判定候选变量的因果角色：

18、；

19、confounder表示混杂变量；mediator表示中介变量；baseline表示基线协变量；表示碰撞变量；instrument表示工具变量；unknown表示待判定状态；

20、设点级关键词匹配强度为、点级因果语义强度为、点级否定修饰修正系数为，则显式基础分数为：

21、；

22、引入否定语义修正后：

23、；

24、再加入点级确定性扰动项，得到最终的显式候选变量因果角色的节点级可靠度：

25、；

26、越接近1，表示候选变量的因果角色具有越充分的直接领域证据；当不存在有效显式证据时，其显式的节点级可靠度取0，并进入隐式因果路径推理；

27、与显式的节点级可靠度计算并行地，对于显式因果证据解析过程中识别出的每一条候选有向因果边，提取直接支持局部有向关系的文本证据片段，形成对应的边级证据集合；

28、对边级证据集合分别计算边级关键词匹配强度、边级因果语义强度、边级否定修饰修正系数，并加入边级确定性扰动项，得到显式的边级可靠度：

29、；

30、其中，和分别表示候选有向因果边的起点变量和终点变量；

31、显式的边级可靠度越接近1，表示领域知识对对应单条有向因果关系的直接支持越充分；当不存在有效局部证据时，边对应的边级可靠度取0。

32、进一步地，步骤s2中所述隐式因果路径推理的过程包括：

33、对于显式证据缺失、角色未知或显式的节点级可靠度低于预设阈值的候选变量，预设三类可解释的隐式因果路径：

34、：；

35、：；

36、：；

37、其中，为与之间的前向桥接变量，为与之间的后向桥接变量，桥接变量由语义解析模型从共现文本集合中自动提取：

38、；

39、其中，表示桥接变量提取函数，表示与共现的领域文本集合，表示与共现的领域文本集合；

40、对于不同路径，采用高优先级路径优先验证、不成立则逐级回退的方式进行知识检索：

41、；

42、为针对候选路径构建的知识检索表达式，为候选路径索引；

43、将参与隐式推演的全部领域知识构成证据链集合，并以路径证据支撑度函数从候选路径中选取唯一最优路径：

44、；

45、；

46、为直接支持候选路径的证据链子集；、和分别为第条证据的关键词匹配强度、因果语义强度和否定修饰修正系数；为证据索引，表示直接支持候选路径的证据条数。

47、若形成有效最优，则按照与显式阶段一致的角色判定规则更新候选变量的因果角色，并采用与显式阶段相同的点级关键词匹配、点级因果语义强度和点级否定修饰修正系数计算隐式候选变量因果角色的可靠度：

48、；

49、；

50、；

51、为三维指标加权、否定修正后且尚未加入扰动项的中间分数；为隐式基础得分；

52、当隐式推演后候选变量因果角色仍为unknown时，其隐式的节点级可靠度取0并进入大语言模型增强因果挖掘；

53、将最优拆分为若干单条候选有向因果边：

54、；

55、其中任一局部有向边表示为：

56、；

57、其中，表示最优路径所包含的局部有向边总数，∈{1,2,…,}为最优路径内的局部有向边索引；

58、对每一条局部有向边，仅采用直接支持该局部关系的证据片段，重新计算该边对应的边级关键词匹配强度、边级因果语义强度、边级否定修饰修正系数和边级确定性扰动项，并按照统一评分函数得到由隐式证据计算的边级可靠度：

59、；

60、步骤s2中所述大语言模型增强因果挖掘包括：对于经显式因果证据抽取和隐式因果路径推理后仍缺乏充分证据的候选变量，采用大语言模型方式自动生成前向桥接变量和后向桥接变量，然后基于新生成的桥接变量重新执行领域知识检索、最优路径筛选、因果角色分类和可靠度量化，且沿用隐式因果路径的角色判定与评分规则，使显式证据、隐式证据和大语言模型增强证据保持统一的角色体系与可靠度尺度；

61、对于大语言模型增强因果挖掘阶段形成有效因果角色的候选变量，采用与所述隐式因果路径推理阶段相同的节点级可靠度评分规则，得到大语言模型增强因果挖掘阶段的节点级可靠度：

62、；

63、；

64、；

65、其中，当大语言模型增强因果挖掘阶段未形成有效因果角色证据或候选变量的因果角色仍为unknown时，令=0；

66、对于大语言模型增强因果挖掘形成的最优路径，按照所述隐式因果路径推理阶段的局部有向因果边拆分方式，将所述最优路径拆分为若干单条候选有向因果边；对于每一条局部有向因果边，仅采用直接支持该局部关系的大语言模型增强因果证据片段，并按照与所述隐式因果路径推理阶段相同的边级可靠度评分规则，得到由大语言模型增强因果证据计算的边级可靠度：

67、；

68、当不存在直接支持所述局部有向因果边的有效大语言模型增强因果证据时，令=0。

69、进一步地，步骤s2最后输出的各候选变量因果角色的节点级可靠度：

70、；

71、为大语言模型增强因果挖掘阶段得到的节点级可靠度；

72、步骤s2最后输出的各候选变量因果关系的边级可靠度：

73、由于显式因果证据、隐式因果证据和大语言模型增强因果证据均按照统一的边级可靠度评分规则映射至同一取值范围的边级可靠度指标，因此三类来源对应的和具有统一量纲和可比性，可进行多源加权融合；

74、基于上述统一可靠度尺度，对显式因果证据、隐式因果证据和大语言模型增强因果证据分别得到的边级可靠度进行多源加权融合：

75、；

76、，为证据来源索引，分别表示显式因果证据、隐式因果证据和大语言模型增强因果证；表示对应的边级可靠度，当时分别对应和；表示来源有效证据指示变量，用于标识对应来源是否形成可用于边级可靠度计算的有效因果证据，当对应来源不存在有效证据时，令，以避免无效来源参与边级可靠度融合；为来源对应证据类型在多源融合中的预设权重，用于反映显式因果证据、隐式因果证据以及大语言模型增强因果证据在边级可靠度融合过程中的贡献比例，∈{0,1}，≥0；当至少一个来源满足时，所述融合公式的分母大于0；若所有来源均满足则令。

77、进一步地，步骤s3：

78、将候选变量映射为知识图谱中的候选变量节点，其节点级可靠度在图节点上的对应记号定义为，同时将处理变量和结局变量作为知识图谱中的核心节点，并构建加权因果知识图谱：

79、；

80、其中，为加权因果知识图谱的节点集合，为候选变量节点子集；为中各节点之间的候选因果有向边集合；为边权重集合； 表示候选变量节点总数；

81、对于任意候选有向因果边加权因果知识图谱的边权重：

82、；

83、计算图拓扑推断得分的过程如下：

84、计算候选变量节点到处理变量和结局变量的最短拓扑距离：

85、；

86、其中，和分别表示在上节点到和节点到的最短拓扑路径长度；

87、距离越小，表示候选变量与核心处理—结局因果通路越接近；随后计算候选变量节点的一阶邻域关联强度：

88、；

89、其中，为候选变量节点的一阶邻接节点集合；表示候选变量节点的一阶邻接节点数量；

90、从而计算得到图拓扑推断得分：

91、；

92、；

93、其中，、和分别表示处理变量距离项、结局变量距离项和邻域关联强度项的权重；基于图拓扑推断得分，采用如下拓扑阈值规则判定用于快速因果推断的候选变量节点的因果角色：

94、；

95、结合图拓扑推断得分计算得到最终节点级可靠度先验：

96、；

97、为证据信任系数，且。

98、进一步地，步骤s4包括：

99、构建初始无向全连接图：

100、；

101、为变量集合；为由大于设定阈值的边级可靠度和其余待检验变量关系共同构成的因果无向边集合；

102、在初始无向全连接图的基础上，通过条件独立性检验逐步剔除冗余虚假关联边：

103、采用fisher-z变换完成变量条件独立性显著性检验，构造检验统计量如下：

104、将fisher变换检验统计量统一记为，标准正态双侧临界值记为；双侧检验以与临界值比较：

105、；

106、其中，和为初始变量集合中的任意两个不同变量，为条件集，为给定条件集时与的样本偏相关系数，为样本量，表示条件集中的变量个数；

107、给定显著性水平，双侧临界值为，按照如下规则保留或删除变量间的关联边：

108、若，拒绝条件独立原假设，保留变量间关联边；

109、若，无法拒绝条件独立原假设，删除冗余关联边；

110、完成边删减后，利用d-分离和碰撞结构定向规则对剩余边进行方向推断；对于三元组，其中 为三个不同变量， 与 相邻、 与 相邻，且 与 不相邻， 为该三元组的中间变量；若 不属于 与 的分离集，则将该三元组定向为碰撞结构：

111、；

112、若属于相应分离集，则不定向为碰撞结构，保留链式或分叉候选结构：或；在初步定向结果基础上，施加因果角色、最终节点级可靠度先验和处理前后时序信息；定义定向约束函数：

113、；

114、为初步定向边集合；为因果角色；为最终节点级可靠度先验；为处理前后时序信息；表示依据因果角色、最终节点级可靠度先验和处理前后时序信息，对初步定向边集合执行方向约束修正并输出的约束函数；表示施加上述约束后得到的最终定向边集合；

115、约束至少包括：处理后变量不得反向指向处理前变量；结局变量不得反向作用于已确认的上游节点；基线协变量和混杂变量作为处理前变量向处理和/或结局方向产生作用；中介变量只承接上游处理作用并向下游结局方向传导；碰撞变量不得作为普通调整节点使用；

116、在得到的基础上得到部分祖先图：

117、；

118、当变量维度高于设定维度阈值时，将变量集合按基线层、中介层和控制层拆分后分别执行快速因果推断算法，再通过图融合运算形成知识与数据双驱动的最终因果图。

119、进一步地，步骤s6包括：

120、将处理模型定义为：

121、；

122、将结局模型定义为：

123、；

124、为处理前调整集；为处理变量；为处理模型；为在给定的条件下，=1的条件概率；为结局变量；为结局模型；为在给定和的条件下，的条件期望；为处理状态取值；

125、构建多个分别用于拟合所述处理模型的候选处理模型，以及多个分别用于拟合所述结局模型的候选结局模型；对所述候选处理模型和候选结局模型分别进行交叉验证；其中，对候选处理模型通过如下公式计算brier分数和对数损失，以评价其预测性能：

126、；

127、；

128、为brier分数；为参与预测性能评价的样本数量；为样本索引；为第个样本的实际处理状态；为候选处理模型在交叉验证过程中对第个样本生成的处理概率预测，即交叉验证预测倾向评分；其中，上标cv表示交叉验证阶段；为对数损失；

129、对候选处理模型按照和计算逆概率权重及有效样本量，并对倾向评分极端值占比、以及倾向评分第1和第99百分位数进行重叠性诊断，为有效样本量，表示第个样本在候选处理模型重叠性诊断中的逆概率权重；仅将满足预设共同支持条件的候选处理模型作为通过共同支持门控的处理模型，再按照预测性能从通过共同支持门控的处理模型中选取候选处理模型；候选结局模型根据其交叉验证预测性能直接选取；由选取的处理模型和结局模型形成干扰模型组合，并以交叉验证平均预测误差最小的干扰模型组合作为最优干扰模型组合。

130、进一步地，步骤s7包括：

131、将样本随机划分为折，为交叉拟合折数，对于第折，将该折作为留出集，利用其余 折数据训练处理模型和两个潜在结局模型、；随后仅在留出折上生成倾向评分和潜在结局预测；

132、对倾向评分和潜在结局预测进行截断处理后，按照如下公式构造双重稳健增广逆概率加权个体效应项：

133、；

134、为在处理状态=1下，由结局模型预测的第个样本潜在结局；为在处理状态=0下，由结局模型预测的第个样本潜在结局；为第个样本的处理前调整集；为第个样本的实际处理状态；为第个样本实际观测到的结局变量；为由步骤s6确定的最优处理模型在交叉拟合留出折上对第个样本生成的预测倾向评分；

135、按照如下公式计算平均处理效应：

136、；

137、按照如下公式计算标准误：

138、；

139、为全部个体效应项的样本标准差；

140、按照如下公式计算置信区间：

141、。

142、进一步地，步骤s8包括：

143、保留倾向评分位于预设共同支持区间内的样本形成共同支持子样本索引集合，并在共同支持子样本上重新执行交叉拟合增广逆概率加权估计得到共同支持截尾平均处理效应；其中，下标表示共同支持（common support）子样本。

144、在共同支持子样本上构造稳定化权重：

145、；

146、为共同支持样本中的处理组比例；

147、并分别计算处理组和对照组的加权结局均值、以得到稳定化截尾平均处理效应：

148、；

149、；

150、通过分别在处理组和对照组训练结局模型的方式计算替代平均处理效应：

151、；

152、为在处理组与对照组中训练的结局模型对第个样本在=1状态下的潜在结局预测；为在处理组与对照组中训练的结局模型对第个样本在=0状态下的潜在结局预测；

153、将分别与、、进行比较分析；

154、将作为主效应估计，分别与共同支持截尾平均处理效应、稳定化逆概率加权平均处理效应以及t-learner替代平均处理效应进行比较分析；比较各平均处理效应的效应方向，并进一步比较各平均处理效应相对于的效应量变化，同时结合各估计结果的置信区间进行一致性评价；

155、其中，与的比较用于评价剔除共同支持不足及极端倾向评分样本后主效应的变化，以表征主效应对样本重叠性的敏感程度；与的比较用于评价采用稳定化逆概率加权估计方式后所得处理效应与主效应的一致程度；与的比较用于评价采用基于处理组和对照组独立结局模型的替代估计方式后所得处理效应与主效应的一致程度；

156、当、和与的效应方向一致时，输出主效应方向具有跨估计器一致性的评价结果；当各估计结果的效应方向保持一致时，进一步根据各替代平均处理效应相对于的效应量变化，判断效应量是否发生衰减或增强，以表征主效应大小对估计器选择的依赖程度；当任一替代估计结果与的效应方向发生改变时，输出主效应对对应样本处理方式或估计方法具有敏感性的评价结果；将分解为、、三项以进行效应组成诊断；其中，表示样本经验均值算子，即对括号内的个体项在个样本上求算术平均，分别表示步骤s7最优结局模型在调整集处的=1、=0潜在结局预测函数，表示最优处理模型在调整集处的倾向评分预测函数；

157、将分解为、、三项以进行效应组成诊断；其中，表示样本经验均值算子，即对括号内的个体项在个样本上求算术平均；、分别表示步骤s7最优结局模型在调整集x处的t=1、t=0潜在结局预测函数，表示最优处理模型在调整集x处的倾向评分预测函数；

158、将真实处理变量替换为伪处理变量执行安慰剂检验；

159、将与处理变量和结局变量独立的随机协变量加入处理前调整集形成扩展调整集并重新估计效应，以得到随机协变量扰动结果；以及从全样本中抽取预设比例的子样本并重复估计，以得到子集稳定性检验结果。

160、进一步地，步骤s9包括：

161、对任一预定义亚组，记其样本索引集合为、样本量为；按照如下公式计算条件平均处理效应：

162、；

163、步骤s10包括：

164、对经过确认的中介变量，采用如下模型估计对应处理变量对对应中介变量的作用：

165、；

166、其中，表示处理变量对中介变量的效应系数；表示处理前调整变量；表示调整变量对应的回归系数；表示随机误差项；

167、并采用如下公式估计控制中介变量后的处理变量直接效应及中介变量对结局变量的作用：

168、；

169、表示控制中介变量后的处理变量直接效应；；表示处理前调整变量对应的回归系数；表示随机误差项；(·)表示对概率进行对数几率变换；

170、将间接效应表示为，将总效应表示为，并按照如下公式计算中介变量的间接效应贡献度：

171、；

172、按照如下公式执行sobel检验：

173、；

174、其中，和分别为效应系数和效应系数的标准误差表示sobel检验统计量。

175、与现有技术相比，本技术技术方案原理及优点如下：

176、1、建立“节点级可靠度—边级可靠度”两级可信程度体系，分别评价候选变量角色和单条候选有向因果关系，避免将变量整体可信度与局部边关系可信度混用，提高了知识先验进入因果结构学习的可解释性和可控性。

177、2、采用显式证据、隐式路径、人工智能增强和图神经网络拓扑补全的递进式知识获取策略，可显著提高高维变量的角色识别覆盖率。实施例中，变量角色覆盖率由仅依赖显式证据时的较低水平提高至97.6%，同时保留证据来源的可追踪性。

178、3、将高置信边级可靠度、变量角色、最终节点级可靠度和处理前后时序共同作为fci结构学习的先验约束，使知识先验能够被观测数据检验和修正，从而兼顾领域机制与统计结构，降低方向误判和角色误判风险。

179、4、在主效应估计前依据因果结构确定处理前调整集，排除中介变量、碰撞变量和结局后代，避免过度调整偏倚和碰撞偏倚；同时采用“重叠性优先、预测性能其次”的干扰模型选择机制，能够降低倾向评分过度极端化和共同支持不足对双重稳健估计的影响。

180、5、在主效应估计后进一步形成多估计器敏感性分析、多重反驳检验、条件平均处理效应分析和中介机制分析的闭环验证体系，不仅输出效应数值，还能够给出效应方向一致性、估计器依赖性、亚组异质性和潜在传导机制证据，适用于高维真实世界观测数据的因果评价。