一种基于因果关系与多层主题理解的文本分析方法及设备
本技术涉及文本分析,特别是涉及一种基于因果关系与多层主题理解的文本分析方法及设备。
背景技术:
1、随着大数据时代的到来,非结构化文本数据呈现爆发式增长,涵盖学术文献、临床病历、政策文件、金融报告等多个领域。这类文本中不仅蕴含着丰富的主题概念,更隐藏着主题间复杂的因果关联,挖掘这些因果关系对于揭示事物发展规律、支持决策制定具有重要意义。例如在医学领域,从海量临床文献中梳理疾病、药物、疗效之间的因果逻辑,可为临床决策提供科学依据;在政策分析领域,明确政策出台与社会经济指标变化的因果链条,能为政策优化提供支撑。因此,从非结构化文本中自动发现主题并推断其因果关系的因果主题建模技术,成为自然语言处理、数据挖掘领域的研究热点。
2、现有技术在主题建模与因果发现领域面临核心瓶颈。传统主题模型局限于捕捉主题间的统计共现关系,既无法有效区分因果依赖与简单关联,也未能兼顾主题天然存在的层次结构,导致输出结果缺乏足够的逻辑严谨性和解释性,难以适配专业领域的深度分析需求。而监督式因果主题模型虽能建模主题间因果关系,却对人工标注数据存在强依赖,在医学、社会科学等文本数据规模庞大且标注成本极高的领域,尤其是缺乏成熟标注体系的新兴研究方向中,其实际应用范围受到严重限制,无法实现无监督场景下的高效落地。
技术实现思路
1、基于上述问题,本技术提供了一种基于因果关系与多层主题理解的文本分析方法及设备。
2、本技术实施例公开了如下技术方案:
3、第一方面,本技术实施例提供了一种基于因果关系与多层主题理解的文本分析方法,所述方法包括:
4、接收待分析的目标文档,对所述目标文档进行预处理,得到标准化目标文本;
5、将所述标准化目标文本输入预训练完成的因果主题模型,所述因果主题模型包括预训练的全局因果图、方向性掩码图神经网络、跨层信息融合机制以及细粒度主题层与抽象主题层的映射关系;
6、基于所述全局因果图,识别所述标准化目标文本中的主题节点,并通过所述方向性掩码图神经网络匹配各主题节点在所述全局因果图中的父节点集合,聚合父节点因果信息得到目标主题表示向量;
7、基于所述细粒度主题层与抽象主题层的映射关系,将所述目标主题表示向量分别映射至对应的细粒度主题与抽象主题,调用所述跨层信息融合机制,将抽象主题的全局上下文信息传递至对应细粒度主题,得到融合多粒度信息的目标最终主题表示;
8、基于所述目标最终主题表示与所述全局因果图,输出所述目标文档的多粒度主题结构以及主题间的有向因果推演结果。
9、在一种可能的实现方式中,所述因果主题模型的训练过程为:
10、获取文本语料,并基于大语言模型提取所述文本语料中的主题节点候选集与候选因果关系对;
11、对所述主题节点候选集进行标准化处理,得到全局主题节点集合;
12、基于notears算法和所述候选因果关系对生成全局因果图;所述全局因果图包括全局主题节点以及全局主题节点之间的有向因果边,所述有向因果边用于标记全局主题节点之间的因果方向与因果强度;
13、基于所述全局因果图中各主题节点的父节点集合,构建各主题节点的非线性因果生成函数并计算各主题节点的表示向量;
14、在所述全局因果图中引入方向性掩码矩阵,通过方向性掩码图神经网络按所述方向性掩码矩阵聚合父节点信息,更新各主题节点的表示向量,得到融合因果信息的主题节点表示矩阵;所述方向性掩码矩阵用于限制信息从原因主题节点向结果主题节点传播;
15、对所述主题节点表示矩阵中的全局主题节点进行聚类,得到细粒度主题层与抽象主题层;所述细粒度主题层包括各主题节点,所述抽象主题层包括由语义相似的细粒度主题聚类形成的抽象主题;
16、基于所述全局因果图诱导所述抽象主题间的有向因果边,构建抽象层因果图;
17、在所述抽象层因果图上执行方向性掩码图神经网络传播,更新抽象主题的表示向量;通过门控机制将抽象主题的表示向量反向传递至对应的细粒度主题,得到融合多粒度信息的主题表示;
18、基于所述全局因果图、方向性掩码图神经网络参数、跨层信息融合机制以及细粒度主题层与抽象主题层的映射关系,整合形成所述因果主题模型。
19、在一种可能的实现方式中,所述对所述主题节点候选集进行标准化处理,得到全局主题节点集合,包括:
20、加载预设的领域标准术语库,所述领域标准术语库包括领域内的标准概念实体;
21、利用文本嵌入模型计算所述主题节点候选集中各主题节点与所述标准术语库中词条的语义相似度;
22、将语义相似度高于预设阈值的主题节点映射为对应的标准术语,并对映射到同一标准术语的多个主题节点进行合并去重,得到所述全局主题节点集合。
23、在一种可能的实现方式中,所述构建各主题节点的非线性因果生成函数并计算各主题节点的表示向量,包括:
24、针对所述主题节点,从所述全局因果图中识别所述主题节点的父节点集合;
25、将所述父节点集合中所有父节点的表示向量在特征维度上进行拼接,得到输入向量;
26、将所述输入向量输入所述主题节点对应的多层感知机网络,经过非线性变换后叠加外生噪声,输出所述主题节点的表示向量;所述多层感知机网络与所述全局因果图中的主题一一对应。
27、在一种可能的实现方式中,所述方向性掩码矩阵的构建与应用过程包括:
28、构建与邻接矩阵维度一致的所述方向性掩码矩阵,若所述全局因果图中存在从节点j指向节点i的有向边,则将掩码矩阵中对应位置(i,j)置为1,否则置为0;
29、在所述图神经网络计算注意力权重时,将所述方向性掩码矩阵中值为0的位置对应的注意力分数强制置为负无穷或零,使得在聚合父节点信息时,非父节点的权重被屏蔽,信息传播沿因果方向自父节点流向子节点。
30、在一种可能的实现方式中,所述接收待分析的目标文档,对所述目标文档进行预处理,包括:
31、将所述目标文本的摘要和标题合并为统一的文本单元,得到合并后的目标文本;
32、对所述合并后的目标文本进行清洗,删除排版标记及引用标记,并统一学术专有名词大小写。
33、在一种可能的实现方式中,所述候选因果关系对包括因果对和因果对对应的置信度;所述因果对包括原因主题和结果主题;
34、所述基于notears算法和所述候选因果关系对生成全局因果图,包括:
35、基于所述置信度对所述因果对进行筛选,保留置信度大于置信度阈值的因果对;
36、计算筛选得到的多个因果对的出现频率并进行权重计算,构建候选边集合;
37、根据所述候选边集合构建初始邻接矩阵;
38、基于notears算法对所述初始邻接矩阵优化,通过可微无环约束生成所述全局因果图。
39、在一种可能的实现方式中,所述因果主题模型的训练过程还包括:
40、基于pearl的do-演算理论对所述目标主题节点执行干预操作,将所述目标主题节点的数值固定为预设的干预值,并切断所述目标主题节点与所述目标主题节点在所述全局因果图中所有父节点之间的因果连接边,保持其余因果结构不变;
41、基于所述全局因果图的拓扑排序,重新计算受所述目标主题节点干预影响的下游后代主题节点的表示向量,得到反事实表示向量;
42、将反事实表示向量与高斯随机噪声输入生成器,得到反事实文本;将真实文本或生成的反事实文本输入判别器,得到文本真实性评分;
43、分别计算所述真实文本的评分和所述反事实文本的评分,将真实文本的评分和生成文本的评分之差作为wasserstein距离估计值;基于所述真实文本与所述反事实文本的线性插值样本,计算梯度惩罚项;将wasserstein距离估计值与梯度惩罚项相加,得到判别器总损失;
44、采用优化器,基于所述判别器总损失通过反向传播更新所述判别器的网络参数;
45、计算判别器的对抗损失;通过bert模型计算所述反事实文本与所述真实文本的语义相似度,得到语义一致性约束项;将所述对抗损失与所述语义一致性约束项相加,得到生成器总损失;
46、采用优化器,基于所述生成器总损失通过反向传播更新生成器的网络参数。
47、在一种可能的实现方式中,所述因果主题模型的训练过程还包括:
48、针对所述全局因果图,基于结构评分损失函数和无环性约束函数,通过增广拉格朗日优化法更新所述全局因果图的邻接矩阵;
49、针对所述全局因果图和所述方向性掩码图神经网络,固定所述全局因果图的邻接矩阵,基于重构损失函数联合优化所述非线性因果生成函数与所述方向性掩码图神经网络的参数;
50、固定所述全局因果图,采用对抗训练策略优化生成器与判别器的参数;
51、基于全局联合损失函数,对所述因果主题模型中各部分参数进行调整。
52、在一种可能的实现方式中,所述方法还包括:
53、将所述目标文本中所有主题节点及所有主题节点对应的主题表示向量,作为反事实推理的基线向量;
54、根据干预描述调整所述基线向量;若所述干预描述为删除目标主题节点,将所述目标主题节点的基线向量设为零;若所述干预描述为增强目标主题节点,将所述目标主题节点的基线向量乘以大于1的系数;若所述干预描述为替换目标主题节点,使用从其他文档采样的目标主题节点的主题节点表示向量作为替换向量;
55、按所述全局因果图的拓扑顺序,重新计算受干预影响的下游主题节点的主题表示向量,未受影响的主题保持基线向量不变,得到反事实主题向量集合;
56、将所述反事实主题向量集合输入生成器,选择零噪声生成反事实文本;计算各主题节点在干预前后的表示向量变化量,识别表示向量变化量大于预设值的主题节点并标注表示向量变化程度;
57、采用文本对齐技术,以高亮或标记形式显示所述目标文档与所述反事实文本的差异;
58、生成自然语言因果解释;所述自然语言因果解释用于说明目标主题干预导致文本内容改变的机制。
59、在一种可能的实现方式中,所述方法还包括:
60、获取指定的起始主题节点,从预训练的全局因果图中,筛选以所述起始主题节点为根节点且存在有向路径可到达的所有后代主题节点及主题节点间的有向连接边,形成因果子图;
61、对所述因果子图中的主题节点执行拓扑排序,生成后代主题节点的有序列表;
62、以所述起始主题节点为根节点,按照所述有序列表中的拓扑排序逐层添加后代主题节点,将每个后代主题节点与所述因果子图中指向所述后代主题节点的父节点相连,并在连接边上标注对应的因果强度分数;
63、计算所述起始主题节点的影响广度,统计直接影响主题节点数量、间接影响主题节点数量和总影响主题节点数量;
64、识别入度与出度均大于预设值的中介主题节点;所述中介主题节点为连接多条因果路径的主题节点;
65、确定从所述起始主题节点到叶节点的最长因果链,记录路径序列及路径长度,并生成可视化图表。
66、第二方面,本技术实施例公开了一种基于因果关系与多层主题理解的文本分析装置,所述装置包括:
67、预处理模块,用于接收待分析的目标文档,对所述目标文档进行预处理,得到标准化目标文本;
68、输入模块,用于将所述标准化目标文本输入预训练完成的因果主题模型,所述因果主题模型包括预训练的全局因果图、方向性掩码图神经网络、跨层信息融合机制以及细粒度主题层与抽象主题层的映射关系;
69、第一处理模块,用于基于所述全局因果图,通过所述方向性掩码图神经网络提取所述标准化目标文本中的主题节点,并匹配各主题节点在所述全局因果图中的父节点集合,聚合父节点因果信息得到目标主题表示向量;
70、第二处理模块,用于基于所述细粒度主题层与抽象主题层的映射关系,将所述目标主题表示向量分别映射至对应的细粒度主题与抽象主题,调用所述跨层信息融合机制,将抽象主题的全局上下文信息传递至对应细粒度主题,得到融合多粒度信息的目标最终主题表示;
71、输出模块,用于基于所述目标最终主题表示与所述全局因果图,输出所述目标文档的多粒度主题结构以及主题间的有向因果推演结果。
72、在一种可能的实现方式中,所述装置还包括模型训练模块,所述模型训练模块用于:
73、获取文本语料,并基于大语言模型提取所述文本语料中的主题节点候选集与候选因果关系对;
74、对所述主题节点候选集进行标准化处理,得到全局主题节点集合;
75、基于notears算法和所述候选因果关系对生成全局因果图;所述全局因果图包括全局主题节点以及全局主题节点之间的有向因果边,所述有向因果边用于标记全局主题节点之间的因果方向与因果强度;
76、基于所述全局因果图中各主题节点的父节点集合,构建各主题节点的非线性因果生成函数并计算各主题节点的表示向量;
77、在所述全局因果图中引入方向性掩码矩阵,通过方向性掩码图神经网络按所述方向性掩码矩阵聚合父节点信息,更新各主题节点的表示向量,得到融合因果信息的主题节点表示矩阵;所述方向性掩码矩阵用于限制信息从原因主题节点向结果主题节点传播;
78、对所述主题节点表示矩阵中的全局主题节点进行聚类,得到细粒度主题层与抽象主题层;所述细粒度主题层包括各主题节点,所述抽象主题层包括由语义相似的细粒度主题聚类形成的抽象主题;
79、基于所述全局因果图诱导所述抽象主题间的有向因果边,构建抽象层因果图;
80、在所述抽象层因果图上执行方向性掩码图神经网络传播,更新抽象主题的表示向量;通过门控机制将抽象主题的表示向量反向传递至对应的细粒度主题,得到融合多粒度信息的主题表示;
81、基于所述全局因果图、方向性掩码图神经网络参数、跨层信息融合机制以及细粒度主题层与抽象主题层的映射关系,整合形成所述因果主题模型。
82、在一种可能的实现方式中,所述模型训练模块具体用于:
83、加载预设的领域标准术语库,所述领域标准术语库包括领域内的标准概念实体;
84、利用文本嵌入模型计算所述主题节点候选集中各主题节点与所述标准术语库中词条的语义相似度;
85、将语义相似度高于预设阈值的主题节点映射为对应的标准术语,并对映射到同一标准术语的多个主题节点进行合并去重,得到所述全局主题节点集合。
86、在一种可能的实现方式中,所述模型训练模块具体用于:
87、针对所述主题节点,从所述全局因果图中识别所述主题节点的父节点集合;
88、将所述父节点集合中所有父节点的表示向量在特征维度上进行拼接,得到输入向量;
89、将所述输入向量输入所述主题节点对应的多层感知机网络,经过非线性变换后叠加外生噪声,输出所述主题节点的表示向量;所述多层感知机网络与所述全局因果图中的主题一一对应。
90、在一种可能的实现方式中,所述方向性掩码矩阵的构建与应用过程包括:
91、构建与邻接矩阵维度一致的所述方向性掩码矩阵,若所述全局因果图中存在从节点j指向节点i的有向边,则将掩码矩阵中对应位置(i,j)置为1,否则置为0;
92、在所述图神经网络计算注意力权重时,将所述方向性掩码矩阵中值为0的位置对应的注意力分数强制置为负无穷或零,使得在聚合父节点信息时,非父节点的权重被屏蔽,信息传播沿因果方向自父节点流向子节点。
93、在一种可能的实现方式中,所述预处理模块,具体用于:
94、将所述目标文本的摘要和标题合并为统一的文本单元,得到合并后的目标文本;
95、对所述合并后的目标文本进行清洗,删除排版标记及引用标记,并统一学术专有名词大小写。
96、在一种可能的实现方式中,所述候选因果关系对包括因果对和因果对对应的置信度;所述因果对包括原因主题和结果主题;
97、所述模型训练模块具体用于:
98、基于所述置信度对所述因果对进行筛选,保留置信度大于置信度阈值的因果对;
99、计算筛选得到的多个因果对的出现频率并进行权重计算,构建候选边集合;
100、根据所述候选边集合构建初始邻接矩阵;
101、基于notears算法对所述初始邻接矩阵优化,通过可微无环约束生成所述全局因果图。
102、在一种可能的实现方式中,所述模型训练模块还用于:
103、基于pearl的do-演算理论对所述目标主题节点执行干预操作,将所述目标主题节点的数值固定为预设的干预值,并切断所述目标主题节点与所述目标主题节点在所述全局因果图中所有父节点之间的因果连接边,保持其余因果结构不变;
104、基于所述全局因果图的拓扑排序,重新计算受所述目标主题节点干预影响的下游后代主题节点的表示向量,得到反事实表示向量;
105、将反事实表示向量与高斯随机噪声输入生成器,得到反事实文本;将真实文本或生成的反事实文本输入判别器,得到文本真实性评分;
106、分别计算所述真实文本的评分和所述反事实文本的评分,将真实文本的评分和生成文本的评分之差作为wasserstein距离估计值;基于所述真实文本与所述反事实文本的线性插值样本,计算梯度惩罚项;将wasserstein距离估计值与梯度惩罚项相加,得到判别器总损失;
107、采用优化器,基于所述判别器总损失通过反向传播更新所述判别器的网络参数;
108、计算判别器的对抗损失;通过bert模型计算所述反事实文本与所述真实文本的语义相似度,得到语义一致性约束项;将所述对抗损失与所述语义一致性约束项相加,得到生成器总损失;
109、采用优化器,基于所述生成器总损失通过反向传播更新生成器的网络参数。
110、在一种可能的实现方式中,所述模型训练模块还用于:
111、针对所述全局因果图,基于结构评分损失函数和无环性约束函数,通过增广拉格朗日优化法更新所述全局因果图的邻接矩阵;
112、针对所述全局因果图和所述方向性掩码图神经网络,固定所述全局因果图的邻接矩阵,基于重构损失函数联合优化所述非线性因果生成函数与所述方向性掩码图神经网络的参数;
113、固定所述全局因果图,采用对抗训练策略优化生成器与判别器的参数;
114、基于全局联合损失函数,对所述因果主题模型中各部分参数进行调整。
115、在一种可能的实现方式中,所述装置还包括反推理模块,所述反推理模块用于:
116、将所述目标文本中所有主题节点及所有主题节点对应的主题表示向量,作为反事实推理的基线向量;
117、根据干预描述调整所述基线向量;若所述干预描述为删除目标主题节点,将所述目标主题节点的基线向量设为零;若所述干预描述为增强目标主题节点,将所述目标主题节点的基线向量乘以大于1的系数;若所述干预描述为替换目标主题节点,使用从其他文档采样的目标主题节点的主题节点表示向量作为替换向量;
118、按所述全局因果图的拓扑顺序,重新计算受干预影响的下游主题节点的主题表示向量,未受影响的主题保持基线向量不变,得到反事实主题向量集合;
119、将所述反事实主题向量集合输入生成器,选择零噪声生成反事实文本;计算各主题节点在干预前后的表示向量变化量,识别表示向量变化量大于预设值的主题节点并标注表示向量变化程度;
120、采用文本对齐技术,以高亮或标记形式显示所述目标文档与所述反事实文本的差异;
121、生成自然语言因果解释;所述自然语言因果解释用于说明目标主题干预导致文本内容改变的机制。
122、在一种可能的实现方式中,所述装置还包括干预模块,所述干预模块用于:
123、获取指定的起始主题节点,从预训练的全局因果图中,筛选以所述起始主题节点为根节点且存在有向路径可到达的所有后代主题节点及主题节点间的有向连接边,形成因果子图;
124、对所述因果子图中的主题节点执行拓扑排序,生成后代主题节点的有序列表;
125、以所述起始主题节点为根节点,按照所述有序列表中的拓扑排序逐层添加后代主题节点,将每个后代主题节点与所述因果子图中指向所述后代主题节点的父节点相连,并在连接边上标注对应的因果强度分数;
126、计算所述起始主题节点的影响广度,统计直接影响主题节点数量、间接影响主题节点数量和总影响主题节点数量;
127、识别入度与出度均大于预设值的中介主题节点;所述中介主题节点为连接多条因果路径的主题节点;
128、确定从所述起始主题节点到叶节点的最长因果链,记录路径序列及路径长度,并生成可视化图表。
129、第三方面,本技术实施例公开了一种控制装置,包括处理器和存储器,所述存储器用于存储程序、指令或代码,所述处理器用于执行所述存储器中的程序、指令或代码,以完成如第一方面任一项所述的基于因果关系与多层主题理解的文本分析方法。
130、第四方面,本技术实施例公开了一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序通过处理器进行加载来执行如第一方面任一项所述的基于因果关系与多层主题理解的文本分析方法。
131、本技术实施例提供了一种基于因果关系与多层主题理解的文本分析方法及设备,该方法先接收待分析的目标文档并进行预处理,得到标准化目标文本;随后将其输入包含预训练全局因果图、方向性掩码图神经网络、跨层信息融合机制及细粒度与抽象主题层映射关系的因果主题模型;基于全局因果图识别主题节点,通过方向性掩码图神经网络匹配父节点集合并聚合因果信息,得到目标主题表示向量;再借助两层主题映射关系将该向量映射至对应细粒度与抽象主题,通过跨层信息融合机制传递全局上下文信息,获得融合多粒度信息的目标最终主题表示;最后基于目标最终主题表示与全局因果图,输出目标文档的多粒度主题结构及主题间的有向因果推演结果。
132、该技术方案通过标准化预处理确保目标文本的规范性,为后续分析奠定基础;利用预训练的全局因果图与方向性掩码图神经网络,精准聚合父节点因果信息,有效捕捉主题间的有向因果关联,避免无关信息干扰。通过细粒度与抽象主题的双层映射及跨层信息融合,实现多粒度主题理解,既保留具体主题细节,又提供宏观主题视角。最终输出的多粒度主题结构与有向因果推演结果,让文本分析结果兼具层次化与逻辑性,大幅提升了文本主题挖掘的深度与因果关系揭示的准确性,为用户提供更全面、可靠的文本理解依据。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com