一种基于加权LightGBM与置信规则库的女性激素依赖性肿瘤风险识别方法
本发明属于医疗健康信息处理与人工智能,具体涉及一种基于加权lightgbm与置信规则库的女性激素依赖性肿瘤风险识别方法。
背景技术:
1、传女性激素依赖性肿瘤是严重威胁女性健康的恶性肿瘤,早期识别高危人群对于实现早诊早治、改善患者预后具有重要意义。目前,肿瘤风险识别主要依赖传统流行病学回归模型(如logistic回归、cox比例风险模型)和单一机器学习模型(如随机森林、支持向量机、lightgbm等)。其中,lightgbm作为一种基于梯度提升决策树的高效机器学习算法,因其训练速度快、预测精度高,已被广泛应用于各类疾病风险预测场景。
2、然而,上述现有技术至少存在以下不足:
3、(1)可解释性差:传统机器学习模型(包括lightgbm)通常被视为“黑箱”模型,难以向临床医生和患者解释风险识别的决策依据,限制了其在临床辅助决策中的实际应用。
4、(2)规则表达与推理能力不足:现有模型缺乏显式的知识表达和推理机制,无法将数据驱动的预测结果与医学先验知识进行有效融合。
5、(3)类别不平衡处理粗糙:在肿瘤风险识别场景中,阳性样本(患癌人群)远少于阴性样本(健康人群),现有方法往往通过简单的欠采样或过采样处理,容易导致信息丢失或过拟合。
6、因此,本领域亟需一种既能保持高预测精度、又具备良好可解释性,且能有效处理类别不平衡问题、实现特征分级风险识别的肿瘤风险评估方法。
7、需要指出的是,lightgbm等梯度提升树模型属于‘黑箱’模型,其决策路径为非线性的特征分裂组合;而置信规则库(brb)属于‘白箱’模型,其推理依赖于前提属性的离散参考值。二者在模型架构和数据处理范式上存在本质差异,本领域技术人员通常缺乏动机将lightgbm的连续梯度信息转化为brb的离散参考值,因此难以直接结合。
技术实现思路
1、本发明的目的在于针对现有技术中肿瘤风险识别模型可解释性差、缺乏知识推理机制、类别不平衡处理粗糙等技术问题,提供一种基于加权lightgbm与置信规则库(brb)的女性激素依赖性肿瘤风险识别方法。
2、为实现上述目的,本发明的技术方案是:一种基于加权lightgbm与置信规则库的女性激素依赖性肿瘤风险识别方法,包括:
3、步骤一、核心影响因子筛选:基于待分析数据集,构建由调查权重与类别权重复合而成的复合权重,采用带有所述复合权重的lasso回归对候选特征进行稀疏约束筛选,并通过bootstrap重抽样进行稳定性选择,将平均选择频率高于预设阈值的候选特征确定为核心影响因子集合;
4、步骤二、特征分级与brb参考值设定:基于所述核心影响因子集合,以所述复合权重作为样本权重构建lightgbm风险预测模型,采用shap算法分析各核心影响因子对预测结果的贡献,识别各核心影响因子的shap依赖图中的特征变化临界点,据此将各核心影响因子的取值划分为多个风险等级区间,并将所述风险等级区间的各阈值划分点设定为对应前提属性的参考值效用值,生成特征分级阈值表;
5、步骤三、初始置信规则库构建:基于所述特征分级阈值表,采用minimax效用转换函数将样本数据转换为各前提属性上的置信分布,将各样本的结局标签转换为结果属性上的置信分布,将每个样本及其对应的结局组合为一条置信规则,构建初始置信规则库;
6、步骤四、规则库优化:对所述初始置信规则库进行规则分布校准以平衡类别分布,继而对校准后的规则库中的规则权重和属性权重进行联合优化,得到优化后的置信规则库;
7、步骤五、风险识别:对于待识别样本,采用效用转换函数将其转换为各前提属性上的置信分布,计算各规则与所述置信分布的匹配度以确定激活权重,融合各规则后件置信度得到综合置信度分布,将所述综合置信度与基于验证集预先确定的分类阈值进行比较,据此判定样本风险类别。
8、进一步的,在所述步骤一之前还包括数据获取与预处理步骤:
9、获取与女性激素依赖性肿瘤发病相关的多维度原始数据集,对所述原始数据集进行数据合并、低于检出限处理、异常值剔除、缺失值填补及调查权重调整,得到所述待分析数据集;
10、所述多维度原始数据集包括人口学特征、血清激素指标、代谢指标、生殖史信息和生活方式信息。
11、进一步的,所述低于检出限处理为将低于检出限的数值替换为检出限除以√2;所述缺失值填补采用多重插补法。
12、进一步的,步骤一中,所述复合权重为调查权重与类别权重的乘积,定义样本复合权重为,其中所述调查权重为将原始调查权重按合并周期数进行基础调整后、再标准化至总和等于样本量得到的权重,记为;所述类别权重根据阳性样本与阴性样本的数量比例确定,记为样本的类别权重为:
13、
14、其中,、分别为阴性、阳性样本数,为结局标签;
15、所述复合权重为:
16、。
17、进一步的,步骤二中,所述lightgbm风险预测模型以所述复合权重作为样本权重,并以验证集上的精确率-召回率曲线下面积auc-pr为优化目标进行超参数调优。
18、进一步的,步骤二中,所述采用shap算法分析各核心影响因子对预测结果的贡献,具体包括:
19、采用treeshap算法计算各核心影响因子的shap值,并绘制各核心影响因子的shap依赖图;对所述shap依赖图进行变化点检测,识别其中的零点、斜率变化点以及一阶导数趋于零的平台期边界,作为特征变化临界点,据此确定各核心影响因子的风险等级数,并将各核心影响因子的取值划分为多个风险等级区间;
20、其中,所述变化点检测的具体判据为:当相邻数据点的shap值差分符号发生改变时判定为零点;当差分值出现局部极大值或极小值时判定为斜率变化点;当差分绝对值持续低于基于该特征shap值总体标准差所预设的判定阈值时,判定该连续区间为平台期边界。
21、进一步的,步骤三具体包括:
22、(1)设定参考值效用值:将所述特征分级阈值表中的各核心影响因子的风险等级区间,分别作为brb模型中对应前提属性的参考等级的效用值映射区间;核心影响因子共有个,记为;对于每个因子,将其阈值划分点直接作为参考值的效用值,参考值数量即为风险等级数,且效用值满足:
23、
24、(2)minimax效用转换:采用minimax效用转换函数将各样本数据转换为各前提属性上的置信分布:对于第个样本,将其在第j个前提属性上的原始取值转换为前提属性上的置信分布:
25、
26、其中置信度通过预设公式计算:
27、
28、(3)结局标签转换:将各样本的结局标签转换为结果属性上的置信分布:
29、
30、其中,为第个结果等级,分别对应阴性和阳性;
31、(4)置信规则生成:将每个样本及其对应的结局组合为一条置信规则:
32、
33、(5)初始规则库生成:将所有样本对应的置信规则组合为初始置信规则库,并设置各条规则的规则权重初始值以及各前提属性的属性权重初始值均为1。
34、进一步的,步骤四中,对所述初始置信规则库进行规则分布校准,具体包括:
35、(1)规则集划分:根据每条规则后件中的最大置信度所对应的结果等级,将初始置信规则库划分为多数类规则集和少数类规则集;
36、(2)划分域细分:根据每条规则前提属性中最大置信度对应的参考值索引,将所述多数类规则集和少数类规则集分别划分为多个子规则集,得到多个划分域;
37、(3)混合策略校准:采用混合策略进行规则分布校准,计算新增少数类规则总数和删除多数类规则总数,按各划分域内少数类规则数占比分配新增数量,按多数类规则数占比的反比例分配删除数量;对于需新增的少数类规则,通过在相应划分域内已有少数类规则的置信度范围内进行随机插值生成前提属性置信度,并归一化处理,其后件置信度设为少数类对应的独热编码形式;对于需删除的多数类规则,采用随机欠采样策略在对应划分域内随机移除,得到规则数量平衡的规则库。
38、进一步的,步骤四中,对所述初始置信规则库进行规则分布校准,具体实现方式如下:
39、(1)规则集划分
40、根据每条规则后件中的最大置信度所对应的结果等级,将初始置信规则库划分为多数类规则集和少数类规则集:
41、
42、其中和分别代表多数类(阴性/未患癌)和少数类(阳性/患癌)对应的结果等级索引。
43、(2)划分域细分
44、根据每条规则前提属性中最大置信度对应的参考值索引,将所述多数类规则集和少数类规则集分别划分为多个子规则集:
45、
46、
47、其中,为由各前提属性中一个参考值索引所构成的局部输入空间,即划分域,为划分域在第个前提属性上的参考值索引,为第条规则在第个前提属性第个参考等级上的置信度;
48、(3)混合策略校准
49、采用混合策略进行规则分布校准,同时考虑少数类规则增强与多数类规则抑制。设高密度少数类划分域集合为,低密度多数类划分域集合为,则新增少数类规则总数 和删除多数类规则总数分别为:
50、
51、其中,为平衡参数,用于调整少数类增强与多数类抑制的相对重要性。
52、各划分域中具体新增的少数类规则数量按该域内少数类规则数占高密度划分域少数类规则总数的比例分配:
53、
54、各划分域中具体删除的多数类规则数量按该域内多数类规则数占低密度划分域多数类规则总数的比例的反比例分配:
55、
56、若某一高密度少数类划分域需新增条规则,则逐条生成新规则,新增规则的前提属性置信度通过在该划分域内已有少数类规则的置信度范围内进行随机插值生成:
57、
58、其中,为第条已有少数类规则在第个前提属性第个参考等级上的置信度,为区间上的均匀随机数。
59、随后进行归一化处理:
60、
61、其中,为第个前提属性的参考等级总数
62、新规则的后件置信度直接设为少数类对应的独热编码形式:
63、
64、删除多数类规则时,采用随机欠采样策略,在对应划分域内随机移除多数类规则,直至移除数量达到该划分域所需的删除总数;若该划分域内多数类规则总数不足所需删除数量,则移除该域内全部多数类规则;经过上述校准,得到规则数量平衡的规则库。
65、进一步的,步骤四中,所述对规则权重和属性权重进行联合优化,具体包括:
66、(1)参数初始化:设置校准后的置信规则库中各条规则的规则权重初始值以及各前提属性的属性权重初始值均为1;
67、(2)优化目标函数:以最大化验证集上的f-score为目标函数;
68、(3)差分进化优化:采用差分进化算法求解优化模型,包括种群初始化、变异操作、交叉操作和选择操作,输出f-score最大的个体作为最优参数解;
69、(4)最优参数输出:将差分进化算法输出的最优规则权重和属性权重赋予校准后的置信规则库,得到优化后的置信规则库。
70、进一步的,步骤四中,所述对规则权重和属性权重进行联合优化,具体实现方式如下:
71、(1)参数初始化
72、设置校准后的置信规则库中各条规则的规则权重初始值以及各前提属性的属性权重初始值均为1;
73、其中,第条规则的规则权重记为,第个前提属性上的属性权重记为 ,规则后件置信度保持初始值不变,不参与优化;
74、(2)优化目标函数
75、以最大化验证集上的为目标函数,构建如下优化模型:
76、
77、其中, 为所有规则的规则权重向量,为在所有前提属性上的属性权重向量;
78、(3)差分进化优化
79、采用差分进化算法求解所述优化模型,具体包括:
80、种群初始化:随机生成个个体,每个个体包含所有待优化的规则权重和属性权重,权重取值区间均为;
81、变异操作:对于当前种群中的每个目标个体,从种群中随机选择三个互不相同的个体,通过差分变异生成变异个体;其中,差分变异所采用的缩放因子f取值为预设的缩放因子常数;
82、交叉操作:将目标个体与变异个体按预设交叉概率进行二项式交叉,生成试验个体;
83、选择操作:分别计算目标个体和试验个体对应的,选择较大的个体进入下一代种群;
84、迭代终止:重复执行变异、交叉和选择操作,直至达到预设最大迭代次数,输出最大的个体作为最优参数解;
85、(4)最优参数输出
86、将差分进化算法输出的最优规则权重和属性权重赋予校准后的置信规则库,得到优化后的置信规则库。
87、进一步的,步骤五中,计算各规则与所述置信分布的匹配度以确定激活权重,具体包括:
88、(1)识别样本置信分布转换:对于待识别样本,采用minimax效用转换函数将其在各前提属性上的原始取值转换为置信分布;
89、(2)匹配度计算:采用标准化欧式距离计算待识别样本的置信分布与第条规则前提之间的匹配度;
90、(3)相似度计算:计算待识别样本与第条规则的相似度;
91、(4)激活权重计算:综合考虑规则权重、属性权重和相似度,计算第条规则的激活权重;
92、(5)er算法置信度合成:采用证据推理算法融合所有被激活规则的后件置信度,合成综合置信度;
93、(6)分类结果输出:将患癌类别的综合置信度与所述最优分类阈值进行比较,若,则判定该待识别样本为高风险类别,否则判定为低风险类别。
94、进一步的,步骤五中,计算各规则与所述置信分布的匹配度以确定激活权重,具体实现方式如下:
95、(1)识别样本置信分布转换
96、对于待识别样本,采用minimax效用转换函数将其在第个前提属性上的原始取值 转换为前提属性上的置信分布:
97、
98、其中,置信度的计算方式与权利要求7中的计算方式相同;
99、(2)匹配度计算
100、采用标准化欧式距离计算待识别样本的置信分布与第条规则前提之间的匹配度:
101、
102、其中,为待识别样本在第个前提属性第个参考等级上的置信度,为第条规则在第个前提属性第个参考等级上的置信度,为第个前提属性第个参考等级上置信度的标准差,该标准差基于当前训练集中所有样本转换后的置信度计算得到;
103、(3)相似度计算
104、计算待识别样本与第条规则的相似度:
105、
106、(4)激活权重计算
107、综合考虑规则权重、属性权重和相似度,计算第条规则的激活权重:
108、
109、其中,为规则库中的规则总数,为第个前提属性经最大值归一化后的权重:
110、
111、(5)er算法置信度合成
112、采用证据推理(er)算法融合所有被激活规则的后件置信度,合成综合置信度:
113、
114、其中,为结果等级总数,为第条规则在第个结果等级上的置信度;
115、(6)分类结果输出
116、在验证集上以预设步长遍历阈值,分别计算不同阈值下的f-score,选取f-score最大时对应的阈值作为最优分类阈值;
117、将患癌类别的综合置信度与所述最优分类阈值进行比较,若,则判定该待识别样本为高风险类别,否则判定为低风险类别。
118、进一步的,在所述步骤五之后还包括集成推理步骤:采用分层k折交叉验证构建多个优化后的置信规则库推理模型,以各模型在对应验证集上的f-score作为集成权重,对各模型输出的患癌类别综合置信度进行加权融合,得到最终患癌风险置信度,将所述最终患癌风险置信度与所述预设分类阈值进行比较,据此判定样本风险类别。
119、相较于现有技术,本发明具有以下有益效果:
120、(1)兼顾高识别性能与临床可解释性:通过融合lightgbm的数据驱动预测能力与brb的白盒推理机制,在基层初筛场景下,漏诊(假阴性)的代价远高于误报(假阳性)。本发明在独立测试集上灵敏度达0.80、g-mean达0.7991,相较于传统lightgbm模型(灵敏度0.4143),提升了93%的阳性检出率,有效降低了基层初筛中的漏检风险;同时,通过brb规则库实现了决策路径的完全可追溯,便于基层卫生人员理解和复核。
121、(2)贯穿全流程的类别不平衡优化:针对女性激素依赖性肿瘤发病率低导致的漏检难题,在特征筛选、模型训练与规则生成三个阶段分别引入复合权重、加权lightgbm与规则分布校准,形成全链条不平衡处理方案,显著提升了模型对少数类(患癌人群)的识别能力。
122、(3)数据驱动的特征分级与阈值自动识别:现有brb建模依赖专家经验设定阈值,主观性强。本发明基于lightgbm、shap依赖图自动识别特征变化临界点(零点、斜率变化点、平台期边界),实现了特征分级的客观化与可重复性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com