基于特征融合与增强网络的结直肠癌KRAS基因突变识别系统
本发明属于计算机视觉及医学影像辅助诊断,具体涉及一种基于特征融合与增强网络的结直肠癌kras基因突变识别系统。
背景技术:
1、结直肠癌是全球范围内发病率和死亡率均居前列的常见恶性消化道肿瘤。研究表明,结直肠癌患者的kras基因突变状态与其对靶向药物(如抗egfr单克隆抗体)的治疗敏感性密切相关。因此,在临床制定治疗方案前,准确识别kras基因突变状态对于实现结直肠癌患者的个性化精准医疗至关重要。目前,临床上获取基因突变状态的金标准主要依赖于手术切除标本或活检组织病理检测。然而,这些传统检测方法属于侵入性操作,存在取样不完全(受肿瘤异质性影响)、检测周期长、成本高昂以及对部分晚期患者不耐受等局限性。近年来,利用深度学习技术分析非侵入性医学影像(如磁共振成像 mri)来预测基因突变状态,已成为计算机辅助诊断的研究热点。然而,现有的基于深度学习的结直肠癌影像识别方案在实际应用中面临以下技术瓶颈:多模态与跨尺度特征关联挖掘不足。常规网络往往仅对全幅影像进行宏观语义解析,忽略了病灶区域内部微观纹理、边缘形态以及病灶宏观尺寸等形态学属性的深层融合,导致与基因突变密切相关的关键影像表型特征丢失。医学影像的小样本数据稀缺与模式崩塌。受医学数据隐私保护及标注高成本的限制,可用于训练的结直肠癌mri样本规模通常极小。传统的几何数据增强(如旋转、翻转)无法模拟真实的复杂病理变异,而常规生成式增强(如gan)在小样本条件下极易发生模式崩塌,生成缺乏真实结构约束的虚假流形,限制了模型的泛化与识别精度。因此,如何在小样本约束下深度融合影像宏观组织与微观病灶形态特征,并通过生成严格遵循真实病理分布的高质量特征样本来提升模型识别的准确率与鲁棒性,是当前亟待解决的技术挑战。
技术实现思路
1、为了有效解决结直肠癌mri识别中存在的特征挖掘不充分、小样本数据稀缺及生成增强易模式崩塌等技术难题,本发明提出了一种基于特征融合与增强网络的结直肠癌kras基因突变识别系统,显著提升了非侵入性预测基因突变状态的精度与泛化鲁棒性。
2、为了实现上述目的,本发明采用如下技术方案:
3、一种基于特征融合与增强网络的结直肠癌kras基因突变识别系统,包括双流协同特征提取模块、条件变分数据增强模块和分类识别模块;
4、所述双流协同特征提取模块包括全局组织特征流单元、病灶形态特征流单元和特征拼接单元;
5、所述全局组织特征流单元收集患者的t2加权磁共振成像mri切片,并获取对应的kras基因突变状态标签;将所述mri切片作为全幅影像输入,利用级联的局部特征提取网络与全局特征整合网络进行多尺度下采样提取,得到包含全幅影像多尺度语义信息的特征1;所述病灶形态特征流单元载入预训练的u型分割网络,将所述mri切片输入所述u型分割网络中进行像素级预测,输出对应的病灶区域语义分割掩码,并提取所述u型分割网络下采样编码路径中的上下文特征作为特征 2;将所述语义分割掩码与所述mri切片进行逐元素相乘,得到精准聚焦的病灶区域图像;将所述病灶区域图像输入独立的局部特征提取网络中进行多尺度特征提取,得到包含病灶边缘形态与尺寸属性细节信息的特征 3;所述特征拼接单元将所述特征 1、特征 2 以及特征 3 在通道维度进行级联拼接,构造得到用于支持突变状态精准预测的综合性特征表示;
6、所述条件变分数据增强模块包括浅层特征聚合单元、条件变分映射单元和流形对齐生成单元;
7、所述浅层特征聚合单元递归组合所述双流协同特征提取模块中各级局部特征提取网络输出的浅层特征图,通过步长为2的卷积操作进行跨层级空间分辨率对齐与通道拼接,经展平操作后构建得到蕴含丰富边缘与纹理几何拓扑先验的浅层条件向量;
8、所述条件变分映射单元针对正、负样本分别实例化独立的条件变分自编码器结构;利用多层感知机接收所述综合性特征表示作为深层语义观测变量,并将其与所述浅层条件向量作为推断网络的输入,将深层语义与浅层结构隐式映射至低维连续的潜在空间,输出条件多元高斯分布的均值与方差参数;
9、所述流形对齐生成单元在所述潜在空间中进行重参数化采样得到潜在变量,将所述潜在变量与所述浅层条件向量同步输入至生成网络中,利用跨模态注意力机制将高级语义锚点与浅层几何结构先验进行流形对齐与空间细节检索,重建输出严格遵循真实病理分布且具备类内语义多样性的高质量增强特征样本;
10、所述分类识别模块包括混合特征训练单元;所述混合特征训练单元将所述流形对齐生成单元产生的高质量增强特征样本与原始的综合性特征表示共同输入分类器中进行混合训练,通过引入类内变异迫使所述分类器探索更广泛的语义流形,以优化决策边界并更新网络权值,最终输出结直肠癌患者的kras基因突变状态识别结果。
11、进一步地,所述局部特征提取网络采用多尺度正交分解卷积结构,其处理过程为:设定输入特征图为,将其并行通过、、的垂直卷积核以及的水平卷积核以捕获不同尺度的图像信息,各卷积操作表示为:
12、
13、其中,表示核尺寸为的卷积操作,为对应卷积核提取的尺度特征;将各卷积核处理得到的结果沿通道维度进行拼接,得到对齐前的多尺度特征表示:
14、
15、随后将特征依次输入通道注意力机制和空间注意力机制中,通过计算通道权重分布和空间位置加权分布,对关键病变部位的特征进行增强。
16、进一步地,所述全局特征整合网络采用分层注意力机制建模长距离依赖,其核心处理流程为:对于输入的特征图,利用窗口划分策略将其划分为个互不重叠的局部窗口,每个窗口的大小为,窗口总数计算公式为:,在每个局部窗口内应用并结合最大池化提取窗口级特征,记作,其中对应窗口的空间坐标,为隐藏层维度;将所有窗口特征进行展平与拼接,形成全局特征序列;在所述全局特征序列上应用多头自注意力机制(mhsa)进行全局信息交互与聚合,得到全局特征表示:
17、
18、与此同时,构建并行的局部特征分支,将窗口内未被压缩的原始像素级信息展平为向量,利用可学习的线性嵌入矩阵将其映射至与全局特征相同的维度空间,生成局部特征嵌入:
19、
20、将全局特征表示与局部特征嵌入在通道维度进行拼接,形成联合特征,利用多头自注意力机制挖掘跨尺度关联:
21、
22、最后将分离后的全局特征经过二次注意力增强得到最终全局特征,并与局部特征进行空间重排恢复空间结构至原始分辨率。
23、进一步地,所述的浅层特征聚合单元中,所述浅层条件向量的级联递归组合过程为:设第层局部特征提取网络输出的浅层特征图为,定义聚合特征为层级特征的递归组合,其形式化递归定义公式为:
24、
25、其中,表示步长为 2 的下采样卷积操作,用于降低空间分辨率以匹配下一层级特征的维度,表示沿通道维度的拼接;该过程在浅层网络的各个阶段迭代进行,最终输出的聚合特征图经展平操作后,形成包含丰富纹理与边缘拓扑先验的浅层条件向量。进一步地,所述的条件变分映射单元和流形对齐生成单元中,将特征增强过程建模为基于浅层结构先验的条件概率密度估计问题:将所述特征拼接单元输出的综合性特征表示记为观测变量,将所述浅层条件向量记为条件变量,其核心目标是学习条件分布;引入潜在变量,利用变分推断最大化对数似然,根据詹森不等式推导的证据下界限制公式为:
26、
27、其中,表示由推断网络构建的编码器所拟合的变分后验分布,表示设定的标准正态分布先验,为期望重建项。进一步地,所述条件变分数据增强模块的最终优化目标函数定义为:
28、
29、其中,表示标准正态分布先验,表示经由解码器重建后的特征,是用于平衡正则化项与重建误差项重要性的超参数权重。
30、进一步地,所述的条件变分映射单元和流形对齐生成单元中,所述推断网络与生成网络内部的跨模态注意力机制对齐异构特征的处理过程为:将高级语义嵌入序列记为,将浅层结构嵌入序列记为,其中与分别表示特征图展平后的序列长度,为隐含层维度;
31、引入三个可学习的投影矩阵以及,所述跨模态注意力的核心运算过程定义为:
32、
33、通过点积项计算查询项与键项之间的投影相似度,经由缩放因子归一化并进行缩放点积注意力机制运算,以对值项进行加权聚合,公式为:
34、
35、其中,编码了目标语义分布项,表征了浅层流形的局部几何结构,运算输出作为流形对齐特征。
36、本发明的有益效果是:
37、本发明提供的一种基于特征融合与增强网络的结直肠癌kras基因突变识别系统及方法,具有如下有益效果:
38、多任务双流特征的高效融合。本发明通过全局组织特征流和病灶形态特征流的联合提取,将全幅影像的宏观图像纹理信息与病灶区域的微观病理形态(如边缘拓扑、病灶尺寸)以及分割网络的上下文语境进行了深层拼接,克服了传统方法特征关联挖掘不足的痛点,显著提高了特征对复杂病理状态的表征能力。多尺度与长距离依赖的同时捕获。设计了并行的级联局部特征提取网络(利用分解卷积降低计算开销并扩大感受野)与全局特征整合网络(基于分层多头自注意力机制),既能敏锐捕获局部微小的病灶细节,又具备强大的宏观长距离上下文长程建模能力。浅层结构引导,有效遏制特征增强的模式崩塌。本发明针对医学影像小样本瓶颈,在连续流形假设下引入条件变分自编码器。通过跨模态注意力机制将浅层网络的几何纹理结构先验作为条件约束,与高阶抽象语义进行对齐与多维检索,引导模型在隐式特征空间中进行高效生成,在极小样本集下能够产出具备丰富类内变异性且严格符合真实病理医学逻辑的高质量增强特征,彻底解决了传统生成对抗网络极易发生的模式崩塌和过拟合问题。
39、非侵入性低成本疾病状态评估。本发明的最终系统识别准确率达到91.47%,可作为一种高度可靠、无创、非侵入性、低成本且快速的计算机影像学解决方案,在临床上为结直肠癌的个性化靶向用药指导和疾病生存期预测提供强有力的辅助诊断支持。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com