基于多实例时频特征融合的乳腺癌致病基因突变预测方法

摘要: 本发明属于医学图像处理与计算机辅助诊断,具体涉及基于多实例时频特征融合的乳腺癌致病基因突变预测方法。背景技术:1、乳腺癌是女性中最常见的恶性肿瘤之一,其发病率和...
基于多实例时频特征融合的乳腺癌致病基因突变预测方法

本发明属于医学图像处理与计算机辅助诊断,具体涉及基于多实例时频特征融合的乳腺癌致病基因突变预测方法。

背景技术:

1、乳腺癌是女性中最常见的恶性肿瘤之一,其发病率和死亡率均居前列。乳腺癌易感基因(brca1/2)的突变状态对于乳腺癌患者的临床管理至关重要。研究表明,携带brca胚系突变的患者对聚adp-核糖聚合酶(parp)抑制剂(如奥拉帕利)敏感,能显著降低复发风险并改善生存率。

2、目前,临床上检测brca1/2突变的标准方法是基于组织或血液样本的高通量测序(ngs)。然而,该方法存在显著局限性:一是成本高昂,在经济欠发达地区难以普及;二是耗时较长,可能导致治疗决策延误;三是需要耗费大量肿瘤组织样本。近年来,基于深度学习的病理图像分析为基因突变预测提供了新途径。

3、然而,现有深度学习分析方法在特征提取过程中,特征提取存在片面性,使得该类方法对乳腺癌brca1/2基因突变的预测效果不佳,难以满足临床实际应用需求。

技术实现思路

1、有鉴于此,本发明的目的在于提供基于多实例时频特征融合的乳腺癌致病基因突变预测方法,以满足提高乳腺癌关键致病基因突变预测精度的需求。

2、为达到上述目的,本发明提供如下技术方案:

3、根据第一方面,本发明提供基于多实例时频特征融合的乳腺癌致病基因突变预测方法,包括:获取乳腺癌患者的病理全切片图像;对病理全切片图像进行多尺度切分,得到多实例包,每个实例包含针对病理全切片图像中同一中心位置、在不同尺度下分别切分得到的多张图像tile;将多实例包输入预先训练好的基于时频特征融合的预测网络模型,预测致病基因突变的概率。

4、可选地,对病理全切片图像进行多尺度切分,得到多实例包,包括:对病理全切片图像按照第一尺度进行切分,得到多张第一尺度图像tile;在病理全切片上切取与各个第一尺度图像tile中心位置相同的第二尺度图像tile,第一尺度小于第二尺度;基于各个第一尺度图像tile以及对应的第二尺度图像tile,构建多个实例,每个实例中包括一个第一尺度图像tile以及对应的第二尺度图像tile;采用染色归一化算法,对多个实例进行图像颜色归一化处理,得到颜色归一化的多个实例;基于颜色归一化的多个实例,构成多实例包。

5、可选地,将多实例包输入预先训练好的基于时频特征融合的预测网络模型,预测致病基因突变的概率,包括:将多实例包分别输入特征融合网络,得到每个实例包所表征组织全局结构的语义特征图以及表征细胞微观的细节特征图;分别将每个实例包的语义特征图以及细节特征图进行跨模态特征对齐,得到每个实例包对齐后的语义特征图以及细节特征图;采用坐标注意力机制将所有对齐后的语义特征图以及细节特征图进行包内实例交互,得到注意力图;基于注意力图,对每个实例包对齐后的语义特征图以及细节特征图进行加权聚合,得到包级融合特征;将包级融合特征输入分类器,预测致病基因突变的概率。

6、可选地,基于时频特征融合的预测网络模型中包括特征融合网络,特征融合网络包括第一分支以及第二分支,第一分支利用transformer架构对第一尺度图像tile进行处理,提取表征组织全局结构的语义特征图;第二分支利用小波变换和卷积神经网络对第二尺度图像tile进行处理,提取表征细胞微观的细节特征图。

7、可选地,第二分支利用小波变换和卷积神经网络对第二尺度图像tile进行处理,提取表征细胞微观的细节特征图,包括:采用二维离散小波变换对第二尺度图像tile进行分解,得到近似分量以及水平细节分量、垂直细节分量、对角线细节分量;基于近似分量以及水平细节分量、垂直细节分量、对角线细节分量,采用二维逆小波变换,重构得到水平边缘增强图像;将水平边缘增强图像输入目标卷积神经网络,得到表征细胞微观的细节特征图。

8、可选地,分别将每个实例包的语义特征图以及细节特征图进行跨模态特征对齐,得到每个实例包对齐后的语义特征图以及细节特征图,包括:采用双线性插值算法对各个实例包的语义特征图进行上采样,使上采样后的语义特征图与对应细节特征图空间分辨率一致;将空间分辨率一致的语义特征图以及细节特征图分别输入归一化层,得到各个实例包对齐后的语义特征图以及细节特征图。

9、可选地,采用坐标注意力机制将所有对齐后的语义特征图以及细节特征图进行包内实例交互,得到注意力图,包括:将对齐后的语义特征图以及细节特征图沿通道维度进行拼接,得到联合特征;对联合特征分别沿水平方向和垂直方向进行平均池化操作,提取水平方向的全局上下文特征和垂直方向的全局上下文特征;将水平方向的全局上下文特征和垂直方向的全局上下文特征进行拼接,并将拼接后的特征输入卷积层和激活函数进行跨维交互,生成中间特征;将中间特征分解并经过sigmoid激活函数,生成水平方向注意力权重和垂直方向注意力权重;基于水平方向注意力权重和垂直方向注意力权重,生成注意力图。

10、可选地,基于时频特征融合的预测网络模型的训练过程包括:第一阶段:冻结分类器以外的网络参数,仅训练分类器参数;第二阶段:解冻特征融合网络,进行局部微调;第三阶段:解冻基于时频特征融合的预测网络模型所有参数,引入随机权重平均技术进行全局优化;同时,在训练过程中采用focal loss损失函数,并结合逆频率加权采样策略以平衡正负样本比例。

11、根据第二方面,本发明实施例提供一种电子设备,所述设备包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行上述第一方面或第一方面任一实施方式所述基于多实例时频特征融合的乳腺癌致病基因突变预测方法的步骤。

12、根据第三方面,本发明实施例提供一种计算机存储介质,其上存储有计算机指令,该指令被处理器执行时实现第一方面或第一方面任一实施方式所述的基于多实例时频特征融合的乳腺癌致病基因突变预测方法的步骤。

13、本实施例提供基于多实例时频特征融合的乳腺癌致病基因突变预测方法,通过对乳腺癌病理全切片图像进行多尺度切分构建多实例包,将同一中心位置不同尺度的图像tile作为实例融合入预测过程,打破了单一尺度图像分析的局限性,让后续预测网络能从多尺度视角挖掘病理图像中与致病基因突变相关的有效特征,从而提高了乳腺癌关键致病基因突变预测精度;同时依托多实例包的构建形式,实现了对病理全切片图像的精细化、分区域特征提取与分析,避免了全切片图像直接分析的算力损耗与特征信息冗余问题,并且本方法无需依赖高通量测序等昂贵、耗时的检测手段,仅通过病理图像即可完成基因突变概率预测,降低了检测成本、缩短了预测周期,且无需耗费大量肿瘤组织样本,能为乳腺癌患者的临床诊疗、用药指导提供快速、低成本的辅助判断依据,有效弥补了现有检测方法和预测技术的不足。

14、同时,通过融合全局结构特征和小波增强细节特征,有效解决了乳腺癌病理图像分析中视野与细节难以兼顾的问题。坐标注意力机制增强了模型对癌变区域的空间定位能力,显著提升了brca1/2基因突变预测的auc和f1分数,为临床提供了一种低成本、快速的辅助判断工具。

15、本发明的其他优点、目标和特征将在随后的说明书中进行阐述,并且在某种程度上对本领域技术人员而言是显而易见的,或者本领域技术人员可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。