一种结直肠癌多模态病理识别方法、系统及计算机存储介质

摘要: 本技术涉及医学图像分析,尤其涉及一种结直肠癌多模态病理识别方法、系统及计算机存储介质。背景技术:1、结直肠癌是全球范围内最常见的消化系统恶性肿瘤之一,结直肠癌的...
一种结直肠癌多模态病理识别方法、系统及计算机存储介质

本技术涉及医学图像分析,尤其涉及一种结直肠癌多模态病理识别方法、系统及计算机存储介质。

背景技术:

1、结直肠癌是全球范围内最常见的消化系统恶性肿瘤之一,结直肠癌的发生发展遵循“腺瘤-腺癌”序列(adenoma-carcinoma sequence),即正常结肠黏膜→增生性息肉→腺瘤性息肉→异型增生→原位癌→浸润性癌的演进过程。这一演进过程通常需要5至15年时间,为早期筛查和干预提供了宝贵的窗口期。研究表明,i期结直肠癌患者的5年生存率可达90%以上,而iv期转移性结直肠癌患者的5年生存率仅约14%。早期发现并切除癌前腺瘤性息肉可使结直肠癌发病率降低76%至90%。因此,结直肠癌的早期筛查、早期诊断和早期治疗对于改善患者预后、降低死亡率具有极其重要的临床意义和社会价值。

2、而组织病理学检查是结直肠癌诊断的金标准,通过对结肠镜活检或切除标本进行病理学分析,可以明确病变的组织学类型、分化程度和浸润深度,为临床治疗决策提供依据。结直肠癌前驱病变主要包括腺瘤、增生性息肉和锯齿状病变等,其中腺瘤根据绒毛成分比例和异型程度进一步分为管状腺瘤、绒毛状腺瘤和管状绒毛状腺瘤,以及低级别上皮内瘤变和高级别上皮内瘤变。准确的病理诊断对于制定治疗策略至关重要:低级别腺瘤可选择内镜下切除,而高级别上皮内瘤变和浸润性癌则需要外科手术根治。

3、结直肠癌前驱病变的病理学特征决定了其在病理图像上的表现,主要可以包括以下类型:

4、腺瘤(adenoma)是最常见的结直肠癌前驱病变,约占全部结直肠息肉的60%至70%。腺瘤的组织学特征包括:腺体结构的异常增生、腺上皮细胞的异型性、腺腔形态的不规则以及核分裂象的增多。根据绒毛成分的比例,腺瘤分为管状腺瘤(绒毛成分<20%)、管状绒毛状腺瘤(绒毛成分20%至80%)和绒毛状腺瘤(绒毛成分>80%)。腺瘤的异型程度分为低级别和高级别:低级别上皮内瘤变的细胞异型性较轻,核呈长椭圆形,排列极性尚存;高级别上皮内瘤变的细胞异型性明显,核大深染,核分裂象易见,排列极性消失。

5、增生性息肉(hyperplastic polyp)是最常见的非肿瘤性息肉,约占全部结直肠息肉的75%至90%。增生性息肉的组织学特征为隐窝上皮的增生,腺体结构保持规则,细胞呈柱状,胞质嗜酸性,核位于基底部,无明显异型性。增生性息肉通常为良性病变,恶变风险较低,但部分具有锯齿状结构的增生性息肉(如 sessile serrated adenoma)具有较高的恶变潜能。

6、锯齿状病变(serrated lesion)包括无蒂锯齿状腺瘤/息肉(ssa/p)和传统锯齿状腺瘤(tsa),ssa/p的特征为隐窝基底部扩张、水平走向的隐窝分支和隐窝上皮的锯齿状结构;tsa则表现为隐窝上皮的锯齿状增生伴异型性。锯齿状病变约占全部结直肠癌前驱病变的15%至25%,但约20%至30%的结直肠癌起源于锯齿状病变途径,具有独特的分子特征。

7、浸润性腺癌(invasive adenocarcinoma)的特征为腺体结构的恶性浸润性生长,腺体形态不规则,大小不一,排列紊乱,细胞异型性明显,核大深染,核分裂象易见,间质伴有促结缔组织增生反应。腺癌根据腺体形成比例分为高分化(>95%腺体)、中分化(50%至95%腺体)和低分化(25%至50%腺体),分化程度越低恶性程度越高。

技术实现思路

1、本技术目的在于提供一种结直肠癌多模态病理识别方法、系统及计算机存储介质,以解决现有技术中如何在不依赖大量异常标注数据的前提下,兼顾硬件级实时计算效率与病理特征的多模态完整性,并打破单标签输出的逻辑限制,提供一套既具备高敏感度异常筛查能力,又能精确输出多病变共存概率的结直肠癌智能诊断系统的问题。

2、为实现上述目的,本技术的第一方面提出了一种结直肠癌多模态病理识别方法,所述结直肠癌多模态病理识别方法包括:

3、对获取的待检测结直肠病理图像依次进行多模态预处理、倍率图像块提取和解耦变换操作,得到对应所述倍率图像块的复值连续特征向量,以及所述复值连续特征向量对应的多模态融合特征向量;

4、将所述多模态融合特征向量在多粒度层级码本中查找量化特征及量化索引,通过可学习权重对各个码本对应的量化特征进行加权融合,得到综合量化特征;

5、对所述综合量化特征进行图像重建,并基于图像重建结果计算第一异常评估指标;

6、根据所述量化索引和各所述码本中的原型向量的激活频率分布,计算第二异常评估指标;

7、对所述第一异常评估指标和所述第二异常评估指标进行加权融合,得到目标异常分数,以根据所述目标异常分数完成所述待检测结直肠病理图像的异常筛查判定;

8、将所述多模态融合特征向量同时输入多标签分类解码器,输出结直肠癌前驱病变的多标签分类结果,其中,所述多标签分类结果至少包括腺癌、腺瘤、增生性息肉与正常组织的分类概率。

9、为实现上述目的,本技术的第二方面还提出了一种结直肠癌多模态病理识别系统,所述结直肠癌多模态病理识别系统包括:

10、预处理模块,对获取的待检测结直肠病理图像依次进行多模态预处理、倍率图像块提取和解耦变换操作,得到对应所述倍率图像块的复值连续特征向量,以及所述复值连续特征向量对应的多模态融合特征向量;

11、融合模块,将所述多模态融合特征向量在多粒度层级码本中查找量化特征及量化索引,通过可学习权重对各个码本对应的量化特征进行加权融合,得到综合量化特征;

12、重建模块,对所述综合量化特征进行图像重建,并基于图像重建结果计算第一异常评估指标;

13、计算模块,根据所述量化索引和各所述码本中的原型向量的激活频率分布,计算第二异常评估指标;

14、判定模块,对所述第一异常评估指标和所述第二异常评估指标进行加权融合,得到目标异常分数,以根据所述目标异常分数完成所述待检测结直肠病理图像的异常筛查判定;

15、多标签分类模块,将所述多模态融合特征向量同时输入多标签分类解码器,输出结直肠癌前驱病变的多标签分类结果,其中,所述多标签分类结果至少包括腺癌、腺瘤、增生性息肉与正常组织的分类概率。

16、为实现上述目的,本技术的第三方面还提供一种计算机存储介质,包括与电子设备结合使用的程序,程序可被处理器执行以完成以下步骤:

17、对获取的待检测结直肠病理图像依次进行多模态预处理、倍率图像块提取和解耦变换操作,得到对应所述倍率图像块的复值连续特征向量,以及所述复值连续特征向量对应的多模态融合特征向量;

18、将所述多模态融合特征向量在多粒度层级码本中查找量化特征及量化索引,通过可学习权重对各个码本对应的量化特征进行加权融合,得到综合量化特征;

19、对所述综合量化特征进行图像重建,并基于图像重建结果计算第一异常评估指标;

20、根据所述量化索引和各所述码本中的原型向量的激活频率分布,计算第二异常评估指标;

21、对所述第一异常评估指标和所述第二异常评估指标进行加权融合,得到目标异常分数,以根据所述目标异常分数完成所述待检测结直肠病理图像的异常筛查判定;

22、将所述多模态融合特征向量同时输入多标签分类解码器,输出结直肠癌前驱病变的多标签分类结果,其中,所述多标签分类结果至少包括腺癌、腺瘤、增生性息肉与正常组织的分类概率。

23、基于本技术中的一种结直肠癌多模态病理识别方法、系统及计算机存储介质,通过采用复值光学卷积加速器对输入的结直肠病理图像进行高效特征提取,并进行多模态预处理,通过复值卷积编码器提取各模态的复值特征向量,再将复值特征通过幅度-相位解耦变换映射至实数空间得到多模态融合特征向量,该融合特征向量经多粒度层级码本进行向量量化,得到综合量化特征,并计算第一异常评估指标和第二异常评估指标,通过加权融合得到目标异常分数,以根据目标异常分数完成待检测结直肠病理图像的异常筛查判定,同时通过多标签分类解码器输出多标签诊断结果,实现腺癌、腺瘤、增生性息肉与正常组织的分类识别。

24、这样,本技术将光学计算与深度学习相结合,利用复值域的特征解耦能力提升对结直肠癌前驱病变的识别精度,在大规模筛查与临床辅助诊断中具有重要的应用价值,并有效降低了因待检测结直肠病理图像的异常筛查判定或者是多标签分类概率的输出出现漏诊或者失效而带来的临床风险。