一种结直肠癌前病变内镜图像分级识别及可视化方法与系统与流程

摘要: 本发明涉及医学图像处理,具体涉及一种结直肠癌前病变内镜图像分级识别及可视化方法与系统。背景技术:1、结直肠癌(colorectalcancer,crc)是全球常...
一种结直肠癌前病变内镜图像分级识别及可视化方法与系统与流程

本发明涉及医学图像处理,具体涉及一种结直肠癌前病变内镜图像分级识别及可视化方法与系统。

背景技术:

1、结直肠癌(colorectal cancer,crc)是全球常见的恶性肿瘤之一,也是癌症相关死亡的主要原因之一,其发病率和死亡率在过去几十年中呈上升趋势,尤其在发展中国家增长较快。大量研究表明,结直肠癌的发生大多遵循“腺瘤—癌”序列或通过锯齿状通路进展,其中传统腺瘤(adenomas)和无蒂锯齿状病变(sessile serrated lesions,ssls)是重要的癌前病变类型。无蒂锯齿状病变因其平坦、边界模糊、黏液丰富等形态学特征,在常规结肠镜检查中容易漏诊,被认为是间期癌的重要成因之一。因此,提高对结直肠腺瘤和无蒂锯齿状病变的早期识别与准确分级,是结直肠癌筛查和预防中的重要环节。

2、结肠镜检查是目前结直肠癌筛查和早期诊断的重要手段,但其诊断效能高度依赖操作医师的经验与技术水平。传统结肠镜检查对腺瘤及无蒂锯齿状病变仍存在一定漏诊风险,尤其是对于微小病变、平坦型病变、边界不清病变以及黏液覆盖病变,漏诊风险更高。此外,病变的实时分类和病理分级仍具有较强主观性,例如腺瘤与增生性息肉的鉴别、无蒂锯齿状病变的识别、低级别上皮内瘤变与高级别上皮内瘤变的区分,以及无蒂锯齿状病变是否伴有异型增生的判断,均可能受到医师经验、图像质量和病变形态差异的影响。上述因素容易导致术前内镜判断与术后病理结果之间存在不一致,进而影响内镜治疗方式选择和术后随访方案制定。

3、近年来,人工智能(artificial intelligence,ai)技术,特别是深度学习(deeplearning,dl)技术,在医学影像分析领域取得了较快发展。在消化内镜领域,人工智能系统能够通过卷积神经网络(convolutional neural network,cnn)等模型自动提取图像特征,实现病变检测、定位、分类和分割等任务,从而提高内镜图像分析的效率和一致性。已有研究显示,ai模型辅助结肠镜可提高腺瘤检出率,尤其在微小病变、平坦型病变和无蒂锯齿状病变的识别方面具有一定优势。

4、在结直肠癌前病变分级方面,ai模型可结合白光内镜、染色内镜、窄带成像和放大内镜等图像数据,对结直肠腺瘤和无蒂锯齿状病变进行分类和分级识别。然而,现有ai辅助诊断系统多侧重于病变检出或简单分类,对于结直肠腺瘤低级别上皮内瘤变与高级别上皮内瘤变的区分,以及无蒂锯齿状病变不伴异型增生与伴异型增生的区分,仍存在进一步提升的需求。

5、此外,随着ai辅助内镜诊断技术的发展,临床应用中不仅要求ai模型给出识别结果,还要求其能够解释模型作出判断时所关注的图像区域。可解释人工智能(explainableai,xai)技术,例如梯度加权类激活映射(gradient-weighted class activationmapping,grad-cam),能够通过热力图形式显示模型关注区域,从而增强临床医生对ai输出结果的理解和信任。但是,结直肠癌前病变内镜图像中常存在多个小病灶区域、微小形态差异以及局部黏膜结构变化,传统可视化方法在多区域定位、微小病变敏感性以及与临床医生认知模式一致性方面仍有不足。特别是对于高级别上皮内瘤变和伴有异型增生的无蒂锯齿状病变,术前精准识别及其可视化解释对内镜治疗方式选择和术后随访具有重要参考意义。

技术实现思路

1、针对上述背景技术中指出的结直肠癌前病变分级识别准确性不足、对医师经验依赖较强以及现有分级识别模型诊断结果可解释性不足的问题,本技术旨在提供一种结直肠癌前病变内镜图像分级识别及可视化方法与系统,通过改进yolo-v7分级识别模型,并在改进yolo-v7分级识别模型上引入梯度加权类激活映射增强算法,实现对结直肠腺瘤和无蒂锯齿状病变的检测定位、分级识别和模型关注区域可视化,从而提高诊断辅助结果的准确性和可解释性。

2、第一方面,一种结直肠癌前病变内镜图像分级识别及可视化方法,包括以下步骤:

3、构建改进yolo-v7分级识别模型;

4、将待识别的结直肠癌前病变内镜图像输入训练后的改进yolo-v7分级识别模型,获得目标病变检测结果以及特征张量,检测结果包括目标病变检测框、分级识别类别及预测置信度;

5、采用梯度加权类激活映射增强算法,依次计算特征张量中每个特征图的权重,并对每个特征图进行加权求和,将加权求和结果上采样至待识别的结直肠癌前病变内镜图像的尺寸,生成热力图,热力图用于显示分级识别类别对应的内镜图像区域;

6、将热力图叠加至将待识别的结直肠癌前病变内镜图像,并将叠加有热力图的结直肠癌前病变内镜图像与目标病变检测框、分级识别类别及预测置信度共同输出。

7、可选地,构建改进yolo-v7分级识别模型,包括:

8、获取经组织病理学证实的结直肠腺瘤和无蒂锯齿状病变的内镜图像;

9、根据组织病理学结果对内镜图像配置分级识别类别标签,并标注内镜图像中的病变感兴趣区域,构建结直肠癌前病变内镜图像数据集,将结直肠癌前病变内镜图像数据集划分为训练集、验证集和测试集;

10、根据训练集训练预设yolo-v7分级识别模型;其中,预设yolo-v7分级识别模型为在原始yolo-v7模型的特征提取网络中引入基于densenet的密集连接结构的改进yolo-v7分级识别模型;

11、根据验证集对训练过程中不同训练轮次获得的改进yolo-v7分级识别模型进行验证,并根据验证结果选取目标改进yolo-v7分级识别模型;

12、根据测试集对目标改进yolo-v7分级识别模型进行性能评估。

13、可选地,分级识别类别标签包括结直肠腺瘤低级别上皮内瘤变、结直肠腺瘤高级别上皮内瘤变、不伴异型增生的无蒂锯齿状病变和伴异型增生的无蒂锯齿状病变。

14、可选地,标注内镜图像中的病变感兴趣区域,构建结直肠癌前病变内镜图像数据集包括:

15、对病变感兴趣区域进行边界框标注,使边界框与对应病变感兴趣区域的大小相适配,并根据边界框的位置和分级类别标签生成标注文件;

16、将内镜图像与对应的标注文件关联,形成用于训练改进yolo-v7分级识别模型的图像—标注结直肠癌前病变内镜图像数据集。

17、可选地,基于densenet的密集连接结构包括至少一个密集块,每个密集块包括多个依次设置的广义卷积层,每个广义卷积层包括批量归一化层、relu激活层和卷积层,且相邻广义卷积层之间设置有直接连接。

18、可选地,特征张量由改进yolo-v7分级识别模型中最后一个卷积层输出,特征张量包括多个通道对应的特征图。

19、可选地,采用梯度加权类激活映射增强算法,依次计算特征张量中每个特征图的权重,并对每个特征图进行加权求和,包括:

20、将检测结果中的分级识别类别作为待解释目标类别;

21、获取改进yolo-v7分级识别模型针对待解释目标类别产生的类别得分;

22、计算类别得分相对于特征张量中每个特征图的梯度信息,并基于梯度信息确定每个特征图对应的重要性权重;

23、根据重要性权重对特征张量中的每个特征图进行加权求和,得到加权组合结果。

24、可选地,特征张量包括多个特征图,将特征张量中的第k个特征图表示为,则第k个特征图对应的重要性权重满足:

25、

26、其中:表示第k个特征图的重要性权重;是yolo-v7模型对目标类别c的得分,表示第k个特征图在位置(i,j)处的激活值;表示第k个特征图的一阶梯度;表示第k个特征图的二阶梯度。

27、可选地,根据重要性权重对特征张量中的每个特征图进行加权求和,得到加权组合结果,加权组合结果满足:

28、;

29、其中,表示特征张量a中的第k个通道特征图;表示第k个特征图相对于待解释目标类别c的重要性权重;relu表示线性整流函数。

30、本发明的另一重目的是提供一种结直肠癌前病变内镜图像分级识别及可视化系统,包括:

31、模型构建模块,用于构建改进yolo-v7分级识别模型;

32、分级识别模块,用于将待识别的结直肠癌前病变内镜图像输入训练后的改进yolo-v7分级识别模型,获得目标病变检测结果以及特征张量,目标病变检测结果包括目标病变检测框、分级识别类别及预测置信度;

33、热力图生成模块,用于采用梯度加权类激活映射增强算法,依次计算特征张量中每个特征图的权重,并对每个特征图进行加权求和,将加权求和结果上采样至待识别的结直肠癌前病变内镜图像的尺寸,生成热力图,热力图用于显示分级识别类别对应的内镜图像区域;

34、结果输出模块,用于将热力图叠加至待识别的结直肠癌前病变内镜图像,并将叠加有热力图的结直肠癌前病变内镜图像与目标病变检测框、分级识别类别及预测置信度共同输出。

35、与现有技术相比,本发明的一种结直肠癌前病变内镜图像分级识别及可视化方法与系统带来了以下有益效果:

36、1.本发明通过构建经组织病理学证实的结直肠癌前病变内镜图像数据集,并将结直肠腺瘤低/高级别上皮内瘤变以及无蒂锯齿状病变是否伴异型增生作为分级类别,使模型训练数据与临床病理诊断结果相对应,有利于提高结直肠腺瘤和无蒂锯齿状病变分级识别结果的准确性和可靠性;

37、2.本发明通过对yolo-v7模型的特征提取网络进行改进,在特征提取网络中引入基于densenet的密集连接结构,使浅层网络提取的边界、纹理、颜色等细节特征能够传递至深层网络,并改善训练过程中梯度信息的反向传播,从而增强模型对结直肠癌前病变内镜图像中微小差异特征的提取能力;

38、3.本发明通过将改进yolo-v7分级识别模型与改进型梯度加权类激活映射算法(grad-cam++)相结合,在输出目标病变检测框、分级识别类别及预测置信度的同时,生成用于显示模型关注区域的热力图,使改进yolo-v7分级识别模型的判断依据能够以图像形式呈现,便于内镜医生理解模型输出结果,从而提高结直肠癌前病变辅助诊断的可解释性和临床应用价值。