跨模态特征融合的医疗影像智能辅助诊断系统及方法

摘要: 本技术涉及医学影像智能辅助诊断,更具体地说,本技术涉及一种跨模态特征融合的医疗影像智能辅助诊断系统及方法。背景技术:1、在临床疾病诊断过程中,ct、mri、超声...
跨模态特征融合的医疗影像智能辅助诊断系统及方法

本技术涉及医学影像智能辅助诊断,更具体地说,本技术涉及一种跨模态特征融合的医疗影像智能辅助诊断系统及方法。

背景技术:

1、在临床疾病诊断过程中,ct、mri、超声等医学影像是病灶定位、定性分析的核心依据,精准的病灶区域分割与边界识别是后续诊疗方案制定、疗效评估的重要基础。而为了提升影像诊断的效率与一致性,智能辅助诊断系统通常需要自动识别病灶的空间范围,以便进一步计算病灶体积、形态特征、浸润程度及与周边组织的毗邻关系。

2、现有医疗影像病灶分割通常依赖单一模态的灰度特征生成纹理梯度、显著性响应图,并根据显著性阈值或者人工设定的灰度区间识别病灶边界。该类方法在病灶与正常组织灰度差异显著、边界清晰的场景中具有一定适用性,但在临床实际场景中,大量早期微小病灶、浸润性病变、磨玻璃样病灶与周边正常组织之间的灰度过渡平缓、纹理差异微弱,病灶区域和正常组织区域之间的纹理梯度差异不明显,传统基于灰度阈值和显著性响应的分割结果容易受到图像噪声、部分容积效应和阈值设定影响,导致病灶边界出现断裂、外扩或漏检,难以准确反映病灶实际的浸润范围。

3、现有跨模态融合方案多是将临床生化检验数据用于最终诊断结论的辅助参考,未参与像素级病灶分割的特征修正过程,无法利用全身病变风险信息优化影像边界的判别精度。特别是病灶周边的移行带会导致病变特征呈渐变分布,传统方法无法准确识别这种渐变边界,往往将病灶周边的正常组织错误划入病变区域,因此,如何在纹理梯度差异不明显的复杂病灶条件下,融合临床生化信息提高医疗影像病灶边界分割的准确性,成为本领域亟待解决的问题。

技术实现思路

1、本技术提供一种跨模态特征融合的医疗影像智能辅助诊断系统及方法,可在病灶与正常组织纹理梯度差异不明显的复杂病变条件下,融合临床生化检验信息提高医疗影像病灶边界分割的准确性。

2、第一方面,本技术提供一种跨模态特征融合的医疗影像病灶智能分割方法,包括如下步骤:

3、采集多模态医疗影像全域像素级灰度数据和临床生化检验数据,计算影像纹理梯度图和病灶显著性图,基于临床生化检验数据计算全局病变风险校准系数,并统计病灶显著性图中初始疑似病灶区域和初始正常组织区域之间的纹理梯度均值差值;

4、当所述纹理梯度均值差值低于经全局病变风险校准系数调整后的复杂病灶区分阈值,从所述多模态医疗影像数据中提取典型病灶纹理特征基准和典型正常组织纹理特征基准,基于两类特征基准对像素级特征图进行纹理特征相似度计算,经全局病变风险校准系数校准后得到各个像素单元的病灶特征相似度;

5、根据所有的病灶特征相似度构建病灶特征相似度热力图,通过所述病灶特征相似度热力图对原始的病灶显著性图进行邻域纹理一致性加权修正,得到病灶显著性修正图;

6、将病灶显著性修正图、影像纹理梯度图和病灶特征相似度热力图叠置生成的多通道特征融合图输入预先训练好的医学语义分割网络模型中,输出二值化的病灶区域掩膜,将所述病灶区域掩膜的轮廓作为病灶边界坐标序列。

7、在一些实施例中,统计病灶显著性图中初始疑似病灶区域和初始正常组织区域之间的纹理梯度均值差值具体包括:

8、按照预定病灶显著性阈值对所述病灶显著性图进行分区,得到初始疑似病灶区域和初始正常组织区域;

9、依据所述影像纹理梯度图分别读取所述初始疑似病灶区域内各个像素单元的纹理梯度值和所述初始正常组织区域内各个像素单元的纹理梯度值;

10、对所述初始疑似病灶区域内的纹理梯度值进行均值统计,得到病灶区域纹理梯度均值;

11、对所述初始正常组织区域内的纹理梯度值进行均值统计,得到正常组织纹理梯度均值;

12、将所述病灶区域纹理梯度均值和所述正常组织纹理梯度均值之间的差值确定为纹理梯度均值差值。

13、在一些实施例中,从所述多模态医疗影像数据中提取典型病灶纹理特征基准和典型正常组织纹理特征基准具体包括:

14、根据所述多模态医疗影像数据生成局部相对灰度图、影像纹理梯度图和影像曲率特征图;

15、从所述局部相对灰度图、所述影像纹理梯度图、所述影像曲率特征图和所述病灶显著性图中,提取各个像素单元对应的局部相对灰度值、纹理梯度值、曲率特征值和病灶显著性值;

16、将局部相对灰度值低于预定病灶灰度阈值、曲率特征值满足预定病灶形态曲率范围且病灶显著性值高于预定病灶显著性阈值的像素单元,确定为病灶候选单元;

17、将局部相对灰度值高于预定正常组织灰度阈值、纹理梯度值高于预定纹理梯度阈值且病灶显著性值低于预定病灶显著性阈值的像素单元,确定为正常组织候选单元;

18、对所述病灶候选单元执行空间连通筛选,得到典型病灶纹理特征基准;

19、对所述正常组织候选单元执行空间连通筛选,得到典型正常组织纹理特征基准。

20、在一些实施例中,基于两类特征基准对像素级特征图进行纹理特征相似度计算,经全局病变风险校准系数校准后得到各个像素单元的病灶特征相似度具体包括:

21、提取所述典型病灶纹理特征基准的局部相对灰度值、纹理梯度值、曲率特征值和病灶显著性值,得到病灶特征基准向量;

22、提取所述典型正常组织纹理特征基准的局部相对灰度值、纹理梯度值、曲率特征值和病灶显著性值,得到正常组织特征基准向量;

23、提取所述像素级特征图中各个像素单元的局部相对灰度值、纹理梯度值、曲率特征值和病灶显著性值,得到待计算像素单元特征向量;

24、计算所述待计算像素单元特征向量与所述病灶特征基准向量之间的欧氏距离,得到病灶特征距离;

25、计算所述待计算像素单元特征向量与所述正常组织特征基准向量之间的欧氏距离,得到正常组织特征距离;

26、根据所述正常组织特征距离在所述病灶特征距离和所述正常组织特征距离之和中的占比,得到初始病灶特征相似度,经全局病变风险校准系数加权校准并归一化到0至1区间后,得到各个像素单元的病灶特征相似度。

27、具体地,若某一像素单元的局部相对灰度值、曲率特征值和病灶显著性值更接近病灶特征基准向量,则该像素单元的病灶特征距离较小,正常组织特征距离较大,其初始病灶特征相似度也较高;若某一像素单元的纹理梯度值和局部相对灰度值更接近正常组织特征基准向量,则该像素单元的正常组织特征距离较小,病灶特征距离较大,其初始病灶特征相似度较低。

28、全局病变风险校准系数可根据病例整体病变风险水平对全图相似度进行系统性校准,高风险病例适当提升弱病变区域的相似度取值,避免早期微弱病灶被遗漏,通过这种连续相似度表达,可将移行带、模糊边界和过渡区域中的微弱病变倾向保留下来。

29、在一些实施例中,通过病灶特征相似度热力图对原始的病灶显著性图进行邻域纹理一致性加权修正,得到病灶显著性修正图具体包括:

30、以病灶特征相似度热力图中每个像素单元为中心,提取预定尺寸的邻域窗口,计算邻域窗口内病灶特征相似度的均值和方差;

31、根据邻域相似度均值确定对应像素单元的基础显著性修正系数,均值越高则基础显著性修正系数越大;

32、根据邻域相似度方差调整基础显著性修正系数,方差越小说明邻域纹理一致性越强,修正系数越贴近基础显著性修正系数;

33、所有显著性修正系数的取值范围为 0.1 至 1.0;

34、根据每个像素单元对应的显著性修正系数,对原始的病灶显著性图中对应像素单元的病灶显著性值进行加权处理,得到病灶显著性修正图。

35、其中,病灶核心区域的像素单元邻域内相似度普遍较高且波动小,对应较高的修正系数,可强化病灶核心的显著性信号;病灶边缘移行带的像素单元邻域内相似度渐变过渡、波动较大,修正系数适度收敛,可保留边界的连续过渡特性;正常组织区域的像素单元邻域内相似度普遍较低且波动小,对应较低的修正系数,可抑制背景噪声。

36、通过邻域纹理一致性加权修正,可以修正原始病灶显著性图中因移行带渐变导致的病灶信号低估、背景噪声高估问题,使显著性分布更符合病灶空间连续分布的物理规律。

37、在一些实施例中,所述预先训练好的医学语义分割网络模型通过如下步骤训练得到:

38、获取历史病例样本对应的病灶显著性修正图、影像纹理梯度图、病灶特征相似度热力图和依据病理金标准校核的人工病灶标注掩膜;

39、将所述病灶显著性修正图、所述影像纹理梯度图和所述病灶特征相似度热力图按照相同像素位置进行通道叠置,得到训练输入多通道特征融合图;

40、将所述训练输入多通道特征融合图输入医学语义分割网络模型,得到预测病灶区域掩膜;

41、将所述预测病灶区域掩膜与所述依据病理金标准校核的人工病灶标注掩膜进行像素级差异比对,得到掩膜差异结果;

42、根据所述掩膜差异结果更新所述医学语义分割网络模型的网络参数;

43、当所述掩膜差异结果满足预定收敛条件时,得到预先训练好的医学语义分割网络模型。

44、其中,依据病理金标准校核的人工病灶标注掩膜可以由影像科医师依据病理活检结果、随访复查影像、多序列模态对照和临床诊疗记录校核得到,其中病理金标准用于验证病变的实际范围和性质,提高人工标注的准确性。训练输入多通道特征融合图中的病灶显著性修正图用于表达经过空间连续特性修正后的病变分布特征;影像纹理梯度图则是用于表达影像灰度的纹理变化强度;病灶特征相似度热力图用于表达像素级的病变倾向程度。上述三类特征图按照相同像素位置进行通道叠置后,可使医学语义分割网络模型在同一空间位置上同时读取显著性、纹理梯度和病变相似度信息。医学语义分割网络模型则可采用u-net 网络结构,该结构在医学影像小样本分割任务中具有优异的性能表现。

45、在一些实施例中,将所述病灶区域掩膜的轮廓作为病灶边界坐标序列具体包括:

46、对所述病灶区域掩膜执行孔洞填充处理,得到填充病灶掩膜;

47、对所述填充病灶掩膜执行孤立伪影斑块剔除处理,得到连通病灶区域掩膜;

48、提取所述连通病灶区域掩膜的外轮廓像素,得到病灶轮廓像素集合;

49、根据所述医学影像的空间参考信息,将所述病灶轮廓像素集合转换为医学影像坐标点集合;

50、按照轮廓追踪顺序对所述医学影像坐标点集合进行排序,得到病灶边界坐标序列。

51、其中,孔洞填充处理用于修补病灶掩膜内部因血管、支气管穿行形成的小范围空白区域;孤立伪影斑块剔除处理用于去除与主病灶不连通的零散误识别噪声区域;外轮廓像素用于表达病灶区域与正常组织之间的边界。将外轮廓像素转换为医学影像坐标点集合后,可进一步按照轮廓追踪顺序排列形成病灶边界坐标序列。该病灶边界坐标序列可用于导入医学影像工作站或智能诊疗辅助平台,以计算病灶体积、最长径、形态学分型、评估浸润范围并辅助临床诊疗方案制定。

52、第二方面,本技术提供一种跨模态特征融合的医疗影像智能辅助诊断系统,其包括有医疗影像病灶智能分割单元,所述医疗影像病灶智能分割单元具体包括:

53、影像采集模块,用于采集多模态医疗影像全域像素级灰度数据和临床生化检验数据,计算影像纹理梯度图和病灶显著性图,基于临床生化检验数据计算全局病变风险校准系数,并统计病灶显著性图中初始疑似病灶区域和初始正常组织区域之间的纹理梯度均值差值;

54、特征处理模块,用于当所述纹理梯度均值差值低于经全局病变风险校准系数调整后的复杂病灶区分阈值,从所述多模态医疗影像数据中提取典型病灶纹理特征基准和典型正常组织纹理特征基准,基于两类特征基准对像素级特征图进行纹理特征相似度计算,经全局病变风险校准系数校准后得到各个像素单元的病灶特征相似度;

55、所述特征处理模块,还用于根据所有的病灶特征相似度构建病灶特征相似度热力图,通过所述病灶特征相似度热力图对原始的病灶显著性图进行邻域纹理一致性加权修正,得到病灶显著性修正图;

56、分割执行模块,用于将病灶显著性修正图、影像纹理梯度图和病灶特征相似度热力图叠置生成的多通道特征融合图输入预先训练好的医学语义分割网络模型中,输出二值化的病灶区域掩膜,将所述病灶区域掩膜的轮廓作为病灶边界坐标序列。

57、第三方面,本技术提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有代码,所述处理器被配置为获取所述代码,并执行上述的跨模态特征融合的医疗影像病灶智能分割方法。

58、第四方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的跨模态特征融合的医疗影像病灶智能分割方法。

59、本技术公开的实施例提供的技术方案具有以下有益效果:

60、本技术在医疗影像病灶智能分割与辅助诊断过程中,首先采集多模态医疗影像全域像素级灰度数据和临床生化检验数据,并计算影像纹理梯度图和病灶显著性图,基于临床生化检验数据计算全局病变风险校准系数,由此获得医学影像全域范围内的纹理起伏信息、病灶显著性分布信息和全局病变风险水平信息;其次,通过统计初始疑似病灶区域和初始正常组织区域之间的纹理梯度均值差值,判断传统依赖纹理差异和显著性响应的分割过程是否适用于当前复杂病灶条件,并通过全局病变风险校准系数动态调整复杂病灶区分阈值,使判定标准匹配病例实际风险水平;当所述纹理梯度均值差值低于调整后的复杂病灶区分阈值时,本技术不再直接依赖原始病灶显著性图确定病灶边界,而是从所述多模态医疗影像数据中提取典型病灶纹理特征基准和典型正常组织纹理特征基准,并利用所述典型病灶纹理特征基准和所述典型正常组织纹理特征基准对像素级特征图进行纹理特征相似度计算,经全局病变风险校准系数校准后获得各个像素单元的病灶特征相似度,实现临床生化信息与影像纹理特征的像素级融合;再次,本技术根据所有的病灶特征相似度构建病灶特征相似度热力图,并利用所述病灶特征相似度热力图对原始的病灶显著性图进行邻域纹理一致性加权修正,修正原始病灶显著性图中因渐变移行带导致的病灶显著性低估或背景噪声高估问题,使病灶显著性分布更符合实际病变的空间连续分布规律;最后,将病灶显著性修正图、影像纹理梯度图和病灶特征相似度热力图叠置生成的多通道特征融合图输入预先训练好的医学语义分割网络模型中,输出二值化的病灶区域掩膜,并将所述病灶区域掩膜的轮廓作为病灶边界坐标序列。由此,本技术能够在病灶与正常组织纹理梯度差异不明显的复杂病变条件下,提高医疗影像病灶边界分割的准确性,使输出的病灶边界更符合临床实际的病变浸润范围。