基于跨模态时空均衡学习的肝细胞癌微血管侵犯预测方法

摘要: 本发明属于数据处理技术,具体涉及一种基于跨模态时空均衡学习的肝细胞癌微血管侵犯预测方法。背景技术:1、肝细胞癌是临床常见恶性肿瘤之一,微血管侵犯是反映肿瘤侵袭性...
基于跨模态时空均衡学习的肝细胞癌微血管侵犯预测方法

本发明属于数据处理技术,具体涉及一种基于跨模态时空均衡学习的肝细胞癌微血管侵犯预测方法。

背景技术:

1、肝细胞癌是临床常见恶性肿瘤之一,微血管侵犯是反映肿瘤侵袭性、转移倾向、复发风险和预后水平的重要病理指标。微血管侵犯通常指癌细胞巢出现在内皮细胞衬里的微血管腔内,其存在往往意味着更高的术后复发风险和更差的长期生存结果。因此,在治疗前尽可能准确地判断微血管侵犯状态,对于手术方案制定、局部治疗策略选择、术后随访频率安排以及患者预后评估均具有重要意义。

2、目前,微血管侵犯的确诊主要依赖术后组织病理学检查。该方式虽然是公认的金标准,但需要取得组织样本,存在侵入性、耗时和成本较高等问题,并且难以在治疗前直接提供稳定判断。穿刺活检虽然可在一定程度上提前获得组织信息,但受限于取样区域、肿瘤异质性和瘤周组织差异,可能出现漏检或不准确评估。因此,利用常规临床影像对微血管侵犯进行术前非侵入式预测,是肝癌智能诊疗中的重要技术方向。

3、超声检查具有实时、无创、成本低、可重复性强等优点。b模式超声(b-mode)能够较清楚地显示肿瘤边界、形态、内部回声和周围组织结构,超声造影(contrast-enhancedultrasound,ceus)则能够动态反映造影剂进入、灌注峰值、消退以及微循环相关变化;这两种模态分别提供结构信息和灌注信息,具有天然互补性。理论上,将b模式超声视频与超声造影视频进行联合建模,可以比单帧图像或单模态分析获得更丰富的微血管侵犯相关线索。

4、然而,现有基于超声视频的微血管侵犯预测方案仍存在多方面不足:

5、1)时间采样缺乏统一基准。不同患者的造影剂进入时间、增强速度、峰值时刻以及持续时间差异较大。现有方法中,一类方案通常依赖医生从造影不同阶段选择一帧或少量关键帧进行分析,该方式主观性较强,且难以充分表征微血管侵犯相关灌注变化的动态过程;另一类方案则在动脉期起始与增强峰值之间选取固定数量的帧,但由于不同患者从起始到峰值所经历的实际时间不同,该方式会导致采样时间间隔不一致,使模型学习到的动态灌注特征缺乏公平性和稳定性。

6、2)瘤周区域的定义缺乏统一标准。微血管侵犯相关线索不仅可能存在于肿瘤内部,还可能分布于瘤周区域。现有方法通常先利用矩形框贴合肿瘤边缘,再将该矩形框向外扩展固定像素作为瘤周区域。然而,不同超声视频在成像比例、视野范围和分辨率上存在差异,固定像素扩展并不对应统一的实际物理距离,容易造成不同病例之间的瘤周范围不一致;若进一步按照真实物理尺度逐例换算和扩展,则标定成本和人工工作量较大,临床应用可行性较低。此外,瘤周区域内还可能包含肾脏、血管、腹壁等无关组织,尤其在超声造影中,血流丰富区域容易产生较强增强信号,干扰模型对肿瘤及有效瘤周信息的学习。因此,扩展不足会遗漏有价值的瘤周线索,扩展过度又会引入无关区域和背景噪声。

7、3)双模态时空信息融合不足。b模式超声和超声造影在信息类型上存在明显差异:在同一段超声视频中,b模式超声更侧重肿瘤边界、形态和组织结构信息,超声造影更侧重灌注强度、增强过程和时间动态变化。现有视频分析方法则多偏重超声造影的时间序列建模,往往侧重捕获帧间变化,而对空间细节、局部纹理以及双模态之间的互补关系挖掘不足。因此,现有方法难以同时充分利用b模式超声的结构信息、超声造影的灌注动态信息以及二者在时空维度上的互补特征。

8、微血管侵犯预测本质上依赖动态灌注过程与空间结构线索的联合分析,因此有必要在双模态时间序列协同学习的基础上,进一步利用两种模态的空间细节信息进行互补增强,为最终分类决策提供更充分的特征支撑。

技术实现思路

1、为了解决现有技术所存在的问题,本发明提出一种基于跨模态时空均衡学习的肝细胞癌微血管侵犯预测方法及系统,利用b模式超声视频和超声造影视频的互补信息,对肿瘤结构特征、瘤周区域信息以及造影动态灌注过程进行联合建模,提高了肝细胞癌微血管侵犯预测的准确性、稳定性和可解释性。

2、一方面,本发明实施例提出一种基于跨模态时空均衡学习的肝细胞癌微血管侵犯预测方法,包括以下步骤:

3、s1、获取同一受检对象的b模式超声视频和超声造影视频,并由人工确定超声造影视频中造影微泡首次进入肿瘤区域的起始帧,将起始帧作为双模态视频的统一时间同步锚点;

4、s2、以统一时间同步锚点为采样起点,按照固定时间间隔分别对超声造影视频和b模式超声视频进行同步采样,得到时间上对称且相互对应的超声造影帧序列和b模式超声帧序列;

5、s3、根据b模式超声视频中的结构帧,由人工确定感兴趣区域,并将感兴趣区域映射至超声造影帧序列和b模式超声帧序列的采样帧;对于感兴趣区域内的像素保留原始图像信息,对于感兴趣区域之外的像素采用高斯模糊结果替代,得到预处理后的超声造影帧序列和b模式超声帧序列;

6、s4、构建跨模态时空均衡学习网络模型;所构建的跨模态时空均衡学习网络模型包括主网络、辅助网络、特征融合与分类预测模块;跨模态时空均衡学习网络模型以预处理后的b模式超声帧序列和超声造影帧序列作为输入;通过主网络对预处理后的b模式超声帧序列和超声造影帧序列进行时序主导的特征学习,以输出时序主导特征;通过辅助网络在多个空间阶段对预处理后的b模式超声帧序列和超声造影帧序列进行空间主导的互补融合,以输出空间主导融合特征;特征融合与分类预测模块用于根据主网络和辅助网络的输出得到微血管侵犯预测结果;

7、s5、对所构建的跨模态时空均衡学习网络模型进行训练,根据训练目标对跨模态时空均衡学习网络模型的参数进行优化;

8、s6、将新病例的b模式超声视频和超声造影视频经步骤s1-s3处理后,输入训练后的跨模态时空均衡学习网络模型,输出微血管侵犯的预测结果。

9、基于相同的发明构思,本发明实施例还提供一种基于跨模态时空均衡学习的肝细胞癌微血管侵犯预测系统,包括:

10、视频预处理单元,用于获取同一受检对象的b模式超声视频和超声造影视频,并由人工确定超声造影视频中造影微泡首次进入肿瘤区域的起始帧,将起始帧作为双模态视频的统一时间同步锚点;

11、采样单元,以统一时间同步锚点为采样起点,按照固定时间间隔分别对超声造影视频和b模式超声视频进行同步采样,得到时间上对称且相互对应的超声造影帧序列和b模式超声帧序列;根据b模式超声视频中的结构帧,由人工确定感兴趣区域,并将感兴趣区域映射至超声造影帧序列和b模式超声帧序列的采样帧;对于感兴趣区域内的像素保留原始图像信息,对于感兴趣区域之外的像素采用高斯模糊结果替代,得到预处理后的超声造影帧序列和b模式超声帧序列;

12、跨模态时空均衡学习网络模型,包括主网络、辅助网络、特征融合与分类预测模块;跨模态时空均衡学习网络模型以预处理后的b模式超声帧序列和超声造影帧序列作为输入;通过主网络对预处理后的b模式超声帧序列和超声造影帧序列进行时序主导的特征学习,以输出时序主导特征;通过辅助网络在多个空间阶段对预处理后的b模式超声帧序列和超声造影帧序列进行空间主导的互补融合,以输出空间主导融合特征;特征融合与分类预测模块用于根据主网络和辅助网络的输出得到微血管侵犯预测结果。

13、本发明的技术方案在整体上采用时间对齐采样、空间相关区域增强、小波自适应特征增强以及跨模态时空均衡融合策略,有效解决现有超声视频微血管侵犯预测中采样不公平、瘤周区域的定义不稳定、有效信息稀疏以及双模态融合不足的问题。通过统一不同患者的超声造影时间采样基准,降低动态灌注差异带来的训练不公平;通过人工确定起始帧和观察窗口,并结合高斯模糊的离线空间预处理,保留肿瘤及有效瘤周区域信息并抑制无关器官干扰;通过跨模态时空均衡学习网络,对双模态超声视频的时间动态特征和空间细节特征进行协同学习,从而提高肝细胞癌微血管侵犯预测的准确性、稳定性和可解释性。

14、相较于现有技术,本发明取得的技术效果具体包括:

15、1、时间对齐采样设计:现有方法通常由医生在不同造影阶段选择一帧或少量关键帧,或者在动脉期起始与峰值之间选取固定数量的帧。前者主观性较强,且难以充分表征微血管侵犯相关的动态灌注过程;后者由于不同患者从造影起始到峰值所经历的实际时间不同,容易造成采样间隔不一致。

16、本发明以人工确定的造影微泡首次进入肿瘤区域的起始帧作为统一时间同步锚点,并按照固定时间间隔同步采样b模式超声视频和超声造影视频,使不同患者的动脉期动态过程具有更好的时间可比性,从而提高模型训练的公平性和稳定性。

17、2、基于高斯模糊的空间预处理:现有方法常通过肿瘤框向外扩展固定像素来定义瘤周区域,但不同视频的成像比例、视野范围和分辨率不同,固定像素扩展并不对应统一的实际物理距离;若按照真实比例尺逐例扩展,则标注和换算成本较高,临床应用不便。此外,扩展区域内可能包含肾脏、血管、腹壁等无关区域,尤其在超声造影中,血流丰富组织容易干扰模型学习。

18、本发明根据b模式超声结构帧人工确定观察窗口(即感兴趣区域,region ofinterest,roi),并对观察窗口之外的区域进行高斯模糊处理。该处理方式不依赖复杂的瘤周物理尺度换算,操作更简单一致;同时,相比直接遮蔽背景,高斯模糊能够在抑制无关器官细节和纹理噪声的同时,保留粗粒度肝背景和瘤周上下文信息,使模型更集中地学习肿瘤及有效瘤周区域。

19、3、主辅网络的时空均衡学习:微血管侵犯预测既依赖超声造影中的动态灌注变化,也依赖b模式超声中的肿瘤边界、形态和组织结构线索。单纯使用静态图像的模型难以刻画连续动态过程,而单纯使用偏重时间建模的视频模型又可能忽略空间细节和局部纹理。

20、本发明构建了主网络和辅助网络协同的跨模态时空均衡学习网络模型。主网络通过双分支时序建模学习b模式超声和超声造影的长序列动态特征,辅助网络在多个空间阶段引入跨模态融合,补充多尺度空间细节和结构信息与灌注信息之间的互补关系,从而实现时间动态特征和空间细节特征的协同建模。

21、4、小波自适应下采样增强:b模式超声视频信噪比较低,与微血管侵犯相关的边缘、纹理、增强变化和局部灌注模式往往较为细微;常规卷积神经网络在池化或卷积下采样过程中容易丢失这些高频细节,使后续时序建模只能基于已经损失关键信息的特征进行判断。

22、本发明在主网络中设置小波自适应下采样增强模块,将输入特征图分解为低频结构子带和高频细节子带。低频结构子带用于保持整体结构语义,高频细节子带用于保留边缘、纹理和局部变化,并通过通道注意力和空间注意力对关键区域进行重标定,使有利于微血管侵犯判断的稀疏信号在进入下一步建模前得到强化。

23、5、小波自适应跨模态融合:b模式超声和超声造影在信息类型上存在明显差异,前者更侧重肿瘤边界、形态和组织结构,后者更侧重灌注强度、增强过程和时间动态变化。现有技术通过简单拼接、平均融合或分类前融合,均难以充分建立两种模态之间的互补关系。

24、本发明在辅助网络中设置小波自适应融合增强模块,分别对b模式超声特征和超声造影特征进行小波分解,将低频结构信息和高频细节信息用于构建跨模态注意力,通过双向交互获得由超声造影增强b模式超声、由b模式超声增强超声造影的融合特征。该方式能够更充分地利用双模态在结构和灌注方面的互补优势,为最终分类决策提供更稳定且具有判别力的特征支撑。