基于真实影像的血管三维重建方法、装置、设备及介质与流程

摘要: 本技术属于血管三维重建,特别涉及一种基于真实影像的血管三维重建方法、装置、设备及介质。背景技术:1、微小血管与微腔道的三维结构重建一直是医学影像领域的核心难题之...
基于真实影像的血管三维重建方法、装置、设备及介质与流程

本技术属于血管三维重建,特别涉及一种基于真实影像的血管三维重建方法、装置、设备及介质。

背景技术:

1、微小血管与微腔道的三维结构重建一直是医学影像领域的核心难题之一。随着微创手术、血管内介入治疗、脑血管病变研究等领域的快速发展,对微尺度环境中真实几何结构的获取提出了前所未有的需求。然而,微尺度成像环境与传统宏观场景存在本质差异,使得现有三维重建技术在此类场景中普遍失效。

2、在传统三维重建方法中,基础的技术路线是视差的三角测量。无论是双目立体视觉、结构光深度测量,还是多视角几何(mvg),其核心均依赖于不同视角之间的像素对应关系。然而,在微小血管内部,成像探头的运动范围通常仅在毫米级,且运动方向多为沿血管轴向的前进或轻微旋转,导致可用于三角测量的有效视差几乎不存在。视差不足直接导致深度估计退化为病态问题,使得传统三角测量方法无法提供可靠的深度信息。

3、另一方面,基于特征点的 slam(simultaneous localization and mapping)方法在宏观场景中表现优异,但在微尺度环境中面临严重挑战。血管壁表面纹理具有高度重复性,亮度梯度弱,且受光照方向限制,难以形成稳定的角点或边缘点。特征点稀疏或不稳定将导致 slam 系统无法建立可靠的特征匹配关系,最终导致跟踪失败或严重漂移。此外,微型成像设备通常只能提供低分辨率图像(如 200×200),进一步削弱了特征点检测与描述子的区分能力,使得 slam 方法在微尺度环境中几乎无法工作。

4、近年来,基于深度学习的神经渲染方法(如 nerf、gaussian splatting)在三维重建领域取得突破性进展。这类方法通过优化隐式场或高斯分布,使其能够从多视角图像中生成连续的三维表示。然而,这类方法的核心依赖于多视角一致性损失,即不同视角下的渲染结果必须与真实图像一致。在微小血管场景中,由于视差极弱、角度变化极小,神经渲染方法无法获得足够的几何约束,导致模型容易生成虚构几何结构(hallucination),无法保证医学场景所需的几何真实性。此外,神经渲染方法通常需要大量计算资源,不适合部署在微型设备或实时系统中。

5、除了深度估计与位姿估计的困难外,微尺度环境还存在光照单一、镜头畸变明显、噪声水平高等问题。微型光源通常位于探头前端,导致光照方向固定,阴影与亮度梯度不稳定;微型镜头的畸变难以完全校正,进一步削弱了几何线索;成像噪声会干扰深度估计与光流计算,使得传统方法难以获得稳定结果。

6、综上所述,现有技术微小血管三维重建存在以下缺陷:几何线索极弱,但对几何真实性要求极高;视差不足以支持三角测量,但深度信息又不可或缺。纹理弱导致特征点稀少,但位姿估计又依赖特征点。无法获得精确位姿,但 tsdf 等融合方法又依赖位姿导致微小血管三维重建稳定性差。

技术实现思路

1、鉴于上述问题,本技术提出了一种基于真实影像的血管三维重建方法、装置、设备及介质。解决微小血管与微腔道环境中三维重建的问题,实现弱视差、弱纹理、低分辨率条件下的稳定三维重建。

2、本技术实施例一方面提供一种基于真实影像的血管三维重建方法,包括:

3、获取血管真实影像,基于所述血管真实影像生成连续的第一影像序列;

4、对所述第一影像序列中的每一帧真实影像分别进行单帧深度估计得到与每一帧真实影像对应的相对深度图;

5、基于所述第一影像序列计算相邻帧影像之间的稠密光流,得到表征相邻帧之间像素级运动趋势的稠密光流场;

6、根据微小血管的管状结构先验对所述稠密光流场进行约束与优化,得到优化后的光流场,根据优化后光流场确定趋势级位姿;

7、基于所述相对深度图与所述趋势级位姿,采用tsdf/sdf融合方法对多帧所述相对深度图进行融合,得到微小血管的三维几何结构。

8、进一步的,所述对所述第一影像序列中的每一帧真实影像分别进行单帧深度估计得到与每一帧真实影像对应的相对深度图,包括:

9、将所述第一影像序列中的每一帧真实影像分别输入包含编码器和解码器的深度学习网络中;

10、通过所述编码器提取每一帧真实影像的多尺度特征,通过解码器基于所述多尺度特征恢复空间分辨率得到对应帧真实影像一致的相对深度图。

11、进一步的,所述通过解码器基于所述多尺度特征恢复空间分辨率得到对应帧真实影像一致的相对深度图,包括:

12、基于单帧真实影像中血管壁的亮度梯度、形状轮廓与空间走向特征推断得到对应帧真实影像一致的相对深度图。

13、进一步的,所述方法还包括:对输入所述第一影像序列中的每一帧真实影像的深度学习网络进行模型训练;

14、其中,引入以微小血管的管状结构为先验的正则化损失项,用于约束所输出的相对深度图沿血管走向方向的梯度平滑且沿血管横截面方向呈现近似圆形的二阶梯度分布,从而使所述深度学习网络能够从单帧真实影像中恢复符合血管几何规律的相对深度。

15、进一步的,所述根据微小血管的管状结构先验对所述稠密光流场进行约束与优化,得到优化后的光流场,包括:

16、构建包含光流平滑项、血管中心线连续性约束项与血管半径平滑性约束项的能量函数;

17、通过对所述能量函数进行最小化求解,得到所述优化后光流场,使所述优化后光流场对应的血管几何形态满足中心线连续、半径变化平滑且不发生突变。

18、进一步的,所述根据优化后光流场确定趋势级位姿,包括:

19、根据所述第一影像序列相邻帧影像之间的稠密光流得到的稠密光流场的方向分量与旋转分量,确定微小血管成像探头相对于血管的前进、后退、轻微旋转或横向偏移运动趋势;

20、并将所确定的运动趋势作为所述趋势级位姿;

21、所述趋势级位姿包括运动方向、旋转趋势与相对运动幅度中的至少一项。

22、进一步的,所述基于所述相对深度图与所述趋势级位姿,采用tsdf/sdf融合方法对多帧所述相对深度图进行融合,得到微小血管的三维几何结构,包括:

23、根据所述趋势级位姿将多帧所述相对深度图变换至统一的体素空间;

24、对变换后的多帧相对深度图进行加权融合,生成稳定、连续的血管三维几何结构。

25、基于同一发明构思,本技术实施例第二方面还提供了一种基于真实影像的血管三维重建装置,包括:

26、影像获取模块,用于获取血管真实影像,基于所述血管真实影像生成连续的第一影像序列;

27、单帧深度估计模块,用于对所述第一影像序列中的每一帧真实影像分别进行单帧深度估计得到与每一帧真实影像对应的相对深度图;

28、稠密光流计算模块,用于基于所述第一影像序列计算相邻帧影像之间的稠密光流,得到表征相邻帧之间像素级运动趋势的稠密光流场;

29、管状先验约束模块,用于根据微小血管的管状结构先验对所述稠密光流场进行约束与优化,得到优化后的光流场,根据优化后光流场确定趋势级位姿;

30、tsdf/sdf融合模块,用于基于所述相对深度图与所述趋势级位姿,采用tsdf/sdf融合方法对多帧所述相对深度图进行融合,得到微小血管的三维几何结构。

31、基于同一发明构思,本技术实施例第三方面还提供了一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;

32、存储器,存储有计算机程序;

33、处理器,执行存储器存储的程序时,实现一种基于真实影像的血管三维重建方法。

34、基于同一发明构思,本技术实施例第四方面还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,实现一种基于真实影像的血管三维重建方法。

35、本技术的有益效果:本技术基于单帧真实影像的深度恢复机制,通过学习血管的管状结构先验,从单帧图像中直接推断相对深度分布。该方法突破了三角测量对视差的依赖,使得在无视差条件下仍能获得可用于三维重建的深度信息。

36、采用轻量化网络结构,使其能够在微型设备或边缘计算平台上实时运行。网络输入为单帧图像,输出为相对深度图,无需外部传感器或多视角输入。深度图不要求绝对尺度一致性。

37、通过捕捉连续帧之间的微小运动趋势,并利用血管几何结构对光流进行约束,从而获得稳定的位姿趋势信息。采用趋势级位姿与tsdf/sdf融合相结合的方案,趋势级位姿虽精度较低但鲁棒性极高,tsdf融合又对位姿误差不敏感,两者结合形成了稳定的三维重建框架,提升了微小血管三维影像的稳定性。

38、本技术的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书以及附图中所指出的结构来实现和获得。