一种面向混合现实的肝部图像三维模型重建方法及系统

摘要: 本发明涉及医学图像处理领域,具体涉及一种面向混合现实的肝部图像三维模型重建方法。背景技术:1、肝部区域涉及肝脏、病灶及邻近关键解剖结构,空间关系复杂,模型细节丰...
一种面向混合现实的肝部图像三维模型重建方法及系统

本发明涉及医学图像处理领域,具体涉及一种面向混合现实的肝部图像三维模型重建方法。

背景技术:

1、肝部区域涉及肝脏、病灶及邻近关键解剖结构,空间关系复杂,模型细节丰富。基于医学影像数据对肝部目标结构进行分割和三维重建,能够较直观地反映解剖形态及空间位置关系,因而广泛应用于医学可视化观察、空间认知以及术前辅助分析等场景。现有肝部图像三维重建方法通常通过对医学影像数据进行预处理、目标区域分割和三维表面重建,得到肝脏、病灶及相关解剖结构的三维模型。

2、该类方法能够较完整地保留原始解剖信息,但在获得高精度模型的同时,往往也会引入大量顶点和三角面片,使模型具有较高的网格复杂度。对于计算资源较为有限的混合现实终端而言,若直接加载和显示该类高精度模型,容易造成渲染负担过重、显示延迟增大以及交互流畅性下降等问题。为降低模型复杂度,现有相关技术中通常采用网格简化方法对三维模型进行压缩处理,其中,基于边折叠的qem(二次误差度量)法由于计算效率较高,被广泛用于三角网格的简化。然而,传统qem以几何误差最小化为目标,在处理肝部高精度三维模型时,往往难以兼顾简化效率与关键解剖结构保真性。

3、尤其是在血管分叉、器官边缘、病灶轮廓及高曲率过渡区域,传统简化方法容易造成局部变形、边界模糊、结构断裂或者细节丢失,从而影响模型的几何准确性和解剖表达效果。该缺陷在医学可视化场景中会进一步降低模型的参考价值和观察效果。另一方面,混合现实终端中的医学模型应用不仅要求模型具有较低的显示负担,还要求在简化后能够保持关键结构的空间关系和几何特征,以支持模型的空间注册、观察及交互操作。现有方法在模型轻量化处理与关键结构表达之间仍存在平衡不足的问题。

4、因此,如何在保持肝部关键解剖结构几何特征和空间关系准确表达的前提下,完成适于混合现实终端显示的肝部图像三维模型重建,以兼顾模型显示流畅性与结构保真性,成为本领域亟待解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种面向混合现实的肝部图像三维模型重建方法,以qem为基础框架、通过改进折叠代价的网格简化方法,以解决现有肝部三维模型在混合现实终端中直接加载显示时存在模型复杂度高、渲染负担重、交互流畅性不足,以及传统网格简化方法在关键解剖区域易造成几何特征损失的问题。

2、本发明的技术方案为:

3、一种面向混合现实的肝部图像三维模型重建方法,包括如下步骤:

4、s1、获取肝部医学影像数据;所述肝部医学影像数据包括计算机断层扫描图像数据或磁共振成像图像数据;

5、s2、根据所述肝部医学影像数据形成初始三维模型;所述步骤s2包括:对所述肝部医学影像数据进行预处理;对预处理后的肝部医学影像数据进行目标区域分割,得到目标结构的分割结果,所述目标结构包括肝脏、病灶和邻近关键解剖结构中的至少一种,所述邻近关键解剖结构包括血管、胆道或其他与肝部空间关系密切相关的组织;根据所述目标结构的分割结果进行体数据表面提取,并生成初始三维网格模型;

6、s3、对所述初始三维模型执行基于边折叠的网格简化处理;所述网格简化处理以二次误差度量法为基础框架,并在候选边折叠代价计算中引入局部曲率信息和邻域面积信息,以对不同区域的折叠优先级进行调节;所述候选边折叠代价由标准二次误差度量误差项、局部曲率项和邻域面积项共同确定,使局部曲率越小且邻域面积越大的区域对应越低的折叠代价,使局部曲率越大或邻域面积越小的区域对应越高的折叠代价;按照折叠代价执行候选边折叠,得到简化后的三维模型;

7、s4、将所述简化后的三维模型导入混合现实终端,对所述三维模型进行空间注册显示,并响应用户操作执行交互操作。

8、进一步的,整体包括肝部医学影像数据获取、初始三维模型构建、基于改进qem的模型简化以及混合现实终端显示与交互四个部分,具体步骤如下:

9、步骤s1 肝部医学影像数据获取:获取肝部医学影像数据,所述医学影像数据包括ct(计算机断层扫描图像数据)或mri(磁共振成像图像)数据,用于后续肝部目标结构的分割、三维重建和模型简化处理。

10、步骤s2 初始三维模型构建:根据所述肝部医学影像数据形成初始三维模型。

11、s21 肝部医学影像数据预处理:对所述肝部医学影像数据进行预处理,以提高图像质量并增强目标结构与周围组织之间的可分性。

12、s22 目标区域分割:对预处理后的肝部医学影像数据进行目标区域分割,得到肝肿瘤和肝血管的分割区域。所述肝血管包括肝动脉、肝静脉、门静脉及胆管中的至少一种。具体地,分别对肝肿瘤和肝血管进行逐体素识别,得到对应于肝肿瘤的二值掩膜或对应于肝肿瘤和各肝血管的多类别标签体数据,用于明确肝肿瘤和各肝血管在三维空间中的占据范围与边界位置。

13、所述分割过程可采用阈值分割、区域生长、图割或基于深度学习的语义分割方法实现。

14、s23 初始三维模型生成:根据所述目标结构的分割结果进行体数据表面提取,并生成初始三维模型。

15、步骤s3 基于改进qem的模型简化:对所述初始三维模型执行基于边折叠的网格简化处理,所述网格简化处理以二次误差度量法qem为基础框架,并在候选边折叠代价计算中引入局部曲率信息和邻域面积信息,以对不同区域的折叠优先级进行调节,按照折叠代价执行候选边折叠,得到简化后的三维模型。

16、s31 简化前特征计算:在计算候选边折叠代价前,构建顶点误差矩阵,所述顶点误差矩阵是指二次误差度量法中用于衡量新顶点到周围平面偏离程度的二次型矩阵,其构建方式如下:对于网格中任一顶点,依次统计其周围所有邻接三角面片,每个三角面片对应一个由其平面方程系数构成的外积矩阵,将所有这些外积矩阵相加即得到该顶点的误差矩阵。该顶点误差矩阵即为后续标准qem误差项的计算依据。对候选边两端顶点的法向量进行加权修正,修正方式是:以顶点一阶邻域内所有相邻三角面片为对象,将每个三角面片在顶点处的夹角与三角面片面积作为权重,对所有相邻三角面片的法向量进行加权求和,再对所得向量进行归一化,得到修正后的顶点法向量。其中,加权求和所用的夹角指三角面片在顶点处的内角,加权求和所用的面积指三角面片的实际几何面积,法向量指三角面片的几何法向量。根据候选边两端顶点修正后法向量的变化情况和候选边边长确定局部曲率信息,具体地,将候选边两端顶点修正后法向量之间的夹角除以该候选边的边长,得到该边对应区域的局部曲率特征值。其中,所述候选边的边长指两端顶点之间的欧氏距离。根据候选边两端顶点各自邻域三角面片面积确定邻域面积信息,具体地,统计候选边每一端顶点一阶邻域内所有三角面片的面积之和,分别作为该端顶点的邻域面积,用于后续折叠代价计算。

17、s32 改进折叠代价求解:基于标准qem误差项、局部曲率项和邻域面积项构建候选边折叠代价;其中,使局部曲率越小且邻域面积越大的区域对应越低的折叠代价,使局部曲率越大或邻域面积越小的区域对应越高的折叠代价。

18、s33 边折叠与网格更新:根据候选边折叠代价选择待折叠边;对待折叠边折叠后的新顶点位置进行求解;当对应求解矩阵可逆时,求得最优新顶点位置;当对应求解矩阵不可逆时,采用边中点或边界顶点作为替代位置;执行边折叠并更新与所述待折叠边相关的局部拓扑关系及受影响区域内候选边折叠代价;在达到预设简化目标后输出简化后的三维模型。

19、步骤s4 混合现实终端显示与交互:将简化后的三维模型导入混合现实终端。

20、s41 三维模型空间注册显示:将简化后的三维模型加载至混合现实终端,并进行空间注册显示。

21、s42 三维模型交互操作:响应用户操作,对所述三维模型执行平移、缩放和旋转中的至少一种交互操作。

22、另一方面,一种面向混合现实的肝部图像三维模型重建系统,用于执行上述面向混合现实的肝部图像三维模型重建方法。所述系统包括数据获取模块、三维模型构建模块、模型简化模块和混合现实显示模块。其中,所述数据获取模块包括影像采集接口和影像数据解析单元。所述影像采集接口用于连接医学影像设备或访问医学影像数据库;所述影像数据解析单元用于解析医学影像数据,得到肝部医学影像数据,并将所述肝部医学影像数据发送至三维模型构建模块。

23、所述三维模型构建模块与所述数据获取模块通信连接。所述三维模型构建模块包括预处理单元、分割单元和表面提取单元。所述预处理单元用于接收所述肝部医学影像数据,并对所述肝部医学影像数据进行灰度归一化、窗宽窗位调整、噪声滤波、伪影抑制、层间重采样以及体素尺寸统一处理中的至少一种,得到预处理后的肝部医学影像数据。所述分割单元用于对所述预处理后的肝部医学影像数据进行目标区域分割,得到肝肿瘤和肝血管的分割区域,并将所述分割区域发送至表面提取单元。所述表面提取单元用于根据所述分割区域进行体数据表面提取,生成初始三维网格模型,并将所述初始三维网格模型发送至模型简化模块。

24、所述模型简化模块与所述三维模型构建模块通信连接。所述模型简化模块包括特征计算单元、折叠代价求解单元和边折叠执行单元。所述特征计算单元用于对所述初始三维网格模型进行顶点误差矩阵构建、顶点法向量加权修正、局部曲率信息计算和邻域面积信息计算。所述折叠代价求解单元用于基于标准二次误差度量误差项、局部曲率项和邻域面积项构建候选边折叠代价。所述边折叠执行单元用于根据所述候选边折叠代价选择待折叠边,依次执行边折叠操作,并在达到预设简化目标后输出简化后的三维网格模型。所述模型简化模块将所述简化后的三维网格模型发送至混合现实显示模块。

25、所述混合现实显示模块与所述模型简化模块通信连接。所述混合现实显示模块包括模型转换单元和混合现实交互单元。所述模型转换单元用于将所述简化后的三维网格模型转换为混合现实终端可识别的三维显示资源。所述混合现实交互单元用于将所述三维显示资源导入混合现实终端,并在所述混合现实终端中进行空间注册显示与交互操作。

26、所述数据获取模块、三维模型构建模块、模型简化模块和混合现实显示模块依次连接,信号流向为单向。各模块之间通过内部数据总线依次单向传输肝部医学影像数据、初始三维网格模型数据和简化三维网格模型数据。

27、本发明还公开一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时实现上述面向混合现实的肝部图像三维模型重建方法。

28、本发明的有益效果在于:

29、(1)本发明在肝部医学影像三维重建基础上,引入面向混合现实显示的模型简化与显示适配处理,能够降低初始三维模型的顶点数量和三角面片数量,减轻混合现实终端中的模型加载和渲染负担,提高模型显示流畅性。

30、(2)本发明采用基于边折叠的网格简化框架,并在现有qem方法基础上对折叠代价进行改进,使模型简化过程不仅能够控制模型复杂度,还能够兼顾肝部关键解剖结构的几何特征表达。

31、(3)本发明在候选边折叠代价计算中引入局部曲率信息和邻域面积信息,对不同区域的折叠优先级进行自适应调节,使平坦区域优先简化,使肝脏边界、病灶轮廓及关键解剖交界区域获得更高保留优先级,从而提高关键结构保真能力。

32、(4)本发明通过对模型简化过程中的折叠代价、新顶点位置求解及局部拓扑更新进行协同处理,能够在降低模型复杂度的同时保持肝部关键解剖结构的空间关系和几何形态,提高模型简化后的几何准确性和稳定性。

33、(5)本发明将经特征保持简化后的肝部三维模型导入混合现实终端,并用于空间注册、显示及交互操作,使该技术方案能够直接应用于混合现实场景下的医学可视化观察和交互显示。