基于虚拟现实的医学影像三维快速可视化与标注系统

1.本发明属于虚拟现实领域以及医学影像可视化领域，具体涉及基于虚拟现实的医学影像三维快速可视化与标注系统。


背景技术：

2.医学影像可视化是传递解剖信息的一项重要工具。传统二维医学影像缺乏三维信息，相关人员在观看时需要想象二维图像代表的三维结构。涉及到医学影像的临床应用，如手术路径规划，医学影像图像分割等，都由于需要逐层操作二维图像，导致了任务存在失败或伤害患者的风险。为此，出现了通过体绘制实现二维医学影像集三维可视化的方法。该方法将堆叠的二维医学影像集转化为三维体数据输入，通过体绘制的方法直接将解剖结构以三维的形式呈现在屏幕上。
3.虚拟现实技术为用户提供了沉浸式的三维虚拟场景，使用户更专注于眼前任务。头戴式虚拟现实设备可以实时跟踪用户的头部运动，并以此更新虚拟现实场景中的视点位置，从而使用户可以自然快捷的对三维可视化的图像进行观察探索。此外，与传统的在屏幕上进行的二维交互操作模式相比，虚拟现实技术提供了三维空间中的交互模式。使得用户与体数据的交互更加自然直观。
4.在医学应用中，用户经常需要观察位于物体内部的结构。这时目标区域与用户视点间的其他无关体素会对视野造成遮挡。这种遮挡问题在虚拟现实中的体绘制场景下更加严重。当用户佩戴头戴式显示设备走进体数据内部时，遮挡会环绕视点四周，导致用户在体数据内部失去方向感，从而妨碍了临床任务的进行，目前现有解决方案如下：
5.申请日2021/4/30，申请号：cn202110482041.9，专利名称：一种基于虚拟现实的微创外科手术模拟方法、系统，所述基于虚拟现实的微创外科手术模拟系统包括：数据预处理模块、数据导入模块、中央控制模块、三维图像重建模块、三维立体图像生成模块、立体图像处理模块、手术模拟模块、警告提醒模块、效果评估模块、数据存储模块、更新显示模块。本发明利用vr设备提供的虚拟环境，让医生在虚拟空间中对待手术部位的三维模型进行全方位观察，方便医生对病人病情有充分足够的了解；利用vr设备在虚拟空间中进行的模拟手术操作平台，方便医生在术前进行模拟以实现更为具体的术前规划；虚拟现实中呈现出的的三维医学影像模型更为真实，实现医生和三维影像数据之间的交互。
6.但是其描述的虚拟现实系统，不支持用户在虚拟场景中走进体数据内部进行自由观察和探索。因为通常情况下，用户视点与目标区域都会保持一定距离以便于获得良好的目标区域视野。当视点进入体数据内部时，视点周围的无关体数据和噪声数据会对视点造成遮挡，导致用户无法看清楚目标区域。本文描述的系统中，应用基于测地距离的遮挡削弱方法，保证了目标区域视野的清晰。同时应用表面增强方法，保证了削弱遮挡的同时体数据结构信息的完整。


技术实现要素：

7.为解决现有技术中存在的问题，本发明提出了基于虚拟现实的医学影像三维快速可视化与标注系统。将医学影像集输入该系统后，系统可以将二维影像集转换为三维体数据。并根据设置的传递函数和基于光线投射方法的体绘制对数据进行三维可视化。借助虚拟现实技术，用户可以在虚拟场景自由探索目标体数据。当需要观察内部的结构时，用户可以进入体数据内部直接观察目标区域。自适应的遮挡削弱方法会削弱视点周围的遮挡，并自适应的保留目标区域结构。此外，为辅助医学任务的进行，系统具备包括文字注释、图像标记等一系列交互功能。
8.本发明提供基于虚拟现实的医学影像三维快速可视化与标注系统，其特征在于：该方法包括以下步骤：
9.s1、医学影像数据转化步骤，获得二维影像数据集后，提取影像像素的标量值，根据像素的图像坐标以及二维图像的排序，将影像数据集中的像素转化为三维标量体数据；
10.影像数据转化过程如下:
11.首先根据医学影像数据格式，提取医学影像的相关信息，其中包括：像素数据，像素值数据类型，像素尺寸，图像尺寸，缩放比例信息；根据医学影像信息，将像素数据转换为存储像素标量值的三维数组；再根据医学影像尺寸信息，将三维数组渲染成符合影像比例的单通道三维纹理，其中纹理的单通道像素值为经过线性缩放的影像标量；
12.s2、体数据分析步骤，输入s1步骤得到的三维标量体数据，计算三维标量体数据的三维标量值梯度数据，体数据中的标量值范围，标量值分布情况，标量值梯度分布情况；进而得出标量值分布峰值，标量值梯度分布峰值，标量值分布突变位置，标量值梯度分布突变位置；
13.三维体数据梯度计算采用数值差分方法代替,对于体数据中任意一点该点标量值为f(xi，yi，zi)，其梯度计算采用相邻点标量值差分的形式，其梯度计算如下：
[0014][0015]
s3、数据体绘制步骤，输入s1步骤的体数据以及s2步骤的标量值梯度数据和体数据分析结果；根据设定的传递函数，使用光线投射体绘制方法对体数据进行三维可视化渲染；根据标量值梯度数据，对体数据中梯度高于阈值的部分进行额外的blinn-phong渲染；
[0016]
步骤s3中包括如下子步骤：
[0017]
s301、传递函数设置子步骤，该步骤设定了用于体绘制的标量值-不透明度传递函数和标量值-颜色传递函数，两传递函数分别规定了体数据中体素的标量值对应的不透明度值和颜色值；
[0018]
s302、传递函数渲染子步骤，该步骤分别将不透明度传递函数与颜色传递函数渲染在两个二维纹理上；不透明度传递函数为单通道纹理，颜色传递函数为rgb三通道纹理；
[0019]
s303、光线投射体绘制子步骤，该步骤使用光线投射法对s1步骤得到的体数据三维纹理进行采样，并根据s302子步骤得到的传递函数纹理确定采样体素对应的颜色与不透明度值；之后对颜色与不透明度值进行积分混合实现三维可视化；
[0020]
s304、blinn-phong渲染子步骤，该子步骤在s303子步骤采样体素并确定对应的颜色值后，将梯度值大于设定阈值的采样点进行blinn-phong渲染，得到的新颜色值替换该采样点的原有颜色值；
[0021]
s4、实时自适应遮挡削弱步骤，根据头戴式虚拟现实设备输入的相机位置，逐帧实时计算s1步骤得到的三维标量体数据各体素到视点的测地距离；根据三维测地距离场划定遮挡削弱范围，并计算得到三维体素不透明度值削弱场；根据不透明度削弱场对体数据进行遮挡削弱处理；此外进一步增强表面不透明度；之后更新体绘制渲染结果；
[0022]
s4步骤包含如下子步骤：
[0023]
s401、测地距离场生成子步骤，该子步骤逐帧实时计算了体数据中各体素到视点的测地距离，并形成三维测地距离场；
[0024]
s401子步骤中体素与视点间测地距离计算如下：
[0025][0026]
其中，为所求体素位置，为视点位置，γ代表与之间的一条路径，代表与之间所有路径的集合，l(γ)为路径的长度，为路径上微元s沿路径方向的梯度，γ为设置的梯度权重系数；梯度权重系数γ通过人为设置，初始化采用梯度权重与空间距离等权重的方式自动设置；测地距离场的数值计算方法采用两次扫描法计算；测地距离场的采样分辨率为体数据分辨率的1/8，计算得到的测地距离场在gpu中进行上采样；
[0027]
s402、遮挡削弱系数场生成子步骤，该子步骤根据三维测地距离场划定遮挡削弱范围，并计算得到范围内体素的遮挡削弱系数；之后对范围内体素进行遮挡削弱处理；
[0028]
s402子步骤中的遮挡削弱范围由人工设置的阈值d
t
确定，测地距离d小于阈值的体素被划入遮挡削弱范围；遮挡削弱系数计算如下：
[0029][0030]
遮挡削弱处理通过对范围内体素不透明度值削弱实现，计算如下：
[0031][0032]
其中为处理后的不透明度值；
[0033]
s403、表面增强子步骤，该子步骤对体数据中梯度高于阈值的体素进行不透明度值增强；
[0034]
s403子步骤提高梯度高于阈值的体素的不透明度值，阈值与s304子步骤的梯度阈值相同；对不透明度值的增强计算如下：
[0035][0036]
其中，为增强后的不透明度值；a为增强系数，其值小于1，可人工设定；
[0037]
s5、虚拟现实交互步骤，根据虚拟现实设备输入的交互指令，实施相应的交互功能；其中包括：遮挡削弱调整功能，视点移动以及相机调整功能，医学体数据标注功能；交互功能对体数据和渲染做出调整后，将更新的渲染图像显示在虚拟现实设备屏幕上。
[0038]
作为本发明进一步改进，s1步骤中支持的医学影像数据有dicom格式，raw格式，nifti格式。
[0039]
作为本发明进一步改进，s301子步骤传递函数分别为标量值映射到不透明度值和颜色值的分段线性函数；传递函数的设定通过编辑分段线性函数的控制点，之后对控制点内的函数进行线性插值。
[0040]
作为本发明进一步改进，s303子步骤采用光线投射的采样方法，以从后向前的顺序沿采样直线进行固定步长采样；采样数固定，采样步长根据体数据内的最长直线距离决定；采样直线由视点向屏幕的每个像素发出；
[0041]
其中子步骤光线投射方法采用的颜色积分方法，根据lambert定律对不透明度的积分，对不透明度和颜色分别进行如下迭代计算：
[0042][0043][0044]
其中，为采样至的不透明度积分结果，为点的不透明度值；为采样至的颜色积分结果，为点的颜色值。
[0045]
作为本发明进一步改进，s303子步骤光线投射方法采用空采样跳过和提前终止采样的加速方法；空采样跳过加速方法跳过不透明度值小于0.05的体素；提前终止采样在不透明度积分值超过1后停止采样。
[0046]
作为本发明进一步改进，s304子步骤中梯度阈值在没有主动设置时，采用s2步骤中得到的梯度位于梯度分布突变位置且超过75％分位点的位置，或直接采用75％分位点位置。
[0047]
作为本发明进一步改进，s5步骤的遮挡削弱功能包括削弱范围扩大功能与梯度权重调整功能；两功能通过虚拟现实手控器设备的摇杆分别对s4步骤中的测地距离场阈值dt和梯度权重系数γ进行调整来实现；摇杆与参数增长速度为线性关系。
[0048]
作为本发明进一步改进，s5步骤的视点移动及相机调整功能包括视点平滑移动功能，视点放大缩小功能，视点传送功能；视点平滑移动功能通过使用虚拟现实手控器设备的扳机按键使用；按下扳机键并拖动手控器，即可在虚拟场景中表现为拖动视点向需要方向移动的效果；视点放大缩小功能通过虚拟现实手控器设备的摇杆使用；推动摇杆控制视点相对与体数据的大小比例；视点传送功能通过虚拟现实手控器设备的按键使用；将虚拟场景中手控器的光标指向目标位置，并按下按键从而将视点位置重置到光标位置。
[0049]
作为本发明进一步改进，s5步骤的医学体数据标注功能包括画线功能和区域标记功能；两功能分别通过左右手控器的按键实现；用户按下左手手控器按键后，虚拟场景中光标划过的位置会画出线条；用户按下右手手控器按键后，虚拟场景中光标划过的位置周围的一定范围会被标记为高亮区域；线条粗细，线条颜色，高亮区域范围，高亮区域颜色由人工设置。
[0050]
与现有技术相比，本发明所带来的有益的技术效果表现在：
[0051]
1、本发明的基于虚拟现实的医学影像三维快速可视化与标注系统利用虚拟现实技术高沉浸感和三维交互的特点，结合体绘制方法，在快速实现二维医学影像的三维可视化后，使用户可以以符合自然直觉的方式对体数据进行探索和交互。对于感兴趣的目标区域，用户可以通过本系统直接走至目标附近以任意视角进行观察。
[0052]
2、本发明的基于虚拟现实的医学影像三维快速可视化与标注系统利用测地距离场同时对空间距离与标量变化敏感的特点，通过测地距离场生成软分割场，从而在有效消除视野遮挡的同时完整保留了目标区域。同时避免了诸如区域分割，深度学习去噪等需要大量人工干预和计算时间的方法。保证了系统使用的便捷和系统运行的实时性(渲染速度可达到60帧每秒)。
[0053]
3、本发明的基于虚拟现实的医学影像三维快速可视化与标注系统设计了一系列适合虚拟现实系统的交互操作以辅助医学可视化任务的执行。视点相关的交互操作通过直接执行虚拟场景的移动，从而减弱了传统虚拟现实技术对大可行空间的需求。体数据标注相关的交互操作，可以在不借助第三方工具的情况下，允许用户直接在体数据上示意高亮区域，做出符号和文字注释。
附图说明
[0054]
图1为本发明实施例中的基于虚拟现实的医学影像三维快速可视化与标注系统流程图；
[0055]
图2为数据体绘制结果示例图；
[0056]
图3为实时自适应遮挡削弱步骤的渲染结果示例图；
[0057]
图4为体数据标注示例图。
具体实施方式
[0058]
下面结合附图与具体实施方式对本发明作进一步详细描述：
[0059]
本实施例公开了一种基于虚拟现实的医学影像三维快速可视化与标注系统，如图1所示，该方法包括以下步骤：
[0060]
s1、医学影像数据转化步骤，获得二维影像数据集后，提取影像像素的标量值，根据像素的图像坐标以及二维图像的排序，将影像数据集中的像素转化为三维标量体数据。
[0061]
s1步骤支持的医学影像数据有dicom格式，raw格式，nifti格式。
[0062]
其中影像数据转化过程根据医学影像数据格式，提取医学影像的相关信息，其中包括：像素数据，像素值数据类型，像素尺寸，图像尺寸，缩放比例信息。根据医学影像信息，将像素数据转换为存储像素标量值的三维数组。再根据医学影像尺寸信息，将三维数组渲染成符合影像比例的单通道三维纹理，其中纹理的单通道像素值为经过线性缩放的影像标量值。
[0063]
s2、体数据分析步骤，输入s1步骤得到的三维标量体数据，计算三维标量体数据的三维标量值梯度数据，体数据中的标量值范围，标量值分布情况，标量值梯度分布情况。进而得出标量值分布峰值，标量值梯度分布峰值，标量值分布突变位置，标量值梯度分布突变位置。
[0064]
其中，三维体数据中体素的梯度计算采用对体素周围体素标量值的数值差分方法
代替。
[0065]
s3、数据体绘制步骤，该步骤对体数据进行了初步的三维可视化，其结果如图2所示。输入s1步骤的体数据以及s2步骤的标量值梯度数据和体数据分析结果。根据设定的传递函数，使用光线投射体绘制方法对体数据进行三维可视化渲染。根据标量值梯度数据，对体数据中梯度高于阈值的部分进行额外的blinn-phong渲染。
[0066]
s3步骤中包括如下子步骤：
[0067]
s301、传递函数设置子步骤，该步骤设定了用于体绘制的标量值-不透明度传递函数和标量值-颜色传递函数。两传递函数分别规定了体数据中体素的标量值对应的不透明度值和颜色值；
[0068]
s302、传递函数渲染子步骤，该步骤分别将不透明度传递函数与颜色传递函数渲染在两个二维纹理上；不透明度传递函数为单通道纹理，颜色传递函数为rgb三通道纹理；
[0069]
s303、光线投射体绘制子步骤，该步骤使用光线投射法对s1步骤得到的体数据三维纹理进行采样，并根据s302子步骤得到的传递函数纹理确定采样体素对应的颜色与不透明度值；之后对颜色与不透明度值进行积分混合实现三维可视化；
[0070]
s304、blinn-phong渲染子步骤，该子步骤在s303子步骤采样体素并确定对应的颜色值后，将梯度值大于设定阈值的采样点进行blinn-phong渲染，得到的新颜色值替换该采样点的原有颜色值。
[0071]
s301子步骤的传递函数为分段线性函数，传递函数的设定通过编辑分段线性函数的控制点，之后对控制点内的函数进行线性插值。
[0072]
s303子步骤中的光线投射的采样方法，以从后向前的顺序沿采样直线进行固定步长采样。采样数固定为512次，采样步长根据体数据内的最长直线距离决定；采样直线由视点向屏幕的每个像素发出。
[0073]
s304子步骤中梯度阈值在没有主动设置时，采用s2步骤中得到的梯度位于梯度分布突变位置且超过75％分位点的位置，或直接采用75％分位点位置。
[0074]
s4、实时自适应遮挡削弱步骤，根据头戴式虚拟现实设备输入的相机位置，逐帧实时计算s1步骤得到的三维标量体数据各体素到视点的测地距离。根据三维测地距离场划定遮挡削弱范围，并计算得到三维体素不透明度值削弱场。根据不透明度削弱场对体数据进行遮挡削弱处理；此外进一步增强表面不透明度。之后更新体绘制渲染结果。示例渲染结果如图3所示。
[0075]
进一步的，s4步骤包含如下子步骤：
[0076]
s401、测地距离场生成子步骤，该子步骤逐帧实时计算了体数据中各体素到视点的测地距离，并形成三维测地距离场；
[0077]
s402、遮挡削弱系数场生成子步骤，该子步骤根据三维测地距离场划定遮挡削弱范围，并计算得到范围内体素的遮挡削弱系数；之后对范围内体素进行遮挡削弱处理；
[0078]
s403、表面增强子步骤，该子步骤对体数据中梯度高于阈值的体素进行不透明度值增强。
[0079]
s401子步骤中测地距离计算的梯度权重系数γ初始化采用梯度权重与空间距离等权重的方式自动设置，在系统运行过程中可人工调整。测地距离场通过两次扫描法计算。测地距离场的采样分辨率设置为体数据分辨率的1/8，计算得到的测地距离场在gpu中进行
上采样。
[0080]
s403子步骤提高梯度高于阈值的体素的不透明度值，阈值与s304子步骤的梯度阈值相同。其中增强系数设置为a＝0.2。
[0081]
s5、虚拟现实交互步骤，根据虚拟现实设备输入的交互指令，实施相应的交互功能；其中包括：遮挡削弱调整功能，视点移动以及相机调整功能，医学体数据标注功能。交互功能对体数据和渲染做出调整后，将更新的渲染图像显示在虚拟现实设备屏幕上。
[0082]
s5步骤的遮挡削弱功能包括削弱范围扩大功能与梯度权重调整功能；两功能分别分配在虚拟现实左手手控器设备的摇杆的x轴和y轴上，通过推动摇杆线性改变s4步骤中的测地距离场阈值d
t
和梯度权重系数γ。摇杆推至满量程时，阈值d
t
的改变速度为5/s，梯度权重系数γ的改变速度为0.05/s。
[0083]
s5步骤的视点移动及相机调整功能包括视点平滑移动功能，视点放大缩小功能，视点传送功能；视点平滑移动功能通过使用虚拟现实手控器设备的扳机按键使用。按下扳机键并拖动手控器，即可在虚拟场景中表现为拖动视点向需要方向移动的效果。视点放大缩小功能通过虚拟现实手控器设备的摇杆使用。推动摇杆控制视点相对与体数据的大小比例。视点传送功能通过虚拟现实手控器设备的按键使用。将虚拟场景中手控器的光标指向目标位置，并按下按键从而将视点位置重置到光标位置。
[0084]
s5步骤的医学体数据标注功能包括画线功能和区域标记功能。两功能分别通过左右手控器的按键实现。用户按下左手手控器按键后，虚拟场景中光标划过的位置会画出线条。用户按下右手手控器按键后，虚拟场景中光标划过的位置周围的一定范围会被标记为高亮区域。线条粗细，线条颜色，高亮区域范围，高亮区域颜色由人工设置。体数据标注示例如图4所示。
[0085]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。