对标量和多光谱3D医学图像数据进行渲染的制作方法
本发明涉及对标量和多光谱3d医学图像数据进行渲染。
背景技术:
1、3d数据的医学成像的高质量对于改进基于图像数据的诊断、治疗和治疗计划以及患者预后是重要的。特别地,提高3d图像渲染的质量有助于对器官或病变的确切大小、形状和位置进行可视化,例如以用于规划微创手术、更容易注意到异常(例如,肿瘤、骨折、动脉瘤)、在交叠组织之间或健康结构与病变之间进行区分、以及通过比较通常比平面图像对细微变化更敏感的体积数据来更好地监测疾病随时间的进展或治愈。
2、医学成像和可视化的领域涉及使用3d成像装置(例如,ct(计算机断层扫描)扫描仪、mri(磁共振成像)扫描仪和pet(正电子发射断层扫描)扫描仪)从人体内捕获详细信息、可选地多维信息。从这些装置输出的数据本质上通常是体积的,表示组织、器官和其他解剖特征的复杂3d结构或体积。通常,这样的成像装置用于获取原始数据的3d数据集。根据成像模态的类型,这些原始数据经受另外的处理,特别地用于应用渲染算法以对体积数据进行可视化。在现有技术中,已知对重建的体积数据使用多种不同的渲染算法。
3、渲染技术在该领域中起着关键作用,提供了以下能力:将由上面提到的3d成像装置(亦称:模态)之一获取的原始体积数据转换成可以由医学专业人员分析的可理解的视觉表示。这些可视化通过允许对三维中的解剖结构进行详细检查而有助于诊断、治疗规划和研究,具有交互式地探索数据内的不同视向和层的能力。
4、医学可视化系统的关键组成部分包括渲染算法,该渲染算法处理原始体积数据或重建的体积数据以生成适合于显示的图像。这些算法通常采用了如光线跟踪的先进技术以模拟真实的照明和阴影,从而增强最终图像的细节和深度。表面检测和着色模型可以是该过程的组成部分,通过基于表面和材料的属性对光如何与表面和材料相互作用进行建模而有助于可视化的准确性和真实感。
5、在医学可视化的背景下,发展旨在提高渲染过程的保真度和效率,以实现对复杂生物结构的更准确且直观的表示。这包括对用于处理大型数据集的重建方法的优化和对以下算法的开发:该算法提高可视化的清晰度和有用性,同时减少计算开销。此外,将可视化技术与用户界面软件组合增强交互性,以赋能医生容易地操纵和查询数据,从而潜在地实现更快且更准确的诊断。
6、医学3d成像数据可以例如用着色表面显示(ssd)渲染算法或近期用全局照明变体(例如,路径跟踪ssd)来进行可视化。这些技术使用在由模态(例如,ct、mri或pet)进行的实际获取之后立即进行的图像重建的结果。
7、常规的ssd渲染算法在处理和可视化多光谱数据和标量数据时具有若干限制。特别地,缺乏对多光谱数据的具体支持,这使得难以分析复杂数据。这在显示非常复杂的标量数据时导致有限的功能性,这可能会导致不准确的结果或耗时的过程。这些挑战使得难以实现先进成像任务所需的准确和高效的可视化,特别是在医学成像领域。
8、多光谱成像的整合越来越普遍,这通过捕获跨多个波长的数据向可视化提供附加深度。这种方法增强了标准成像模态,以提供用于从中导出表示的更丰富的数据集,并且允许对可能在识别病理方面是有用的更详细信息(例如,不同的生物标记物)的并入。
9、随着多光谱成像(例如,ct双能量、ct光子计数或多光谱mri)的出现,可以在多个能量水平或光谱带处获取数据,这允许增强的组织表征、材料分解和提高的诊断准确性。多光谱成像可以例如指双能量ct(dect)、光子计数ct(pcct)和多光谱mri。
10、到目前为止,仅使用简单的混合操作(融合渲染)将多个重建结果一起渲染成单个结果图像。为此,每个重建体积被单独渲染,并且得到的图像被组合成最终图像。
11、这显著限制了对多光谱成像数据进行可视化的潜力,因为仅考虑了得到的像素值。使用最终相交位置处的该得到的像素颜色值来合成结果图像。
12、在现有技术中,与多光谱情况无关,当前的ssd方法使用单个颜色来定义表面材料和外观。这限制了可以传达的信息,因为相交检测的许多属性未被使用。
技术实现思路
1、基于上文,本发明的目的是提供改进的渲染,并且提高医学数据的可视化质量,并且克服如上面所讨论的现有技术中的已知方法的缺点。特别地,ssd算法及其变体、特别是路径跟踪变体应当通过使用来自重建的附加信息来改进。此外,应当通过考虑来自重建的附加信息的能力来改进对多光谱图像数据的渲染。
2、该目的通过以下来实现:根据第一方面的用于渲染由3d成像装置获取的医学可视化的计算机实现的方法、根据所附各方面的渲染机器和医学图像处理系统。
3、本文中所描述的解决方案围绕医学成像技术展开,具体地涉及经由成像装置例如多光谱成像系统或其他先进成像系统获取的3d体积数据的可视化和处理。重点在于用于使用各种计算算法对体积数据的医学可视化进行高效渲染的计算机实现的方法和系统。这些方法涉及复杂的步骤,如光线生成、用于确定值的采样、表面相交检测和着色,以创建有助于医学诊断或分析的有意义可视化。本公开内容还讨论了促进这些可视化的组成部分如渲染机器和医学图像处理系统,以强调硬件和软件的整合以用于增强的医学成像能力。
4、在下文中,将首先针对要求保护的方法描述本发明。针对方法提到的特征、优点或替选实施方式可以被分配给其他要求保护的对象(例如,渲染机器或医学系统、或计算机程序或计算机程序产品),并且反之亦然。换句话说,系统、设备或装置可以用在方法的上下文中描述或要求保护的特征来改进,并且反之亦然。在这种情况下,方法的功能特征分别由设备或装置或系统的结构单元体现,并且反之亦然。方法可以指软件实现方式,以及装置可以指硬件实现方式(例如,具有空间物理结构)或其可视化。通常,在计算机科学中,软件实现方式和对应的硬件实现方式(例如,作为嵌入式系统)是等效的。因此,例如,可以用被配置成接收数据的相应接收接口来执行用于“接收”数据的方法步骤。为了避免冗余起见,尽管装置也可以在参照方法描述的替选实施方式中使用,但这些实施方式不再针对装置进行明确描述。原则上,相应装置或设备实施方式被配置成执行要求保护的方法。
5、根据第一方面,本发明涉及用于渲染医学可视化的计算机实现的方法。
6、对于渲染,已知使用渲染算法,特别地如ssd或路径跟踪ssd变体。修改这些常规的渲染算法在于调整某些步骤。下面更详细地说明这种调整或修改。
7、方法可以包括执行(由此经修改的或经调整的)渲染算法,以针对先前提供的重建结果计算可视化。重建结果包括由3d成像装置(也被称为:图像采集装置)获取的3d体积(也被称为:体积数据)。通常,在执行渲染算法时,可以执行至少以下步骤:光线生成、用于确定采样值的采样、表面相交检测以及着色。
8、在用于计算至少一个表面相交点的表面相交检测的步骤中,方法并且特别是渲染算法适于:针对过渡区间的下边界计算第一表面相交点并且针对过渡区间的上边界计算第二表面相交点,并且对所计算的第一表面相交点和第二表面相交点应用检测函数用于确定表面相交点和/或对两个表面即下边界处的表面和上边界处的表面进行渲染,以及组合所渲染的表面的两种表面颜色以计算光线的最终颜色。
9、可替选地或另外,在着色的步骤中,方法并且特别是渲染算法适于:使用在采样的步骤期间确定了的所确定的采样值——特别地而非材料颜色。可替选地或累积地,方法并且特别是渲染算法适于:通过使用基于过渡区间的属性的着色函数来确定表面颜色,以及/或者基于过渡区间的属性来确定材料属性和/或bxdf函数的参数。
10、方法可以继续显示所渲染的可视化。
11、可替选地或另外,可以经由在用户界面上提供的信号设置算法的参数(如阈值、边界区间、对用于对对象的表面光相互作用进行建模的双向分布函数的选择、对掩模的定义和/或表面相交检测的步骤中的加权因子等)。
12、原始数据是直接在成像装置处提供的数据。因此,原始数据是采集数据,并且不能够用于可视化。对于标量成像装置,直接处理或重建原始数据以提供3d体积,该3d体积可以用于可视化,特别地用于2d可视化。对于多光谱成像装置,主要通过两个步骤来处理原始数据:首先,从原始数据计算中间结果,以及其次,基于中间结果,可以计算不同的3d体积,这些3d体积表示为表示。渲染算法可以应用于针对同一个体积的一组表示,以提供可以用于显示的所渲染的可视化。中间结果是模态特定的。可替选地或另外,相应的中间结果以使得允许快速生成不同的最终表示的方式生成。
13、重建结果是可以表示为一组图像的3d体积。重建结果的另外规范取决于使用的图像采集的类型,特别地单光谱图像采集或多光谱图像采集。对于单光谱图像采集,重建结果是表示标量体积或包括标量体积、特别地包括一组体素的一个单一表示。对于多光谱图像采集,重建结果是一组表示,其中,每个表示是标量体积,并且其中,所有表示在空间上重合。
14、术语“bxdf函数”应被解释为统一术语,其描述了用于对对象的表面光相互作用进行建模的双向分布函数的组合。函数可以包括用于分别对常规散射表面和子表面散射表面的反射率或透射率进行建模的brdf、btdf、bssrdf和/或bsstdf。
15、对两种表面颜色的合成可以包括选择两种不同的表面颜色,例如两个不同的灰度值。
16、在着色的步骤中,确定材料属性和/或bxdf函数的参数的步骤可以例如涉及确定不透明度、镜面性、粗糙度、各向异性、折射和/或子表面散射参数。
17、将看到本发明的关键构思在于渲染算法不仅使用重建体积的一个单一表示,而是使用多个重建结果。特别地,可以在渲染算法中处理由多光谱图像采集装置获取的相同体积的不同表示的特性和/或值。
18、通常,渲染算法处理重建数据。因此,渲染被解释为要在重建之后执行的过程或对重建数据执行的过程。取决于相应的技术设置,可以依赖存储在存储装置中的重建数据。在这种情况下,先前已经执行了3d图像采集和/或对用图像采集提供的原始数据的重建,并且其结果被存储在存储装置中。渲染算法从该存储装置读取数据。在另一技术设置中,图像采集和/或重建与渲染并行或交错或准并行执行。因此,可替选地或累积地,方法可以包括以下步骤中的至少一个:
19、- 在3d成像装置处执行3d图像采集,以用于提供原始数据集;以及/或者
20、- 提供重建结果,所述重建结果具有从所提供的原始数据集重建的3d体积,所述3d体积作为标量体积的表示。
21、可替选地或累积地,渲染算法可以利用设计成增强医学图像的显示的特定算法。特别地,渲染算法可以是ssd或路径跟踪ssd。这通过考虑全局照明来提高渲染质量。
22、着色表面显示算法ssd关注通过使用阈值分割来识别和显示对象边界以对体积数据内的表面进行可视化。在伪代码中,ssd可以被说明为:对于每个光线,通过沿观察光线检测值进入由下边界和上边界定义或由阈值定义的过渡区间时的边界过渡来找到最靠近摄像装置的表面相交位置。
23、特别地,ssd算法包括以下步骤:
24、1.光线生成
25、a.使用虚拟摄像装置,将光线从摄像装置图像平面的每个像素投射至虚拟3d场景中,其中,体积数据定位在空间中。
26、b.对于每个光线,确定与体积相交的线段。
27、c.注意:每个光线表示来自观察者的视线。光线的原点和方向由摄像装置的位置、取向和用于投影的参数定义。
28、2.采样
29、a.对于每个光线,以规则间隔(其中,步长由应用/在算法之外定义)从3d体积来采样值。
30、b.使用插值方法(例如,最近邻、三线性、三立方;也在算法之外定义)来重建样本值,因为样本位置通常与体素中心不重合。
31、3.表面相交检测(其输出是表面相交点)
32、a.在遍历和采样期间,检测定义表面的阈值的交叉。
33、b.阈值交叉被认为表示光线表面相交和相交点。
34、c.注意:该阈值也被称为等值线。
35、d.可以定义下阈值和上阈值。在这种情况下,一旦光线跨过阈值中的任一个,并且因此进入阈值区间,就会给出光线表面相交。
36、4.着色
37、a.通过应用照明模型(通常是phong brdf照明模型)来模拟光表面相互作用。
38、b.大多数照明模型需要表面法线,该表面法线通常根据表面相交点处的负归一化梯度来计算。
39、c.照明模型的其他参数(例如,光方向、表面材料颜色、镜面性……)由应用/在算法之外定义。
40、路径跟踪着色表面显示(ssd)是指渲染技术,并且是实现对全局照明效果的模拟的常规ssd的路径跟踪变体。路径跟踪用于在3d表面上生成真实的着色和照明效果,以在医学图像中提供逼真的效果。路径跟踪是基于蒙特卡罗的光线跟踪算法,其通过跟踪从摄像装置至场景的多个随机路径来模拟光如何与表面相互作用。路径跟踪以高准确性对真实世界的照明效果(例如,柔和阴影、反射、折射、全局照明和焦散)进行建模。
41、特别地,路径跟踪ssd包括:
42、1.光线生成
43、a.在基于蒙特卡罗的路径跟踪中,通过针对每个像素投射多个光线(通常是几百个)来使用对摄像装置的图像平面进行的随机采样。
44、b.这些光线中的每一个具有随机化原点。
45、2.针对每个路径采样
46、a.与在常规的ssd中相同的步骤
47、3.针对每个路径进行表面相交点检测
48、a.与在常规的ssd中相同的步骤
49、4.针对每个路径进行着色
50、a.路径跟踪通过整合来自多个方向的入射光来模拟全局照明效果和间接照明。
51、b.在每个表面相交处,生成并遍历(从点1开始)新随机化光线。
52、c.散射光线的光贡献由照明模型调制,以定义着色。
53、采样点可以用于估计用于着色的梯度,而表面相交点对于精确的光反射计算至关重要。
54、光线生成的目的:从视点(摄像装置)生成光线,以遍历体积数据集并且确定可见表面。
55、表面相交检测的步骤的目的:基于强度阈值或梯度识别体积内的应当显示的表面。
56、着色的目的:应用照明效果以增强所渲染的图像方面的真实感和深度感知。所着色的表面以不同水平的亮度和暗度来显示,以强调解剖结构。
57、方法可以被实现为应用的一部分。应用包括用于用户相互作用的用户界面。特别地,用户可以选择要在运行时期间应用的渲染算法。
58、与使用多光谱图像采集装置无关地,并且由此在使用单光谱图像采集装置或多光谱图像采集装置时,可以通过使用表面相交检测的步骤的属性来修改渲染算法,特别是ssd算法或其路径跟踪变体。因此,使用不仅单个颜色来定义表面材料和外观。
59、着色表面显示算法能够适于:对三维体积内的表面进行可视化,通过结合着色技术强调表面特性。通过管理光相互作用,该算法可以突出表面细节,因此针对复杂背景揭示了有益的医学信息。ssd旨在将用户的感知与医学数据中的真实世界表面纹理和轮廓对准,以提供可以支持诊断准确性的清晰度。
60、另一选项,路径跟踪ssd,通过路径跟踪方法提供先进渲染,该路径跟踪方法模拟光沿体积数据内不同路径的效果。路径跟踪计算光与表面和材料的相互作用,以实现详细且真实的视觉结果。这种方法可以增强着色和突出显示,以有效地示出医学数据集内的层和过渡。与传统方法相比,使用路径跟踪ssd可以提供更优的视觉质量和深度感知,这潜在地提高医学图像的粒度和真实感用于分析使用。
61、在渲染方法内利用这些算法支持高水平的细节和精度,以迎合医学专业人员对信息可视化的需求,从而可能有助于诊断过程。
62、所提供的补充信息关注对先前描述的渲染算法的增强。特别地,它讨论了对着色表面显示(ssd)算法及其路径跟踪变体的扩展,以处理医学图像渲染过程内的标量数据和多光谱数据二者。标量数据是指捕获单通道信息的一维数据集,其在传统的灰度成像中是常见的,其中,跨医学图像的光强度方面的细微差别可以帮助诊断。另一方面,多光谱数据包含数据的若干通道(例如,跨不同波长),以允许捕获信息的显著更宽光谱,类似于颜色数据,但其中,通道根据成像装置对不同的量(例如,波长)进行编码。
63、对针对标量数据的ssd算法的扩展涉及精细化渲染技术,以提高单通道成像场景中的对比度和细节,以忠实地渲染表面纹理和轮廓,这对于识别解剖结构内的细微变化是有用的。这种改进旨在增强算法对明和暗方面的渐变的敏感性,这可以有助于从可能包含细微差别的诊断信息的灰度图像推断出有意义的洞察。
64、将路径跟踪元素并入至该扩展中可以通过跨单通道标量数据集模拟复杂光相互作用来提高渲染的保真度。这种方法潜在地改进对材料相互作用和深度的可视化,以提供沉浸式的视觉体验,并且可以揭示使用标准渲染技术可能较难察觉的诊断上显著的特征。
65、当应用于多光谱数据时,增强涉及对着色表面显示算法和路径跟踪渲染算法二者的战略调整,以同时管理和可视化多个数据通道。数据方面丰富的多光谱成像通常需要先进算法以有效地区分和渲染合成信息。扩展确保ssd方法适于处理由多个数据通道带来的复杂性,从而通过允许向观察者提供更多信息以及/或者传达更多信息来利用数据的全部潜力。
66、在多光谱数据集内对路径跟踪技术的整合在渲染质量、通过多变量数据模拟光路径和揭示隐藏细节方面提供了有前景的改进。这种能力在医学成像场景中特别有价值,其中,不同的生物材料可能会跨数据的不同维度例如如不同的光谱范围呈现不同的响应,因此有助于对在其他情况下可能较难辨别的诊断特征的识别,并且有助于全面的多维医学分析。
67、将这些增强算法与标量数据和/或多光谱数据一起使用可以提高医学可视化的清晰度,并且通过提供新的细节水平和判读清晰度来支持复杂的诊断实践。扩大渲染技术应用的这种创造性方法意味着在将复杂的数据模态包括在医学成像内方面向前一步,指示对诊断技术的开发的积极方法,其可能会对医学评估的准确性和效率有积极影响。
68、所描述的方法包括渲染算法内的先进表面相交检测,以有助于从体积数据导出的医学可视化的精度和可见性。在这种背景下,检测函数包含识别表面相交点的若干高质量技术,这有助于可视化数据中表面的定义。
69、过程可以以将计算出的第一表面相交点或第二表面相交点确定为检测到的相交点开始。该确定可以基于从相交点的相应位置导出的采样值或属性。这些采样值通常突出了独特的体积特征,这有助于检测函数选择具有显著相关性的表面相交点。
70、可替选地或累积地,过程可以涉及应用加权平均来处理第一表面相交点和第二表面相交点二者。该平均使用了加权因子,该加权因子可以由以下各种输入定义:应用、用户界面上呈现的信号或从体积数据导出的属性——通常跨数据集或特定于过渡区间的边界周围的区域。这种方法提供了定制化和适应性,从而使相交检测与特定诊断需求和背景对准。
71、可替选地或累积地,检测函数可以可选地确定过渡区间内的呈现最大梯度幅度的位置作为表面相交点。梯度幅度可以表明体积数据内的强度或特性的显著变化,以指向医学感兴趣区域或边界定义。这种确定可以以增强的可见性和分辨率揭示底层的解剖结构或材料。
72、可替选地或累积地,可以通过基于邻域内的样本值的最高连续性识别其中表面被最准确地定义的位置来提高精度。该标准可能有用,因为它在一致的数据点之中建立了相交,以提高成像清晰度。类似地,关注邻域内的梯度的最高连续性可以通过选择梯度过渡平滑且连贯的区域来精细化检测过程,以进一步提高相交准确性。
73、将这些先进方法整合在表面相交检测中支持渲染过程,以提供详细且可靠的医学可视化,从而有利于医学评估和解释。对表面检测方面的这种促进旨在向执业医师提供可以提高诊断能力和决策效率的成像数据。
74、被配置成用于在渲染方法内执行着色的步骤的着色组件可以整合以下函数:其利用过渡区间(也被称为边界区间)的特定属性来增强渲染。过渡区间可以被定义为沿光线的、由下边界阈值和上边界阈值定义的区间或段。通过着色实现的增强旨在支持对医学体积数据内的结构的描绘,从而有助于诊断过程。
75、考虑的一个有利属性是过渡区间内下边界位置与上边界位置之间的距离。该参数可以评估可能影响着色强度和显色的空间变化。通过考虑距离,着色函数可能有助于深度感知和对体积数据内的过渡的界定,这可能有助于理解分层的解剖结构。
76、附加属性是在下边界位置和上边界位置中的任一者或二者处或者在过渡区间内的梯度幅度。梯度幅度可以突出数据强度的变化,以指示潜在的表面或材料变化。将梯度信息合并至着色中将这些变化变换成视觉线索,以旨在增强渲染中的对比度,并且使医学特征可识别。
77、此外,方法可以合并在一个或两个边界位置处或者在过渡区间内获得的采样值的统计特性。诸如均值、方差和偏度的统计特性可以有助于实现信息着色效果。统计特性用于确保对表面的描绘对应于体积属性,以反映数据中存在的可变性和生物特征。
78、在着色函数中利用这些属性用于强调医学可视化内的复杂细节,以提高清晰度和相关性用于诊断分析。对这样的着色方法的整合可以将注意力引导至数据内的区域,以引导医师关注并促进对医学状况的解释。
79、在着色的步骤中,可以在在前一步骤中找到的表面相交点处或其“邻近区域”中计算导出的属性。邻近区域意指确定的表面相交周围的局部邻域。
80、如上面提到的,可以使用不同类型的3d成像装置。例如,可以使用常规的3d成像装置或者使用多光谱成像装置。因此,可替选地或累积地,针对上面提到的方面,3d成像装置可以是多光谱成像装置,并且提供的体积数据集可以是多光谱数据集,并且其中,提供一组表示作为重建结果,并且其中,该一组表示在空间上重合。在下文中,该用例或该组相关的实施方式也被称为多光谱情况。
81、通常,多光谱3d成像,特别地多光谱计算机断层扫描(也被称为双能量ct或多能量ct或光子计数)使用不同的x射线能量来更精确地分析组织和材料成分。多光谱成像3d成像不仅可以应用于ct或x射线,而且可以应用于其他模态,如mri、pet或其他。通常,多光谱3d成像是先进成像技术。对于ct装置,它捕获跨电磁光谱的多个波长处的图像数据。对于其他装置,其他手段完成该任务。
82、通常,与用传统成像技术相比,医学中的多光谱成像利用不同光谱范围内的图像采集来获得关于组织的更多信息。通过分析光谱差异,可以更好地描绘组织的成分、功能和/或疾病状态方面的差异。
83、所提供的本质上是多光谱的体积原始数据集包括可能有利于全面医学分析的多层信息。这些数据集可以从生物组织或解剖特征捕获不同反应,以潜在地揭示标准成像场景中不可见的细节。作为方法的一部分,重建结果包括能够进行空间对准的一组表示——所有表示都从多光谱数据导出。
84、表示之中的这种空间连贯性是有益的,因为它促进了跨不同光谱通道的对准,并且支持将不同的信息合并至单一的可视化中。这些对准的表示可以使用旨在保持来自每个通道的数据的组成完整性的计算方法来合成。空间对准可以有助于创建同时呈现来自多个光谱维度的洞察的可视化,从而增强医师对体积属性或状况的理解。
85、对多光谱成像的使用和重建可以促进对详细且多光谱的增强可视化的创建,以提供超出常规成像技术的深度。这种方法向医学专业人员提供了准确且光谱上详细的呈现,这可能有利于诊断跨不同波长表现出独特特性的状况。
86、在多光谱情况下,在采样的步骤中:可以使用第一掩模来确定使用一组表示中的哪个表示来检索给定样本位置的样本值。
87、该第一掩模用作引导遍历多光谱数据,以针对每个样本位置突出数据集内的有用表示。对这样的掩模的应用可以有助于引入准确和上下文特定的数据以进行采样,从而应对每个光谱通道内存在的复杂性。
88、在采样过程中包括掩模可能是有利的,因为它可以提供访问跨复杂多层数据集的数据点的结构化手段。它可以提高采样值的质量和相关性,以支持反映底层体积数据的精确且有洞察的特性的可视化。这种方法可以支持对信息医学可视化的生成,以跨不同光谱维度捕获细微差别和细节,并且从而有助于医学诊断方面的全面分析和决策。
89、可替选地或累积地,在多光谱情况下,在采样的步骤中:可以使用第二掩模来确定在计算插值样本值时哪组表示对各个数据值有贡献。
90、因此,在采样步骤中,可以实现该第二掩模以改进对多光谱数据集的处理,从而有助于从可用的一组表示计算插值样本值的准确性。第二掩模用作被设计成指导每个表示组对各个数据值的计算的贡献的有用工具。
91、通过应用第二掩模,方法通过基于表示与特定采样点的相关性向表示赋予合适的权重和值来实现插值过程。这可以涉及检查每个表示的光谱质量或位置特征,以允许插值样本值反映不同的、有贡献的数据层的全面合成。该掩模有助于确定哪些通道或光谱表示最佳地为正在计算的样本值提供依据。
92、实现第二掩模可以提高数据处理的保真度和精度,以允许所渲染的可视化适当地表示多光谱数据集中存在的复杂相互作用。这种全面的方法可以提高产生的医学可视化的可靠性和解释价值,从而通过提供有利于诊断评估和仔细分析的详细且差别细微的图像来帮助医师。
93、掩模将被解释为用于选择另一数据结构中的数据的数据结构。掩模被配置成借助于针对每个体素进行的二进制体素编码来选择表示的部分。合适的数据结构可以是包括合适数目的比特的标签体积,该合适数目的比特用于对由渲染算法所需的表示的所有组合进行编码。例如,掩模可以指用于在处理、编辑或渲染期间隔离、选择或保护图像表示的特定部分的标记或注释的体积。
94、可替选地或累积地,在多光谱情况下,在采样的步骤中:可以使用针对不同组表示的不同插值算法。
95、在考虑不同表示的独特数据方面的情况下,定制的插值过程可以适应跨多个通道捕获的光谱数据固有的不同特性。
96、通过采用不同的插值算法,方法可以基于表示的每个子组内存在的光谱特征或空间特征来调整其方法。例如,一种算法可能更适合于一个光谱通道中的高频数据变化,而另一算法可能解决不同通道中更平滑的低频趋势。这种自定义数据处理允许准确地和反映地计算样本值,以在可视化期间支持底层数据集的完整性和细节。
97、插值中的这样的适应性支持对多光谱数据的更精确合并,以鼓励可以指示医学成像数据中存在的复杂细节的视觉结果。这种方法的进步可以有助于创建在诊断方面帮助执业医师的信息可视化,以通过医学图像方面的改进的清晰度和深度实现详细分析。利用这种策略可以引起细微差别的和诊断上有用的视觉输出,以促进跨不同光谱维度的全面评估。
98、可替选地或累积地,在多光谱情况下,在采样的步骤中:可以选择一组表示内的一个表示,用于决定对所有表示进行采样要使用的插值算法。
99、关于对表示的选择:
100、可以基于频率特性来选择这种表示。例如,具有最高频率分量的表示可以定义插值方法。
101、可替选地或累积地,在样本位置周围的局部邻域中,可以基于局部频率特性来选择表示。
102、可替选地或累积地,根据医学用例,一个表示可以是最重要的,并且用于定义插值方法。
103、关于对插值算法的选择或决定:
104、对插值算法的选择可以基于不同表示的频率特性。例如,更高的频率可以用更大的插值核来插值。
105、可替选地或累积地,预配置插值基于每个表示。这可以基于医学用例或用户配置。
106、可替选地或累积地,对于路径跟踪ssd,可以在多次散射事件之后使用计算代价更小的插值方法。
107、因此,在采样步骤中,可以选择一组完整的多光谱表示内的单个表示以指导对插值算法的选择,该插值算法潜在地适合于处理该组内存在的其他数据集。这种方法使整体采样策略与所选择的表示的特性或质量对准,以旨在用于处理不同数据光谱时的优化。
108、选择一个表示作为参考允许插值算法适应数据集的光谱属性,以提供连贯的采样结果。针对该角色选择的表示可以显示认为有利于渲染的特征,例如其光谱锐度、空间属性或在描绘医学上相关的特征方面的突出性。
109、采用由关键表示提供依据的统一插值算法可以实现一致处理,以将光谱维度与共同标准对准。这种方法可以促进可视化,从而潜在地使医学专业人员更易解释。通过对插值算法的仔细选择和应用,方法试图提供适合于诊断目的的图像,从而潜在地以增强的清晰度和深度支持医学评估。
110、可替选地或累积地,在多光谱情况下,为了渲染多光谱医学可视化,可以应用适合于表面相交检测的方法,其利用从各种光谱表示获得的不同数据集。方法可以包括提高可视化的渲染质量和精度的步骤。
111、以搜索过程开始,方法检查指定的第一组表示内的过渡区间的下边界,同时调查不同的第二组表示内的上边界。数据集之间的这种差异支持边界探索中的特异性和上下文相关性,这有助于捕获跨多光谱数据通道的变化和过渡。
112、方法还可以涉及针对每个数据集独立地确定表示特定的表面相交位置。这允许根据每个表示的数据的独特质量来区分表面相交,从而潜在地提供一组预期的相交点。对最终统一表面相交点的检测可以通过采用统计函数评估这些单独的位置来实现,以旨在获得统计上连贯的表示相交,其考虑了由单独的光谱通道捕获的变化。
113、在完成光线生成和采样之后,可以选择光线段以用于针对特定表示的连续表面相交检测。该选择对应于由从另一表示组导出的下边界位置和上边界位置定义的区间。通过使用从各种光谱通道识别的边界使光线段对准,可以保持跨多光谱图像的表面数据的完整性。
114、将这些过程整合至渲染方法中支持动态、上下文敏感的相交检测,以提高视觉描绘的准确性。这种方法有助于展示复杂的解剖结构,从而通过利用通过多光谱成像捕获的数据的图像促进诊断实践。
115、统计函数可以包括以下函数中的至少一个:平均函数、最小函数、最大函数、中值函数、标准偏差函数和/或方差函数。
116、可替选地或累积地,在多光谱情况下,方法内的着色步骤可以包括从多光谱表示的属性导出着色参数,这可以精细化对医学数据的描绘,以用于改进的诊断可见性。可以考虑若干过程以指导对着色参数的导出。
117、最初,可以跨一组表示计算多个表面法线、切线和位切线。这些向量描述了数据集内的不同点处表面的几何属性,以详细说明可以潜在地影响着色效果的取向和方向。这些向量的组合能够用于建立可引导的向量,以帮助着色函数促进表面真实感和照明准确性。
118、此外,可以计算每个表示的多个曲率值,其中,多个曲率值的组合形成为可调整的曲率参数。曲率提供了对表面平滑度和弯曲的洞察,这可能会影响所渲染的可视化内光如何相互作用。以这种方式跨光谱数据集组合曲率值有助于生成的着色准确地反映表面动力学。
119、能够基于数据集内捕获的光谱属性的统计函数定义材料属性例如反射率、不透明度和纹理变化。通过应用统计分析来评估这些属性可以揭示跨通道的一致材料特征。这种计算有助于着色函数模拟医学组织相互作用,从而潜在地提高表示保真度和可读性,以用于医学专业人员。
120、利用这些步骤导出着色参数支持所渲染的视觉效果,以保持准确的医学细节,从而潜在地突出诊断上相关的特征。方法使着色技术与细微差别的多光谱数据属性对准,从而潜在地有助于执业医师进行其诊断解释和评估。
121、统计函数可以是如之前在表面相交检测的步骤的上下文中提到的平均函数和/或另一函数。
122、最终向量可以与最终法线、切线和/或位切线相关。
123、方法可以可替选地或另外包括全局照明渲染算法,该全局照明渲染算法被设计成增强多光谱数据的可视化,以路径跟踪着色表面显示(ssd)的变体为特征。这种算法选择有助于全面的光模拟技术,该全面的光模拟技术可以有助于通过模仿体积数据集内的复杂光相互作用来实现医学图像的真实感和深度。
124、在路径或光线生成步骤期间,方法提供了用于使用随机化光线启动可视化的选项。这种随机化方法可以提供跨数据集的动态和变化的采样,从而潜在地突出多光谱数据内的更多固定方法可能遗漏的微小特征。对随机化光线起点的使用在捕获数据相互作用方面提供了灵活性,并且支持用不同照明模型的视觉上多样化的渲染。
125、为了建立光线路径,方法提供了用于针对多光谱集内的每个表示使用单独的随机化光线起点或针对所有表示采用共同的随机化光线起点的选项。单独的方法允许每个光谱通道具有其独特的路径,以适应固有的通道特定属性。这可以有助于跨独立表示观察细微差别变化,以提供详细的洞察。
126、可替选地,跨所有表示的共同的随机化光线起点支持同步采样和连贯的数据整合,其中,统一的光线起点有助于用精简计算进行的共同渲染策略。这种方法可以促进多光谱数据内的一致性和统一的相互作用,以增强单个渲染输出中的视觉信息的融合。
127、这些渲染技术能够利用每个表示的光谱质量彻底描绘跨数据集的医学特征。通过提供多样化或统一的光线起点选项,方法根据各个通道洞察或同步描绘重点提供了灵活性。结果可以通过递送详细的和光谱上包括的图像来帮助执业医师,该详细的和光谱上包括的图像可以非常适合于诊断评估。
128、全局照明渲染算法可以可替选地使用metropolis光传输、辐射度算法和/或光子映射。
129、可替选地或累积地,方法可以采用全局照明渲染算法例如路径跟踪着色表面显示来潜在地优化针对多光谱医学数据集的可视化过程。在表面相交检测阶段中,针对每个路径段策略性选择一个合适的表示组可以提高渲染的特异性和上下文相关性。
130、路径段可以是通过可以指导对适当表示组的选择的因素可区分的。这些因素尤其可以包括以下方面中的至少一个(或其组合):
131、- 路径段的类型:路径段可以与多光谱图像内的特定数据特性或维度特征对准,以建议定制的表示对准(例如,主光线、散射光线、阴影光线);
132、- 散射事件的类型:源自某些散射事件的路径段可以从不同的表示受益,该不同的表示提供了对数据集在各种散射条件下,例如来自哪种类型的bxdf,的特性的洞察;
133、- 位置信号:评估是更靠近下边界位置散射的路径段还是更靠近上边界位置散射的路径段可以有助于将表示组与那些定义的边界内的感兴趣区域进行匹配;
134、- 当前路径长度:在考虑到如数据集内的深度穿透或累积的散射效果的方面的情况下,路径段的持续长度可以为表示选择提供依据,以及/或者
135、- 配置:预设置或定义的配置可以支持基于预期的医学可视化目标或潜在的要求进行的表示组选择。
136、这种关注决策模型可以提高相交检测的质量和相关性。通过选择合适的表示组,渲染可以实现在描绘对多光谱医学数据来说独特的表面和过渡方面的提高的准确性。这提供了诊断过程,其中,医师接收针对特定的成像环境定制的更清晰的和根据上下文提供依据的可视化,从而有助于潜在的医学评估和考虑。
137、配置可以是例如作为在用户界面上输入的参数和/或作为借助于应用输入的输入数据集检测到的用户配置。配置可以基于启发式数据和/或分析数据。
138、可替选地或累积地,渲染算法是全局照明渲染算法,特别是路径跟踪ssd算法,并且表面相交检测(s33)的步骤包括通过定义和遍历由检测到的表面定义的对象内部的参与介质来模拟半透明材料。
139、可替选地或累积地,渲染方法内的表面相交检测可以连接至模拟技术,以用于半透明材料,这可以在医学可视化中提供真实感和细节方面的增强选项。通过采用全局照明渲染算法例如路径跟踪着色表面显示,可视化方法可以定义参与介质。
140、这种参与介质可以指由检测到的表面定义的对象内部模拟的材料特性。半透明材料模拟可以描绘光线穿过介质或由介质吸收时发生的光相互作用,以支持在体积数据内对半透明解剖结构的表示。
141、通过穿过参与介质,可以鼓励细微差别的可视化,其中,可以强调受半透明度影响的复杂细节。这种方法可以适合复杂的光模拟方法,其可以描绘具有分层复杂性的体积,以解决提供诊断选项的特征例如材料密度变化。
142、将半透明材料模拟整合在表面相交检测内旨在推进可视化。这种模拟旨在表示可以在真实世界条件下表现出不同半透明度的医学特征,以创建医学专业人员可能发现在诊断方面有益于观察和评估目的的图像。通过考虑光在参与介质内相互作用时光扩散、吸收和散射,渲染方法旨在提供可以具备逼真清晰度和分层深度的视觉效果,具有优化可能性以用于医学分析。
143、在另一方面中,本发明涉及用于渲染由3d成像装置获取的3d数据或体积数据的医学可视化的渲染机器。渲染机器可以被构造成若干部件,以执行多个渲染步骤或整合与所描述的方法兼容的特征。特别地,渲染机器被配置成执行如上面所描述的渲染算法/方法的步骤中的任一个。
144、渲染机器可以包括接收接口作为用于接收或提供重建结果的一个部件,其中,重建结果包括3d体积。该接收接口实现对体积数据的高效传输和处理,以使机器准备好处理支持渲染可视化的信息。
145、渲染机器还可以包括另一部件,即被配置成用于渲染由3d成像装置获取的医学可视化的计算单元。
146、计算单元可以被配置成用于执行用于计算所接收到的或所提供的重建结果的可视化的渲染算法,并且其中,执行渲染算法包括光线生成的步骤、用于确定采样值的采样的步骤、表面相交检测的步骤和着色的步骤。
147、在用于计算至少一个表面相交点的表面相交检测的步骤中,计算单元可以被配置成用于:针对过渡区间的下边界计算第一表面相交点并且针对过渡区间的上边界计算第二表面相交点,并且对所计算的第一表面相交点和第二表面相交点应用检测函数用于确定表面相交点和/或对两个表面即下边界处的表面和上边界处的表面进行渲染,以及合成所渲染的表面的两种表面颜色以计算光线的最终颜色。
148、可替选地或另外,在着色的步骤中,计算单元可以被配置成用于:使用在采样的步骤期间确定了的所确定的采样值(特别地而非材料颜色)以及/或者通过使用基于过渡区间的属性的着色函数来确定表面颜色以及/或者基于过渡区间的属性来确定材料属性和/或bxdf函数的参数。
149、渲染机器还可以包括显示单元作为被配置成用于显示所渲染的可视化的另一部件。可替选地,渲染机器可以包括到这样的显示单元的接口,使得显示单元可以在渲染机器外部。因此,例如,所渲染的图像可以经由无线电传输或无线传输传送至移动装置。呈现详细且准确的体积数据可视化,渲染机器有助于执业医师有效地解释医学状况。整合先进的渲染技术提高医学图像的质量和有效性以用于诊断应用,从而提供精确的信息以帮助医学分析和决策。
150、在另一方面中,本发明涉及用于渲染由3d成像装置获取的医学可视化的医学图像处理系统,该医学图像处理系统具有3d成像装置、被配置成用于提供重建结果的重建计算机(重建引擎)以及如上面描述的渲染机器,其中,重建结果包括3d体积。
151、医学图像处理系统可以包括显示单元。
152、在现有技术的系统中,由渲染算法在表面相交检测和根据各个重建体积进行着色期间使用的信息没有以信息的全部潜力利用。此外,目前不可能在实际渲染过程期间组合多个重建体积的值和特性。这些不利方面都由本文中所提供的解决方案克服。特别地,在渲染期间和渲染算法中使用来自各个重建体积中的每一个的信息,以及/或者在渲染算法中考虑多个重建体积的值和特性。
153、作为优点,可以考虑多个重建结果以产生单个渲染图像。为此,相应算法本身需要合并多个重建结果。
154、除多光谱机会之外,ssd算法还可以被扩展以用于标量数据,从而传达关于交点处的表面特性的更多信息。
155、关于另一方面,提供了包括程序元素的计算机程序产品,当程序元素被加载至计算装置的存储器中时,该程序元素引导计算装置执行根据方法方面的用于提供所渲染的可视化作为结果的方法的步骤。
156、关于另一方面,提供了存储有程序元素的计算机可读介质,该程序元素可以由计算装置读取和执行,以在程序元素由计算装置执行时,执行根据方法方面的用于提供所渲染的可视化的方法的步骤。
157、鉴于将在附图的上下文中详细描述的以下描述和实施方式,上面描述的本发明的属性、特征和优点以及实现它们的方式变得更清楚和更容易理解。
158、该以下描述不将本发明限制于所包含的实施方式。相同的部件或零件可以在不同的图中用相同的附图标记标记。通常,附图不是按比例的。
159、应理解,本发明的优选实施方式也可以是从属权利要求或上面的实施方式与各自独立权利要求的任何组合。
160、本发明的这些和其他方面将根据下文描述的实施方式变得明显并且参照下文描述的实施方式阐明。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com