用于对细长解剖结构进行可视化的计算机实施的方法与流程

1.本发明涉及一种使用超声、计算机程序、被配置为执行本发明方法的图像评估设备和超声系统对细长解剖结构进行可视化，具体地对胎儿脊柱进行可视化的计算机实施的方法。


背景技术：

2.超声(us)是用于胎儿可视化的最广泛使用的诊断成像模态。isuog(international society of ultrasound in obstetrics&gynecology)和aium(american institute of ultrasound in medicine)指南建议在妊娠的早期、中期、晚期至少进行三次超声检查，通常对高危妊娠执行额外的扫描。
3.在这样的背景下，早期检测到胎儿脊柱异常允许进行父母咨询和适当的产科管理。通常，胎儿脊柱由以下部分组成：颈椎(7节椎骨)、胸椎(12节椎骨)、腰椎(5节椎骨)、骶骨(5节椎骨)节段，并以尾椎骨结束。在任何产科超声检查中都需要对胎儿脊柱及其所有椎骨进行细致评估，因为对脊柱异常的发现会显著影响产科管理。
4.用于检测诸如椎体畸形(半椎骨、蝶椎骨等)、神经管缺陷(脊柱裂和其他脊髓脊膜膨出)和胎儿脊柱侧凸的胎儿结构异常的初步筛查试验是一种具有详细的胎儿脊柱成像的解剖学上的超声和在妊娠中期执行的评估。利用正确的工具，能够在妊娠早期检测到一些异常情况，但并非所有异常情况都是由于早期脊柱骨化不良造成的。
5.胎儿脊柱侧凸是一种复杂的先天性畸形，与许多先天性异常有关。异常脊柱弯曲的胎儿的预后总体上是由潜在畸形的预后确定的，并且通常较差。由于许多相关异常的预后较差，多达60％的人选择终止妊娠。妊娠中期的中间至妊娠晚期的初期是识别异常的脊柱弯曲的理想时间，因为有足够的脊柱骨化，而没有在孕后期的胎儿拥挤使对脊柱难以成像。检测需要在冠状面和矢状面仔细地来回进行纵向扫描。然而，由于无法以超声探头的有限视野获得整个脊柱的纵向图像，因此在妊娠中期和晚期的早期的脊柱侧凸检测通常具有挑战性。
6.如上所述，提早检测到脊柱异常是一项挑战。在妊娠早期，所关注的胎儿脊柱的超声检查并非isuog或aium指南的一部分，主要是因为这这种胎龄时胎儿脊柱的骨化和尺寸较差，这阻碍了超声检查。此外，据报道，在大约15％的病例中，由于母体习惯和不利的胎位，在妊娠前期对胎儿脊柱的可视化较差。spulveda等人在“fetal spinal anomalies in a first-trimester sonographic screeing program for aneuploidy”(prenat diagn，2011年1月；31(1):107-14)评论了妊娠早期胎儿脊柱异常的超声特征，并且发现当比较妊娠早期和中期时，检测到的脊柱异常的类型是不同的。在妊娠中期，脊柱裂是迄今为止最常检测到的异常，而在妊娠早期的研究中，则是严重的脊柱后侧凸。她们妊娠早期的异常与围产期预后较差有关。几乎所有的体蒂(body stalk)异常病例，但只有不到一半的脊柱裂病例，能够在妊娠早期被发现。已发现脊柱长度是胎儿生长的良好指标，并且与妊娠早期的crl和双顶径高度相关。因此，在妊娠中期或晚期进行脊柱的超声检查似乎是至关重要的。
然而，超声探头受限的视野使得在怀孕的妊娠中期或晚期计算胎儿脊柱长度以及识别和分析胎儿的不同椎骨节段变得困难。
7.因此，需要在妊娠后期使用超声有效地生成整个胎儿脊柱或大部分脊柱的图像，其中，所述图像可以用于对胎儿脊柱的进一步详细评估。
8.us 2008/0287796 a1公开了一种用于在3d医学图像中可视化脊柱的方法和系统。在诸如ct体积的3d医学图像体积中自动确定脊髓中心线。然后，基于脊髓中心线生成重构图像体积。重构图像体积能够是拉直的脊柱体积或遵循脊柱自然曲线的基于多平面重构(mpr)的体积。重构体积能够显示为2d切片或3d体积渲染。
9.wo 2015/063632 a2公开了一种方法，所述方法包括获得包括表示感兴趣结构的体素的第一图像数据。感兴趣结构包括多个不同的子结构。所述方法还包括分割仅包括用于多个不同子结构中的每一个的单个子结构的第一图像数据的体积。所述方法还包括为用于体积中的每一个的不同子结构中的每一个子结构创建不同的局部坐标系。所述方法还包括对用于单独的多个不同子结构中的每一个子结构的重构图像集的独立视觉呈现来可视化地呈现感兴趣结构。用于子结构的重构图像集包括从分割后的体积的对应的分割体积和用于子结构的局部坐标系生成的不同切割平面。
10.wo 2005 048198a1涉及一种用于通过使用所述对象的3d图像数据集来可视化对象的管状结构的方法和相应的设备。为了提供更有效和说明性的可视化，提出了一种方法，包括以下步骤：-从所述管状结构的符号路径视图生成并可视化弯曲平面重构视图，所述符号路径视图表示所述管状结构，并且所述符号路径的路径点分配有它们的3d空间位置数据，并且-通过在所述弯曲平面重构视图或所述符号路径视图中选择的所述管状结构的观察点生成和可视化所述对象的至少一个平面视图。但是，上述问题仍然存在，即整个胎儿脊柱或较大部分的脊柱无法在一个图像中充分显示，以便分析脊柱的各种畸形。
11.发明目的
12.因此，本发明的一个目的是提供一种用于有效地生成不能在单个超声视场中可视化的细长解剖结构的可视化的计算机实施的方法，所述细长结构例如是使用超声在妊娠中期至妊娠晚期的初期捕获的并且能够用于详细的畸形假设的的胎儿脊柱。本发明还有一个目的是提供相应的计算机程序、被配置为执行本发明方法的实施例的图像评估设备以及超声系统。


技术实现要素：

13.为了更好地解决一个或多个上述问题，在本发明的第一方面，提供一种用于使用超声对胎儿脊柱进行可视化的计算机实施的方法，所述方法包括以下步骤：
[0014]-接收多个3d超声图像体积，每个图像体积描绘具有弯曲的纵向延伸的细长解剖结构的至少部分；
[0015]-在每个3d超声图像体积上，自动或半自动地将参数曲线拟合所描绘的沿其纵向延伸的细长解剖结构的部分，参数曲线由曲线参数定义；
[0016]-通过应用沿至少一个轴拉直参数曲线的变换来重构每个3d超声图像体积，从而生成多个重构图像体积和重构参数曲线；
[0017]-通过确定它们各自的参数曲线的连接点，将重构图像体积相互配准；并且
[0018]-将重构图像体积彼此融合，以产生描绘整个细长解剖结构的融合图像或其比3d超声图像体积更大的部分。
[0019]
换言之，本发明可以提供一种用于经由(例如基于细长结构的)背景融合从多个超声体积对整个细长解剖结构或整个细长解剖结构的较大部分进行可视化的方法，以便能够立即评估完整的解剖结构。三维(3d)超声图像体积可以是患者身体的一部分的3d医学图像。在已经从患者(例如，孕妇)采集了图像体积之后，可以从图像采集设备实时接收3d超声图像体积。也可以通过输入或加载先前采集并存储在例如计算机系统的存储器或内存上的图像体积来接收3d超声图像体积。此外，可以例如在医院检查期间采集3d超声图像体积，然后可以例如将3d超声图像体积发送到数据处理服务中心的其他位置，以执行本发明的方法。
[0020]
细长解剖结构具有弯曲的纵向延伸，使得与其拟合的参数曲线通常不是直的。解剖结构可以是人类或动物体内的任何细长结构，具体地，可以是无法在单个超声图像的视场(fov)中捕获的较大结构，例如在妊娠中期或晚期的胎儿的脊柱、儿童或成人的脊柱、骨骼结构、肢体或肢体的部分、血管、或肠道的部分。优选地，细长解剖结构具有纵向延伸，这是其被拉长的方向。在脊柱的情况下，纵向延伸可以例如沿着中央神经管运行。在血管的情况下，纵向延伸可以是在血流方向上。
[0021]
本文中，将参考细长解剖结构是胎儿脊柱的范例来解释本发明。然而，本发明也适用于其他细长解剖结构。
[0022]
在实施例中，所述方法包括从对象(具体地，孕妇)采集多个3d超声图像体积的步骤，每个图像体积描绘胎儿的胎儿脊柱的至少部分。优选地，胎儿将处于妊娠中期或妊娠晚期，以使脊柱发生足够的骨化。
[0023]
可以使用多种超声设备来采集3d超声图像体积。例如，可以通过采集一系列二维(2d)超声图像、记录针对每个图像/切片的换能器取向并且随后基于2d图像和换能器取向生成3d超声图像体积来收集3d图像体积。备选地，可以通过使用矩阵阵列换能器直接捕获3d超声图像体积，所述矩阵阵列换能器使用波束控制对整个金字塔形体积(即3d超声图像体积)中的点进行采样。多个3d超声图像体积可以在同一检查期间被捕获，具体的，可以是基本上在同一时间，优选在同一天。此外，每个3d超声图像体积可以包括同一胎儿脊柱的不同部分。每个3d超声图像体积可以包括胎儿脊柱的至少一节椎骨。优选地，3d超声图像体积的视场(fov)可以至少部分地彼此重叠，即，胎儿脊柱的一些部分被描绘在若干3d超声图像体积上。重叠的量可以是在3d超声图像体积大小的10％和50％之间的范围内，优选地在20％和40％之间的范围内，并且更优选地是大约30％。
[0024]
在每个3d超声图像体积上，参数曲线沿其纵向延伸或方向自动或半自动地拟合到所描绘的细长解剖结构的部分。在脊柱的情况下，参数曲线可以被拟合到所描绘的脊柱部分的中心线。参数曲线可以将细长解剖结构定义为被称为曲线参数的一个或多个自变量的函数，并且因此可以表达定义细长解剖结构在每个3d超声图像体积中的几何延伸的点的坐标。参数曲线可以称为细长解剖结构的参数表示或参数化。使用参数曲线作为近似值的优点在于它是纵向延伸的简单定义。此外，通过使用曲线参数，能够对几个图像体积进行参数化融合，如下所述。参数曲线优选地在三个维度上，例如在3d图像体积的坐标中定义细长解剖结构。
[0025]
参数曲线通常是连续的，并且优选地(但不一定)可微分，即平滑。在实施例中，参数曲线具有预先确定的格式，例如，它被预先确定为多项式、指数或三角函数，包括其变化或线性组合。例如，它可以是n次多项式，或者更优选地，它被预先确定为样条函数，优选地3次(三次样条函数)。样条函数是由多项式分段定义的函数。如果多项式片段每个都具有最大为n的次数，则称样条为n次。片段相遇的地方被称为“结点”。
[0026]
曲线参数是定义曲线的参数。对于样条函数，参数包括例如节点的位置和多项式片段的参数。
[0027]
在细长解剖结构是胎儿脊柱的情况下，参数曲线可以是脊柱中心线的近似，即，沿着脊柱的中央神经管延伸的线。
[0028]
参数曲线可以被自动拟合到所描绘的细长解剖结构的部分，从而不需要用户交互。例如，血管腔、神经管或脊柱的节段可以通过合适的分割技术和与其拟合的参数曲线来识别。例如，可以自动或通过用户交互来识别神经管，并且可以将预先确定格式的参数曲线与其拟合，从而确定曲线参数。在另一个实施例中，脊柱的中心线可以通过使用人工智能的关键点估计来识别。
[0029]
在另一个实施例中，参数曲线是半自动生成的，这意味着需要一些用户交互。例如，用户可以查看自动生成的参数曲线，例如通过查看重叠在屏幕上的3d图像体积的表示上的参数曲线并在必要时校正参数曲线。
[0030]
可以通过半自动或自动地选择细长解剖结构上的控制点，例如在胎儿脊柱(或中央神经管内)上的控制点，并将(预先确定的)参数曲线拟合到所选择的控制点来确定曲线参数。优选地，所选择的点被定义在在3d超声图像体积内很容易看到的细长解剖结构的部分处，例如，在胎儿脊柱的每节椎骨处。
[0031]
根据本发明，参数曲线用于通过应用沿至少一个轴拉直参数曲线的变换来对每个3d超声图像体积进行重构，以生成多个重构图像体积(包括重构参数曲线)。也可以说，参数曲线在至少一个方向上被拉直。在具体实施例中，重构参数曲线可以是完全笔直的(直线)，在其他实施例中，参数曲线仅部分地被拉直，例如仅在一个方向上被拉直，如下文更详细地解释。在重构图像体积中，细长解剖结构至少在某种程度上是“不弯曲的”。因此，显著简化了对细长解剖结构的评估。
[0032]
重构可以如下执行：首先，确定想要的参数曲线的变换，这可以是在至少一个方向上拉直曲线的操作/变换，下面给出其范例。可以仅基于参数曲线来定义变换，但在一些实施例中还考虑了3d图像体积的强度值，例如分析3d图像体积以确定参数曲线被拉直的方向。然后可以在参数曲线上执行变换，产生重构参数曲线，其优选地也由曲线参数定义。此外，可以以代数方式或者通过变换矩阵来定义变换本身。
[0033]
然后，可以定义重构图像体积(也称为输出图像或输出体积)的大小(尺寸)，其中，总体上，z-轴对应于解剖结构的纵向方向，即沿着参数曲线，并且x-轴和y-轴与其(局部)垂直。在一个实施例中，y-轴是胎儿的水平(左-右)轴。第三轴(x-轴)可以是在深度方向上，垂直于其他两个轴，并且可以大致对应于胎儿的前后轴。可以从参数曲线计算z-方向的重构图像的尺寸，而x-和y-方向的延伸可以根据可视化需要自由选择。在胎儿脊柱的范例中，y-方向的尺寸可以是2-3cm，以便覆盖包括棘突和从其延伸的肋骨的至少部分的胎儿脊柱。x-方向(深度)上的尺寸可以被选择为只有一个像素，在这种情况下，输出体积是二维(2d)输
出图像。如果在深度方向上的输出图像的尺寸只有一个或几个(例如最多10个)像素，则其对应于“薄板”变换。薄板重构允许人们详细检查结构。备选地，x-方向上的尺寸可以是几个像素/体素，例如10-256个体素，因此输出图像是输出体积，其中，尺寸可以是例如0.5cm-2cm，并且其对应于“厚板”变换。厚板重构允许人们查看细长解剖结构，优选地查看完整的解剖结构，例如脊柱，而且图像未被其他解剖结构遮挡。
[0034]
此外，可以自由选择想要的输出图像的分辨率(对应于网格尺寸，即每个方向上有多少像素/体素)。
[0035]
然后可以反向执行变换，即从重构图像体积变换到原始或输入图像体积。因此，对于输出图像中的每个像素，可以确定其关于重构参数曲线的相对坐标，例如到曲线的距离和沿曲线长度的位置。然后可以将这些相对坐标变换为(原始)参数曲线，从而找到原始3d超声图像体积的图像空间内的对应点的坐标。由于该点可能并非直接位于原始图像体积的网格上，因此可以使用诸如一阶插值之类的已知重新-网格化技术来计算重构图像中的体素值。换言之，一旦定义了变换，变换就直接应用在输出图像的网格上。输出图像体积中的每个体素像素映射到原始3d超声图像体积中的位置。从该位置开始，使用插值内核对强度值进行插值，所述插值内核可以是0阶，即最近差值，但通常是一阶，即线性差值，或二阶，对应于三次插值。
[0036]
在另一个实施例中，可以计算将(原始)3d超声图像体积变换为重构图像体积，即，执行正向变换。在这种情况下，可以在输出图像的网格上进行重新-网格化，因为输入图像的体素可能不会直接映射到输出图像的像素或体素上。
[0037]
对多个3d超声图像体积中的每个执行重构，产生多个重构图像体积，所述多个重构图像体积一旦相互融合，就呈现单个概览，允许对脊柱的立即评价、对脊柱长度的理解、每个节段的存在和任何脊柱压迫或脊柱裂的证据。
[0038]
此外，3d超声图像体积的重构简化了重构图像体积与彼此的配准和融合的问题。通过确定它们各自的重构参数曲线的连接点，重构图像体积与彼此配准。因此，简化了配准，因为用于配准重构图像体积的候选点位于相应的参数曲线(“原始”参数曲线或优选地重构参数曲线)上。在实施例中，通过在第一重构图像体积的参数曲线上取一个点(例如，在距图像体积一端的预定距离处，或在预先确定的椎骨处，或简单地在参数曲线的端点处)，并确定在第二个相邻但重叠的重构图像体积的参数曲线中的对应点来确定连接点。因此，如果通过重叠这两个连接点来融合两个相邻的重构图像体积，则相邻图像体积的重叠部分应该匹配，使得两个图像体即与彼此配准。可以说，两个相邻的重构图像体积在连接点处连接在一起。
[0039]
能够以各种方式确定与第一重构图像体积上的连接点相对应的第二重构图像体积上的连接点。在一个实施例中，人们可以简单地在第二重构图像体积的参数曲线上找到对应的椎骨。在另一个实施例中，将第一和第二图像体积的参数曲线(优选地在重构之前)相互比较并且找到最佳拟合的连接点。在进一步优选的实施例中，可以使用优化算法来确定连接点。这种优化算法可以例如沿着各自的参数曲线改变第二连接点，并且针对每个位置计算相邻的(重构)图像体积的重叠部分之间的相似性度量。这种相似性度量优选地是用于两个图像体积之间的配准好坏的度量。优化算法随后可以例如通过最小化(成本)函数优化所述相似性度量，所述相似性度量取决于参数曲线上连接点的位置。
[0040]
由于重构参数曲线也被参数化，重构图像体积之间的配准可以被简化为沿着脊柱的弧长(即，沿着参数曲线)的参数化的配准。因此，对于参数曲线的连接点的搜索是在降维空间上执行的，从而通过降低变量的数量来降低非刚性配准的复杂性。
[0041]
因此，所提出的发明提供了一种新颖的方法，能够经由背景(例如脊柱)融合及其呈现，例如在用于立即评估脊柱缺陷的重构视图中，从多个超声体积中完全可视化整个解剖结构。这进一步允许从重构图像体积中自动或半自动地导出参数和解剖对象(例如节段)，以进行定量评估。重构图像体积可以从两个正交方向以薄板和厚板视图呈现。因此，本发明允许例如用于立即评估每个脊柱节段的存在、它们的标记、椎间距离的评估、以及胎儿脊柱异常的存在。
[0042]
在本发明的实施例中，可以通过自动或手动识别细长解剖结构上的控制点，并将参数曲线，具体地将样条函数拟合到控制点来生成参数曲线。例如，控制点可以在脊柱的每个节段或某些节段的中心。
[0043]
脊柱节段可以是单节椎骨。控制点可以位于椎体的中心。备选地，控制点可以位于在椎骨的椎孔处。这在使用控制点的半自动识别时是有利的，因为可以例如通过阈值在3d超声图像体积内轻松检测到椎孔。可以在每节椎骨处或仅在每第二节、第三节或第四节椎骨处识别控制点。
[0044]
一旦控制点被识别，参数曲线就可以被拟合到控制点以获得平滑曲线。有利地，样条可以用作参数曲线，因为它们构造简单、它们评估容易且准确、并且它们能够通过曲线拟合和交互式曲线设计来模仿(approximate)复杂形状。曲线拟合可以需要对控制点的精确拟合或近似拟合。优选地，参数曲线是连续且可微分的，但也可以是连接控制点的分段线性函数。
[0045]
例如，可以使用定点设备将控制点手动放置在每个脊柱节段(c1-7、t1-12、l1-5、s1-5)的中心。这能够由用户在通过图像体积查看截面视图(例如，屏幕上显示的多平面重构(mpr)视图)时完成。备选地，可以在脊柱的中心线处自动生成控制点，例如通过使用ai的控制点估计(例如控制点回归)。在后一种情况下，用户可以检查控制点，例如它们是否正确放置在每个节段的中心，并且可以手动改变其位置，其中，该过程(控制点的自动选择和用户的控制)是半自动选择的范例。
[0046]
一旦生成了参数曲线(例如样条曲线)，就可以通过使用参数曲线来完成重构。
[0047]
在实施例中，重构图像体积或融合后的重构图像体积可以通过使用合成函数在观察方向上聚合其强度值来可视化。在有用的实施例中，观察方向是第三轴或深度轴(x-轴)，它与前两个轴正交，即它与细长解剖结构的纵向方向正交。在脊柱的范例中，观察方向可以优选地垂直于脊柱的长度并垂直于肋骨。但是，它也可以沿着第二轴或y-轴，产生矢状视图。合成函数能够是最大强度，其产生最大强度投影(mip)、平均强度、或标准体积渲染前后累积，例如体积射线追踪(vrt)。聚合后的强度值可以在屏幕或其他显示设备上显示给用户，这些显示设备可以是医疗超声设备的一部分。
[0048]
弧长重构
[0049]
根据重构每个3d超声图像体积的第一实施例，执行所谓的细长解剖结构的弧长重构。在这种类型的重构中，解剖结构(例如脊柱)被压平并拉紧。因此，在重构坐标系中，胎儿沿其左右轴和沿其前后轴看起来是被拉直的。具体地，在这种弧长重构实施例中，重构每个
3d超声图像的步骤包括应用变换，所述变换使参数曲线展开，以便使用局部坐标系来拉直它，所述局部坐标系包括或由与曲线的切线正交的两个轴组成，以便重构图像体积包括脊柱的弧长重构。利用这种重构，脊柱的弧长被保留，并且重构参数曲线可以是直线。换言之，参数曲线在两个方向上被拉直。
[0050]
局部坐标系是沿参数曲线应用于一个点的坐标系。由于在重构之前参数曲线不是直的，因此如本文所解释的，轴的方向在每个局部坐标系中是不同的。但是，在重构之后，对于每个局部坐标系，至少对齐一个轴，即参数曲线已沿该轴被拉直。在弧长重构中，优选地，与曲线的切线正交的两个轴(主轴)对齐。
[0051]
在弧长重构中，重构图像体积的主轴(z-轴)沿着已经拉直并拉紧的脊柱的中央神经管的参数曲线。因此，主轴对应于参数曲线的切线。第二轴(y-轴)可以在每个局部坐标系中与该曲线正交，并且平行于肋骨，即大致在胎儿的左右方向上。优选地，弧长重构还考虑到脊柱可能具有扭转的事实，即与参数曲线的切线正交的两个轴的方向在每个局部坐标系中可能不同。换言之，沿其进行重构辅助轴是“自由轴”，即它围绕主轴旋转。目的是使第二轴定向为使棘突的最宽部分可视化。即，辅助轴线对齐以便在具有椎骨的最宽部分的平面中。换言之，辅助轴优选地平行于胸腔，即沿左右方向。
[0052]
在实施例中，可以通过首先通过阈值化找到胎儿的胸腔来确定第二轴的方向。如果沿脊柱中心线的控制点是已知的，则可以围绕这些点进行局部阈值化。这可以识别从脊柱大致沿水平左右方向延伸的肋骨的至少一些部分。因此，可以找到位于脊柱和胸腔上的一组点。可以分析这组点，以找到整体的左右方向，或用于每个局部坐标系的辅助轴(y-轴)。例如，可以将一条直线拟合到每根肋骨，如通过阈值化确定的那样。备选地，这可以通过对这组点的主分量分析来完成，其可以被可视化为将椭圆体拟合到点这组点——其中，主轴将沿着脊柱，第二轴将提供所需的y-轴的方向。因此，重构图像体积和/或融合图像可以包括对应于参数曲线的主轴，以及与主轴局部正交且平行于肋骨的辅助轴。
[0053]
因此，在弧长重构中，脊柱的重构沿其弧长进行，从而也使脊柱沿y-轴定向。滚动浏览这种重构切片允许一个人从前到后穿过(脊柱变平并拉紧)。利用mip(最大强度投影)或vrt(体积射线追踪)的厚板重构可以呈现单个概览，允许立即评价脊柱、评估脊柱长度、每个节段的存在以及脊柱受压或脊柱裂的任何证据。这些板可以呈现在冠状或矢状视图中。利用手动重写以减少误差累积，这种重构可以通过脊柱端到端的定向中心线追踪自动完成。
[0054]
在下一步中，进行来自多次超声采集的脊柱的融合。在脊柱的弧长重构之后，可以通过沿着每个重构体积的主轴将一个体积变换到另一个体积来实现半自动融合。连接的效率非常高，因为对参数曲线的连接点的搜索是在降维空间上执行的，其中搜索空间可以被限制为一维(沿着参数曲线)。因此，变量可以只是沿着重构参数曲线的平移向量。因此，本实施例提供了不同3d体积图像的高度鲁棒和有效的配准。
[0055]
曲率保持重构
[0056]
根据重构每个3d超声图像体积的第二实施例，执行细长解剖结构的曲率-保持重构，其中，细长解剖结构的展开(拉直)仅沿着一个轴进行，优选地沿着正交于解剖结构的参考平面的轴进行。可以通过将平面拟合到解剖结构来确定参考平面，在胎儿的情况下，拟合到胎儿的一部分(例如脊柱)，例如拟合到棘突上的解剖标志，和/或拟合到胸腔。根据这种
曲率-保持重构，重构每个3d超声图像体积的步骤包括应用变换，所述变换在局部坐标系中沿与参数曲线的切线正交，并且与参考平面正交的一个轴展开参数曲线，使得重构图像体积包括解剖结构的曲率-保持等距重构。这种参考平面不是翘曲的，而是平面的。参考平面可以是细长解剖结构或者其所属的较大的解剖结构的最小二乘拟合平面。在脊柱的情况下，它可以是拟合到棘突上的解剖标志的平面。在实施例中，参考平面是胎儿的典型冠状平面。这种重构通过使垂直于其参考平面的脊柱的“波浪”变平来展开脊柱。脊柱的总长度被保留。这能够比作船只必须采取的总路径，包括在波浪上上下的运动，其中，总路径在平面视图上变平，因此侧向(sideway)曲线(其将对应于左-右轴上的脊柱曲率)被保留。这种重构对于分析诸如脊柱后侧凸等疾病是有用的。
[0057]
这种重构与弯曲平面重构(cpr)，具体地与拉伸的cpr相当，如在armin kanitsar，dominik fleischmann等人在ieee visualization 2002上发表的论文中的文章“cpr—curved planar reformation”中所描述的。在cpr中，纵向结构(例如血管)被重新采样到表面上，所述表面由血管的中心线和被称为感兴趣向量的附加向量来定义。在“拉伸cpr”中，由血管中心线和感兴趣向量定义的表面在一个维度上是弯曲的，而在另一个维度上是平面的。拉伸弯曲的尺寸导致平面完整显示管状结构而没有重叠。在本发明的曲率-保持重构中，这种表面被称为“虚拟覆盖”，细长解剖结构位于其上。脊柱的重构视图的一个轴是沿着细长解剖结构的主轴，具体地沿着控制点，沿覆盖的长度延伸的线。重构视图的其他轴与其正交，但不再是自由轴，而是对于沿着参数曲线的并且在每个局部坐标系中的每个点都相同。优选地，重构视图的其他轴正交于主轴并且位于参考平面内。可以在给定参数曲线和3d图像体积的情况下生成虚拟覆盖。
[0058]
在本实施例的曲率保持重构中，重构体积中的测量值是等距的。总体上，在等距视图中，两点之间的距离对应于所述点之间的实际距离。也就是说，可以在本实施例的重构体积中取测量值。利用mip或vrt进行的厚板重构可以呈现单个概览，允许脊柱及其曲率的立即评价，允许脊柱侧凸的评估、脊柱长度的评估、每个节段的存在以及脊柱受压或脊柱裂的任何证据。其他薄板重构可以允许人们详细检查结构。
[0059]
在细长解剖结构的曲率保持重构优选实施例中，细长解剖结构被展平到参考平面上，所述参考平面是最小二乘拟合平面。最小二乘拟合平面拟合到细长解剖结构，例如拟合到控制点(例如，在每个或某些脊柱节段的中心的控制点)和/或棘突上的解剖标志、和/或拟合到胸腔，优选胎儿的胸腔的节段。通过简单的阈值化方法相对简单地获得胸腔节段。请注意，脊柱没有投影到这个最小二乘参考平面上，但是当脊柱被展平并拉伸到最小二乘拟合平面上时，该变换使得脊柱的总长度得以保留。
[0060]
例如，在如上所述确定参数曲线(例如样条曲线)后，参考平面或最小二乘拟合平面定义主轴和辅助轴，即轴向量。因此，能够以代数方式定义变换，并将其应用于输出图像的网格，其中，输出图像体积中的每个体素映射到原始超声图像体积中的位置。
[0061]
配准和融合
[0062]
使用这些重构中的任一种(弧长重构或或曲率保持重构)，可以通过将重叠的重构图像体积彼此配准和融合来自动或半自动地融合脊柱的部分。通过执行上述重构，通过减少其变量的数量，使自动配准算法比现有技术更稳健。在一个实施例中，唯一的变量是来自要配准的一对重构图像体积的重构参数曲线之间的平移向量(连接点)。这允许一个重构图
像体积与彼此严格配准。在另一个实施例中，其他变量是用于拟合参数曲线的控制点的位置，例如，脊柱节段上的控制点。在其他实施例中，变量是在两个体积中拟合脊柱的参数曲线(例如样条曲线)的曲线参数。该实施例还改进了拟合到脊柱的参数曲线的拟合以及配准。例如，这可以通过优化算法来执行，所述优化算法包括曲线参数以及在例如最小化成本函数曲线的过程中变化的参数中的连接点。因此，可以将配准与拟合在这对重构图像体积上的脊柱的样条曲线的变量一起参数化。这允许一个脊柱部分(重构图像)与另一个脊柱部分的非刚性配准。
[0063]
根据实施例，配准两个(重叠)重构图像体积的步骤可以包括以下步骤：
[0064]
选择沿着参数曲线的它们各自的重构参数曲线的连接点，
[0065]
当在连接点连接时，计算两个重构图像体积的重叠部分之间的相似性度量，
[0066]
沿重构参数曲线平移连接点并再次计算相似度标准。
[0067]
最后一步(平移和再次计算)可以重复几次。相同的配准和融合过程能够应用于弧长重构图像体积和曲率保持重构图像体积。
[0068]
连接点是属于两个重叠或相邻图像体积中的每一个的两条参数曲线中的每一条上的一个点，即两条参数曲线将连接的点，从而产生一条连续的通过两个重构图像体积的参数曲线(例如样条曲线)。能够将连接点参数化为沿该参数曲线的平移。连接点可以是两条(重构)参数曲线可以连接的位置，以便形成拟合到脊柱的连续的参数曲线。根据该实施例，重叠的重构图像体积的部分例如通过计算相似性度量来相互比较，以评估配准的拟合的好坏。这之后是平移连接点(并且可选地如本文所述改变其他变量)，并再次计算相似性度量。这个步骤可以重复(最好迭代)几次，直到找到良好的相似性度量。优选地，例如使用优化算法或优化器优化相似性度量，即，确定相似性度量的最大值。可以通过使成本函数最小化来优化相似性度量，其中，成本函数定义了配准两个重构体积的效果。
[0069]
配准过程中使用的相似性度量可以是均方误差度量，也可以是在图像配准中常用的任何相似性度量，例如“归一化互相关”、“交互信息”等。(优选进行多次)平移和再次计算相似性度量的步骤找到最大化相似性度量的变量。变量可以是通过原始和/或重构图像体积的连续样条曲线的连接点，并且可选地是曲线参数。例如，合适的优化器可以是梯度下降优化器。在优化过程中找到最小值的可能性与搜索空间的维度成正比，因此，通过减少搜索空间的维度(即变量的数量)，配准过程变得更加稳健。
[0070]
在融合步骤期间，已经相互配准的一对重构图像体积的重叠部分可以用于通过使用来自一对重叠图像体积中的一个图像体积的体素强度值，或者通过组合两个重叠部分的强度值来计算融合图像中的体素。在实施例中，这是通过将一个重构图像体积“淡化”到另一个重构图像体积来实现的，即，两个重构图像在组合强度值中的权重沿着主轴变化，从而一个图像慢慢地“混合”到另一个图像中.
[0071]
此外，在配准和融合期间，可以使用插值器。插值器可以用于将源图像(即第一重构图像)重新网格到目标图像(即第二重构图像)网格上。更详细地，可以在目标图像网格的所有体素上评估相似性度量。在每个体素位置处，给定当前变换(连接点)，必须识别源图像中的位置。这些可以落在非网格位置上，即源图像中的中间体素。插值器(通常是一阶)可以用于从源图像获得中间体素(子体素)强度。
[0072]
在本发明的实施例中，配准两个重构图像的步骤可以包括基于与参数曲线的距离
对相似性度量进行加权，以便突出靠近脊柱的特征。因此，可以实现脊柱解剖结构的高质量配准，同时可以忽略远离脊柱的局部变形，例如胎儿肢体或母体习惯的变形。优选地，可以应用加权，使得中心线附近的值在度量中被给予更大的权重。距参数曲线的距离可以是沿着与参数曲线正交的方向的距离。换言之，可以定义一个半径，所述半径定义围绕参数曲线的圆形，在所述半径中的值可以在度量中对被给予更大的权重。半径可以在1cm-10cm之间的范围内，优选1.5cm-5cm。以同样的方式，成本函数(度量)也可以基于与参数曲线的距离来加权，突出沿着参数曲线上的特征。
[0073]
在本发明的其他实施例中，配准两个重构图像的步骤可以包括将重构图像体积的参数曲线重新拟合到，例如在融合图像或在重构图像体积上的细长解剖结构的描绘部分，并且其中，使用重新拟合的参数曲线再次执行重构3d超声图像体积的步骤。
[0074]
为了改善两个相邻图像体积之间的配准，可以改变曲线参数以及沿着参数曲线的连接点。可以基于改变后的曲线参数在下一次重复/迭代中重新生成重构3d超声图像体积，然后可以再次计算相似性度量，等等。这能够利用弧长或曲率保持重构来完成。在实施例中，在配准过程期间，参数曲线可以拟合到的控制点可以位移，具体地，可以在脊柱节段(例如椎骨)上位移。随后，参数曲线可以再次被拟合到控制点。因此，参数曲线拟合与配准一起得到改善。在实施例中，该步骤可以使用优化器(例如，梯度下降优化器)来执行。
[0075]
当使用优化器时，优化过程的复杂性和找到相似性度量最大值(成本函数的最小值)的可能性与搜索空间的维度成正比。非刚性融合中的变换总体上是高维度的。在本实施例中，可以仅使用定义拟合脊柱解剖体的参数曲线的少量参数来执行非刚性融合。因此，该过程可以是高效的，因为与总体上已知的非刚性融合问题相比，该问题的维数可以降低。
[0076]
此外，由于可以仅在正在进行可视化的重构图像上评估度量，因此在度量评估的每次迭代中访问的体素数量可以很小，从而使过程甚至更快。
[0077]
在实施例中，所述方法还可以包括例如为了识别每个椎骨而自动识别细长解剖结构上的标志，和/或为了识别椎体而量化每个椎骨的起点和终点的步骤。优选地，该步骤在重构体积上或在融合图像上执行。
[0078]
在一种使用情况中，评估与参数曲线正交的综合强度最大值可以输出脊柱节段的位置和椎间距离。
[0079]
给定来自多次采集的脊柱的弧长重构，本实施例可以自动识别用于识别每节椎骨的标志。这可以在拉直的视图上方便地完成，其中只需要在一个参数空间(即沿主轴)中搜索节段。然后可以将它们显示在其他视图上。此外，可以导出若干测量值，例如椎间距离、横向椎弓根内距离。还能够自动检测皮肤线，并在矢状视图中突出显示任何偏差(皮肤缺失或异常曲线/凹凸)。
[0080]
在又一实施例中，所述方法还可以包括在融合图像上自动执行定量测量的步骤，其中，具体地，自动确定椎间距离、横向椎弓根距离和/或皮肤线。
[0081]
在本发明的另一方面中，提供一种计算机程序，包括程序代码指令，当由处理器执行时，所述程序代码指令使处理器能够执行本发明的方法。
[0082]
本发明还涉及一种包括上述计算机程序的计算机可读介质。计算机可读介质可以是任何数字数据存储设备，例如usb盘、cd-rom、sd卡、ssd卡、硬盘。自然地，计算机程序不需要存储在这样的计算机可读介质上以提供给客户，而是可以例如通过互联网从远程服务器
或云下载。
[0083]
在本发明的第三方面中，提供一种图像评估设备，其被配置为执行本发明方法的实施例，所述评估设备包括：
[0084]
数据存储器，其用于接收多个3d超声图像体积，每个图像体积描绘细长解剖结构的至少部分；
[0085]
计算单元，其用于执行上述方法，以及
[0086]
屏幕，其用于显示至少一个重构图像体积或融合图像。
[0087]
数据存储设备被配置为存储数据，例如硬盘驱动器。计算单元可以是能够执行上述方法的处理器(例如cpu或gpu)。屏幕可以是可以显示使用上述方法生成的一个或多个图像的显示器。此外，屏幕可以是超声设备的屏幕。另外，屏幕可以是触摸屏，其可以作为用于输入命令的接口。例如，用户可以通过点击屏幕上的特定位置来设置上述控制点。
[0088]
在本发明的又一方面中，提供一种超声系统，包括：
[0089]
探头，其被配置为获得3d超声体积，以及
[0090]
上述图像评估设备。
[0091]
探头优选是3d换能器，其可以经由波束控制和/或波束形成直接获得3d超声图像体积。
[0092]
结合方法提及的所有特征和优点也适用于计算机程序、图像评估设备和超声系统，反之亦然。
附图说明
[0093]
现在将参考附图通过具体实施例来说明本发明，其中：
[0094]
图1示出了胎儿及其脊柱和胸腔的示意图和透视图；
[0095]
图2示出了弧长重构示意图；
[0096]
图3示出了曲率-保持重构示意图；
[0097]
图4是说明根据本发明方法的实施例的步骤e的流程图；
[0098]
图5示出了说明包括在根据本发明的实施例的配准重构图像体积的步骤中的步骤的流程图；
[0099]
图6示出了通过弧长重构获得的胎儿脊柱的融合图像；
[0100]
图7示出了两张超声图像：顶部的一张是通过曲率保持重构获得的，底部的一张是通过弧长重构获得；
[0101]
图8示出了说明在至少两个3d超声图像体积的配置期间的迭代过程的框图；
[0102]
图9示出了在其中执行并显示对颈椎、胸椎、腰椎和骶椎组中的每一个的脊柱节段进行自动识别的超声图像；
[0103]
图10是根据本发明实施例的系统的示意图。
具体实施方式
[0104]
在整个附图中，不同实施例的相同或对应的特征/元素用相同的附图标记来表示。
[0105]
数字图像(例如，超声图像)由一个或多个对象(例如，脊柱)的数字表示组成。对象的数字表示在本文中经常是根据识别和操纵对象来描述的。这种操纵是在计算机系统的存
储器或其他电路/硬件中完成的虚拟操纵。因此，应当理解，本发明的实施例可以使用存储在计算机系统内的数据在计算机系统内执行。例如，根据本发明的各种实施例，在计算机系统内操纵表示3d超声图像体积的电子数据，以重构图像，使脊柱可视化。
[0106]
图1是从前面查看的胎儿10的示意性透视图。突出显示了胚胎10(即胎儿)的脊柱20和胸腔22。此外，示出了坐标系，其中，z-方向沿着脊柱的长度延伸，对应于纵轴，并且y-轴对应于左右或水平轴。具体地，它是胸腔的最小二乘拟合平面的水平轴。x-方向对应于前后轴。
[0107]
图2示出了弧长重构原理。该图的顶部示出了脊柱位于其上的虚拟覆盖40。虚拟覆盖是遵循参数曲线30的曲率的翘曲表面40，参数曲线30显示为船下方的线。虚拟覆盖40也可以绕着参数曲线30稍微扭转，使得每个局部坐标系中的y-方向(即，与参数曲线的切线正交且位于虚拟覆盖40内的轴)平行于棘突。在弧长重构中，参数曲线优选地被完全拉直并拉紧，以产生笔直的重构参数曲线32。
[0108]
图3示出了曲率保持重构的原理。该图的顶部再次示出了脊柱位于其上的虚拟覆盖40。虚拟覆盖40在一个方向上是直的，并且在另一个方向上遵循参数曲线30的曲率，参数曲线30被示为船下方的线。换言之，虚拟覆盖40在一个维度上是弯曲的，而在另一维度上是平面的。在优选实施例中，覆盖为平面的方向平行于参考平面，具体地，平行于脊柱或胸腔的最小二乘拟合平面。在曲率-保持重构中，通过使“波浪”变平而使脊柱展开，即，虚拟覆盖被拉紧以产生如图下部所示的重新采样的表面42。其中，重构参数曲线34保留了参数曲线30的总长度，在虚拟覆盖40为平面的方向上的脊柱曲线也是如此。仅沿着一个轴展开，该轴优选是与最小二乘拟合平面正交的轴。
[0109]
图4是说明根据本发明的用于使用超声可视化胎儿脊柱的计算机实施方法的实施例的步骤的流程图。在步骤100中，接收多个3d超声图像体积，每个图像体积描绘胎儿的胎儿脊柱的至少部分。在本实施例中，接收意味着3d超声图像体积被加载到执行本发明方法的计算机上。可以在同一次us检查中采集3d超声图像体积，并且沿着胎儿脊柱的连续图像体积重叠10％到50％的图像体积(或脊柱长度)。例如，同一胎儿脊柱可以有2-10个，优选地有3-7个3d超声图像体积。
[0110]
在步骤102中，在每个3d超声图像体积上，参数曲线自动或半自动地被拟合到所描绘的脊柱部分的中心线。参数曲线由曲线参数定义。在本发明的一个实施例中，用户经由屏幕上的定点设备(例如，由鼠标驱动的光标)，或者通过在触摸屏218上轻敲来手动识别脊柱的节段(例如，一些椎骨的中心)。用户通过轻敲脊柱的节段来定义控制点，所述控制点可以是参数曲线的曲线参数。实时显示被拟合到控制点的参数曲线，从而使用户可以决定是否需要修正曲线，或者是否需要识别其他的控制点，以便提供符合胎儿脊柱的几何形状的参数曲线。在另一个实施例中，可以例如通过分段自动识别脊柱节段。
[0111]
在步骤104中，通过应用沿至少一个轴拉直参数曲线的变换来重构每个3d超声图像体积，以生成多个重构图像体积和重构参数曲线。在步骤102中被拟合到脊柱的参数曲线是连续且可微分的样条曲线的实施例中，可以隐含地完成沿至少一个轴的重构。例如，在一些实施例中，通过在期望方向上对参数曲线进行微分，可以在该方向上以直接方式导出图像体积的重构。
[0112]
在步骤106中，重构图像体积通过确定它们各自的参数曲线的连接点与彼此配准。
在一个实施例中，彼此相邻的3d超声图像体积重叠其尺寸的大约10-50％，优选地20-40％，从而允许图像体积的重叠部分的配准。与原始3d图像体积不同，重构图像体积彼此配准。这通过减少变量的数量降低了非刚性配准的复杂性。优选地，相似性度量还基于到参数曲线的距离进行加权，突出了沿着脊柱解剖体的特征。在有用的实施例中，在配准步骤106期间被最小化的成本函数的参数空间还包括两个重构图像体积中的参数曲线的曲线参数。因此，在步骤106中，可以改变(重新拟合)参数曲线，因此可以再次执行步骤104的重构以进一步改善配准过程。这由步骤102、104和106的迭代来指示。最后，一旦配准106已经导致确定了重构参数曲线和可选地重新拟合的曲线参数之间的连接点，重构图像体积就与彼此融合
[0113]
在图5中，示出了说明根据本发明实施例的配准重构图像体积的步骤中包括的步骤的流程图。
[0114]
在步骤402中，选择沿着参数曲线的重构图像体积的各个重构参数曲线的连接点。在步骤404中，计算两个重构体积在它们各自的连接点处连接时的重叠部分之间的相似性度量。在步骤406中，在沿着重构参数曲线平移连接点之后重复计算相似性度量。可以基于到参数曲线的距离对相似性度量进行加权，以便突出靠近脊柱的特征。在步骤410中，重新拟合重构体积的参数曲线，并且其中，使用改变后的参数曲线再次执行重构3d超声体积的步骤(也参见指示迭代的步骤106和步骤102之间的图2中的箭头)。
[0115]
图6示出了两个重构超声图像，其中脊柱沿其弧长展开，生成重构体积。右侧示出了薄板重构或重构图像体积的切片。与弧长正交的重构图像体积的体积渲染示出在左侧。即，脊柱沿其长度被“拉紧”。沿主轴或(在此表示中的)水平轴生成重构体积，所述水平轴是脊柱的弧长。图5中的垂直轴对应于本文所述的y-轴。经由这种重构mip(最大强度投影)或vrt(体积射线追踪)的厚板可视化显示出，如果婴儿以背部平躺，而不是像在子宫中那样弯曲脊柱，脊柱将是什么样的。这允许立即评估每个脊柱节段(颈椎、胸椎、腰椎和骶椎)的存在、标记从顶部到底部的所有脊柱节段、评估椎间距离和脊柱裂的存在。
[0116]
图7示出了两个超声图像：顶部的一个是通过曲率保持重构获得的，底部的一个是通过弧长重构获得的。上方图像中的脊柱的曲率保持重构显示了脊柱中的弯曲。重构参数曲线叠加在图像上。仅沿一个轴完成展开，所述轴是与脊柱点(例如，控制点)的最小二乘拟合平面正交的轴。在上部图像中的曲率保持重构中，通过展平与其最小二乘拟合平面正交的脊柱的“波浪”来展开脊柱。脊柱的总长度被保留。在所显示的视图上的所有测量值也被保留。因此，视图是等距的。
[0117]
在妊娠中期，通常无法在单个3d视图中扫描脊柱。可能需要至少两个视图来覆盖整个脊柱。在两个体积之间，脊柱可以是非刚性的。这可能是由于婴儿在子宫内的运动。在前部脊柱表现中，也可能是由于能够引起变形的探头压力。探头压力本身可以引起婴儿运动。因此，需要对单独捕获的3d超声图像体积进行配准和融合。
[0118]
给定覆盖脊柱的两个部分的两次采集，两个图像体积之间的非刚性配准(通常涉及大参数空间)能够经由重构体积简化为沿脊柱(即，沿参数曲线)参数化的配准。在生成弧长重构一个实施例中，能够重构配准，使得要确定的变量是沿两个重构体积之间的主轴的平移向量或变换。在生成曲率保持重构另一个实施例中，配准可以与拟合脊柱的低维度参数曲线的变量一起参数化，例如拼接。这样共同优化了拟合脊柱的参数曲线以及融合两个体积本身的变换。同样，因为这是沿着参数曲线(即沿着脊柱)参数化的，所以配准本质上是
非刚性的。因此，基于针对脊柱的参数化和手头的临床问题，相对于脊柱的可视化来限制用于配准的搜索空间。此外，如果首先执行弧长重构配准，并因此在非刚性配准期间确定两个重构体积之间的平移变换，则该信息也可以在两个曲率保持重构非刚性配准期间使用。因此，后一种方法可以呈现其他改进效果。
[0119]
因此，图8示出了本实施例的非刚性配准方法。两个重构重叠图像体积302、304被输入到该方法，其中，假设参数曲线之间的具体平移向量(产生具体的连接点)，计算出两个重构图像体积302、304的重叠部分之间的相似性度量308。这可能需要在插值器306上使用，因为两个图像体积的网格点可能与每个平移向量不一致。相似性度量208被输入到优化器310，所述优化器310通过改变平移向量，并且在一些实施例中还改变参数曲线312的曲线参数来优化相似性度量。利用新的平移向量，使用插值器306计算新的相似性度量308，直到已经达到相似性度量308的最大值，如由优化器所确定的。
[0120]
图9示出了超声图像，在其中执行并显示颈椎、胸椎、腰椎和骶椎组中的每一个的脊柱节段的自动识别。不同的组可以利用不同的指示器可视化。在本实施例中，使用五边形和圆形来指示不同的椎骨组。请注意，图9中并未识别出每个组。标志的自动识别或每节椎骨的识别在拉直的视图上，即在弧长重构上方便地完成，其中只需要(沿着主轴，即在所显示图像中的水平方向)在一个参数空间中搜索分段后的图像。然后它们可以显示在其他视图上，如在图9中所示。由此，还可以导出几个测量值，例如椎间距离、横向椎弓根内距离等。还能够例如在矢状视图中自动检测皮肤线和任何突出显示的偏差，例如皮肤缺失或异常曲线/凹凸。
[0121]
图10是根据本发明实施例的超声系统200的示意图，并被配置为执行本发明的方法。超声系统200包括通常的超声硬件单元202，所述超声硬件单元202包括cpu 204、gpu 206和数字存储介质208，例如硬盘或固态盘。计算机程序可以从cd-rom 210或通过互联网212加载到硬件单元中。硬件单元202连接到用户界面214，所述用户界面214包括键盘216和可选的触摸板218。触摸板218还可以作为用于显示成像参数的显示设备。硬件单元202连接到超声探头220，其包括超声换能器222的阵列，所述超声换能器222允许优选实时从对象或患者(未示出)采集3d超声图像体积224，例如b模式图像。利用超声探头220采集的3d超声图像224以及通过由cpu 104和/或gpu执行的本发明的方法生成的重构或融合的图像显示在屏幕226上，所述屏幕226可以是任何市售的显示单元，例如屏幕、电视机、平面屏幕、投影仪等。此外，可以存在例如经由互联网112的到远程计算机或服务器228的连接。根据本发明的方法可以由硬件单元202的cpu 204或gpu 206执行，但也可以由远程服务器228的处理器来执行。
[0122]
上述讨论旨在仅说明本系统并且不应解释为将所附权利要求限制为任何具体实施例或实施例组。因此，虽然已经参考范例性实施例具体详细地描述了本系统，但还应该理解的是，本领域普通技术人员可以在不背离如在以下权利要求中所述的本系统的更广泛和预期的精神和范围的情况下设计出许多修改和替代实施例。因此，说明书和附图被认为是以说明性的方式，而不是要限制所附权利要求的范围。