三维超声成像数据的背景多平面重建以及相关联的设备、系统和方法与流程

1.本公开总体上涉及对超声图像的采集和处理，并且特别涉及用于从三维超声图像数据重建二维图像的系统和方法。


背景技术：

2.超声成像经常用于获得患者的内部解剖结构的图像。超声系统通常包括超声换能器探头，该超声换能器探头包括被耦合到探头壳体的换能器阵列。激活换能器阵列以在超声频率下振动，从而将超声能量发射到患者的解剖结构中，并且然后接收被患者的解剖结构反射或反向散射的超声回波以创建图像。这样的换能器阵列可以包括各种层，这些层包括一些具有压电材料的层，其响应于施加的电压而振动以产生期望的压力波。这些换能器可以用于相继地发射和接收通过身体的各种组织的若干超声压力波。还可以通过超声成像系统来处理各种超声响应，以显示身体的各种结构和组织。
3.医生和超声医师常常期望获得患者的身体的某些视图，使得超声换能器的成像平面被对准以获得解剖结构的特定组合和取向的图像。例如，在胎儿超声生物测定中，超声医师获得胎儿解剖结构的各种图像或视图，以执行胎儿的发育的测量和评估。这些视图的示例包括经心室、经小脑和经丘脑图像平面。通常，这些目标视图是由有经验的超声医师在观看超声换能器的视场的实时或近实时图像流的同时定位和定向超声换能器手动实现的。
4.当超声医师确定示出了期望的视图时，超声医师可以将图像帧冻结或保存到存储器，和/或继续围绕目标视图移动探头以确保实际实现期望的视图。在常规二维超声成像流程中获得的时间和空间信息在评估图像中可以是有用的，因为例如除了要在生物测定评估中使用的专用二维图像之外，它还提供重要的背景信息。因此，超声医师基于其对他们想要捕获的平面附近或邻近的解剖结构的图像的了解而具有他们正在搜索的平面的位置的空间意识。本质上，正确地检测到目标平面的置信度基于二维图像流中的时间背景。尽管如此，这种常规二维采集工作流程强烈地依赖于超声医师的个体技能。
5.备选地，一些超声成像系统允许从三维超声数据集自动获得目标视图。自动图像重建技术可以是有益的，因为它们较少依赖于超声医师的个体技能。例如，超声换能器阵列可以用于扫出三维体积并获得表示体积的三维超声数据集，同时超声医师将超声探头主体保持在固定位置和取向。可以使用多平面重建(mpr)技术来生成与期望的视图相关联的二维图像。尽管mpr成像技术有利地允许经验较少的超声医师实现目标视图，但是mpr的一个缺点是图像可能不由系统正确地重建，并且用户不具有空间/时间背景来确认重建图像是正确的或最佳的。相比之下，常规二维超声成像向超声医师提供实时反馈和空间背景，因为用户可以对探头进行手动调节以评价目标视图周围的成像体积。


技术实现要素：

6.本公开的各方面提供了超声系统和设备，其提供具有背景可视化的图像的多平面
重建，以在超声成像流程期间增加平面选择的置信度。例如，在一个实施例中，超声成像系统包括与被配置为获得三维超声数据集的超声换能器通信的处理器电路。处理器电路被配置成根据超声数据集重建对应于目标视图或图像平面(诸如心脏的心尖视图、经小脑、经丘脑等)的目标图像或图像切片。此外，处理器电路被配置成根据相同的三维超声数据集重建对应于与目标图像平面邻近的平面的一幅或多幅邻近图像。重建邻近图像，使得邻近图像和目标图像对应于在也对应于目标图像的模拟运动路径上的图像平面。例如，模拟运动路径可以表示超声探头的线性平移、扫掠或扇形运动、倾斜、摇摆运动和/或旋转，其中，目标图像平面从沿着模拟运动路径的点延伸。可以将重建邻近图像输出到显示器，使得用户可以查看具有目标图像的序列的邻近图像部分，以获得关于目标图像的空间背景信息。在这方面，在一些实施例中，用户可以扫描通过显示器上的目标图像和一幅或多幅邻近图像，就好像超声换能器正在沿着模拟运动路径扫描一样。因此，用户可以确定根据图像数据重建的目标图像与目标图像平面正确对准，或确定可以进行调节以将目标图像重建为与目标图像平面正确对准。
7.根据本公开的一个实施例，一种超声成像装置包括处理器电路，所述处理器电路被配置为：从通信地耦合到所述处理器电路的超声探头接收解剖结构的三维超声数据；根据所述三维超声数据来生成对应于所述解剖结构的目标图像平面的目标图像；根据所述三维超声数据来生成对应于沿着模拟运动路径与所述目标图像平面邻近的图像平面的多幅邻近图像，其中，述目标图像和所述多幅邻近图像包括基于所述三维超声数据的二维图像；将所述目标图像输出到与所述处理器电路通信的显示器；接收表示沿着所述模拟运动路径的运动方向的用户输入；并且将所述多幅邻近图像中与所述运动方向相对应的邻近图像输出到所述显示器。
8.在一些实施例中，所述装置还包括所述超声探头。在一些实施例中，所述处理器电路被配置为：在所述目标图像的位置和取向与所述邻近图像的位置和取向之间进行内插以生成内插图像；并且将所述内插图像输出到所述显示器。在一些实施例中，所述处理器电路被配置为：确定相对于所述目标图像平面的不确定性方向；并且基于所确定的不确定性方向来确定所述模拟运动路径。在一些实施例中，所述处理器电路被配置为将协方差矩阵应用于所述三维超声数据以确定所述不确定性方向。
9.在一些实施例中，所述处理器电路被配置为：根据所述三维超声数据来识别与所述目标图像和所述邻近图像不同的感兴趣图像平面；并且基于所述目标图像、所述邻近图像和所述感兴趣图像来确定所述模拟运动路径。在一些实施例中，所述处理器电路被配置为响应于接收到所述用户输入而输出所述感兴趣图像。在一些实施例中，所述多幅邻近图像包括与多个平行邻近图像平面相关联的多幅平行邻近图像。在一些实施例中，所述处理器电路被配置为生成所述目标图像以排除解剖特征。在一些实施例中，所述处理器电路被配置为生成所述邻近图像以包括所述解剖特征。在一些实施例中，所述处理器电路还被配置为将与所述邻近图像相关联的邻近图像平面的图形表示输出到所述显示器，其中，所述图形表示包括：与所述目标图像相关联的身体部分的图解性视图；以及叠加在所述身体部分的所述图解性视图上的所述邻近图像平面的指示符。
10.根据另一实施例，一种用于重建超声图像的方法，包括：接收由超声探头获得的解剖结构的三维超声数据；根据所述三维超声数据来生成对应于所述解剖结构的目标图像平
面的目标图像；根据所述三维超声数据来生成对应于沿着模拟运动路径与所述目标图像平面邻近的图像平面的多幅邻近图像，其中，所述目标图像和所述多幅邻近图像包括基于所述三维超声数据的二维图像；将所述目标图像输出到显示器；接收表示沿着所述模拟运动路径的运动方向的用户输入；并且将所述多幅邻近图像中与所述运动方向相对应的邻近图像输出到显示器。
11.在一些实施例中，生成所述多幅邻近图像包括在所述目标图像的位置和取向与所述邻近图像的位置和取向之间进行内插以生成内插图像。在一些实施例中，所述方法还包括将所述内插图像输出到所述显示器。在一些实施例中，生成所述多幅邻近图像包括：确定相对于所述目标图像平面的不确定性方向；并且基于所确定的不确定性方向来确定所述模拟运动路径。在一些实施例中，确定所述不确定性方向包括将协方差矩阵应用于所述三维超声数据。
12.在一些实施例中，所述方法还包括：根据所述三维超声数据来识别与所述目标图像和所述邻近图像不同的感兴趣图像；并且基于所述目标图像、所述邻近图像和所述感兴趣图像来确定所述模拟运动路径。在一些实施例中，所述方法还包括响应于接收到所述用户输入而输出所述感兴趣图像。在一些实施例中，生成所述多幅邻近图像包括生成与多个平行邻近图像平面相关联的多幅平行邻近图像。在一些实施例中，生成所述目标图像包括将所述目标图像生成为排除解剖特征。在一些实施例中，生成所述邻近图像包括将所述邻近图像生成为包括所述解剖特征。在一些实施例中，所述方法还包括将与所述邻近图像相关联的邻近图像平面的图形表示输出到所述显示器。在一些实施例中，所述图形表示包括：与所述目标图像相关联的身体部分的图解性视图；以及叠加在所述身体部分的所述图解性视图上的所述邻近图像平面的指示符。
13.根据以下详细描述，本公开的额外的方面、特征和优点将变得显而易见。
附图说明
14.将参考附图描述本公开的说明性实施例，其中：
15.图1是根据本公开的实施例的超声成像系统的示意图。
16.图2是根据本公开的实施例的处理器电路的示意图。
17.图3是根据本公开的方面的根据体积的三维超声数据集重建的图像切片的图解性视图。
18.图4是图示根据本公开的方面的用于根据三维超声数据集生成并显示背景多平面图像重建的方法的流程图。
19.图5是根据本公开的方面的对应于模拟运动路径的多个图像平面或图像切片的图解性视图。
20.图6a是根据本公开的方面的对应于模拟线性运动路径的多个图像平面或图像切片的图解性视图。
21.图6b是根据本公开的方面的对应于模拟弯曲运动路径的多个图像平面或图像切片的图解性视图。
22.图6c是根据本公开的方面的对应于模拟弯曲运动路径的多个图像平面或图像切片的图解性视图。
23.图7是图示根据本公开的方面的用于生成用于背景多平面图像重建序列的内插图像切片的方法的流程图。
24.图8是图示根据本公开的方面的用于基于背景多平面图像重建序列的不确定性方向来重建图像切片的方法的流程图。
25.图9是根据本公开的方面的包括对应于目标视图的重建图像帧的图形用户接口的屏幕。
具体实施方式
26.出于促进对本公开的原理的理解的目的，现在将参考在附图中所图示的实施例，并且将使用特定语言来对其进行描述。然而，应理解，不旨在对本公开的范围进行限制。如对于本公开所涉及领域的技术人员正常将理解，本公开内完全预期和包括对所描述的设备、系统和方法的任何改动和另外的修改以及对本公开的原理的任何另外的应用。特别是，完全预期到，关于一个实施例所描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤相组合。然而，出于简洁的目的将不单独地描述这些组合的众多重复。
27.在图1中，以方框图形式示出了根据本公开的实施例的超声系统100。超声成像装置或者超声探头10具有换能器阵列12，换能器阵列12包括多个超声换能器元件或声学元件。在一些实例中，阵列12可以包括任何数量的声学元件。例如，阵列12能够包括1个声学元件与100000个声学元件之间，包括诸如2个声学元件、4个声学元件、36个声学元件、64个声学元件、128个声学元件、300个声学元件、812个声学元件、3000个声学元件、9000个声学元件、30000个声学元件、65000个声学元件的值和/或更大或更小的其他值。在一些实例中，阵列12的声学元件可以以任何合适的配置方式进行布置，诸如线性阵列、平面阵列、弯曲阵列、曲线阵列、圆周阵列、环形阵列、相控阵列、矩阵阵列、一维(1d)阵列、1.x维阵列(例如1.5d阵列)、或二维(2d)阵列。可以统一地或独立地控制和激活声学元件的阵列(例如，一个或多个行、一个或多个列和/或一个或多个取向)。阵列112能够被配置为获得患者解剖结构的一维、二维和/或三维图像。
28.尽管本公开涉及使用外部超声探头的合成孔径外部超声成像，但将理解，本公开的一个或多个方面可以在任何合适的超声成像探头或系统中实施，包括外部超声探头和管腔内超声探头。例如，本公开的方面可以在使用机械扫描的外部超声成像探头、心内(ice)超声心动图导管和/或经食管超声心动图(tee)探头、旋转血管内超声(ivus)成像导管、相控阵ivus成像导管、经胸超声心动图(tte)成像设备或任何其他合适类型的超声成像设备的超声成像系统中实施。
29.再次参考图1，阵列12的声学元件可以包括压电/压敏元件、锆钛酸铅(pzt)、压电微机械超声换能器(pmut)元件、电容式微机械超声换能器(cmut)元件和/或任何其他合适类型的声学元件。阵列12的声学元件与电子电路14通信(例如，被电耦合到电子电路14)。在一些实施例(诸如图1的实施例)中，电子电路14能够包括微波束形成器(μbf)。在其他实施例中，电子电路包括多路复用器电路(mux)。电子电路14被定位于探头10中，并且通信性地耦合到换能器阵列12。在一些实施例中，电子电路14的一个或多个部件能够被定位在探头10中。在一些实施例中，电子电路14的一个或多个部件能够被定位在计算设备或处理系统
28中。计算设备28可以是或包括处理器，诸如与存储器通信的一个或多个处理器。如下面进一步描述的，计算设备28可以包括如图2所图示的处理器电路。在一些方面中，电子电路14的一些部件被定位在探头10中，并且电子电路14的其他部件被定位在计算设备28中。电子电路14可以包括一个或多个电子开关、晶体管、可编程逻辑设备或其他电子部件，其被配置为组合多个输入和/或在多个输入之间连续地切换以跨一个或多个公共通信信道传输来自多个输入中的每个的信号。电子电路14可以通过多个通信信道被耦合到阵列12的元件。电子电路14被耦合到线缆16，线缆16将包括超声成像数据的信号传输到计算设备28。
30.在计算设备28中，信号被数字化并且被耦合到系统波束形成器22的信道，系统波束形成器22适当地延迟每个信号。经延迟的信号然后被组合以形成相干的被转向且聚焦的接收波束。系统波束形成器可以包括执行波束形成算法的电子硬件部件、由软件控制的硬件或微处理器。在这方面，波束形成器22可以被称为电子电路。在一些实施例中，波束形成器22能够是系统波束形成器(诸如图1的系统波束形成器22)，或其可以是由超声探头10内的电路实施的波束形成器。在一些实施例中，系统波束形成器22结合被设置在探头10内的微波束形成器(例如，电子电路14)工作。在一些实施例中，波束形成器22能够是模拟波束形成器，或者在一些实施例中，是数字波束形成器。在数字波束形成器的情况下，系统包括将来自阵列12的模拟信号转换成采样的数字回波数据的a/d转换器。波束形成器22一般将包括一个或多个微处理器、移位寄存器和/或数字或模拟存储器以将回波数据处理成相干回波信号数据。延迟通过各种手段来实现，诸如通过接收的信号的采样的时间、暂时被存储在存储器中的数据的写入/读取间隔，或通过移位寄存器的长度或时钟速率，如mckeighen等人的美国专利us 4173007中所描述的，在此通过引用将其整体并入本文。另外，在一些实施例中，波束形成器能够将适当的权重应用于由阵列12生成的信号中的每个信号。来自图像场的波束形成信号由信号和图像处理器24处理，以产生用于在图像显示器30上显示的2d或3d图像。信号和图像处理器24可以包括执行图像处理算法的电子硬件部件、由软件控制的硬件或微处理器。其一般还会包括将接收到的回波数据处理成用于期望显示格式的图像的图像数据的专用硬件或软件，诸如扫描转换器。在一些实施例中，波束形成功能能够被分在不同的波束形成部件之间。例如，在一些实施例中，系统100能够包括被定位于探头10内并且与系统波束形成器22通信的微波束形成器。微波束形成器可以执行初步波束形成和/或信号处理，其能够减少将接收信号传输到计算设备28所需的通信信道的数量。
31.对超声系统参数(诸如扫描模式(例如，b模式、m模式)、探头选择、波束转向和聚焦、以及信号和图像处理)的控制在系统控制器26的控制下进行，系统控制器26被耦合到系统100的各种模块。系统控制器26可以由专用集成电路(asic)或微处理器电路和软件数据存储设备(诸如ram、rom或硬盘驱动器)形成。在探头10的情况下，该控制信息中的一些可以通过线缆16从计算设备28提供给电子电路14，调节电子电路14以用于针对特定扫描流程的需要来操作阵列。用户借助于用户接口设备20来输入这些操作参数。
32.在一些实施例中，图像处理器24被配置为生成不同模式的图像以被进一步分析或被输出到显示器30。例如，在一些实施例中，图像处理器能够被配置为编译患者的解剖结构的b模式图像，诸如实况b模式图像。在其他实施例中，图像处理器24被配置为生成或编译m模式图像。m模式图像能够被描述为示出被成像解剖结构沿着单个扫描线的时间变化的图像。
33.将理解，计算设备28可以包括硬件电路(诸如计算机处理器、专用集成电路(asic)、现场可编程门阵列(fpga)、电容器、电阻器和/或其他电子设备)、软件或硬件和软件的组合。在一些实施例中，计算设备28是单个计算设备。在其他实施例中，计算设备28包括与彼此通信的单独的计算机设备。
34.图2是根据本公开的实施例的处理器电路150的示意图。处理器电路150可以在图1的计算设备28、信号和图像处理器24、控制器26和/或探头10中实施。如图所示，处理器电路150可以包括处理器160、存储器164和通信模块168。这些元件可以彼此直接或间接地通信，例如经由一条或多条总线。
35.处理器160可以包括中央处理单元(cpu)、数字信号处理器(dsp)、asic、控制器、fpga、被配置为执行本文所描述的操作的另一硬件设备、固件设备或其任意组合。处理器160还可以被实施为计算设备的组合(例如，dsp和微处理器的组合、多个微处理器、与dsp核心相结合的一个或多个微处理器或者任何其他这样的配置)。
36.存储器164可以包括高速缓存存储器(例如，处理器160的高速缓存存储器)、随机存取存储器(ram)、磁阻ram(mram)、只读存储器(rom)、可编程只读存储器(prom)、可擦可编程只读存储器(eprom)、电可擦可编程只读存储器(eeprom)、闪速存储器、固态存储器设备、硬盘驱动器、其他形式的易失性和非易失性存储器、或不同类型的存储器的组合。在实施例中，存储器164包括非瞬态计算机可读介质。存储器164可以存储指令166。指令166可以包括当由处理器160运行时使处理器160执行本文参考处理器28和/或探头10(图1)所描述的操作的指令。指令166还可以被称为代码。术语“指令”和“代码”应当宽泛地被解释为包括任何类型的(一个或多个)计算机可读语句。例如，术语“指令”和“代码”可以是指一个或多个程序、例程、子例程、函数、流程等。“指令”和“代码”可以包括单个计算机可读语句或许多计算机可读语句。
37.通信模块168可以包括任何电子电路和/或逻辑电路，以促进处理器28、探头10和/或显示器30之间的直接或间接数据通信。在这方面，通信模块168可以是输入/输出(i/o)设备。在一些实例中，通信模块168促进了处理器电路150和/或处理系统106(图1a)的各个元件之间的直接或间接的通信。
38.如上所述，一些超声成像系统被配置为获得患者的体积的三维超声数据。在一些实施例中，超声成像系统包括超声换能器，所述超声换能器包括一个或多个换能器元件的阵列，其中，所述超声换能器被配置为扫描或扫掠通过患者的体积以获得所述体积的三维超声数据集。该三维超声数据可以用于生成解剖结构的三维图像或模型。备选地，可以根据三维超声数据重建对应于与体积相交的各种成像平面的二维图像。在这方面，图3示出了形成体积200的三维超声数据集的多个图像切片210、220。使用超声换能器阵列12获得切片210、220作为图像序列的部分。在所图示的实施例中，阵列12包括超声换能器元件的二维阵列，其可以被控制为相控阵列以电子地操纵声能的超声波束，从而在多个对应的图像平面中扫出图像切片210、220。在其他实施例中，超声换能器阵列12可以包括单个超声换能器元件或换能器元件的一维阵列，其中，换能器12在一个或多个自由度上手动地扫描以采集体积200的三维数据集。
39.在图3中，图像切片210、220可以对应于由超声换能器执行的图像序列的图像平面。因此，体积200的三维数据集可以通过以逐步方式采集超声数据来形成，其中，通过跨对
应的图像平面操纵或扫掠超声波束或扫描线并且组合多个不同的图像切片210、220以形成三维数据集来获得图像切片。在一些实施例中，可以通过确定来自不同切片210、220的内插强度值来将切片210、220组合成三维图像，使得可以针对三维图像中的任何位置(例如，在笛卡尔坐标系中)确定强度值。另外，图3示出了在图像序列已经完成扫描体积200之后根据三维数据集重建的重建图像230。因此，与图像切片210、220相对，重建图像230不直接对应于三维成像序列的二维分段，并且不表示与超声换能器12相交的图像平面。例如，如果超声换能器12已经相对于体积200移动到不同的位置和取向，则重建图像230可以表示穿过体积的图像平面。然而，在一些实施例中，可以根据表示与超声换能器12相交的成像平面的三维数据集来重建图像。
40.在一些实施例中，多平面重建(mpr)可以用于根据三维超声数据重建对应于患者的目标视图或成像平面的目标图像(例如，经心室、经小脑、经丘脑、心尖视图等)。例如，mpr可以用于生成图3所示的重建图像230。可以使用来自各种图像处理技术(包括人工智能(a.i.)、机器学习和/或深度学习技术)的输入来执行mpr，以识别三维超声数据中的包括与特定视图相关联的解剖结构的组合和/或布置的二维横截面。在这方面，虽然mpr涉及生成针对三维数据集内的识别平面的图像，但是将在mpr图像中使用的平面的估计或识别可以被称为平面估计(pe)。例如在2002年9月3日公告的美国专利us 6443896、2012年8月13日提交的美国公开us 2014/0155737、2008年11月13日提交的美国公开us 2010/0268085和2017年6月12日提交的美国公开us 2019/0272667以及joseph redmon等人的“you only look once:unified,real-time object detection”(the ieee conference on computer vision and pattern recognition(cvpr)，2016年，第779-788页)中描述了用于pe的方法，通过引用将其中的每个整体并入本文。
41.虽然pe有利地允许利用来自超声医师的更少输入来自动重建目标图像(即，手动调节探头以实现目标视图)，但是pe技术可能具有一些缺点。例如，超声医师可能不能容易地确认使用pe生成并显示为mpr的图像是正确或最佳视图。在这方面，因为目标图像在很少或没有来自超声医师的交互的情况下被自动重建并显示，所以超声医师可能缺少如果超声医师正在跨目标视图周围的解剖结构手动扫描探头则将以其他方式获得的空间背景。因此，可能会降低已经采集正确图像的置信度。另外，可以通过pe算法选择不正确的或次优的图像平面，并且超声医师可能不能够容易地识别要进行什么调节以更完全地实现期望的视图。
42.因此，本公开提供了用于提供与自动重建的二维图像(诸如根据pe生成的图像)相关联的背景可视化的设备、系统和相关联的方法。具体地，本公开提供了自动图像重建技术，其允许生成并显示目标图像同时仍然向超声医师提供空间背景信息使得超声医师可以确认已经选择了正确的图像平面来自动重建目标图像。例如，在示例性工作流程中，超声医师在通常与目标图像平面相关联的位置处将被配置为获得三维超声数据的超声探头放置在患者的皮肤上。采集患者的体积的三维数据集，并且超声医师可以放下探头。处理系统和/或处理器电路使用例如pe和/或mpr来分析三维超声数据，以识别、重建或以其他方式生成与目标图像平面或视图(诸如经小脑视图)相关联的目标图像。然后可以使用mpr向用户显示目标图像，这可以允许用户对目标图像中的解剖结构进行测量或评估。
43.另外，处理器电路被配置为通过生成与邻近于目标图像平面的成像平面相关联的
多幅邻近图像来提供目标图像的空间背景。生成邻近图像，使得目标图像和邻近图像全部都对应于公共的模拟运动路径或轨迹。计算模拟运动路径，使得扫描通过邻近图像和目标图像模拟超声探头围绕目标图像平面的物理扫描或起搏。如下所述，在示例性实施例中，超声医师可以使用键盘、轨迹球或其他接口设备沿着模拟运动路径扫描通过邻近图像，就好像用户正在围绕目标图像平面手动移动探头一样。因此，超声医师可以已经增加处理器电路已经正确地和/或最佳地重建目标图像的置信度。另外，通过扫描重建的邻近图像，超声医师可能能够确定是否应当修改或重新完成目标图像重建。
44.因此，本公开的实施例提供了看到接近或靠近于目标平面的二维图像的体验。可以根据三维数据集来创建或重建二维图像，从而重新创建常规体验，以便改进超声医师对由自动化流程正确检测到期望的解剖学平面的置信度。具体地，本文描述的系统和方法使得能够模拟允许从一个自动检测的平面到另一个自动检测的平面的平滑过渡的超声探头移动。这些平滑图像过渡模拟超声医师根据标准二维超声检查所熟悉的换能器移动。例如，通过内插平面参数(法向向量和偏移向量)并且因此获得三维空间中的二维平面位移的连续样条轨迹，可以实现不同视图平面之间的平滑过渡。
45.被示出给用户的图像帧的序列可以是基于几何间距确定的邻近mpr的汇编。在一些实施例中，所示出的图像或图像帧的序列包括已经例如通过a.i.算法选择以稍微类似于目标图像平面的几何邻近图像的选择。例如，在胎儿头部生物测定评估的情况下(其中，在不同的图像平面处捕获多幅图像)，所提出的动态表示可以用于执行相应图像平面参数之间的内插。这些内插图像可以用于从一个选定平面动态地过渡到另一个选定平面，从而执行通过平面所位于的三维体积的过渡。
46.一旦生成三维数据集的目标图像，就可以以多种方式生成一幅或多幅邻近图像。在一个实施例中，邻近图像帧对应于与目标平面平行的平面。在多于一个感兴趣平面在体积内的应用中(例如，腹部和胸部、经心室(tv)、经小脑(tc)、经丘脑(tt))，可以通过在感兴趣平面之间内进行内插来创建一组邻近图像帧。为此目的，可以以固定的顺序(例如，总是从tt到tv)、或通过找到两个最接近的平面进行内插。在一些实施例中，用于平面检测的基于a.i.的方法提供了测量不确定性的方式，使得可以识别最高不确定性方向。可以沿着最高不确定性方向对图像进行内插。这将利用自动确定的图像的有效手动校正。
47.在需要解剖目标图像平面来排除某些解剖结构或特征的应用中，可以生成邻近图像，使得至少一幅邻近图像包括要排除的解剖特征，生成其他邻近图像以示出从视场消失的解剖特征(例如，胎儿大脑的tv平面中的小脑)。出于教育或报告目的，可以利用示意性解剖视图来显示邻近图像集，因为三维体积与估计的平面几何结构和定位的解剖对象一起提供了用于配准到三维解剖模型的足够信息。
48.图4是图示用于为自动超声图像平面重建提供空间背景的方法300的流程图。将理解，方法300的一个或多个步骤可以由例如图1中所示的超声成像系统100和/或图2中所示的处理器电路150执行。在步骤310中，处理器电路从通信地耦合到处理器电路的超声探头接收患者的解剖结构的三维超声数据。在一些实施例中，可以在胎儿超声流程、经胸超声特征、心脏超声流程或任何其他合适的流程期间获得超声数据。超声探头包括具有一个或多个超声换能器元件的阵列的超声换能器。在一些实施例中，超声换能器包括超声换能器元件的一维阵列、1.5维阵列、1.x维阵列、二维阵列或任何其他合适类型的阵列。在一些实施
例中，阵列被机械地扫描以获得体积的多个图像切片。在一些实施例中，阵列作为固态阵列或被配置为电子地跨体积扫描的相控阵列操作。在一些实施例中，三维超声数据由多个二维图像或图像切片组成。在一些实施例中，三维超声数据由超声数据的多个单独扫描线组成。
49.在一些实施例中，由处理器电路接收的超声数据包括原始超声信号或数据。在其他实施例中，由处理器电路接收的超声数据包括波束形成的、部分波束形成的和/或经滤波的超声数据。在一些实施例中，处理器电路直接从超声探头接收超声数据。在一些实施例中，超声数据首先由存储超声数据的存储器接收，并且然后处理器电路从存储器接收超声数据。因此，在一些实施例中，处理器电路在存储在存储器中之后间接地从超声探头接收超声数据。
50.在一些实施例中，步骤310包括生成要输出到用户输出设备或接口(例如，显示器、扬声器等)的用户指令以首先将超声探头放置在一般位置中，使得目标视图在超声探头的三维视场内。例如，用户指令可以包括患者的身体的图解性图示、以及示出如何相对于患者的身体定位和定向探头的指示符。
51.在步骤320中，处理器电路根据三维超声数据生成对应于解剖结构的目标图像平面的目标图像。例如，如上所述，要实现的目标图像平面或视图是胎儿的经心室、经小脑或经丘脑视图、患者的心脏的心尖视图或任何其他合适的视图。在一些实施例中，生成目标图像包括使用pe和/或mpr过程来自动重建目标图像。然而，可以使用各种图像处理和识别技术，包括a.i.技术、机器学习技术、深度学习技术、状态机等。在一些实施例中，生成目标图像可以包括将三维图像数据与解剖结构模型进行比较。在一些实施例中，生成目标图像包括将表示三维视场的不同横截面的三维超声数据的各个部分与解剖结构的一幅或多幅示例性图像进行比较。
52.在步骤330中，处理器电路根据三维超声数据来生成对应于沿着模拟运动路径与目标图像平面邻近的图像平面的一幅或多幅邻近图像，其中，目标图像和一幅或多幅邻近图像包括基于三维超声数据的二维图像。在步骤330期间生成的(一幅或多幅)邻近图像可以用于向用户提供背景信息，其可以伴随在步骤320中生成的目标图像的显示。
53.如上所述，模拟运动路径可以表示超声探头的物理调节或移动，诸如平移、线性移动、压缩、旋转、扇形、扫掠、摇摆或任何其他合适类型的运动。在一些实施例中，步骤330包括确定或计算模拟运动路径。例如，处理器电路可以基于要重建的目标视图来确定或计算模拟运动路径。模拟运动路径可以是用于重建邻近图像的参数，其中，模拟运动路径或轨迹定义要根据体积的三维超声数据重建的邻近图像之间的空间关系。在一些实施例中，路径将由平滑地连接到弯曲线的一组点例如基于样条内插技术来定义。点集可以是一组解剖标志(诸如要检查的器官)，或可以遵循诸如脊柱的解剖结构。在另一实施例中，路径可以被构造成使得为了教育，当操纵换能器时(诸如在皮肤表面上平移换能器位置、或围绕其三个主轴旋转/倾斜换能器时)，其示出自由度。
54.图5示出了对应于模拟运动路径440的目标图像410、邻近图像420和内插图像430。在所图示的实施例中，较暗的矩形表示根据超声数据重建的图像平面410、420。白色矩形表示使用目标图像410和邻近图像420生成的内插图像平面430。生成目标图像410、邻近图像420和内插图像430以对应于模拟运动路径440。在这方面，模拟运动路径440可以由处理器
电路确定或计算，并且可以表示超声探头的模拟移动类型(即，好像超声探头在体积上物理扫描)。在所图示的实施例中，模拟运动路径440表示超声探头的混合倾斜/摇摆移动。图像410、420、430的正交轴442在图像410、420、430与模拟运动路径440相交的点处与模拟运动路径440相切。
55.将理解，本公开考虑了各种模拟运动路径。可以基于期望获得的目标成像平面来预先确定或选择模拟运动路径。在这方面，图6a、6b和6c表示对应于三个不同的模拟运动路径的重建且内插的图像平面。例如，在图6a中，图像切片包括由暗矩形表示的重建图像切片510和由白色矩形表示的内插图像520。图像切片510、520与模拟线性运动路径相关联。因此，图像对应于彼此平行且彼此间隔开的图像平面。在图6b中，图像600与包括超声探头的模拟倾斜和平移的组合的模拟弯曲运动路径相关联。在图6c中，图像700与包括超声探头的模拟倾斜的模拟弯曲运动路径相关联。在一些实施例中，模拟运动路径被确定或计算为包括沿着其长度的多于单个类型的运动。例如，可以计算模拟运动路径，使得将通过探头沿着运动路径的模拟移动来获得感兴趣的多个图像平面(例如，tc、tv、tt)。因此，模拟运动路径可以被计算为具有与不同类型的模拟移动(例如，平移、摇摆、倾斜、旋转、压缩等)相关联的不同分段。在一些实施例中，处理器电路被配置为从三维超声数据中识别与目标图像不同的感兴趣图像，并且基于目标图像平面、邻近图像平面和感兴趣图像平面来确定模拟运动路径。然后，处理器电路可以响应于接收到用户输入而将感兴趣图像输出到显示器，如下面进一步描述的。
56.如图5和6a-6c所示，处理器电路可以被配置为生成一幅或多幅内插图像(例如，430，图5)以伴随一幅或多幅邻近图像(410、420，图5)。在这方面，在一些实例中，体积的三维图像数据可能相对稀疏。例如，利用常规二维成像流程，超声探头可能能够每秒获得并显示大约30帧。因此，超声医师可能习惯于以高度的时间和空间分辨率查看二维视图的能力。然而，因为超声成像流程受到声速的约束，所以在给定时间量内可以获得的扫描线的数量是有限的。因此，对于三维超声成像，与二维超声成像相比，可以降低时间和/或空间分辨率。因此，可用于重建邻近图像的超声数据点(例如，体素)可能是有限的。
57.本技术提供了可以使用一个或多个重建图像帧来内插一幅或多幅图像。在这方面，图7提供了图示用于生成并输出内插图像的方法800的流程图。将理解，方法800的一个或多个步骤可以由例如图1所示的超声成像系统100和/或图2所示的处理器电路150执行。在步骤810中，处理器电路生成对应于与目标图像平面邻近的第一图像平面的邻近图像帧或图像切片。参考图5，如上所述，根据三维超声数据来重建目标图像和邻近图像。在这方面，可以根据三维图像来生成邻近图像帧，所述三维图像是通过内插来自由超声成像系统获得的体积的一组二维图像切片的强度值而创建的。在一些实施例中，相对于笛卡尔坐标系或网格进行二维图像的内插。可以使用mpr来生成或重建目标图像和邻近图像。
58.参考图5和8，在步骤820中，处理器电路在目标图像410和邻近图像420的位置和取向之间内插图像位置和取向，从而然后生成图像440作为内插位置和取向处的mpr。在一些方面中，如上所述，基于三维图像的内插强度值来生成mpr图像440。如图5中所示，邻近图像和内插图像全部都被生成以对应于模拟运动路径440。因此，像重建的邻近图像一样，内插图像的正交轴442与弯曲的模拟运动路径相切。换句话说，目标图像平面、邻近图像平面和内插图像平面在平面与模拟运动路径相交的点处全部都与模拟运动路径正交。在步骤830
中，处理器电路将内插图像输出到显示器。例如，处理器电路可以被配置为在目标图像和邻近图像之间和/或在邻近图像之间生成一幅或多幅内插图像，并且布置邻近图像和内插图像以形成可以响应于来自用户的输入而滚动或扫描通过的图像堆栈。例如，在一些实施例中，当超声医师使用鼠标、轨迹球等向上或向下滚动时，处理器电路基于输入的程度逐渐地更新显示。例如，超声医师旋转跟踪球或跨跟踪板扫掠的速度可以确定处理器电路用连续的邻近图像和内插图像更新显示的速度。因此，超声医师可以具有与超声医师使用常规二维成像方法(即，没有mpr)会具有的控制量类似的控制量来扫描通过邻近图像平面。这种类型的可视化可以提供熟悉的成像体验，同时利用自动化图像重建的工作流程优点。
59.例如，再次参考图6a，内插图像帧510可以补充重建的邻近图像帧520，以提供与目标图像平面邻近的图像平面的更平滑或更自然的扫描可视化。因此，在一些实施例中，处理器电路被配置为在目标图像和邻近图像之间或在两幅邻近图像之间进行内插，以生成内插图像。然后可以响应于指示沿着模拟运动路径的运动方向的用户输入，将内插图像输出到显示器。在示例性实施例中，内插图像由处理器电路生成。内插图像表示直接根据三维超声数据生成的两幅重建图像之间的体积中的中间图像平面。内插图像与和(一幅或多幅)重建邻近图像相同的模拟运动路径相关联。因此，当用户扫描通过邻近且交错的内插图像时，结果是更接近地类似于如在二维成像流程中执行的被成像体积的目标区域上的手动扫描的图像流。
60.内插图像可以通过平面法向向量和平面偏移向量的内插来获得。内插可以基于与重建图像中的每幅图像相关联的位置和取向来执行，以获得内插的平面位置和法向。然后可以对对应于重建图像的3d网格的强度值进行内插，以生成针对内插平面的强度值。在一些实施例中，可以为个体像素计算运动向量以生成内插图像。可以至少在2010年8月10日公告的美国专利us 771354中找到用于生成内插图像帧的方法和技术，通过引用将其全部内容并入本文。
61.在步骤340中，处理器电路将目标图像切片输出到与处理器电路通信的显示器。如下所述，处理器电路可以将图形用户接口输出到显示器，其中，gui包括目标图像。在步骤350中，处理器电路接收表示沿着模拟运动路径的运动方向的用户输入。例如，处理器电路可以经由与处理器电路通信的用户输入设备接收用户输入。用户输入设备可以包括鼠标、键盘、轨迹球、麦克风、触摸屏显示器、轨迹板、物理按钮或任何其他合适类型的用户输入设备。在这方面，用户输入可以由超声医师通过按下键盘上的箭头键来提供，其中，箭头方向对应于沿着模拟运动路径的方向(例如，向前、向后)。在一些实施例中，用户输入由滚动设备(诸如鼠标、轨迹球或轨迹板)接收。滚动的方向可以对应于沿着模拟运动路径的方向。然而，应当理解，可以使用任何合适的用户输入来指示沿着模拟路径的运动方向。
62.在步骤360中，处理器电路从多幅邻近图像输出对应于运动方向的邻近图像。例如，在一些实施例中，首先将目标图像输出到显示器。然后，超声医师使用用户输入设备沿着模拟的运动方向向前或向后扫描，并且处理器电路输出在步骤330中生成的一幅或多幅邻近图像。因此，超声医师可以控制重建图像的显示以沿着模拟运动路径向前和向后扫描，就好像用户正在沿着运动路径手动扫描超声探头一样，但是在已经获得超声图像数据并且已经放下超声探头之后。使用该过程，向超声医师给予以下两者的益处：(1)根据三维数据集自动重建目标图像；以及(2)获得空间背景以确认自动重建的目标图像被正确地和/或最
佳地重建的能力。
63.在确定或计算模拟运动路径时，识别与提供自动重建的目标图像被正确确定的置信度评估相关的模拟路径可以是有益的。在这方面，可以基于相对于目标图像平面的不确定性方向的确定来确定模拟运动路径。图8是用于基于不确定性方向的确定来确定模拟运动路径的方法900的流程图。将理解，方法900的一个或多个步骤可以由例如图1所示的超声成像系统100和/或图2所示的处理器电路150执行。在步骤910中，处理器电路确定相对于目标图像平面的不确定性方向。在一些实施例中，处理器电路通过将协方差矩阵应用于三维超声数据来确定相对于目标图像平面的不确定性方向。在步骤920中，由处理器电路基于所确定的不确定性方向来生成模拟运动路径。在一些实施例中，处理器电路可以确定多个不确定性方向。在一些实施例中，处理器电路可以确定最高不确定性的方向或向量。在其他实施例中，处理器电路确定中值不确定性、平均不确定性、最小不确定性和/或从一个或多个确定的不确定性的方向或向量中选择的不确定性的任何其他合适的相对量度的方向。在步骤930中，处理器电路基于在步骤920中确定的模拟运动路径来生成一幅或多幅邻近图像，该模拟运动路径基于所确定的不确定性方向。利用基于所确定的不确定性方向生成的邻近图像(和/或内插图像)，超声医师可以更可能识别不正确对准的目标图像，或确定探头移动和调节以生成目标图像，使得其与目标视图或目标图像平面对准。可以在alexander schmidt-richberg等人的“offset regression networks for view plane estimation in 3d fetal ultrasound”(proc.spie，第10949卷，id.109493k(2019年3月15日))中找到关于确定与mpr流程中的不确定性相关联的方向的进一步细节，通过引用将其全部内容并入本文。
64.图9是超声成像系统的图形用户接口(gui)1000，其中，gui包括身体部分的解剖示意图1010和身体部分内的图像平面的mpr图像1020。解剖示意图1010包括患者的解剖结构(例如，胎儿的头部)的图形表示，并且利用示出各种目标图像平面如何与解剖结构相交的指示符来注释。在所图示的实施例中，身体部分包括人的头部。例如，示意图1010可以与胎儿的头部相关联以便在胎儿超声流程期间使用。多个线指示符被示出为叠加在解剖结构1010的示意图上。线指示符表示感兴趣的各种图像平面或视图。在这方面，与指示符相关联的视图包括经心室(tv)图像平面、经小脑(tc)图像平面和经丘脑(tt)图像平面。提供了示出重建帧(mpr)的另一指示符。在一些实施例中，mpr指示器可以是动态指示器，其响应于使用用户接口设备提供的来自用户的输入。在所图示的实施例中，示意图1010上的mpr指示符对应于示意图1010旁边示出的mpr图像1020。例如，在一些实施例中，gui 1000可以显示对应于示意图1010中所示的视图中的一个视图的目标图像。用户可以使用用户接口设备(诸如鼠标、键盘、轨迹球、语音输入、触摸屏输入或任何其他合适的输入)与gui交互。来自用户的输入指示沿着模拟运动路径的运动方向。例如，可以以鼠标的滚动、键盘上的箭头按钮和/或轨迹球的滚动的形式接收用户输入。可以响应于所接收的输入而更新mpr指示符和所显示的mpr图像1020，以示出沿着模拟运动路径重建的邻近mpr图像。用户可以沿着路径向前和向后扫描/滚动，并且可以实时更新mpr指示符以示出与mpr图像1020相关联的图像平面的位置和取向。还基于用户输入来更新mpr图像1020，以示出与关于示意图1010所图示的mpr图像平面相对应的图像。因此，超声医师可以控制mpr图像的显示，就好像用户手动地上下扫描超声探头的轨迹一样，但是在已经获得超声图像数据之后。例如，可以在超声医师已
经获得三维超声数据并且替换超声探头之后提供gui 1000。
65.在不脱离本公开的范围的情况下，可以进行对上述设备、系统和/或方法的各种修改。例如，在一些实施例中，处理器电路被配置为显示目标图像和邻近图像的循环回放，以提供沿着模拟运动路径周期性地向前和/或向后扫描的外观。在一些实施例中，处理器电路被配置为响应于单个用户输入(例如，按键按压、按钮按压等)而扫描多幅邻近图像。在一些实施例中，处理器电路被配置为接收用户输入以校正或调节重建目标图像。例如，在一些实施例中，所述处理器电路可以被配置为经由用户输入设备从超声医师接收与邻近图像相对应的选择。然后，处理器电路可以将所选择的邻近图像标记、保存或以其他方式识别为目标图像。在一些实施例中，目标图像包括如上所述的那样生成的内插图像。在一些实施例中，邻近图像被连续地并且一个接一个地显示。在其他实施例中，邻近图像与目标图像一起显示。在一些实施例中，同时显示多幅邻近和/或内插图像。在一些实施例中，确定多个不同的模拟运动路径。例如，可以提供对应于不同不确定性方向的运动路径。在一些实施例中，确定相交的模拟运动路径、以及与相交的模拟运动路径相关联的额外的邻近图像。因此，在一些实施例中，通过用户接口接收的不同输入(例如，上/下、左/右键按压)对应于沿着不同模拟运动路径的邻近图像。
66.本公开的实施例为自动图像重建流程提供了许多益处。例如，生成并显示动态邻近图像流提供了熟悉的成像体验、校正目标图像的简单且直观的方式、以及从二维到三维超声图像采集的简单工作流程转换。另外，本公开的实施例提供了在一个解剖结构中的多个感兴趣平面(例如，对于胎儿超声，tt、tv和tc平面)之间导航的用户友好的方式、以及通过使用要包括或不包括的解剖对象来提供与用于标准平面选择的临床指南直接相关的重要解剖背景信息和绘制的有效方式。另外，本公开的实施例允许自动重建图像中的增强临床置信度。
67.将理解，上面描述的方法300、800和900的步骤中的一个或多个步骤均可以由超声成像系统的一个或多个部件(诸如，系统的处理器或处理器电路、多路复用器、波束形成器、信号处理单元、图像处理单元或任何其他合适的部件)执行。例如，上面描述的一个或多个步骤均可以由关于图2所述的处理器电路150来执行。系统的处理部件能够被集成在超声成像设备内，被包含在外部控制台内，或可以是单独的部件。
68.本领域技术人员将认识到，以上描述的装置、系统和方法可以以各种方式进行修改。因此，本领域普通技术人员将意识到，由本公开所包含的实施例不限于以下描述的特定示例性实施例。在该方面，尽管己经示出和描述了说明性实施例，但是在以上公开中预期宽范围的修改、改动和替换。应理解，可以对前文进行这样的变化而不偏离本公开的范围。因此，合适的是，随附权利要求被宽泛地并且以与本公开一致的方式理解。