引导式超声成像的制作方法

1.本公开涉及用于经由超声成像识别解剖特征并引导用户捕获目标特征的期望视图的超声系统和方法。具体实施方式可以利用被配置为基于在当前超声图像中识别的解剖特征来生成定制的用户指令的至少一个神经网络和相关联的显示。实施方式还包括被配置为在2d成像模式与体积成像模式之间自动切换的超声图像采集部件。


背景技术：

2.现有的超声系统可以通过采集2d图像的全景并将其拼接在一起来产生3d图像。这种特定的成像方法在被设计为产生子宫中的婴儿的3d图像的产前应用中是特别常见的。特别地，通常期望捕获婴儿面部的详细图像以提供未出生婴儿的第一次瞥视。遗憾的是，采集面部的质量图像能够高度依赖于婴儿在子宫内的位置，并且超声操作者常常缺乏对以克服婴儿的位置的变化所需的方式操纵超声换能器的训练。因此，被配置为产生各种解剖特征(诸如未出生婴儿的面部)的质量图像而不管此类特征的取向的新技术。


技术实现要素：

3.本公开描述了用于根据由用户选择的特定视图捕获各种解剖物体的超声图像的系统和方法。尽管本文中的示例具体地解决了胎儿的产前成像以采集未出生婴儿的面部的图像，但是本领域技术人员应当理解，所公开的系统和方法仅出于说明性目的而关于胎儿成像进行描述，并且可以根据本公开对各种解剖特征(包括但不限于例如心脏和肺)执行解剖成像。在一些实施例中，系统可以被配置为通过以下来改进产前超声成像的准确度、效率和自动化：引导用户采集靶向解剖特征的图像，自动选择特征的图像内的感兴趣区域(roi)，捕获特征的体积(例如3d)图像并且根据用户偏好修改体积图像。该系统可以包括被配置为采集响应于朝向目标区域发射的超声脉冲的回波信号的超声换能器，所述目标区域可以包括患者的腹部。一个或多个处理器可以与超声换能器耦合，每个处理器被唯一地配置为基于由换能器采集的超声数据来执行一个或多个功能。例如，数据处理器可以被配置为实施一个或多个神经网络，所述一个或多个神经网络被配置为识别某些解剖特征并引导操作者来以采集目标特征的图像所需的方式操纵换能器。额外地或备选地，数据处理器可以被配置为执行图像分割或另一边界检测技术以识别某些解剖特征。在定义图像内的roi之后，控制电路可以被配置为自动地将换能器切换成体积成像模式以扫过roi。可以例如通过被配置为出于改进的清晰度、质量和/或艺术目的而应用某些图像修改的神经网络或图像绘制处理器来修改所采集的体积图像。尽管本文中关于生成3d图像描述了特定实施例，但是本公开不限于3d成像。例如，实施例也可以涉及额外形式的体积成像，诸如4d和/或时空图像相关(stic)成像。
4.根据本公开的一些示例，一种超声成像系统可以包括超声换能器，所述超声换能器被配置为采集响应于朝向目标区域发射的超声脉冲的回波信号。所述系统还可以包括一个或多个处理器，所述一个或多个处理器与所述超声换能器通信并且被配置为：向用户呈
现目标特征的一幅或多幅说明性体积图像，每幅说明性体积图像对应于所述目标图像的特定视图；接收对所述说明性体积图像之一的用户选择；根据所采集的所述目标区域的回波信号来生成二维(2d)图像帧；在所生成的2d图像帧中识别对应于所述目标特征的一个或多个解剖标志；基于所述解剖标志和用户选择的体积图像的所述特定视图，提供用于将所述超声换能器操纵到目标位置以便生成特异于所述用户选择的体积图像的所述特定视图的至少一个2d图像帧的指令；使得所述超声换能器在所述目标位置处采集额外回波信号；并且利用所采集的额外回波信号来生成所述目标特征的并且对应于所述用户选择的体积图像的所述特定视图的实际体积图像。
5.在一些示例中，所述一个或多个处理器被配置为经由图像分割来识别所述一个或多个解剖标志。在一些示例中，所述一个或多个处理器被配置为经由被训练为识别所述解剖标志的神经网络的实施来识别所述一个或多个解剖标志。在一些示例中，所述一个或多个处理器还被配置为根据所述特定视图将人工光源应用于所述实际体积图像。在一些示例中，所述人工光源由人工神经网络应用。示例可以包括一个或多个人工神经网络，例如两个、三个或更多个通信地耦合的神经网络。在一些实施例中，所述人工神经网络还可以被配置为根据特定视图将图像对比度调节应用于所述实际体积图像。在一些示例中，所述目标特征可以包括未出生婴儿的面部。
6.在一些示例中，所述一个或多个处理器被配置为通过将所述2d图像帧输入到被训练为将所述2d图像帧与体现所述目标特征的存储的图像帧进行比较的人工神经网络来生成用于操纵所述超声换能器的所述指令。在一些示例中，所述人工神经网络被配置为在所述超声换能器的重新定位的情况下生成用于操纵所述超声换能器的新指令。在一些示例中，所述一个或多个处理器还被配置为在特异于所述用户选择的体积图像的所述特定视图的所述2d图像帧内定义感兴趣区域。在一些示例中，所述超声成像系统还包括控制器，所述控制器被配置为将所述超声换能器从2d成像模式切换到体积成像模式。所述控制器可以被配置为在从所述一个或多个处理器接收到对所述感兴趣区域已经被定义的指示的情况下自动地将所述超声换能器从所述2d成像模式切换到所述体积成像模式。实施例还可以包括用户接口，所述用户接口与所述一个或多个处理器通信地耦合，并且被配置为显示用于将所述超声换能器操纵到目标位置的所述指令。在一些实施例中，所述一个或多个处理器还可以被配置为使得所述目标特征的指示符显示在所述用户接口上。
7.根据一些实施例，一种超声成像的方法可以涉及采集响应于朝向目标区域发射的超声脉冲的回波信号。所述方法还可以涉及向用户呈现目标特征的一幅或多幅说明性体积图像，每幅说明性体积图像对应于所述目标图像的特定视图；接收对所述说明性体积图像之一的用户选择；根据所采集的所述目标区域的回波信号来生成二维(2d)图像帧；在所生成的2d图像帧中识别对应于所述目标特征的一个或多个解剖标志；基于所述解剖标志和用户选择的体积图像的所述特定视图，提供用于将所述超声换能器操纵到目标位置以便生成特异于所述用户选择的体积图像的所述特定视图的至少一个2d图像帧的指令；使得所述超声换能器在所述目标位置处采集额外回波信号；并且利用所采集的额外回波信号来生成所述目标特征的并且对应于所述用户选择的体积图像的所述特定视图的实际体积图像。
8.在一些示例中，所述方法还涉及将人工光源、图像对比度调节或两者应用于所述实际体积图像。在一些示例中，所述目标特征包括未出生婴儿的面部。在一些示例中，识别
所述一个或多个解剖标志涉及图像分割或对被训练为识别所述解剖标志的至少一个神经网络的实施。在一些示例中，所述方法还涉及显示用于操纵所述超声换能器的指令。实施例还可以涉及在特异于所述用户选择的体积图像的所述特定视图的所述2d图像帧内定义感兴趣区域。在一些示例中，所述方法还涉及在对超声换能器的操纵的情况下识别所述目标特征的额外解剖标志；并且基于在对所述超声换能器的操纵的情况下识别的所述额外解剖标志来生成用于操纵所述超声换能器的额外指令。示例方法还可以涉及在接收到对感兴趣区域已经被识别的指示的情况下将所述超声换能器从所述2d成像模式切换到体积成像模式。
9.本文中所描述的方法中的任何或其步骤可以体现在包括可执行指令的非瞬态计算机可读介质中，所述可执行指令在执行时可以使得医学成像系统的处理器执行本文中体现的方法或者步骤。
附图说明
10.图1是根据本公开的原理的超声系统的框图。
11.图2是根据本公开的原理呈现在用户接口上的目标特征查看选项的显示。
12.图3是叠加在根据本公开的原理生成的实况2d图像上的用于超声探头操纵的用户指令的显示。
13.图4是叠加在根据本公开的原理生成的实况2d图像上的用于超声探头操纵的另一用户指令的显示。
14.图5是叠加在根据本公开的原理生成的实况2d图像上的用于超声探头操纵的另一用户指令的显示。
15.图6是示出根据本公开的原理的感兴趣区域在实况2d图像上的自动定位的显示。
16.图7是根据本公开的原理呈现在用户接口上的额外目标特征查看选项的显示。
17.图8是根据本公开的原理执行的超声成像的方法的流程图。
具体实施方式
18.特定实施例的以下描述本质上仅是示例性的，而完全不旨在限制本发明或其应用或用途。在本系统和方法的实施例的以下详细描述中，参考形成其部分的附图，并且通过图示的方式示出了特定实施例，其中，可以实践所描述的系统和方法。足够详细地描述这些实施例以使得本领域技术人员能够实践当前公开的系统和方法，并且应理解，可以利用其他实施例，并且可以在不脱离本系统的精神和范围的情况下进行结构和逻辑改变。此外，为了清楚起见，当其对于本领域技术人员而言将显而易见时，特定特征的详细描述将不被讨论，以免模糊对本系统的描述。因此，以下详细描述不应被视为具有限制意义，并且本系统的范围仅由所附权利要求限定。
19.根据本公开的超声系统可以利用由计算机处理器、模块或电路实施的一个或多个人工神经网络。示例网络包括卷积神经网络(cnn)、深度神经网络(dnn)、递归神经网络(rnn)、自动编码器神经网络等，其被配置为识别2d超声图像内存在的一个或多个解剖特征(例如头部、脚部、手部或腿部)，并且引导用户来以捕获特定靶向解剖特征(例如未出生婴儿的面部)的图像所需的方式操纵超声换能器。(一个或多个)人工神经网络可以使用各种
当前已知或以后开发的机器学习技术中的任何一种来训练，以获得被配置为分析超声图像帧形式的输入数据并确定采集至少一个解剖特征的特定视图所需的成像调节的神经网络(例如，机器训练的算法或基于硬件的节点系统)。神经网络可以提供优于常规计算机编程算法形式的优点，其中，它们可以被一般化和训练为通过分析数据集样本而不是通过依赖于专用计算机代码来识别数据集特征。通过向神经网络训练算法呈现适当的输入和输出数据，根据本公开的超声系统的一个或多个神经网络可以被训练为识别多个解剖特征，引导用户以部分地基于所识别的解剖特征来获得目标特征的图像，细化涵盖目标特征的roi，和/或获得目标特征的3d图像。
20.根据本发明的原理的超声系统可以包括或操作地耦合到超声换能器，该超声换能器被配置为朝向介质(例如人体或其特定部分)发射超声脉冲，并生成响应于超声脉冲的回波信号。超声系统可以包括被配置为执行发射和/或接收波束形成的波束形成器、以及被配置为显示由超声成像系统生成的超声图像以及叠加在图像上或邻近于图像的通知的显示器。超声成像系统可以包括一个或多个处理器和至少一个神经网络，所述至少一个神经网络可以被实施在硬件和/或软件部件中。(一个或多个)神经网络可以被机器训练以识别2d图像内存在的解剖特征，引导用户获得目标特征的图像，识别目标特征的图像内的感兴趣区域，和/或修改目标特征的3d图像。
21.根据本公开的一些示例实施的(一个或多个)神经网络可以是基于硬件的(例如，神经元由物理部件表示)或基于软件的(例如，神经元和途径被实施在软件应用中)，并且可以使用各种拓扑和学习算法来训练神经网络以产生期望的输出。例如，基于软件的神经网络可以使用被配置为执行指令的处理器(例如，单核或多核cpu、单个gpu或gpu集群、或被布置用于并行处理的多个处理器)来实施，所述指令可以存储在计算机可读介质中，并且当被执行时使处理器执行用于评价图像的机器训练的算法。超声系统可以包括显示或图形处理器，其可操作为将超声图像和/或可以包括注释、置信度度量、用户指令、组织信息、患者信息、指示符和其他图形部件的额外图形信息布置在显示窗口中以用于显示在超声系统的用户接口上。在一些实施例中，超声图像和相关联的测量结果可以被提供给存储设备和/或存储器设备，诸如用于报告目的或未来机器训练的影像归档和通信系统(pacs)。
22.图1示出了根据本公开的原理的示例超声系统。超声系统100可以包括超声数据采集单元110。超声数据采集单元110可以包括超声探头，所述超声探头包括超声传感器阵列112，所述超声传感器阵列被配置为将超声脉冲114发射到对象的区域116(例如，腹部)中，并且接收响应于所发射的脉冲的超声回波118。区域116可以包括发育中的胎儿(如所示)或各种其他解剖物体(诸如心脏、肺或脐带)。如进一步示出的，超声数据采集单元110可以包括波束形成器120、发射控制器121和信号处理器122。发射控制器121可以被配置为控制来自传感器阵列112的超声波束的发射。可以由发射控制器121控制的图像采集特征是由传感器阵列112实施的成像模式，例如2d或3d。例如，在发射控制器121的引导下，波束形成器120和传感器阵列112可以在采集感兴趣区域的2d图像后从2d成像切换到3d成像。信号处理器122可以被配置为根据在阵列112处接收的超声回波118生成一连串离散超声图像帧124。
23.图像帧124可以被传递到数据处理器126，例如计算模块或电路。数据处理器126可以被配置为通过实施各种图像分割和/或边界检测技术来分析图像帧124。额外地或备选地，数据处理器126可以被配置为实施被训练为识别各种解剖特征和/或生成用于操纵超声
换能器112的用户指令的一个或多个神经网络。在所示的实施例中，数据处理器126可以被配置为实施第一神经网络128、第二神经网络130和/或第三神经网络132。第一神经网络128(或多个网络，如下面进一步描述的)可以被训练为识别在图像帧124内可见的一个或多个解剖特征，并且基于所识别的解剖特征，生成用于以获得目标特征117(例如，未出生婴儿的面部)的图像所需的方式操纵超声传感器阵列112的指令。第二神经网络130可以被训练为识别目标特征117的图像内的感兴趣区域，这可以在发射控制器121的引导下触发传感器阵列112来采集感兴趣区域的3d图像。第三神经网络132可以被训练为执行生成感兴趣区域的期望3d肖像所需的一个或多个采集后处理步骤，例如，人工照明的应用。在各种示例中，数据处理器126还可以通信地或以其他方式耦合到存储器或数据库134，存储器或数据库134被配置为存储各种数据类型，包括训练数据和新采集的患者特异性数据。
24.系统100还可以包括与数据处理器126通信地耦合的显示处理器136，例如，计算模块或电路。显示处理器136还与用户接口138耦合，使得显示处理器136可以将数据处理器126(并且因此在其上操作的(一个或多个)任何神经网络)链接到用户接口138，从而使得神经网络输出(例如，运动控制命令形式的用户指令)能够显示在用户接口138上。在实施例中，显示处理器136可以被配置为根据在数据处理器126处接收的图像帧124生成2d超声图像140，其然后可以在正在执行超声扫描时经由用户接口138实时显示2d。在一些示例中，显示处理器136可以被配置为生成并显示(经由用户接口138)目标特征的一幅或多幅说明性体积图像，每幅说明性体积图像对应于目标图像的特定视图。说明性体积图像可以由用户选择，从而提示系统100生成并显示用于根据用户选择的视图采集并生成一幅或多幅实际体积图像的一个或多个命令。还可以显示特定感兴趣区域(“roi”)142，例如，roi框。在一些示例中，roi 142可以由第二神经网络130定位和修整。一个或多个通知144(例如，用户指令和/或警报)可以在超声扫描期间叠加在图像140上或显示在图像140附近。用户接口138还可以被配置为在超声扫描之前、期间或之后的任何时间接收用户输入146。例如，用户接口138可以是交互式的，接收指示用于对目标特征117进行成像的期望视点和/或指示对已经遵循成像指令的确认的用户输入146。用户接口138还可以被配置为显示由超声数据采集单元110、数据处理器126和显示处理器136采集和处理的3d图像148。用户接口138可以包括定位在数据处理器126外部的显示器，例如包括独立显示器、增强现实眼镜或移动电话。
25.图1所示的部件的配置可以改变。例如，系统100可以是便携式的或固定的。可以使用各种便携式设备(例如，膝上型计算机、平板计算机、智能电话等)来实施系统100的一个或多个功能。在包含此类设备的示例中，超声传感器阵列112例如可以是经由usb接口可连接的。在一些实施例中，各种部件可以被组合。例如，数据处理器126可以与显示处理器136和/或用户接口138合并。例如，第一神经网络128、第二神经网络130和/或第三神经网络132可以被合并，使得网络构成更大的分层网络的子部件。在包括单独的离散神经网络的实施例中，网络可以操作地级联布置，使得第一神经网络128的输出包括用于第二神经网络130的输入，并且第二神经网络130的输出包括用于第三神经网络132的输入。
26.超声数据采集单元110可以被配置为从一个或多个感兴趣区域116采集超声数据，感兴趣区域116可以包括胎儿及其特征。超声传感器阵列112可以包括被配置为发射和接收超声能量的至少一个换能器阵列。超声传感器阵列112的设置可以在扫描期间是可调的。例如，在波束形成器120和发射控制器121的引导下，超声传感器阵列112可以被配置为自动地
(即，无需用户输入)在2d成像模式与3d成像模式之间切换。在特定实施例中，超声传感器阵列112可以被配置为在2d图像140中识别目标特征117并且划定roi 142之后切换到3d成像模式(或4d或stic模式)。一旦处于3d成像模式，传感器阵列112就可以发起通过目标特征117的自动扫掠，从而采集图像数据的3d体积。可以使用各种换能器阵列，例如线性阵列、凸阵列或相控阵列。在不同的示例中，包括在传感器阵列112中的换能器元件的数量和布置可以改变。例如，超声传感器阵列112可以包括换能器元件的2d阵列，例如矩阵阵列探头。2d矩阵阵列可以被配置为在仰角维度和方位角维度两者上电子地扫描(经由相控阵列波束形成)以用于交替的2d和3d成像。除了b模式成像之外，根据本文中的公开内容实施的成像模态还可以包括例如剪切波和/或多普勒。各种用户可以处理和操作超声数据采集单元110以执行本文描述的方法。在一些示例中，用户可以是没有经验的新手超声操作者。
27.数据采集单元110还可以包括被耦合到超声传感器阵列112的波束形成器120，所述波束形成器例如包括微波束形成器或微波束形成器与主波束形成器的组合。波束形成器120可以控制超声能量的发射，例如通过将超声脉冲形成为聚焦波束。波束形成器120还可以被配置为控制超声信号的接收，使得可辨别的图像数据可以在其他系统部件的帮助下被产生并处理。在不同的超声探头变型中，波束形成器120的角色可以改变。在一些实施例中，波束形成器120可以包括两个独立的波束形成器：被配置为接收并处理用于发射到对象中的超声能量的脉冲序列的发射波束形成器、以及被配置为对接收到的超声回波信号进行放大、延迟和/或求和的单独的接收波束形成器。在一些实施例中，波束形成器120可以包括被耦合到主波束形成器的微波束形成器，所述微波束形成器对各组传感器元件进行操作以便进发射和接收波束形成两者，所述主波束形成器对分别用于发射和接收波束形成两者的组输入和输出进行操作。
28.发射控制器121(例如，计算模块或电路)可以与传感器阵列112、波束形成器120、信号处理器122、数据处理器126、显示处理器136和/或用户接口138通信地、操作地和/或物理地耦合。在一些示例中，发射控制器121可以响应于用户输入146，使得传感器阵列112可以在接收到引导切换的用户输入时经由发射控制器121切换到3d成像模式。在其他示例中，发射控制器121可以例如响应于从数据处理器126接收到的对已经在目标特征117的2d图像140中识别roi 142的指示而自动地发起切换。
29.信号处理器122(例如，计算模块或电路)可以与传感器阵列112、波束形成器120和/或发射控制器121通信地、操作地和/或物理地耦合。在图1所示的示例中，信号处理器122被包括为数据采集单元110的集成部件，但是在其他示例中，信号处理器122可以是单独的部件。在一些示例中，信号处理器122可以与传感器阵列112一起容纳，或者其可以与传感器阵列112物理分开但通信地(例如，经由有线或无线连接)耦合。信号处理器122可以被配置为接收体现在传感器阵列112处接收的超声回波118的未滤波且无序的超声数据。根据该数据，信号处理器122可以在用户扫描区域116时连续地生成多个超声图像帧124。
30.在特定实施例中，第一神经网络128可以包括卷积神经网络，该卷积神经网络被训练为识别2d超声图像(例如，b模式图像)中存在的一个或多个解剖特征的存在，并且在一些示例中，取向。基于该确定，第一神经网络128可以生成用于以从可以由用户指定的特定有利点采集另一解剖特征(诸如未出生婴儿的面部)的图像所需的方式操纵传感器阵列112的一个或多个用户指令。当用户根据每个指令调节传感器阵列112时，可以实时顺序地显示指
令。第一神经网络128可以被配置为在用户移动传感器阵列112时识别解剖特征并相应地生成新指令，每个新指令基于存在于随着传感器阵列112的移动而生成的每幅超声图像中的图像数据，所述图像数据例如体现解剖标志。在一些示例中，用户可以例如经由在用户接口138处接收的手动输入146确认已经实施了指令，从而向系统发信号通知可以显示下一指令。指令可以包括在特定方向上移动、倾斜或旋转传感器阵列112的方向命令。
31.在一些示例中，第一神经网络128可以被训练为基于存储在数据库134中的先前采集的图像将换能器阵列112对准到目标图像平面。先前采集的图像可以与运动控制参数和/或用于对新采集的图像进行定性或验证的标签或评分相关联地存储，例如如在pct/ep2019/056072和pct/ep2019/056108中所描述的，这两者通过引用整体并入本文。因此，一个或多个处理器(例如，数据处理器126)可以被配置为在临床设置中应用第一神经网络128，以确定用于用户以采集目标特征的图像所需的方式将换能器阵列112对准到患者的方向命令。每当换能器阵列112被重新定位时，就可以生成新的运动控制命令。在一些示例中，第一神经网络128还可以被配置为预测用于重新定位超声换能器112的运动控制配置(例如，用于改变体积超声图像内的成像平面的控制)的候选是否将在给定输入图像的情况下导致对特定目标视图的最佳成像位置。然后，处理器可以将方向命令以指令和/或视觉指示符的格式输出到显示器138，并且用户可以基于所述指令手动地将换能器阵列112对准到患者。
32.额外地或备选地，生成最终作为指令显示给用户的运动控制参数可以经由多个神经网络或神经网络层的实施方式实现，例如如在pct/ep2019/056108中具体描述的。根据此类示例，第一神经网络128可以包括网络128a、128b和128c，其中，网络128a包括预测网络，该预测网络被训练为接收当前采集的图像并推测或推断具有到达用于捕获目标图像视图的期望位置的最高概率的运动向量。网络128b可以包括微调网络，该微调网络被训练为验证一对图像是否具有相同的质量水平或从该对中选择具有更高质量水平的图像。网络128c可以包括目标网络，该目标网络被训练为确定是否已经捕获了目标图像视图。
33.在一些实施例中，超声图像中存在的一个或多个解剖特征的存在和取向的识别可以不由第一神经网络执行。此类实施例可以涉及由系统100的一个或多个处理器(例如数据处理器126)实施一个或多个边界检测或图像分割技术。
34.第二神经网络130可以包括被训练为定义目标特征117的2d图像内的roi 142的卷积神经网络。这样一来，第二神经网络130可以被配置为在第一神经网络128已成功引导用户采集目标特征117的图像140之后操作。定义roi 142可以涉及将几何形状(例如，框)放置在目标特征117的图像140内并设定其大小，使得从roi 142排除所有非靶向特征(例如，胎盘、腿、手臂、颈部等)。在一些示例中，roi 142可以不包括几何形状，而是包括定位在目标特征117的显著特征(例如，鼻子、前额、眼睛、下巴、耳朵等)周围的最佳拟合线。通过在采集3d图像之前定义roi 142，可以仅在roi内收集3d数据，这可以改进系统100的速度和效率、以及所得到的3d图像148的质量。
35.第三神经网络132可以包括被训练为执行生成roi 142的3d全景图像148所需的一个或多个采集后处理步骤的卷积神经网络。示例采集后处理步骤可以包括将人工光源应用于图像，使得图像包括阴影。应用人工光源的方向可以由第三神经网络132自动地或响应于用户输入146而调节。第三神经网络132还可以修整图像以移除一个或多个不期望的特征。
额外地或备选地，第三神经网络132可以被配置为改变成像对比度，使得某些特征被突出或变暗。由第三神经网络132引入的修改可以至少部分地基于艺术质量。例如，由第三神经网络132应用的照明、对比度和/或修整调节可以被设计为改进由系统生成的3d肖像的美学外观。
36.在一些实施例中，可以在没有神经网络的情况下实施采集后步骤中的一个或多个，诸如人工光源的应用。例如，系统100的一个或多个处理器(诸如数据处理器126或显示处理器136)可以被配置为与照明模型空间相关地绘制roi 142的3d图像148，使得根据系统100的存储的设置来显示在roi 142内描绘的解剖特征的照明和阴影区域，如例如在us2017/0119354中所公开的，通过引用将其整体并入本文。用于照明模型的存储的设置可以由系统100自动地实施，或存储的设置可以是可定制的或可从多个设置选项中选择的。
37.每个神经网络128、130和132可以至少部分地实施在包括可执行指令的计算机可读介质中，所述可执行指令在由处理器(例如，数据处理器126)执行时可以使处理器执行机器训练的算法。例如，可以使数据处理器126执行机器训练的算法，以基于在其中体现的所采集的回波信号来确定包含在图像帧中的解剖特征的存在和/或类型。还可以使数据处理器126执行单独的机器训练的算法以定义图像帧(诸如包含未出生婴儿的面部的图像的2d图像帧)内的roi的位置、大小和/或形状。由数据处理器126实施的另一机器训练的算法可以应用被配置为向3d图像添加阴影和/或对比度的至少一个图像显示设置。
38.为了训练每个神经网络128、130和132，可以将包括输入阵列和输出分类的多个实例的训练集呈现给每个网络的(一个或多个)训练算法(例如，alexnet训练算法，如由krizhevsky,a.、sutskever,i.和hinton,g.e.的“imagenet classification with deep convolutional neural networks”(nips 2012或其后代)所描述的)。第一神经网络128可以使用在产前超声扫描期间获得的超声图像的大型临床数据库来训练。图像可以包括来自各种成像角度和位置的处于各种发育阶段的胎儿。可以为与第一神经网络128相关联的神经网络训练算法呈现数千或甚至数百万个训练数据集，以便将神经网络训练为识别解剖特征并基于所识别的特征的存在来确定采集目标特征的图像所需的超声探头调节。在各种示例中，用于训练第一神经网络128的超声图像的数量可以在从大约50000至200000或更多的范围内。如果要识别更大数量的不同解剖特征，则可以增加用于训练第一神经网络128的图像的数量。训练图像的数量对于不同的解剖特征可以不同，并且可以取决于某些特征的外观的可变性。例如，某些特征可能在产前发育的某些阶段比其他特征更一致地出现。将第一神经网络128训练为识别具有中等到高可变性的特征可能需要更多的训练图像。还可以利用用于操纵超声探头的临床上验证的指令来训练第一神经网络128，每个指令与当前超声图像中存在的解剖特征的初始集和从特定有利点查看的目标解剖特征相关联。因此，第一神经网络128可以被训练为识别给定超声图像内存在的某些解剖特征，并将此类特征与从有利点采集目标特征的图像所需的一个或多个指令相关联。
39.第二神经网络130也可以使用在产前超声扫描期间获得的超声图像的大型临床数据库来训练。训练图像中的每幅可以包含定义的roi，所述定义的roi可以包括未出生婴儿的面部的边界。可以为与第二神经网络130相关联的神经网络训练算法呈现数千或甚至数百万个训练数据集，以便将神经网络训练为定义任何给定2d超声图像内的roi。在各种示例中，用于训练第二神经网络130的超声图像的数量可以在约50000至200000或更多的范围
内。为了更大数量的查看选项，可以增加训练图像的数量。例如，如果仅可以从一个方向对目标特征进行成像，则与可以从多个方向对目标特征进行成像的实施例相比，训练图像的数量可以更少。
40.第三神经网络132也可以使用在产前超声扫描期间获得的超声图像的大型临床数据库来训练。图像中的每幅可以包含具有所应用的一个或多个采集后设置的目标特征的3d图像。例如，仅举几例，每幅图像可以包括人工光源、像素对比度调节和/或特征修整修改，使得第三神经网络132可以学习哪些调节应用于不同的图像，以确保根据常见的艺术偏好生成目标特征(例如，婴儿面部)的可识别图像。用于训练第三神经网络132的超声图像的数量可以在约50000至200000或更多的范围内。可以增加训练图像的数量以适应更大数量的采集后修改。
41.图2是由本文描述的一个或多个处理器生成的目标特征的说明性体积图像的显示。说明性体积图像作为可选选项连同“挑选期望的3d婴儿面部视图”的用户指令244一起在用户接口238上呈现给用户。在所示的示例中，目标特征包括未出生婴儿的面部。用户可以选择分别对应于婴儿面部的右轮廓视图、中心前视图和左轮廓视图的选项a、b或c。如图所示，选项b的选择可以触发在系统上操作的一个或多个处理器，其可以被配置为实施一个或多个神经网络，与用户接口238耦合以生成用于将超声换能器操纵到目标位置以便根据由选项b体现的特定视图采集和生成至少一个图像帧的用户指令。
42.图3是叠加在显示在用户接口338上的胎儿的实况2d图像340上的用于超声探头操纵的用户指令344的显示。用于超声探头操纵的用户指令(诸如用户指令344)可以由数据处理器126生成，从而实施一个或多个神经网络和/或图像分割技术，并且输出到用户接口138以用于显示。
43.关于用于采集图像340的超声探头，用户指令344引导用户“请按引导平移”。用户指令344的确切语言可以改变。在一些示例中，指令可以仅包括一个或多个符号，例如，箭头。在另外的示例中，指令可以根本不在视觉上显示，而是可以作为音频提示来传达。基于由在超声系统内操作的神经网络识别的胎儿解剖标志并且还基于由用户选择的查看选项来生成用户指令344，如图2所示。
44.在额外的实施方式中，体现用户指令的视觉指示符可以包括超声探头的图形表示或视图，包括探头的一个或多个特征，诸如手柄、一个或多个可调旋钮和/或开关。根据此类示例，用户指令可以包括指示拨动旋钮的方向和/或量、打开或关闭开关的指令、和/或旋转探头的方向和/或程度。在一些示例中，运动控制命令可以包括用于操作探头(或其他成像设备)以除了改变探头的物理位置之外改变体积超声图像内的成像平面的控制。通常，用户指令可以包括体现与成像设备(例如，超声换能器)的特定位置或运动相关的任何可测量数据的运动控制命令，如在pct/ep2019/056072和pct/ep2019/056108中进一步描述的。
45.图4是叠加在显示在用户接口438上的胎儿的实况2d图像440上的用于超声探头操纵的另一用户指令444的显示。在该阶段，用户指令444引导用户“请按引导旋转”。用户指令444可以基于由一个或多个处理器在图像440中识别的胎儿解剖标志并且还基于由用户选择的查看选项来生成，如图2所示。
46.图5是叠加在显示在用户接口538上的胎儿的实况2d图像540上的用于超声探头操纵的另一用户指令544的显示。在该阶段，目标特征517(即，婴儿面部)连同初步roi 541一
起在视图中。用户指令544通知用户“采集到最佳视图”，并且因此引导用户“请保持不动”。用户指令544可以基于由神经网络或其他处理部件在图像540中识别的面部标志并且还基于由用户选择的查看选项来生成，如图2所示。
47.图6是示出细化的roi 642的自动定位以及指示3d扫掠的即将开始的用户通知644的显示。在以多个离散网络为特征的实施例中，单独的神经网络可以被配置为通过将面部特征与非面部特征区分开并且将(图5的)初步roi 541修整为仅包括面部特征来识别和定义细化的roi 642。额外地或备选地，可以经由图像分割来识别和修整面部特征。在定义细化的roi 642之后，系统可以执行细化的roi 642内的目标特征617的3d扫掠。用户接口638可以提示用户确认是否应当进行扫掠，或可以警告用户将例如在倒计时结束时自动执行扫掠。因此，用户通知644可以通知用户“自动定位roi。扫掠进入3
…2…1…”
。
48.图7是在(图6的)细化的roi 642中捕获的目标特征的实际体积图像的显示。在所示的示例中，实际图像包括呈现在用户接口738上的细化的roi 642的所采集的3d图像748、以及询问“你想要另一视图？”的用户通知744。如所示，3d图像748包括由人工光源生成的阴影，其可以由在系统上操作的另一处理器和/或神经网络应用。如果用户指示期望另一视图，则用户接口可以例如以图2中所示的相同或类似方式显示初始查看选项。
49.例如由于胎儿的位置，某些3d图像可能是不可获得的。在这种情况下，下层神经网络(诸如在图1中描绘的第一神经网络128)可以被配置为识别哪些视图将产生目标特征的质量图像。(一个或多个)此类视图可以显示在用户接口上以供用户选择，从而发起采集图像所需的用户指令的显示，如图2-7所示。
50.图8是根据本公开的原理执行的超声成像的方法的流程图。示例方法800示出了可以由本文描述的用于采集目标特征(诸如未出生婴儿的面部)的3d图像的系统和/或装置以任何顺序利用的步骤，其可以由遵守由系统生成的指令的新手用户执行。方法800可以由超声成像系统(诸如系统100)或其他系统(包括例如移动系统，诸如koninklijke philips n.v.(“philips”)的lumify)执行。额外的示例系统可以包括也由philips生产的sparq和/或epiq。
51.在所示的实施例中，方法800在框802处以“采集响应于朝向目标区域发射的超声脉冲的回波信号”开始。
52.在框804处，该方法涉及“向用户呈现目标特征的一幅或多幅说明性体积图像，每幅说明性体积图像对应于目标图像的特定视图”。
53.在框806处，该方法涉及“接收说明性体积图像之一的用户选择”。
54.在框808处，该方法涉及“根据所采集的目标区域的回波信号生成二维(2d)图像帧”。
55.在框810，该方法涉及“在所生成的2d图像帧中识别对应于目标特征的一个或多个解剖标志”。
56.在框812处，该方法涉及“基于解剖标志和用户选择的体积图像的特定视图，提供用于将超声换能器操纵到目标位置以便生成特异于用户选择的体积图像的特定视图的至少一个2d图像帧的指令”。
57.在框814处，该方法涉及“使超声换能器在目标位置处采集额外回波信号”。
58.在框816处，该方法涉及“利用所采集的额外回波信号来生成目标特征的并且对应
于用户选择的体积图像的特定视图的实际体积图像”。
59.在使用诸如基于计算机的系统或可编程逻辑的可编程器件来实施部件、系统和/或方法的各种实施例中，应该意识到，上述系统和方法可以使用诸如“c”、“c ”、“fortran”、“pascal”，“vhdl”等的各种已知或以后开发的编程语言来实施。相应地，可以准备各种存储介质，诸如磁性计算机盘、光盘、电子存储器等，其可以包含可以引导诸如计算机的设备以实施上述系统和/或方法的信息。一旦适当的设备访问存储介质上包含的信息和程序，存储介质就可以向设备提供信息和程序，从而使设备能够执行本文所述的系统和/或方法的功能。例如，如果向计算机提供包含适当材料(诸如源文件、目标文件、可执行文件等)的计算机磁盘，则计算机可以接收该信息，适当地配置其自身并执行在上面的图和流程图中概述的各种系统和方法的功能以实施各种功能。也就是说，计算机可以从磁盘接收涉及上述系统和/或方法的不同元件的信息的各个部分，实施个体系统和/或方法并且协调以上所描述的个体系统和/或方法的功能。
60.鉴于本公开，应注意，本文描述的各种方法和设备可以以硬件、软件和固件来实施。此外，各种方法和参数仅通过示例而不是以任何限制意义被包括。鉴于本公开，本领域普通技术人员可以实施本教导以确定它们自己的技术和实现这些技术所需要的装备，同时保持在本发明的范围内。本文描述的处理器中的一个或多个的功能可以被并入到更少数量的或单个处理单元(例如，cpu)中，并且可以使用专用集成电路(asic)或响应于执行本文描述的功能的可执行指令而被编程的通用处理电路来实施。
61.尽管本系统可能已经特别参考超声成像系统进行了描述，但也设想了，本系统可以扩展到其中以系统性方式获得一幅或多幅图像的其他医学成像系统。因此，本系统可用于获得和/或记录与肾脏、睾丸、乳房、卵巢、子宫、甲状腺、肝、肺、肌肉骨骼、脾脏、心脏、动脉和血管系统有关但不限于此的图像信息，以及与超声引导的介入有关的其他成像应用。此外，本系统还可以包括可以与常规成像系统一起使用的一个或多个程序，使得它们可以提供本系统的特征和优点。本公开的某些额外优点和特征对本领域技术人员而言在研究本公开内容后能够显而易见，或者可以由采用本公开的新颖系统和方法的人员体验。本系统和方法的另一优点可以是常规医学图像系统可以容易地升级以并入本系统、设备和方法的特征和优点。
62.当然，要意识到，本文描述的示例、实施例或过程中的任一个可以与一个或多个其他示例、实施例和/或过程组合，或者在根据本系统、设备和方法的单独设备或设备部分中间分离和/或执行。
63.最后，上述讨论仅旨在说明本系统，而不应被解释为将权利要求限制为任何特定实施例或实施例组。因此，尽管已经参考示例性实施例具体详细地描述了本系统，但是应该意识到，可以由本领域普通技术人员设计出许多修改和备选实施例，而不偏离如在以下权利要求中阐述的本系统的更广泛和预期的精神和范围。因此，说明书和附图要以说明性的方式来看待，而不是旨在限制权利要求书的范围。