用于对心外膜脂肪组织进行成像和测量的系统和方法与流程

1.本公开涉及用于对心外膜脂肪组织进行成像和测量的成像系统和方法。具体地，用于在超声图像中对心外膜脂肪组织进行成像和测量的成像系统和方法。


背景技术：

2.冠状动脉造影是用于观察心脏血管的优选方法。其显然是一种侵入性手术，然而迄今为止其是用于评估冠状动脉疾病(cad)的金标准技术。近年来，大量回顾性临床研究已经表明，在内脏器官和心外膜组织中的脂肪沉积能够用作cad的预测器。
3.心脏和血管被脂肪组织层包围，脂肪组织层的厚度和体积能够经由超声成像、计算机断层摄影(ct)或磁共振成像(mri)来量化。在解剖学上，心外膜脂肪组织(eat)位于心肌的外壁与心包的内脏层之间。因此，由于其接近和靠近于心肌，其不仅共享相同的微循环，而且eat被认为是内脏脂肪的组份，并且与代谢综合征(ms)相关联。ms是一组风险因子，包括腹部肥胖、空腹血糖受损、高血压和血脂异常。ms的发作使患者暴露于心血管疾病和糖尿病；因此，与没有ms的个体相比，患有ms的个体患cad的风险增加。
4.临床研究已经证明了eat厚度如何能够与伴有ms的cad的存在/不存在相关。研究也报告了在eat厚度与gensini评分和具有和/或不具有ms的cad之间的正相关性。若干项临床研究已经证明了eat厚度如何能够与伴有ms的cad的存在/不存在相关。研究也已经表明，eat测量结果与其他风险因子相关联，诸如作为cad预测因子的肥胖和hdl-c(高密度脂蛋白胆固醇)。eat厚度也可以是与cad相关联的独立风险因子。因此，需要可靠的eat测量结果。


技术实现要素：

5.本公开描述了用于对心外膜脂肪组织(eat)进行成像和测量的系统和方法。在一些示例中，能够深度学习的超声成像筛查工具可以增强eat可视化并且在最佳心脏视图中提供稳健的厚度测量结果。超声成像系统可以通过辨别超声图像中的解剖心脏界标、激活eat成像模式和调整成像频率、聚焦深度和/或射束的增益、动态范围和时间增益补偿来识别恰当的心脏视图，以在各种心脏阶段(诸如舒张期和收缩期)期间改善eat的可视化、分割和勾勒eat图像特征、和/或执行对eat厚度的动态测量。任选地，在一些实施例中，所述超声成像系统可以使用来自与eat厚度一起输入的患者医学历史(例如，医学记录)的患者信息来确定冠状动脉疾病(cad)评估。
6.根据本公开的示例的超声成像系统可以包括处理器，所述处理器被配置为分析第一超声图像以确定是否已经采集了恰当的心脏视图，当已经采集了恰当的心脏视图时，调整成像参数，使得超声探头以经调整的成像参数来采集第二超声图像，并且从所述第二超声图像中分割心外膜脂肪组织(eat)以生成经分割的图像。
7.根据本公开的示例的方法可以包括：确定是否已经在第一超声图像中采集了恰当的心脏视图，响应于确定已经采集了恰当的心脏视图，生成经调整的成像参数，以所述经调整的成像参数来采集第二超声图像，从所述第二超声图像中分割心外膜脂肪组织(eat)以
生成经分割的图像，并且从所述经分割的图像中采集所述eat的测量结果。
8.根据本公开的示例，一种非瞬态计算机可读介质可以包含指令，所述指令当被运行时，可以使得成像系统：确定是否已经在第一超声图像中采集了恰当的心脏视图，响应于确定已经采集了恰当的心脏视图，生成经调整的成像参数，以所述经调整的成像参数来采集第二超声图像，从所述第二超声图像中分割心外膜脂肪组织(eat)以生成经分割的图像，并且从所述经分割的图像中采集eat的测量结果。
附图说明
9.图1是根据本公开的原理的超声系统的框图；
10.图2是图示了根据本公开的原理的示例处理器的框图；
11.图3是根据本公开的原理的用于训练和部署神经网络的过程的框图；
12.图4示出了根据本公开的原理的用于训练和部署神经网络的过程；
13.图5示出了根据本公开的原理的神经网络的示例；
14.图6a是根据本公开的原理的超声图像的双重显示的示例；
15.图6b是根据本公开的原理的超声图像的显示的示例；
16.图7是根据本公开的原理的患者仪表板的示例；
17.图8是根据本公开的原理的方法的流程图。
具体实施方式
18.对特定实施例的以下描述本质上仅是示例性的，而绝非旨在限制本发明或者其应用或用途。在对本系统和方法的实施例的以下详细描述中，参考了构成本发明一部分的附图，并且这些附图通过说明可以实践所描述的系统和方法的具体实施例的方式示出。充分详细地描述了这些实施例，以使得本领域技术人员能够实践当前公开的系统和方法，并且应当理解，可以利用其他实施例并且可以在不背离本系统的主旨和范围的情况下进行结构上和逻辑上的改变。此外，为了清楚起见，当特定特征对本领域技术人员显而易见时，将不讨论对其的详细描述，以免混淆对本系统的描述。因此，以下详细描述不应当被理解为限制性的，并且本系统的范围仅由所附的权利要求来限定。
19.通常执行冠状动脉造影以评估冠状动脉硬化病变的严重度。然而，这是一种非常侵入性的流程。如先前所提到的，临床研究已经揭示了心外膜脂肪组织(eat)厚度与冠状动脉疾病(cad)的严重度之间的关系。作为血管造影的备选，可以通过超声成像对eat进行可视化。eat通常是在右心室顶部上可识别的特征，而心脏腔室和主要血管可能位于超声图像的中心和底部。然而，执行经胸超声需要高技能，并且因此，在超声图像上进行的eat的手动测量可能依赖于操作者。
20.在当前的临床实践中，由于需要高技能来识别在胸骨旁的(plax)长视图和短轴(psax)视图中的右心室顶部上的脂肪组织层，因此尚未将eat测量结果考虑在内。用户在这些视图中手动地采集垂直和/或水平eat厚度测量结果。因此，在成像平面和测量采集技术的变化可以产生无法再现的eat测量结果。此外，心脏相控阵列换能器具有大约2.5mhz的中心频率和大约10 cm的深度焦点，这比eat的位置(例如，～2-5cm)更深。所以，默认的心脏声学成像预设(例如，成像参数)可能对位于近场中的脂肪组织层的成像不是最佳的。一致的
图像平面取向、经改善的成像参数和/或从图像中对eat的自动分割可以改善eat测量的可靠性。
21.代谢综合征(ms)通常与均同时发生的一系列风险因子(例如，高bmi、大腰围、糖尿病、吸烟、hdl-c、以及其他风险因子)相关。临床研究已经将cad与eat厚度和其他风险因子的存在关联起来。因此，可能需要向医师或者其他医学护理工作者报告是否需要更深入的随诊(follow-up)，以排除cad的存在/不存在、或发病。
22.在本文中所公开的是用于利用超声成像的增强eat可视化的能够深度学习的系统和方法。所述系统和方法可以提供在最佳心脏视图中的稳健的厚度测量。任选地，如果患者的医学历史可用，则可以将患者的信息和eat厚度测量结果组合在一起的仪表板生成报告，所述报告可以建议随诊，以确定患者是否患有cad。在cad评估中的患者旅程通常以收集患者历史开始，并且然后安排胸部x射线。医生也可能想要经由计算机断层摄影(ct)执行压力测试、血管造影和对冠状动脉钙化评分(cac)的评估。在所述报告中识别和建议适当的后续流程可以经由超声eat厚度测量为cad评估提供非侵入性筛查工具。
23.根据本公开的示例，可以训练和实施一个或多个深度学习网络来识别恰当的心脏视图。恰当的心脏视图可以是具体的标准视图。正如在超声成像中众所周知的，各种检查(诸如超声心脏病学检查)采集被成像器官(例如，心脏、肝脏)的一组标准视图。标准视图由一个或多个规范来定义，诸如从中采集视图的声学窗口、患者在采集期间的位置和/或在图像中什么解剖特征是可见的。心脏检查中的标准视图的示例包括plax、psax和剑突下视图。在一些示例中，用于可视化和获得eat的测量结果的恰当心脏视图可以是plax视图和/或psax视图。在一些示例中，可以通过辨识解剖学上的心脏界标(例如，心外膜脂肪、心脏腔室、心脏瓣膜、主动脉等)来识别恰当的心脏视图。
24.在一些示例中，一旦(例如，基于超声图像内的解剖界标的位置)识别出恰当的心脏视图，就可以激活eat成像模式。声学设置可以是与用于典型胸骨旁视图的声学设置不同的声学设置。例如，eat成像模式可以在换能器带宽内选择更高的成像频率(例如，大约5mhz)。更高的频率可以提供更好的近场空间分辨率，以增强针对eat的图像质量。视场可以更浅。然而，用于eat增强的图像深度大约为5cm，这比心脏成像中的典型视场更浅。备选地或另外地，可以基于eat的位置来调整聚焦的深度。在一些示例中，在近场中，可以调整增益、动态范围和/或时间增益补偿(tcg)。在一些示例中，设置可以基于eat的位置和/或在超声图像上可见的解剖学上的心脏界标。在一些示例中，所述超声成像系统可以基于eat的位置和/或其他解剖学上的心脏界标来操纵超声射束以便对eat进行更好的可视化。
25.在一些示例中，一旦采集了恰当心脏视图中的eat的图像，就可以从所述图像中识别eta并且对其进行分割和勾勒。可以从经分割和勾勒的eat中采集测量结果(例如，跨长轴和短轴的厚度)。在一些示例中，可以采集动态测量结果，以捕获在心动周期(例如，舒张期和收缩期)的不同点期间的eat的厚度。在一些示例中，可以将根据视图(例如，plax、psax)在心动周期期间采集的测量结果，和/或测量的取向(例如，垂直地或水平地获取测量结果)制成表格并且进行存储。
26.任选地，在一些示例中，如果患者历史可用并且能够进行eat测量，则可以生成用于预测分析的具有患者历史和eat值的仪表板。在一些示例中，如果eat厚度测量结果落在正常范围之外，则可以标记所述测量结果。如果被标记，则可以建议进行更深入的随诊，以
验证cad的潜在发病/存在/不存在。在一些示例中，可以在超声成像系统上分析患者历史和eat测量结果。在其他示例中，可以将eat测量结果从超声成像系统提供给可以访问患者历史的单独计算设备，并且所述单独计算系统执行所述预测分析。
27.图1示出了根据本公开的原理构造的超声成像系统100的框图。根据本公开的超声成像系统100可以包括换能器阵列114，换能器阵列114可以被包括在超声探头112中，诸如被包括在外部探头或者诸如心内超声(ice)探头或经食管回波(tee)探头的内部探头中。在其他实施例中，换能器阵列114可以是柔性阵列的形式，所述柔性阵列被配置为适合地应用于待成像的受试者(例如，患者)的表面。换能器阵列114被配置为发射超声信号(例如，射束、波)并且接收响应于所述超声信号的回波。可以使用多种换能器阵列，例如，线性阵列、弯曲阵列或相控阵列。例如，换能器阵列114能够包括能够为了2d和/或3d成像而在仰角和方位角维度两者上进行扫描的换能器元件的二维阵列(如所示的)。众所周知，轴向是正交于阵列面的方向(在弯曲阵列的情况下，轴向呈扇形散开)，方位角方向总体上由阵列的纵向维度来限定，而仰角方向垂直于方位角方向。
28.在一些实施例中，换能器阵列114可以被耦合到微射束形成器116，微射束形成器116可以位于超声探头112中，并且其可以控制由阵列114中的换能器元件对信号的发射和接收。在一些实施例中，微射束形成器116可以通过阵列114中的有源元件(例如，在任何给定时间定义有源孔径的阵列的元件的有源子集)来控制对信号的发射和接收。
29.在一些实施例中，微射束形成器116可以例如通过探头线缆或无线地耦合到发射/接收(t/r)开关118，t/r开关118在发射与接收之间切换并且保护主射束形成器122免受高能量发射信号。在一些实施例中，例如在便携式超声系统中，t/r开关118和系统中的其他元件能够被包括在超声探头112中，而不是被包括在可以容纳图像处理电子器件的超声系统基座中。超声系统基座通常包括软件和硬件组件，所述组件包括用于信号处理和图像数据生成的电路以及用于提供用户接口(例如，处理电路150和用户接口124)的可执行指令。
30.在微射束形成器116的控制下从换能器阵列114发射超声信号由发射控制器120来引导，发射控制器120可以被耦合到t/r开关118和主射束形成器122。发射控制器120可以控制射束在其中被转向的方向。射束可以从换能器阵列114直接向前(正交)转向，或者为了更宽的视场以不同的角度转向。发射控制器120也可以被耦合到用户接口124并且接收来自用户对用户控件的操作的输入。用户接口124可以包括诸如控制面板152的一个或多个输入设备，其可以包括一个或多个机械控件(例如，按钮、编码器等)、触敏控件(例如，触控板、触摸屏等)和/或其他已知的输入设备。
31.在一些实施例中，由微射束形成器116产生的部分射束形成的信号可以被耦合到主射束形成器122，其中来自换能器元件的个体补片(patch)的部分射束形成的信号可以被组合成完全射束形成的信号。在一些实施例中，微射束形成器116被省略，并且换能器阵列114在主射束形成器122的控制下，主射束形成器122执行对信号的完全射束形成。在具有和不具有微射束形成器116的实施例中，主射束形成器122的射束形成的信号被耦合到处理电路150，处理电路150可以包括一个或多个处理器(例如，信号处理器126、b模式处理器128、多普勒处理器160、以及一个或多个图像生成和处理组件168)，其被配置为根据射束形成的信号(例如，射束形成的rf数据)产生超声图像。
32.信号处理器126可以被配置为以各种方式来处理所接收到的射束成形的rf数据，
诸如带通滤波、抽样、i和q分量分离、以及谐波信号分离。信号处理器126也可以执行额外的信号增强，诸如散斑减少、信号复合和噪声消除。经处理的信号(也被称为i和q分量或iq信号)可以被耦合到额外的下游信号处理电路以用于图像生成。所述iq信号可以被耦合到系统内的多个信号路径，其中的每个信号路径可以与适合用于生成不同类型的图像数据(例如，b模式图像数据、多普勒图像数据)的信号处理组件的特定布置相关联。例如，所述系统可以包括将来自信号处理器126的信号耦合到b模式处理器128以用于产生b模式图像数据的b模式信号路径158。
33.所述b模式处理器能够采用幅度检测来对身体中的结构进行成像。由b模式处理器128产生的信号可以被耦合到扫描转换器130和/或多平面重新格式化器132。扫描转换器130可以配置为将回波信号从其被接收到的空间关系排列到为期望的图像格式。例如，扫描转换器130可以将回波信号排列成二维(2d)扇形格式、或金字塔形或者其他形状的三维(3d)格式。多平面重新格式化器132能够将从身体的体积区域中的公共平面中的点接收的回波转换成该平面的超声图像(例如，b模式图像)，例如，如在美国专利us 6,443,896(detmer)中所描述的。在一些实施例中，扫描转换器130和多平面重格式化器132可以被实施为一个或多个处理器。
34.体积渲染器134可以生成从给定参考点查看的3d数据集的图像(也被称为投影、渲染或描绘)，例如，如在美国专利us 6,530,885(entrekin等人)中所描述的。在一些实施例中，体积渲染器134可以被实施为一个或多个处理器。体积渲染器134可以通过任何已知的或者未来已知的技术(诸如表面渲染和最大强度渲染)来生成渲染，诸如正渲染或负渲染。
35.在一些实施例中，所述系统可以包括多普勒信号路径162，其将来自信号处理器126的输出耦合到多普勒处理器160。多普勒处理器160可以被配置为估计多普勒频移并且生成多普勒图像数据。所述多普勒图像数据可以包括颜色数据，然后将所述颜色数据与b模式(即灰度)图像数据叠加以用于显示。多普勒处理器160可以被配置为例如使用壁滤波器过滤掉不想要的信号(即，与非移动组织相关的噪声或杂波)。多普勒处理器160还可以被配置为根据已知的技术来估计速度和功率。例如，所述多普勒处理器可以包括多普勒估计器，诸如自相关器，其中，速度(多普勒频率)估计是基于滞后一自相关函数的自变量的，并且多普勒功率估计是基于滞后零自相关函数的幅度的。运动也能够通过已知的相域(例如，参数频率估计器，诸如music、esprit等)或时域(例如，互相关)信号处理技术来估计。替代或者除了速度估计器之外，能够使用与速度的时间或空间分布相关的其他估计器，诸如加速度或时间和/或空间速度导数的估计器。在一些实施例中，速度和功率估计可以经受进一步的阈值检测，以进一步降低噪声，以及分割和后处理，诸如填充和平滑。然后，可以根据颜色映射图将速度和功率估计映射到所需的显示颜色范围。颜色数据，也被称为多普勒图像数据，然后可以被耦合到扫描转换器130，其中可以将多普勒图像数据转换为所需的图像格式并且被叠加在组织结构的b模式图像上，以形成彩色多普勒或功率多普勒图像。
36.根据本公开的原理，可以将来自扫描转换器130的输出，诸如被统称为超声图像的b模式图像和/或多普勒图像提供给eat处理器170。eat处理器170可以分析所述超声图像以确定所述超声图像是否具有恰当的心脏视图，诸如plax视图或slax视图。在一些示例中，所述超声图像是否具有恰当的心脏视图是至少部分地基于对解剖学上的心脏界标(例如，心室、主动脉根、二尖瓣)的分类的。在一些示例中，eat处理器170可以初始执行界标检测并且
输出所预测的边界框(bb)在图像坐标中的位置(xo、zo、bb的宽度、bb的高度)。一旦已经识别了恰当的心脏视图，eat处理器170就可以调整成像系统100的声学和/或其他成像参数(被统称为成像参数)，以改善eat可视化。例如，可以增加成像频率，可以降低聚焦深度，和/或可以调整动态范围来改善eat可视化。
37.在一些示例中，eat处理器170可以针对整幅超声图像来调整成像参数以增强eat可视化并且使得成像系统100以交错的声学序列来采集图像。换言之，所述成像参数将在用于采集标准心脏图像的设置与用于采集eat的增强的可视化的设置之间进行切换，以进行交替的图像采集(例如，帧)。在这些示例中，用户可以看到具有常规胸骨旁(例如，plax、psax)的并排显示和右心室的顶部部分的eat的增强视图的拆分窗口。尽管整体帧速率可能以《2x的因子降低，但是胸骨旁视图iq可以保持不变，而eat视图可以具有高空间分辨率，这可能改善eat边界可视化。这可以允许对eat的更准确的厚度测量结果。以高空间分辨率和减小的成像深度，可能更易于区分心包脂肪组织与eat。在一些应用中，同时地显示具有增强的eat图像的全部范围的完全胸骨旁视图可以辅助用户保持探头的位置，并且避免偏离用于eat测量的优选视图。
38.在其他示例中，仅对胸骨旁视图的近场部分进行成像。这可以保持从胸壁到eat到右心室的顶部部分的所有结构的高分辨率。在这种情况下，由于用于对eat进行可视化的成像参数的调整发生在浅深度(近场)处，因此成像序列可以具有针对近场心脏结构的提高的空间分辨率以及更高的时间分辨率。
39.在一些示例中，用户可以经由用户接口124选择是仅对胸骨旁视图的近场部分进行成像，还是利用上文所描述的交错的声学序列。在一些示例中，一旦eat处理器170已经辨别出恰当的心脏视图，成像系统100就可以自动地切换到经调整的成像参数。在其他示例中，可以提示用户(例如，显示器138上的音频、文本和/或图形)切换到用于对eat进行可视化的经调整的成像参数。
40.一旦采集了具有经调整的成像参数的eat的图像，eat处理器170就可以从所述图像中识别和分割所述eat。在一些示例中，eat处理器170可以区分eat与可能与cad和/或eat没有相关性的心包脂肪组织(pat)。可以从经分割的图像中采集eat的测量结果(例如，厚度测量结果)。在一些示例中，eat处理器170可以进行测量。在一些示例中，用户可以在经分割的图像中的eat上进行测量。
41.任选地，在一些示例中，eat处理器170可以接收患者信息(例如，胆固醇水平、身体最大指数、性别、年龄)。所述信息可以从本地存储器142检索和/或可以由用户经由用户接口124来提供。eat处理器170可以分析所述患者信息和所采集的eat测量结果以生成报告。在一些示例中，所述报告可以被提供为显示器138上的“仪表板”。所述报告可以提供以下中的至少一些：患者信息、eat测量结果、超声图像和/或随诊的建议(例如，压力测试、血管造影)。如先前所提到的，在一些示例中，可以将所述eat测量结果提供给可以访问所述患者信息的另一计算设备。所述计算设备可以包括处理器，所述处理器被配置为执行对所述患者信息和所采集的eat测量结果的分析以生成报告。例如，由放射科医师或者其他用户所使用的工作站可以执行所述分析。
42.在一些示例中，可以从心动周期的一个或多个阶段采集和分割所述eat的图像。可以从来自不同阶段的图像进行测量。例如，可以在收缩期和/或舒张期测量所述eat的厚度。
在一些示例中，eat处理器170可以至少部分地基于解剖学上的心脏界标来识别心动周期的阶段。在其他示例中，ecg触发和/或其他已知的方法可以被用于识别在其中采集图像的心动周期的阶段。
43.在一些实施例中，eat处理器170可以由一个或多个处理器和/或专用集成电路来实施。在一些实施例中，eat处理器170可以包括任何一种或多种机器学习、人工智能算法、和/或多个神经网络。在一些示例中，eat处理器170可以包括深度神经网络(dnn)、卷积神经网络(cnn)、循环神经网络(rnn)、自动编码器神经网络等，以辨识恰当的心脏视图、调整成像参数、和/或从视图中识别和分割出eat。在一些实施例中，所述神经网络可以执行多任务学习。可以使用的神经网络的示例包括但不限于：同时检测和分割(sds)、yolov2、mobilenet ssd lite、ssd：single shot multibox detector网络。所述神经网络可以在硬件(例如，神经元由物理组件来表示)和/或软件(例如，在软件应用程序中实施的神经元和路径)组件中实施。根据本公开实现的神经网络可以使用多种拓扑和学习算法来训练所述神经网络以产生所需的输出。例如，基于软件的神经网络可以使用配置为运行指令的处理器(例如，单核或多核cpu、单个gpu或gpu集群、或者被布置用于并行处理的多个处理器)来实施，所述指令可以被存储在计算机可读介质中，并且所述指令当被运行时使得所述处理器执行用于辨识恰当的心脏视图、调整成像参数、和/或从视图中分割出eat的经训练的算法。
44.在各种实施例中，可以使用多种当前已知的或者以后开发的学习技术中的任意学习技术来训练(一个或多个)神经网络，以获得被配置为分析以超声图像、测量结果和/或统计数据的形式的输入数据的神经网络(例如，经训练的算法或者基于硬件的节点系统)。在一些实施例中，所述神经网络可以被静态地训练。亦即，可以利用数据集对所述神经网络进行训练并且将其部署在eat处理器170上。在一些实施例中，所述神经网络可以被动态地训练。在这些实施例中，所述神经网络可以利用初始数据集来训练并且被部署在eat处理器170上。然而，所述神经网络可以在将所述神经网络部署在eat处理器170上之后继续基于由系统100采集的超声图像进行训练和修正。
45.在一些实施例中，eat处理器170可以不包括神经网络，而是可以替代地实施用于对象识别的其他图像处理技术，诸如图像分割、直方图分析、边缘检测或者其他形状或对象识别技术。在一些实施例中，eat处理器170可以与其他图像处理方法相结合来实施神经网络。
46.来自eat处理器170、扫描转换器130、多平面重新格式化器132和/或体积渲染器134的输出(例如，b模式图像、多普勒图像)可以被耦合到图像处理器136，以用于在图像显示器138上被显示之前进一步增强、缓存和临时存储。例如，在一些实施例中，图像处理器136可以接收识别包括eat的像素和/或体素的eat处理器170的输出。图像处理器136可以将所识别的像素和/或体素叠加到原始超声图像上。在一些实施例中，可以以不同于原始超声图像的像素和/或体素的颜色(例如，绿色、红色、黄色)或强度(例如，最大强度)覆盖由eat处理器170提供的像素和/或体素。
47.尽管来自扫描转换器130的输出被示为经由eat处理器170被提供给图像处理器136，但是在一些实施例中，扫描转换器130的输出可以被直接提供给图像处理器136。图形处理器140可以生成用于与图像一起显示的图形覆盖。这些图形覆盖能够包含例如标准识
别信息，诸如患者姓名、图像的日期和时间、成像参数等。出于这些目的，所述图形处理器可以被配置为接收来自用户接口124的输入，诸如键入的患者姓名或者其他注释。用户接口124也能够被耦合到多平面重新格式化器132，以用于选择和控制多幅经多平面重新格式化的(mpr)图像的显示。
48.系统100可以包括本地存储器142。本地存储器142可以被实施为任何合适的非瞬态计算机可读介质(例如，闪存驱动器、磁盘驱动器)。本地存储器142可以存储由系统100生成的数据，包括超声图像、可执行指令、成像参数、训练数据集、患者信息、eat测量结果或者对于系统100的操作所需的任何其他信息。
49.如先前所提到的，系统100包括用户接口124。用户接口124可以包括显示器138和控制面板152。显示器138可以包括使用各种已知的显示技术实施的显示设备，诸如lcd、led、oled、或等离子显示技术。在一些实施例中，显示器138可以包括多个显示器。控制面板152可以被配置为接收用户输入(例如，检查类型、eat测量结果)。控制面板152可以包括一个或多个硬控件(例如，按钮、旋钮、拨盘、编码器、鼠标、轨迹球或者其他)。在一些实施例中，控制面板152可以另外地或备选地包括提供在触敏显示器上的软控件(例如，gui控制元件或者简单的gui控件)。在一些实施例中，显示器138可以是包括控制面板152的一个或多个软控件的触敏显示器。
50.在一些实施例中，可以组合在图1中所示的各种组件。例如，图像处理器136和图形处理器140可以被实施为单个处理器。在一些实施例中，在图1中所示的各种组件可以被实施为单独的组件。例如，信号处理器126可以被实施为用于每种成像模式(例如，b模式、多普勒)的单独的信号处理器。在一些实施例中，在图1中所示的各种处理器中的一个或多个处理器可以通过被配置为执行指定任务的通用处理器和/或微处理器来实施。在一些实施例中，各种处理器中的一个或多个处理器可以被实施为专用电路。在一些实施例中，各种处理器(例如，图像处理器136)中的一个或多个处理器可以利用一个或多个图形处理单元(gpu)来实施。
51.图2是图示了根据本公开的原理的示例处理器200的框图。处理器200可以被用于实施在本文中所描述的一个或多个处理器和/或控制器，例如，在图1中所示的图像处理器136和/或在图1中所示的任何其他处理器或控制器。处理器200可以是任何合适的处理器类型，包括但不限于：微处理器、微控制器、数字信号处理器(dsp)、现场可编程阵列(fpga)已经被编程为形成处理器的fpga、图形处理单元(gpu)、专用电路(asic)已被设计为形成处理器的asic、或者其组合。
52.处理器200可以包括一个或多个核202。核202可以包括一个或多个算术逻辑单元(alu)204。在一些实施例中，核202可以包括浮点逻辑单元(fplu)206和/或数字信号处理单元(dspu)208作为alu 204的补充或替代。
53.处理器200可以包括被通信地耦合到核202的一个或多个寄存器212。寄存器212可以使用专用逻辑门电路(例如，触发器)和/或任何存储器技术来实施。在一些实施例中，寄存器212可以使用静态存储器来实施。寄存器可以向核202提供数据、指令和地址。
54.在一些实施例中，处理器200可以包括被通信地耦合到核202的一级或多级高速缓存存储器210。高速缓存存储器210可以向核202提供计算机可读指令以供执行。高速缓存存储器210可以提供用于由核202处理的数据。在一些实施例中，所述计算机可读指令可以已
经由本地存储器(例如被附接到外部总线216的本地存储器)提供给高速缓存存储器210。高速缓存存储器210可以利用任何合适的高速缓存存储器类型来实施，例如，金属氧化物半导体(mos)存储器，诸如静态随机存取存储器(sram)、动态随机存取存储器(dram)、和/或任何其他合适的存储器技术.
55.处理器200可以包括控制器214，控制器214可以控制对来自被包括在系统中的其他处理器和/或组件(例如，在图1中所示的控制面板152和扫描转换器130)的输入和/或从处理器200到被包括在系统中的其他处理器和/或组件(例如，在图1中所示的显示器138和体积渲染器134)的输出。控制器214可以控制在alu 204、fplu 206和/或dspu 208中的数据路径。控制器214可以被实施为一个或多个状态机、数据路径和/或专用控制逻辑。控制器214的门可以被实施为独立门、fpga、asic或者任何其他合适的技术。
56.寄存器212和高速缓存210可以经由内部连接220a、220b、220c和220d与控制器214和核202通信。内部连接可以被实施为总线、多路复用器、交叉开关和/或任何其他合适的连接技术。
57.用于处理器200的输入和输出可以经由总线216来提供，总线216可以包括一条或多条导线。总线216可以被通信地耦合到处理器200的一个或多个组件，例如控制器214、高速缓存210和/或寄存器212。总线216可以被耦合到所述系统的一个或多个组件，诸如显示器138和先前所提到的控制面板152。
58.总线216可以被耦合到一个或多个外部存储器。外部存储器可以包括只读存储器(rom)232。rom 232可以是掩膜型rom、电子可编程只读存储器(eprom)或者任何其他合适的技术。外部存储器可以包括随机存取存储器(ram)233。ram233可以是静态ram、电池备份的静态ram、动态ram(dram)或者任何其他合适的技术。外部存储器可以包括电可擦可编程只读存储器(eeprom)235。外部存储器可以包括闪存234。外部存储器可以包括磁性存储设备，诸如磁盘236。在一些实施例中，外部存储器可以被包括在诸如在图1中所示的超声成像系统100的系统中，例如本地存储器142。
59.在一些实施例中，系统100能够被配置为实施被包括在eat处理器170中的一个或多个神经网络，其可以包括cnn，以识别心脏视图(例如，通过对解剖学上的心脏界标进行分类)、调整成像参数、从超声图像中分割eat、采集eat测量结果和/或生成建议的随诊。神经网络可以利用成像数据(诸如其中一个或多个感兴趣的项目被标记为存在的图像帧)来训练。神经网络可以被训练为辨识与特定标准心脏视图相关联的目标解剖学界标，或者用户可以训练神经网络以定位一个或多个定制目标解剖学特征(例如，植入的设备、导管)。
60.在一些实施例中，与神经网络相关联的神经网络训练算法能够与数千或者甚至数百万训练数据集一起呈现，以便训练神经网络，以确定针对从特定超声图像采集的每个测量结果的置信水平。在各种实施例中，被用于训练(一个或多个)神经网络的超声图像的数量可以在从大约50,000幅或更少到200,000幅或更多的范围内。如果要识别更高数量的不同心脏界标，或者适应更多种类的患者变化，例如，体重、身高、年龄等，则可以增加被用于训练(一个或多个)网络的图像数量。针对不同的感兴趣项目或者其特征，训练图像可以不同，并且可以取决于特定特征的外观的可变性。为了评估与群体范围内可变性高的特征相关联的感兴趣项目的存在而训练(一个或多个)网络可能需要更大量的训练图像。
61.图3示出了根据本公开的原理的用于训练和部署神经网络的过程的框图。在图3中
所示的过程可以被用于训练被包括在eat处理器170中的神经网络。图3的左手侧，阶段1，图示了对神经网络的训练。为了训练神经网络，可以将包括输入阵列和输出分类的多个实例的训练集呈现给对(一个或多个)神经网络的(一种或多种)训练算法(例如，alexnet训练算法，如由krizhevsky,a.，sutskever,i和hinton,g.e.的“imagenet classification with deepconvolutional neural networks”(nips 2012或者其衍生物中)所描述的)。训练可以涉及对起始网络架构312的选择和训练数据314的准备。起始网络架构312可以是空白架构(例如，具有已定义的层和节点排列但是没有任何先前训练的权重的架构)或者部分训练的网络，诸如初始网络，然后可以对所述部分训练的网络进一步定制，以用于对超声图像的分类。起始架构312(例如，空白权重)和训练数据314被提供给训练引擎310以用于训练模型。在足够数量的迭代后(例如，当模型始终在可接受的误差内执行时)，模型320被认为是经过训练并且准备好部署的，这被图示在图3的中间，阶段2。图3的右手侧，或者阶段3，(经由推理引擎330)应用经训练的模型320，以用于分析新数据332，新数据332是在初始训练期间(在阶段1中)尚未呈现给模型的数据。例如，新数据332可以包括未知图像，诸如在患者的扫描期间采集的实况超声图像(例如，在超声心动图检查期间的心脏图像)。经由引擎330实施的经训练的模型320被用于根据模型320的训练对未知图像进行分类，以提供输出334(例如，图像是否包括恰当的心脏视图、心动周期阶段的识别)。然后，可以由系统将输出334用于后续过程340(例如，调整成像参数、从图像中识别和分割eat、从经分割的图像中采集eat测量结果)。
62.在经训练的模型320被用于实施eat处理器170的神经网络的实施例中，起始架构可以是卷积神经网络或深度卷积神经网络的架构，其可以被训练以执行图像帧索引、图像分割、图像比较、或者其任意组合。随着正在增加的存储的医学图像数据的量，高质量临床图像的可用性正在增加，这可以被用于训练神经网络以学习给定像素或体素包括eat和/或图像包括恰当的心脏视图的概率。训练数据314可以包括多幅(数百、常常数千或者甚至更多)注释/标记的图像，也被称为训练图像。应当理解，所述训练图像不需要包括由成像系统产生的完整图像(例如，超声探头的完整视场或者整个mri体积的表示)，但是可以包括标记的解剖学上的心脏界标和/或eat的图像的补片或部分。
63.在各种实施例中，经训练的神经网络可以至少部分地在计算机可读介质中实施，所述计算机可读介质包括由处理器(例如，eat处理器170)运行的可执行指令。
64.图4示出了根据本公开的原理的用于训练和部署神经网络的过程。在一些示例中，为了生成训练数据集400(例如，地面实况图像)，超声医师和/或其他临床医师可以通过将边界框404和/或分割掩模(例如，二元分割掩模)围绕在恰当的心脏视图(例如，plax/psax视图)中的一个或多个心脏界标406进行放置来注释超声图像。plax/psax可以是具有大量心脏界标406(例如，右心室、左心室、二尖瓣、左心房、降主动脉、主动脉瓣、主动脉根、心包、右心室流入和流出道)的信息丰富的视图。也可以提供被用于采集训练图像中的eat的经改进的可视化的成像参数。因此，用于训练深度学习网络的输入可以包括超声图像402，其标签是胸骨旁长轴和短轴视图(例如，用于主动脉、左心室、左心房、右心室和eat的边界框404)上的心脏界标406的地面实况位置(或者图像坐标(x、y、w、h)或分割掩模)以及成像参数。例如，主动脉位于(xa，ya，wa，ha)处的超声图像402，eat可以具有(xeat，yeat，weat，heat)的图像坐标，并且右心室的位置可以是(xrv，yrv，wrv，hrv)，其中，针对这种配置用于
可视化eat的声学设置的最佳组合是：成像频率f＝3mhz，聚焦深度＝10cm，增益＝60％。在一些示例中，输入可以包括eat的测量结果(例如，沿着一个或多个轴的厚度)。在一些示例中，也可以提供当采集训练图像时的心动周期的阶段作为输入。在一些示例中，神经网络可以接收eat增强的图像，其厚度跨心动周期变化，并且输出可以是作为在心动周期期间的心跳和/或厚度测量结果的eat的掩模。
65.训练数据集400可以被用于训练一个或多个神经网络408。所得到的经训练的(一个或多个)神经网络410可以包括输入层412中的一个或多个节点414。所述输入可以被提供给一个或多个隐藏层416，隐藏层416可以是或者可以不是完整的连接层。隐藏层416可以至少部分地基于所述训练来执行关于输入的各种计算。经训练的神经网络410可以在输出层418处提供一个或多个输出。在其他示例中，(一个或多个)神经网络410可以具有与在图4中所示的不同架构。
66.基于训练数据集，(一个或多个)神经网络可以被训练为辨识恰当的心脏视图、调整成像参数以可视化eat、从利用经调整的成像参数采集的图像中识别和分割eat、和/或在来自经分割的图像的eat上进行测量。在一些实施例中，定位网络的输出通常是包含感兴趣对象的图像坐标。然而，如果使用类似sds的架构，网络的输出也可以包含所谓的实例分割。如果需要eat层的自动测量，则可以使用sds网络来分割出eat，或者可以使用来自类似ssd网络的eat预测边界框来触发额外的深度学习分割网络。
67.图5示出了根据本公开的原理的神经网络500的示例。在图5中所示的示例中，神经网络500具有类似sds的架构。神经网络500可以接收一系列超声图像502。可以在心动周期的不同时间和/或不同阶段采集超声图像502。神经网络500可以从图像中分割eat，以及确定在其期间采集图像的心脏阶段。神经网络500的输出可以是在其中eat 506已经被分割的一幅或多幅图像504。可以从图像504中采集eat 506的测量结果。所述测量结果可以由神经网络500、另一神经网络和/或图像处理技术、和/或由用户来采集。在一些示例中，可以采集和存储针对心动周期的各个阶段(例如，收缩压eat psax、收缩压eat plax、收缩压eat均值、舒张压eat psax、舒张压eat plax等)的eat测量结果(例如，跨长轴和短轴的厚度、在3d图像的情况下的总体积)。
68.任选地，如果患者的信息可用，则在一些示例中，将测量到的eat测量结果和患者信息考虑在内的模型可以被用于做出患者是否需要进行cad风险评估的随诊的二元决策。在一些实施例中，模型可以被包括在神经网络410和/或神经网络500中。在一些示例中，模型可以是接收一个或多个神经网络的输出作为输入(例如，通过神经网络500计算的eat测量结果)的单独模型。在一些示例中，模型可以包括多变量逻辑回归。多变量逻辑回归可以在其中患者临床信息和eat测量结果两者都可用的来自临床研究的当前和/或回顾性数据集上进行训练。数据集可以包括但不限于：与患者相关的临床因子列表(例如，bmi、年龄、性别、是否吸烟等)和/或通过当前或先前的研究收集的临床发现(例如，实验室发现，包括hdl胆固醇、甘油三酯等)。在一些示例中，多变量逻辑回归可以基于患者的医学历史和eat测量评估的组合来输出预测分数，所述预测分数是患者具有cad的可能性的指示。所述预测分数可以被用于提供二元决策。例如，当预测分数等于或高于阈值时，可以做出提供患者应当进行随诊的报告的决策。
69.图6a是根据本公开的原理的超声图像的双重显示的示例。在一些示例中，显示
600a可以被包括在显示器138中。如参考图1所讨论的，在一些示例中，eat处理器170可以使得成像系统100以交错的声学序列来采集恰当心脏视图的图像和eat的增强可视化。如在图6a中所示的，用户可以看到具有并排显示的常规胸骨旁(例如，plax、psax)视图602和右心室的顶部部分的eat 606的增强视图604的拆分窗口。在图6a中所示的示例中，也可以看到pat 608。
70.图6b是根据本公开的原理的超声图像的显示的示例。在一些示例中，显示600b可以被包括在显示器138中。如参考图1所讨论的，eat处理器170可以识别包括eat的像素和/或体素。所识别出的像素和/或体素612可以被叠加到超声图像610上。在一些实施例中，所叠加的像素和/或体素612可以是与超声图像610的像素和/或体素不同的颜色(例如，绿色、红色、黄色)或强度(例如，最大强度)。
71.图7是根据本公开的原理的患者仪表板700的示例。在一些示例中，可以在诸如显示器138的显示器上提供患者仪表板700。仪表板700可以提供诸如姓名和/或识别编号的患者识别信息702。仪表板700可以提供来自患者的医学历史(例如，医学记录)的部分或全部患者信息704。患者信息704可以包括年龄、性别、血压。eat测量结果可以与患者信息704一起提供。任选地，在一些示例中，如果患者信息704的值中的任何值落在正常范围之外(例如，针对eat厚度的值、针对hdl的值)，则该特定值可以被标记。可以通过以不同颜色提供所述值、突出显示所述值、在所述值旁边放置符号(例如，星号)和/或以其他标记机制来标记所述值。任选地，诸如心脏超声图像710的图像可以由仪表板700来提供。仪表板700可以在需要随诊时提供报告706。任选地，仪表板700可以提供随诊类型(例如，压力测试、血管造影、ct、血液测试)的报告708。报告706、708可以是至少部分地基于例如使用回归模型的如在本文中所描述的eat测量结果和患者信息。
72.图8是根据本公开的原理的方法800的流程图。在一些示例中，方法800可以由超声成像系统100来执行。
73.在框802处，可以执行“确定是否已经采集了恰当的心脏视图”。可以在由超声探头112采集的超声图像中搜索心脏视图。所述确定可以由诸如eat处理器170的处理器来执行。如所讨论的，恰当的心脏视图可以是来自超声心脏病学检查的标准视图，诸如psax和plax视图。在一些示例中，所述确定可以至少部分地基于对被包括在图像中的一个或多个解剖学上的心脏界标的检测和/或表征。
74.当确定已经采集了恰当的心脏视图时，在框804处，可以执行“生成经调整的成像参数”。所述经调整的成像参数可以由处理器了确定。调整所述成像参数可以包括增加中心频率、降低聚焦深度和/或增加增益。在一些示例中，可以将所述经调整的成像参数提供给发射控制器、射束形成器、探头和/或超声成像系统的其他组件。在框806处，可以执行“以经调整的成像参数来采集第二超声图像”。
75.在框808处，可以执行“从第二超声图像中识别和分割心外膜脂肪组织(eat)”。在一些示例中，这可以由处理器来执行。所述分割可以被用于生成经分割的图像。
76.在框810处，可以执行“从经分割的图像中采集eat的测量结果”。在一些示例中，这可以由处理器来执行。在一些示例中，eat测量结果可以包括eat沿着一个或多个轴的厚度。
77.任选地，在框812处，可以执行“接收患者信息”，并且在框814处，可以执行“分析患者信息和eat的测量结果以生成预测分数”。在一些示例中，可以从本地存储器接收患者信
息。任选地，在框816处，可以执行“生成报告”。在一些示例中，所述报告可以至少部分地基于所述预测分数来推荐患者随诊。在一些实施例中，框812和814可以由不被包括在成像系统中的处理器来执行。例如，工作站(例如，放射科医师的工作站)中所包含的处理器。可以从超声成像系统(例如，系统100)检索eat测量结果，并且可以将患者信息存储在工作站上或者从患者记录数据库、云计算系统和/或其他存储位置检索患者信息。
78.任选地，可以执行确定第二超声图像的心动周期的阶段。这可以在框808之前、之后或者同时地执行。
79.在一些实施例中，框802、框804、框808、框814和/或框816可以由一个或多个神经网络来执行。在一些实施例中，所述神经网络中的一个或多个神经网络可以具有同时检测和分割(sds)架构。在一些示例中，在框802之前，可以执行利用训练集训练一个或多个神经网络。在一些示例中，训练集可以包括利用一个或多个解剖学上的心脏界标注释的超声图像。
80.在本文中所公开的系统和方法可以提供eat的改进的可视化和分割，这可以提供eat的更稳健的测量结果。利用预测分数和随诊建议，本公开可以提供对cad筛查的端到端解决方案。在本文中所公开的系统和方法不仅可以使eat测量标准化，而且也可以指导用户关于是否需要进行进一步深入的随诊预约做出决策。
81.尽管在本文中所描述的示例讨论了超声图像数据的处理，但是应当理解，本公开的原理并不限于超声，并且可以被应用于来自诸如磁共振成像和计算机断层摄影的其他模态的图像数据。
82.在使用诸如基于计算机的系统或可编程逻辑之类的可编程设备来实施组件、系统和/或方法的各种实施例中，应当意识到，能够使用任何各种已知的或者后来开发的编程语言，诸如“c”、“c ”、“c#”、“java”、“python”等来实施上文所描述的系统和方法。因此，能够准备诸如磁性计算机磁盘、光盘、电子存储器等的各种存储介质，其能够包含能够指引诸如计算机的设备实施上文所描述的系统和/或方法的信息。一旦适当的设备访问被包含在存储介质上的信息和程序，所述存储介质就能够向设备提供信息和程序，由此使得设备能够执行在本文中所描述的系统和/或方法的功能。例如，如果将包含诸如源文件、目标文件、可执行文件等适当材料的计算机磁盘提供给计算机，则计算机能够接收信息、适当地配置自身并且执行在上文的图表和流程图中所概述的各种系统和方法的功能，以实现各种功能。亦即，计算机能够接收与上文所描述的系统和/或方法的不同元素相关的来自磁盘的信息的各个部分、实施个体系统和/或方法、并且协调上文所描述的个体系统和/或方法的功能。
83.鉴于本公开，应当注意，在本文中所描述的各种方法和设备能够在硬件、软件和固件中实施。此外，各种方法和参数仅以示例的方式被包括在内，而没有任何限制意义。鉴于本公开，本领域普通技术人员能够在确定他们自己的技术和影响这些技术所需的设备时实施本教导，同时保持在本发明的范围之内。在本文中所描述的处理器中的一个或多个处理器的功能可以被并入到更少数量的处理单元或单个处理单元(例如，cpu)中，并且可以使用响应于可执行指令执行在本文中所描述的功能来编程的专用集成电路(asic)或通用处理电路来实施。
84.尽管本系统可能已经具体参考超声成像系统进行了描述，但是也设想到了本系统能够被扩展到以系统方式获得一幅或多幅图像的其他医学成像系统。因此，本系统可以被
用于获得和/或记录图像信息，所述图像信息涉及但不限于：肾、睾丸、乳房、卵巢、子宫、甲状腺、肝、肺、肌肉骨骼、脾、心脏、动脉和血管系统、以及与超声引导干预相关的其他成像应用。此外，本系统也可以包括可以与常规成像系统一起使用的一个或多个程序，从而使其可以提供本系统的特征和优点。本公开的特定额外优点和特征对于本领域技术人员在研究本公开后可能是显而易见的，或者可以由采用本公开的新颖系统和方法的人员体验到。本系统和方法的另一优点可以是：常规医学图像系统能够容易地升级以结合本系统、设备和方法的特征和优点。
85.当然，应当意识到，在本文中所描述的示例、实施例或过程中的任意一个可以与一个或多个其他示例、实施例和/或过程相组合，或者可以是单独的和/或在根据本系统、设备和方法的单独设备或设备部分之间被执行。
86.最后，以上讨论旨在仅例示说明本系统，而不应当被解释为将所附权利要求限制为任何具体实施例或实施例组。因此，尽管已经参考示例性实施例具体详细地描述了本系统，也应当意识到的是，本领域普通技术人员可以在不背离所附权利要求中所阐述的本系统的更宽泛的和预期的主旨和范围的情况下设计出许多修改和替代实施例。因此，说明书和附图被认为是说明性的方式，而不是要限制所附权利要求的范围。