用于提供关于采集质量的反馈的超声成像系统和方法与流程

1.本文所公开的主题的实施方案涉及超声成像的方法和系统，并且更具 体地，涉及在多个周期内与电影同时显示多条单轨迹，以便提供关于电影 的采集质量的反馈。


背景技术：

2.在超声成像中，通常期望获得患者心脏的4腔视图。在执行基于心脏 图像的任何类型的评估或测量之前，采集和识别期望视图的多个心脏图像 是很重要的。识别具有高采集质量的4腔视图的多个心脏图像对于一些临床 医生而言可能是具有挑战性的。
3.例如，在成年人和胎儿两个超声扫描方案期间通常采集4腔视图。高 质量4腔视图描绘了左心室、右心室、左心房和右心房。4腔视图通常用于 对患者的心脏执行常规测量。这些测量可以用于对那个患者进行心脏评估 和/或帮助筛选潜在异常和缺陷。例如，4腔视图可以用于检测先天性心脏 畸形，诸如中隔缺陷、左心发育不全综合征、永存动脉干或存在心内强回 声光斑。
4.高质量4腔视图应清楚地显示心脏的所有四个腔：左心室、右心室、 左心房和右心房。隔膜应位于高质量4腔视图中大致垂直的位置。4腔视图 的平面应理想地穿过患者心脏的心尖。如果平面不穿过心尖，则所得视图 将被按透视法缩短，这可能使得难以或不可能进行一些或全部期望的测量 以便进行确定的心脏评估。
5.在许多超声程序中，超声医师在实时扫描过程中查看图像。超声医师 可以调整超声探头的位置和/或取向，并且基于实时图像如何更新来看到超 声探头的调整后位置/取向的所得变化。超声医师可能难以实时地或基于保 存的超声数据正确地获得具有期望心脏视图的高采集质量的图像。因此， 需要一种改进的方法和超声成像系统，用于提供关于相对于4腔视图的心脏 超声图像的采集质量的反馈。


技术实现要素：

6.在一个实施方案中，一种超声成像的方法包括利用处理器访问心脏超 声数据，基于该心脏超声数据生成电影，其中该电影包括在多个心动周期 内采集的多个心脏图像。该方法包括从多个心脏图像中的每个心脏图像自 动分割多个心腔，自动确定从多个心脏图像中的每个心脏图像分割的多个 心腔中的每个心腔的心腔面积，并在显示设备上显示电影。该方法包括在 显示设备上与电影同时显示多条单轨迹曲线，以提供关于电影的采集质量 的反馈，其中多条单轨迹曲线中的每条单轨迹曲线表示在多个心动周期内 多个心腔中的不同心腔的心腔面积。该方法包括基于在多条单轨迹曲线中 显示的信息接收对电影的一部分的选择，并且基于该选择将电影的部分作 为4腔视图保存在存储器中。
7.在一个实施方案中，一种超声成像系统包括超声探头；用户界面；显 示设备；以及处理器，该处理器与该超声探头、该用户界面和该显示设备 进行电子通信。处理器被配置为控制超声探头以采集心脏超声数据并且基 于该心脏超声数据生成电影，其中该电影包括多个心脏图像。处理器被配 置为从多个心脏图像中的每个心脏图像自动地分割多个心
腔，并且自动地 确定从多个心脏图像中的每个心脏图像分割的多个心腔中的每个心腔的心 腔面积。处理器被配置为在显示设备上显示电影，并且在显示设备上与电 影同时显示多条单轨迹曲线以提供关于电影的采集质量的反馈，其中多条 单轨迹曲线中的每条单轨迹曲线表示在多个心动周期内多个心腔中的不同 心腔的心腔面积。处理器被配置为基于在多条单轨迹曲线中显示的信息接 收对电影的一部分的选择，并且将电影的部分作为4腔视图保存在存储器 中。
8.应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式 中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或 必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此 外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何 缺点的实施方式。
附图说明
9.通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本发 明，其中以下：
10.图1示出了根据示例性实施方案的超声成像系统的示意图。
11.图2示出了根据实施方案的方法的流程图。
12.图3示出了根据实施方案的心脏图像和多条单轨迹曲线。
13.图4示出了根据实施方案的方法的流程图。
14.图5示出了根据实施方案的心脏图像、多条单轨迹曲线和界标图像。
15.图6示出了根据实施方案的神经网络的示意图。
16.图7示出了根据实施方案的神经元的输入和输出连接。
具体实施方式
17.图1描绘了根据示例性实施方案的超声成像系统100的框图。此外，应 当理解，其他实施方案不主动采集超声数据。相反，实施方案可以检索先 前由超声成像系统采集的图像或超声数据，并且如本文所述分析图像数 据。如图所示，超声成像系统100包括多个部件。这些部件可彼此耦接以形 成单个结构，可为分开的但位于公共房间内，或者可相对于彼此远离。例 如，本文描述的模块中的一个或多个模块可在数据服务器中操作，该数据 服务器相对于超声成像系统100的其他部件(诸如超声探头和用户界面)具 有不同的和远程的位置。超声成像系统100可以被配置为工作站；超声成像 系统100可以是便携式或手携式系统，诸如膝上型计算机系统、基于工作台 的系统或具有类似于智能电话的形状因子的系统；或者超声成像系统100可 以是具有轮子的推车上的车载系统，该系统被配置为易于经由推车移动。
18.在例示的实施方案中，超声成像系统100包括发射波束形成器101和发 射器102，该发射器驱动超声探头106(或换能器)内的元件104(例如压 电晶体)的阵列，以将超声信号(例如，连续信号或脉冲信号)发射到受 检者的体内或体积(未示出)中。根据其他实施方案，超声探头106可以是 微机械加工超声换能器(mut)或电容性微机械加工超声换能器 (cmut)。元件104和超声探头106可具有多种几何形状。超声信号从体 内结构反向散射，以产生返回到元件104的回波。回波由接收器108接收。 接收到的回波被提供给接收波束形成
器110，该接收波束形成器执行波束形 成并且输出射频(rf)信号。rf信号然后被提供给处理rf信号的rf处理器 112。另选地，rf处理器112可包括复合解调器(未示出)，该复合解调器 对rf信号进行解调以形成代表回波信号的i/q数据对。然后，rf或i/q信 号数据可被直接提供给存储器114以进行存储(例如，暂时存储)。系统 100还包括处理器116，该处理器可为单个处理单元的一部分或分布在多个 处理单元中。处理器116被配置为控制系统100的操作。处理器116可以包 括中央处理单元(cpu)、一个或多个微处理器、图形处理单元(gpu)或能够 根据存储在处理器116的存储器上或与处理器116耦接的特定逻辑指令来处 理所输入的数据的其他电子部件。任选地，处理器116可以包括和/或表示 一个或多个硬件电路或电路系统，其包括、连接、或既包括又连接一个或 多个处理器、控制器和/或其他基于硬件逻辑的设备。
19.例如，处理器116可包括图像处理模块，该模块接收心脏超声数据 (例如，rf信号数据或i/q数据对形式的超声信号)并且处理图像数据。 例如，图像处理模块可处理心脏超声数据以生成用于显示给操作者的2d心 脏图像或超声波形(例如，连续或脉冲波多普勒频谱或波形)。类似地， 图像处理模块可以处理超声信号以基于心脏超声数据生成3d渲染。图像处 理模块可被配置为根据所采集的超声信息上的多个可选超声模态来执行一 个或多个处理操作。仅以示例的方式，超声模态可包括彩色流、声学辐射 力成像(arfi)、b模式、a模式、m模式、频谱多普勒、声流、组织多 普勒模块、c扫描和弹性成像。
20.当接收到回波信号时，可在成像会话(或扫描会话)期间实时处理所 采集的心脏超声数据。除此之外或另选地，超声数据可在成像会话期间临 时存储在存储器114中，并且在实时或离线操作中以低于实时的方式进行处 理。包括存储器120，其用于存储未被安排立即显示的所采集的超声信息的 经处理的切片或波形。图像存储器120可包括任何已知的数据存储介质，例 如，永久存储介质、可移除存储介质等。另外，图像存储器120可为非暂态 存储介质。
21.在操作中，超声成像系统100可通过各种技术(例如，3d扫描、实时 3d成像、体积扫描、利用具有定位传感器的探头的2d扫描、使用体素相 关性技术的徒手扫描、使用2d或矩阵阵列探头的扫描等)采集心脏超声数 据。超声频谱(例如，波形)和/或图像可以从所采集的心脏超声数据中生 成(在处理器116处)，并且在显示设备118上显示给操作者或用户。
22.处理器116可操作地连接到用户界面122，该用户界面使得操作者能够 控制超声成像系统100的至少一些操作。用户界面122可包括硬件、固件、 软件或它们的组合，使得个人(例如，操作者)能够直接或间接控制超声 成像系统100及其各种部件的操作。如图所示，用户界面122包括具有显示 区域117的显示设备118。在一些实施方案中，用户界面122还可以包括一 个或多个用户界面输入设备115，诸如物理键盘、鼠标、触控板、一个或多 个滑块、一个或多个旋转控制器、轨迹球或其他控制输入设备。在一个实 施方案中，触控板可被配置到系统处理器116和显示区域117，使得当用户 在触控板的表面上移动手指/手套/触笔时，显示设备118上的超声图像或多 普勒频谱上的光标以对应的方式移动。
23.在示例性实施方案中，显示设备118可以是触敏显示器(例如触摸 屏)，其可检测操作者在显示区域117上的触摸的存在，并且还可识别显示 区域117中的触摸的位置。可以通过例如个体的手、手套、触笔等中的至少 一者来施加触摸。如此，触敏显示器也可被表征为被配置为接收来自操作 者的输入(诸如调整或更新所显示的图像的取向的请求)的输入
设备。显 示设备118还通过向操作者显示信息来将信息从处理器116传送给操作者。 显示设备118被配置为在成像或数据采集会话期间或之后向操作者呈现信 息。呈现的信息可以包括超声图像(例如，一个或多个2d图像和/或体积渲 染)、图形元素、显示的图像的测量图形、用户可选择元素、用户设置以 及其他信息(例如，管理信息、患者的个人信息等)。在其他实施方案 中，显示设备118可以是不是触敏的显示器。
24.除了图像处理模块之外，处理器116还可以包括图形模块、初始化模 块、跟踪模块和分析模块中的一者或多者。图像处理模块、图形模块、初 始化模块、跟踪模块和/或分析模块可以彼此协调以在成像会话期间和/或之 后将信息呈现给操作者。例如，图像处理模块可以被配置为在显示设备118 上显示所采集的图像，并且图形模块可以被配置为将指定的图形与所显示 的图像一起显示，诸如与图像相关的可选图标(例如，图像旋转图标)和 测量参数(例如，数据)。处理器116可以包含存储在处理器116的存储器 内的算法和一个或多个神经网络(例如，神经网络的系统)，用于自动识 别来自多个心脏图像中的每个心脏图像的多个结构。在一些示例中，处理 器116可以包括深度学习模块，该深度学习模块包括一个或多个深度神经网 络以及用于执行本文所讨论的深度学习和特征识别的指令。
25.显示设备118的显示区域117的屏幕由一系列像素组成，这些像素显示 利用超声探头106采集的数据。所采集的数据包括针对显示器的每个像素或 一组像素(例如，分配了相同参数值的一组像素)计算的一个或多个成像 参数，其中所述一个或多个计算的图像参数包括强度、速度(例如血流速 度)、彩色血流速度、纹理、颗粒度、收缩性、变形和变形率值中的一者 或多者。然后，这一系列像素组成从所采集的超声数据生成的显示图像和/ 或多普勒频谱。
26.所采集的心脏超声数据可以用于生成一个或多个心脏超声图像，所述 一个或多个心脏超声图像然后可以经由用户界面115的显示设备118显示。 例如，一个或多个生成的心脏超声图像可以包括2d图像和/或基于3d超声 数据的体积渲染。例如，以上讨论的图像处理模块可以被编程为生成并同 时显示2d图像切片和3d渲染。
27.图2是根据示例性实施方案的方法的流程图。方法200的技术效果是在 显示设备上同时显示包括多个心脏图像的电影和多条单轨迹曲线。多条单 轨迹曲线中的每条单轨迹曲线表示在多个心动周期内的心腔面积。多条单 轨迹曲线与电影同时显示提供了关于电影的采集质量的反馈。
28.现在参考图3，示出了根据示例性实施方案的心脏图像302和多条单轨 迹曲线304。
29.以下参照图1描绘的超声成像系统和部件描述方法200，但是应当理 解，在不脱离本公开的范围的情况下，方法200可以利用其他超声系统和部 件来实现。在一些实施方案中，方法200可在超声成像系统100、连接到超 声成像系统100的边缘设备(例如，外部计算设备)、与超声成像系统通信 的云等的任何适当组合中被实现为可执行指令。
30.参考图2，在步骤206处，处理器116访问心脏超声数据。根据示例性 实施方案，处理器116可在步骤206处访问心脏超声数据的一个帧，但是根 据其他实施方案，处理器116可在步骤206处访问心脏超声数据的两个或更 多个帧。根据实施方案，处理器116可以从存储器(诸如存储器120)访问 心脏超声数据。可以例如存储来自先前的超声检查的心脏超声数据。根据 实施方案，当采集作为超声成像检查的一部分的心脏超声数据时，处理器 116
可以从超声探头106或存储器120实时访问心脏超声数据。或者，根据 实施方案，处理器116可以使用深度学习(诸如通过应用神经网络或深度神 经网络)来识别来自心脏超声数据的一个或多个可能的四腔视图。例如， 可以训练神经网络或深度神经网络以识别心脏超声数据的可能示出包括患 者心脏的所有四个腔的四腔视图的帧。
31.在步骤208处，处理器116基于在步骤206期间访问的心脏超声数据来 生成图像。生成图像可能需要通过诸如扫描转换等过程将心脏超声数据处 理成用于显示的格式。扫描转换涉及将心脏超声数据从采集期间使用的几 何形状转换为几何形状，即更非常适合于在显示设备118上显示的不同坐标 系，诸如笛卡尔坐标系。
32.图3是根据示例性实施方案的心脏图像302和多条单轨迹曲线304的表 示。心脏图像302是根据实施方案的4腔视图。在步骤208处，处理器可以 生成图像，诸如图3所示的心脏图像302。4腔视图(诸如心脏图像302) 理想地示出了所有四个心腔。心脏图像302包括左心室306、右心室308、 左心房310和右心房312。心脏图像302还包括棘314。
33.在方法200的步骤210处，处理器116从在步骤208处生成的心脏图像 自动地分割多个心腔。根据期望心脏视图是4腔视图的实施方案，在步骤 210处由处理器116分割的多个结构可以包括来自心脏图像302的左心室 306、右心室308、左心房310和右心房312。
34.处理器116还可以任选地分割一个或多个附加结构，诸如棘、主动 脉、室间隔(ivs)或可以用作界标的另一个结构。根据一个示例性实施方 案，处理器116可以被配置为从心脏图像302分割多个心腔(即，左心室 306、右心室308、左心房310和右心房312)。根据另一个示例性实施方 案，处理器116可以被配置为在步骤210处从图像分割多个心腔(即，左心 室306、右心室308、左心房310和右心房312)以及一个或多个其他结构 (诸如棘314)。
35.处理器116可以被配置为使用诸如基于形状的识别等图像处理技术来 识别用于在步骤210处进行分割的多个心腔。例如，处理器116可以使用模 型(刚性或可变形模型)或模板，以便识别多个心腔。处理器116可以被配 置为通过傅立叶处理技术在图像域或频域中的一者或两者中操作，以便识 别多个心腔。根据其他实施方案，处理器116可以被配置为应用人工智能技 术，以便在步骤210处从图像分割表示界标的多个心腔。例如，处理器116 可以被配置为应用神经网络(诸如深度神经网络或深度神经网络的系 统)，以便从图像302识别和分割多个心腔。例如，在示例性实施方案中， 处理器116可以应用神经网络的系统，以便从心脏图像302分割左心室 306、右心室308、左心房310和右心房312。例如，神经网络或神经网络的 系统可以利用用于4腔视图的精选的训练图像集合来训练。例如，精选的训 练图像集合可以包括从多个心腔被识别的不同患者获得的各种图像。神经 网络或神经网络的系统然后可以“学习”识别心腔的性状或特性。
36.在步骤212处，处理器116被配置为确定心脏图像302中的多个心腔中 的每个心腔的心腔面积。由处理器116基于从心脏图像302分割的多个心腔 计算/确定心腔面积。根据实施方案，心腔面积可以根据像素计算，如基于 在步骤210期间分割的心腔确定。根据其他实施方案，处理器116可以计算 以诸如mm2或cm2的面积单位计的心腔面积。
37.在步骤214处，处理器116在显示设备118上显示在步骤208处生成的 心脏图像。根据实施方案，心脏图像302可以作为电影的一部分显示。
38.在步骤216处，处理器116在显示设备118上与心脏图像302同时显示 多条单轨迹曲线304。图3包括第一单轨迹曲线342、第二单轨迹曲线344、 第三单轨迹曲线346和第四单
轨迹曲线348。下文将讨论关于多条单轨迹曲 线的附加细节。
39.在步骤220处，任选地接收对电影的一部分的选择。在步骤220处，处 理器116可以任选地接收指示电影的一部分的选择以进行存储。处理器116 可以基于通过用户界面输入的输入来接收对电影的该部分的选择，或者处 理器116可以自动接收对电影的该部分的选择。例如，处理器116可以使用 或应用神经网络或神经网络的系统，以便识别电影的该部分。根据实施方 案，处理器116可以基于其他自动化技术自动识别电影的该部分。下文将更 详细地描述步骤220。
40.如果处理器116在步骤220处接收到对电影的一部分的选择，则该方法 前进到将电影的该部分存储在存储器120中的步骤222。根据实施方案，处 理器116可以关联标签，该标签将电影的该部分标识为代表4腔视图。在步 骤222处存储电影的该部分之后，方法前进到步骤230。如果在步骤220处 未接收到对电影的该部分的选择，则方法前进到步骤230。
41.在步骤230处，处理器116确定是否期望生成附加心脏图像。如果期望 生成附加心脏图像，则方法400返回到步骤206。步骤206、208、210、 212、214、216、220和230被迭代重复以便显示电影图像。本领域技术人 员应当理解，如果在步骤220处接收到对电影的该部分的选择，则方法200 也将在特定迭代期间执行步骤222。
42.在执行步骤206、208、210、212、214、216、220和230的每次迭代期 间，每当基于心脏数据的不同帧生成并显示新心脏图像时，电影被刷新。 更新多条单轨迹曲线304以包括基于电影的当前心脏图像的每个心腔的心腔 面积。处理器116通过显示多个心脏图像来在显示设备118上显示电影，其 中每个心脏图像基于在不同时间采集的心脏超声数据。电影图像是本领域 技术人员众所周知的，并且因此将不会以附加细节进行描述。例如，图3所 示的心脏图像302表示在单个时间点的电影。在显示电影的过程中，每当方 法迭代地执行步骤206、208、210、212、214、216、220和230时，将利用 更新的心脏图像来更新心脏图像302。然而，多条单轨迹曲线另外包括心腔 面积的历史图，这些心腔面积基于从一个或多个先前心动周期内采集的心 脏图像分割的多个结构来计算或确定。
43.多条单轨迹曲线304中的每条单轨迹曲线表示随时间绘制的心腔中的 一个心腔的心腔面积的图(即，通过多次重复步骤206、208、210、212、 214、216、220和230而累积的每条单轨迹曲线的数据，以基于心脏超声数 据的不同帧采集心腔面积)。根据图3所示的实施方案，多条单轨迹曲线中 的每条单轨迹曲线表示与多个心腔中的不同心腔相关联的心腔面积。第一 单轨迹曲线342表示在多个心动周期内左心室306的心腔面积，第二单轨迹 曲线344表示在多个心动周期内右心室308的心腔面积，第三单轨迹曲线 346表示在多个心动周期内左心房310的心腔面积，并且第四单轨迹曲线 348表示在多个心动周期内右心房312的心腔面积。多条单轨迹曲线304被 更新为包括如由处理器116基于电影中的当前心脏图像302计算的心腔面 积，但是它们还包括基于先前的数据帧来计算的心腔面积，这些先前的数 据帧基于执行步骤206、208、210、212、214、216、220和230的先前迭 代。
44.在图3中，多条单轨迹曲线304表示在多个心动周期内多个腔中每个腔 的心腔面积。例如，根据图3所示的示例性实施方案，多条单轨迹曲线304 表示在多于三个完整心动周期内多个腔中的每个腔的心腔面积。当方法200 迭代地执行步骤206、208、210、212、214、216、220和230时，处理器 116确定附加心脏图像的心腔面积。根据实施方案，当方法200迭代地执行 步骤206、208、210、212、214、216、220和230时，在多条单轨迹曲线中 表示的心动
周期的数量可以增加。根据其他实施方案，多条单轨迹曲线可 以在预定数量的心动周期内显示心腔面积。多条单轨迹曲线304表示至少两 个心动周期，但是根据实施方案，多条单轨迹曲线304可以示出不同数量的 心动周期。根据各种实施方案，多条单轨迹曲线可以被配置为示出大于二 的整数或非整数个心动周期。在多条单轨迹曲线中表示的心动周期的数量 可以是预设的，或者可以是根据各种实施方案可由用户经由用户界面调整 的。
45.图3所示的多条单轨迹曲线304包括第一部分350、第二部分352和第 三部分354。如前所述，多条单轨迹曲线304表示随着时间推移每个心腔的 心腔面积。在第一部分350和第三部分354中，多条单轨迹曲线未表现出高 同步量。相反，在第二部分352中，多条单轨迹曲线表现出高同步量。在第 二部分352中，多条单轨迹曲线(每条单轨迹曲线表示四个心腔中的一个心 腔的心腔面积)具有高同步量。在第二部分352中，单轨迹曲线具有明确定 义的周期，并且每条单轨迹曲线的周期相似。另外，每条单轨迹曲线在大 致类似的时间达到局部最大值或局部最小值。相比之下，第一部分350和第 三部分354中的单轨迹曲线不是强烈同步的。第一部分350和第三部分354 的多条单轨迹曲线的周期性远不如第二部分352的周期性明显。
46.当利用超声探头106在正确位置采集4腔视图时，表示随时间推移的心 脏面积的多条单轨迹曲线304表现出高同步量。例如，第二部分352指示高 同步量。第二部分352中的高同步量为临床医生提供关于电影的采集质量的 定性反馈。临床医生可以通过查看由多条单轨迹曲线304表现的同步量来快 速且轻松地辨别利用超声探头106在正确位置和取向上采集的电影的一个或 多个部分以采集具有高采集质量的4腔视图。根据临床医生在查看电影和多 条单轨迹曲线304时实时采集心脏超声数据的实施方案，临床医生可以例如 使用多条单轨迹曲线来调整超声探头106的位置和/或取向以提供关于采集 质量的反馈。临床医生可以将超声探头106调整到多条单轨迹曲线304具有 高同步量的位置和取向，诸如在第二部分352中。多条单轨迹曲线304可用 于提供实时反馈来帮助临床医生定位和取向超声探头106以采集具有高采集 质量的4腔视图。
47.处理器116可以在多条单轨迹曲线304上显示图形指示符360，以便指 示电影的采集质量超过采集质量阈值的位置。图形指示符360包围单轨迹曲 线的第二部分352，该部分是通过心腔面积中的同步量确定的采集质量超过 阈值的部分。其他实施方案可以使用不同类型的图形指示符来指示采集质 量超过阈值的位置。根据其他实施方案，图形指示符可以包括一条或多条 直线、一个或多个括号、颜色和/或突出显示以便以图形方式示出电影的采 集质量超过采集质量阈值的位置。处理器116可以任选地使用神经网络来确 定在多条单轨迹曲线304上将图形指示符360定位在何处。当附加心脏超声 数据以多条单个轨迹曲线304表示时，处理器116可以实时调整图形指示符 360的定位。
48.根据另一个实施方案，临床医生可以查看在先前的检查或扫描会话期 间采集的心脏超声数据。临床医生可以使用多条单轨迹曲线304以便快速且 容易地识别具有高采集质量的电影的一部分。例如，临床医生可以使用多 条单轨迹曲线304作为指导以识别具有高采集质量的电影的一部分。
49.参考方法200的步骤220，临床医生可以使用来自用户界面的输入来选 择作为4腔视图的用于存储的电影的一部分。例如，临床医生可以使用用户 界面在步骤220处选择在步骤222处保存的电影的该部分。临床医生可以通 过与和多条单轨迹曲线304相关联的图
形用户界面元素交互来选择电影的该 部分。图3示出了根据示例性实施方案的图形用户界面元素：图3包括第一 边缘标记362和第二边缘标记364。第一边缘标记362和第二边缘标记364 是可由临床医生控制以通过用户界面选择电影的一部分的图形用户界面元 素。临床医生可以基于通过用户界面输入的输入来选择电影的一部分进行 存储。根据示例性实施方案，临床医生可以能够控制第一边缘标记362和第 二边缘标记364的位置，以便选择与多条单轨迹曲线的在第一边缘标记362 和第二边缘标记354之间的部分相对应的电影的部分。例如，用户可以将第 一边缘标记362定位在第二部分352的左边缘处并将第二边缘标记364定位 在第二部分352的右边缘处，以便选择与多条单轨迹曲线304中的第二部分352相对应的电影的一部分。用于选择电影的该部分的用户输入可以包括来 自轨迹球的输入、来自鼠标的输入或根据各种实施方案的来自触控板或触 敏显示器的输入。
50.根据实施方案，多条单轨迹曲线也可以用作用户界面的一部分，以选 择和查看来自电影的特定心脏图像。例如，用户可以定位指示符(未示 出)或沿着多条单轨迹曲线304来选择位置，以显示与在多条单轨迹曲线 304上选择的位置对应的来自电影的心脏图像。例如，用户可以利用光标来 沿着多条单轨迹曲线304选择位置，并且处理器116可以显示从沿着多条单 轨迹曲线304选择的位置处表示的时间采集的对应心脏图像。
51.方法400在图4中示出，并且将关于图1和图5进行描述。步骤206、 208、210、212、214、216、220、222和230与先前关于方法200描述的那 些步骤相同。将不会关于方法400再次描述步骤206、208、210、212、 214、216、220、222和230。与方法200相比，方法400另外包括新步骤 218。在步骤218处，方法400显示界标图像。将关于图5描述方法400。
52.图5示出了根据实施方案的心脏图像302、多条单轨迹曲线304和界标 图像370。先前关于图3和方法200描述了心脏图像302和多条单轨迹曲线 304，并且将不再对其关于图5进行描述。
53.界标图像370是从在步骤214处显示的心脏图像302分割的多个心腔的 示意图。图5中所示的界标图像370是根据实施方案的界标图像的示例。界 标图像370包括右心室326的示意图、左心室328的示意图、右心房330的 示意图以及左心房332的示意图。处理器116可以被配置为以不同的颜色表 示界标图像370中的多个结构中的每个结构。例如，处理器116可以表示呈 第一颜色的右心室326的示意图、呈第二颜色的左心室328的示意图、呈第 三颜色的右心房330的示意图以及呈第四颜色的左心房332的示意图。处理 器116被配置为在显示设备118上与心脏图像302和多条单轨迹曲线304同 时显示界标图像370。界标图像370可以包括根据各种实施方案的其他结构 的示意图。例如，图5中所示的界标图像370包括棘333的示意图。
54.根据实施方案，处理器116可以获得在步骤210处分割的多个结构的掩 模。例如，处理器116可以为多个结构中的每个结构生成单独的掩膜，或者 处理器116可以为所有多个结构生成一个掩模。例如，掩模可以限定左心室 306、右心室308、左心房310和右心房312的位置。根据各种实施方案， 由处理器116生成的掩膜可以是二元掩膜。在步骤216处，显示界标图像可 以包括在显示设备118上与心脏图像302同时显示掩膜的表示。根据其他实 施方案，处理器116可以被配置为生成不同的界标图像。例如，处理器116 可以创建示出外形或轮廓的界标图像，以示意性地表示从图像分割的多个 结构中的每个结构。界标图像304示意性地表示在步骤214处显示的图像中 的相同相对位置和取向处的多个结构。可以需要
相对有经验的临床医生快 速地识别心脏图像302中的多个结构中的每个结构。示出诸如在界标图像 370中的多个结构的示意图允许临床医生快速且容易地确定当前心脏图像 302是否在期望心脏视图的正确取向上包括多个结构，尤其是当与多条单轨 迹曲线304结合观察时。
55.如果在步骤230处，期望生成附加图像，则方法200返回到步骤206， 其中处理器116利用心脏超声数据的不同帧来重复步骤206、208、210、 212、214、216、218、220和230。作为实时采集的一部分，心脏数据的不 同帧可以是新采集的，或者可以从存储器120访问。贯穿步骤206、208、 210、212、214、216、218、220和230的每次迭代导致在步骤214处显示 更新后的心脏图像(基于心脏超声数据的更新帧)，基于从更新的心脏图 像分割多个结构来显示更新的界标图像，以及显示更新的多条单轨迹曲 线。当利用超声探头106采集心脏超声数据时，处理器116可以被配置为实 时重复方法400的步骤206、208、210、212、214、216、218、220和230。 例如，如果超声探头106已经采集了心脏超声数据的更新的帧，则处理器可 以在步骤230处返回到步骤206。根据其他实施方案，处理器116可以使用 在先前扫描会话期间采集和存储的心脏超声数据来迭代地循环通过方法400 的步骤206、208、210、212、214、216、218、220和230。例如，处理器 116可以从超声成像系统的存储器120或从远程存储器设备访问先前采集的 心脏超声数据。根据实施方案，处理器116可以经由服务器和远程存储器或 数据存储设备访问先前采集的心脏超声数据。界标图像370与心脏图像302 同步。这意味着界标图像370中的多个结构的示意图基于当前在显示设备上 显示的心脏图像302。以与在显示设备118上显示为电影的一部分的心脏图 像302相同的刷新率更新界标图像370。在其中当采集心脏超声数据的附加 帧时实时生成心脏图像302的实时采集情况下，界标图像370提供最近采集 的心脏图像302(即当前在显示设备118上显示的心脏图像302)中包含的 多个结构的示意图。根据临床医生采集实时超声数据的实施方案，临床医 生可以在迭代地重复方法200的步骤206、208、210、212、214、216、 218、220和230的过程期间对超声探头106的位置和/或取向进行调整。每 当方法重复步骤206、208、210、212、214、216、218、220和230时，显 示在显示设备118上的心脏图像302和显示在显示设备118上的界标图像 304将表示从超声探头106的最近位置和取向采集的数据。界标图像304的 优点是其有助于临床医生确定是否已经采集期望心脏视图。例如，4腔视图 应包括所有四个心腔，左心室应显示心脏的心尖，并且4腔视图应包括三尖 瓣和二尖瓣。显示与电影同步的界标图像(诸如界标图像370)为临床医生 提供了易于解释的实时反馈，该实时反馈关于当前显示的心脏图像相对于 期望心脏视图的采集质量。如果临床医生是从未处于期望视图的正确位置 的平面采集数据，则临床医生可以容易地看到界标图像中示出的多个心腔 (表示界标)未处于期望的4腔视图的正确相对位置。根据一些实施方案， 处理器116还可以显示目标界标图像，该目标界标图像将示出根据具有高采 集质量的示例的界标图像的多个结构的相对取向。然后，用户可以将界标 图像与目标界标图像进行比较。如果经验较少的临床医生不太熟悉将在4腔 视图中表示的多个结构的预期相对取向，则这可能有助于该经验较少的临 床医生识别期望的4腔视图。
56.以下参照图1描绘的超声成像系统100和部件描述图4中示出的方法 400，但是应当理解，在不脱离本公开的范围的情况下，方法400可以利用 其他超声系统和部件来实现。在一些实施方案中，方法400可在超声成像系 统100、连接到超声成像系统100的边缘设备
(例如，外部计算设备)、与 成像系统通信的云等的任何适当组合中被实现为可执行指令。作为一个示 例，方法400可在计算设备的非暂态存储器中实现，诸如图1中的超声成像 系统100的处理器116。方法400包括与关于方法200所描述的那些相同或 基本上相同的许多步骤。将不会关于方法400详细地描述与先前关于方法 200描述的步骤基本上相同的步骤。
57.方法200和400有利地向用户提供关于电影中的多个心脏图像的采集质 量的定性反馈。用户可以使用界标图像和/或多条单轨迹曲线中的定性信息 来快速且容易地识别表示4腔视图的先前采集的心脏数据的一部分。当电影 表示实时采集的实时心脏超声数据时，用户还可以使用方法200或400。例 如，用户可以基于来自界标图像和/或多条单轨迹曲线的反馈来调整超声探 头的位置和/或取向，直到电影中的当前心脏图像表示期望的心脏视图。
58.根据各种实施方案，用户可以使用界标图像370以便识别界标图像中 的多个结构何时布置在与期望视图相关联的相对位置。例如，界标图像370 可以仅包括由处理器116分割的多个结构。因此，界标图像有助于用户基于 表示期望心脏视图的界标的多个结构更快速地确定利用超声探头在适当的 位置和取向采集的心脏超声数据的部分。
59.根据各种实施方案，用户可以除界标图像370之外或代替界标图像370 使用多条单轨迹曲线304，以便快速且容易地确定关于期望的4腔视图的采 集质量的定性信息。例如，当期望心脏视图是4腔视图时并且预期多条单轨 迹曲线中表示的心腔面积随大体上同步的周期性而变化。相反，当没有从 正确平面采集心脏图像时，多条单轨迹曲线将不显示相同的同步周期性。 例如，用户可以实时调整超声探头106的位置和取向，直到基于在电影中显 示的心脏图像的多条单轨迹曲线表现出同步的周期性。用户正在寻找超声 探头位置和取向，其中四个心腔的运动是有节奏且稳定的，如由界标图像 370和多条单轨迹曲线304中的一者或两者确定的。根据一些实施方案，处 理器116可以被配置为自动保存电影中的心脏超声数据的最佳一个或多个周 期，如基于多条单轨迹曲线和/或针对界标图像分割的多个结构中的度量确 定的。
60.根据实施方案，多条单轨迹曲线也可以用作用户界面的一部分，以选 择和查看来自电影的特定心脏图像和对应的界标视图。例如，用户可以定 位指示符(未示出)或沿着多条单轨迹曲线304来选择位置，以显示来自电 影的心脏图像并显示对应的界标图像，该心脏图像对应于在多条单轨迹曲 线304上选择的位置。根据实施方案，界标图像可以始终对应于当前显示的 心脏图像。例如，用户可以利用光标沿着多条单轨迹曲线304来选择位置， 并且处理器116可以显示对应心脏图像和从沿着多条单轨迹曲线304选择的 位置处表示的时间采集的对应界标图像。
61.现在参考图6和图7，示出了根据示例性实施方案的用于从心脏图像识 别和分割多个结构的示例性神经网络。在一些示例中，可以利用心脏图像 的训练集合来训练神经网络。
62.图6描绘了具有一个或多个节点/神经元502的神经网络500的示意图， 在一些实施方案中，该一个或多个节点/神经元可设置在一个或多个层 504、506、508、510、512、514和516中。神经网络500可以是深度神经 网络。如本文关于神经元所用，术语“层”是指具有以类似方式连接到模 拟神经元的其他集合的输入和/或输出的模拟神经元的集合。因此，如图6 所示，神经元502可经由一个或多个连接518彼此连接，使得数据可从输入 层504传
播通过一个或多个中间层506、508、510、512和514到输出层 516。
63.图7示出了根据示例性实施方案的神经元的输入和输出连接。如图7 所示，单个神经元502的连接(例如，518)可包括一个或多个输入连接 602和一个或多个输出连接604。神经元502的每个输入连接602可以是前 导神经元的输出连接，并且神经元502的每个输出连接604可以是一个或 多个后续神经元的输入连接。虽然图7将神经元502描绘为具有单个输出 连接604，但是应当理解，神经元可具有发送/传输/传递相同值的多个输出 连接。在一些实施方案中，神经元502可以是数据构造(例如，结构、实 例化的类对象、矩阵等)，并且输入连接可由神经元502接收为加权数值 (例如，浮点或整数值)。例如，如图7进一步所示，输入连接x1、x2和 x3可以分别经由权重w1、w2和w3加权、求和，并作为输出连接y发送/ 传输/传递。如将理解的是，单个神经元502的处理通常可以通过以下公式 表示：
[0064][0065]
其中n是到神经元502的输入连接602的总数。在一个实施方案中，y的值 可以至少部分地基于wixi的总和是否超过阈值。例如，如果加权输入的总 和未超过期望阈值，则y可具有零(0)值。
[0066]
从图6和图7中将进一步理解，输入层504中的神经元502的输入连接 602可以被映射到输入501，而输出层516中的神经元502的输出连接604 可以被映射到输出530。如本文所用，将给定输入连接602“映射”到输入 501是指输入501影响/指示所述输入连接602的值的方式。类似地，如本文 所用，将给定输出连接604“映射”到输出530是指所述输出连接604的值 影响/指示输出530的方式。
[0067]
因此，在一些实施方案中，采集/获得的输入501被传递/馈送到神经网 络500的输入层504并且传播通过层504、506、508、510、512、514和 516，使得输出层516的映射输出连接604生成/对应于输出530。如图所 示，输入501可以包括心脏图像。该心脏图像可以描绘可由神经网络500识 别的一个或多个结构。此外，输出530可以包括由神经网络500识别的一个 或多个结构的位置和轮廓。
[0068]
可以使用多个训练数据集来训练神经网络500。每个训练数据集可以包 括例如注释的心脏图像。基于训练数据集，神经网络500可以学习识别来自 心脏图像的多个结构。其中的机器学习或深度学习(例如，由于解剖特征 的布置、尺寸等的可识别趋势)可能引起权重(例如，w1、w2和/或w3) 变化、输入/输出连接变化或对神经网络500进行其他调整。此外，随着采 用附加的训练数据集，作为响应机器学习可以继续调整神经网络500的各种 参数。如此，可以周期性地增加神经网络500的灵敏度，从而导致更高的解 剖特征识别精度。
[0069]
如本文所用，以单数形式列举并且以单词“一个”或“一种”开头的 元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类 排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也 包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否 则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施 方案可包括不具有该特性的附加此类元件。术语“包括”和“在
…
中”用 作相应的术语“包含”和“其中”的简明语言等同形式。此外，术语“第 一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要 求或特定位置次序。
[0070]
该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领 域中的普通
技术人员能够实践本发明，包括制造和使用任何设备或系统以 及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定， 并且可包括本领域普通技术人员想到的其他示例。如果此类其他示例具有 与权利要求书的字面语言没有区别的结构元件，或者如果它们包括与权利 要求书的字面语言具有微小差别的等效结构元件，则此类其他示例旨在落 入权利要求书的范围内。