用于自动超声图像标记和质量分级的系统和方法与流程

用于自动超声图像标记和质量分级的系统和方法


背景技术：
技术领域
1.本公开一般涉及涉及超声成像系统和方法，并且更具体地涉及用于超声成像和评估超声图像的基于人工智能的网络，以及用于自动识别和标记获取的超声图像中的解剖结构并用于对获取的超声图像的图像质量分级的系统和方法。
2.相关技术描述
3.超声成像通常在临床环境中由训练的超声专家执行。对于诊断超声成像，器官或其它组织或身体特征(如体液、骨骼、关节等)的特定视图是临床上显著的。根据目标器官、诊断目的等，此类视图可以由临床标准规定为应该由超声技术人员捕获的视图。
4.获取的超声图像的图像质量根据各种因素而变化，包括例如探头的定位、成像参数(例如，深度、增益等)等。针对临床使用(例如，用于诊断)，超声图像通常应该具有合适的图像质量。临床医生通常需要大量训练以便评估超声图像的诊断质量。可以在图像采集期间实时获得此类图像，或者可以先前获取此类图像。在两种情况下，临床医生需要理解超声图像的诊断质量的水平。类似地，在训练和教学环境中，需要专家超声用户来对由学生和无经验用户获取的图像的诊断质量分级，这对于超声专家非常耗时。
5.此外，临床医生通常需要大量的训练才能够识别超声图像中存在的解剖结构。这在实时超声图像采集期间特别具有挑战性，在此期间，当探头的位置和定向相对于感兴趣的器官移动时，超声图像实时地连续变化。
6.虽然常规超声成像系统可能适用于医院或类似临床环境中的大多数患者，但是此类系统需要大量训练来操作并且充分捕获临床上期望的视图。这增加了这种超声成像的总成本，并且进一步限制了对患者的超声成像的可用性，因为只有良好训练的专业人员可以正确操作常规超声成像设备。


技术实现要素：

7.本公开提供了便于自动超声图像标记和自动超声图像质量分级的系统和方法。具体地，本文提供的系统和方法可操作以识别所获取的超声图像内的解剖结构，并且用识别解剖结构的信息来标记识别的解剖结构。标签可以与获取的超声图像一起显示在显示设备上，例如，标签可叠加在与识别的解剖结构的位置或区域相对应的位置或区域处的超声图像上。此外，本文提供的系统和方法可操作以自动地对获取的超声图像的图像质量分级，并且在一些实施方案中，等级可以被显示或以其它方式提供给用户，并且在一些实施方案中，等级可用于帮助指导用户对更高质量图像的采集，例如，表示器官或其它身体特征的临床上期望的视图的超声图像。
8.在各种实施方案中，机器学习技术用于对超声图像的诊断质量自动分级，这解决了以下问题：(i)新的和无经验的超声用户在采集期间不知道其图像的诊断质量，以及(ii)专家教导员必须花费显著量的时间来对由新的/无经验的用户获取的图像的诊断质量分
级。本文提供的实施方案应用高级机器学习方法来对超声图像的诊断质量自动分级，并且等级可基于由临床社区提供的得到确认的图像质量标度或标准。
9.在各种实施方案中，通过应用机器学习算法来解决超声图像中正确识别解剖结构的问题，以实时地在采集或后采集或采集和后采集两者期间实时地执行此类解剖结构的识别和标记。在各种实施方案中应用高级机器学习方法以不仅识别图像中的关键解剖结构，而且还对它们定位，即确定图像中每个解剖结构存在的位置。
10.在至少一个实施方案中，提供了一种超声系统，该超声系统包括超声成像设备和解剖结构识别和标记电路。超声成像设备获取患者的超声图像。解剖结构识别和标记电路接收所获取的超声图像，自动识别所接收的超声图像中的一个或多个解剖结构，以及利用识别一个或多个解剖结构的信息自动标记图像中的一个或多个解剖结构。超声成像设备包括显示器，该显示器显示获取的超声图像和标记的一个或多个解剖结构。
11.在至少一个实施方案中，提供了一种方法，该方法包括：通过解剖结构识别和标记电路接收由超声成像设备获取的超声图像；通过解剖结构识别和标记电路自动识别所接收的超声图像中的一个或多个解剖结构；通过解剖结构识别和标记电路利用识别该一个或多个解剖结构的信息自动标记获取的超声图像中的该一个或多个解剖结构；以及显示获取的超声图像和标记的一个或多个解剖结构。
12.在至少一个实施方案中，超声系统包括超声图像分级电路，该超声图像分级电路被配置成从超声成像设备接收获取的超声图像，并且自动对所接收的超声图像的图像质量分级。包括被配置成同时显示所获取的超声图像和图像质量等级的指示的显示器。
附图说明
13.图1是根据本公开的一个或多个实施方案的示出自动超声图像标记和质量分级系统的框图；
14.图2是示出根据本公开的一个或多个实施方案的图1所示系统的机器学习电路的训练的框图；
15.图3是示出根据本公开的一个或多个实施方案的可由机器学习电路实施的神经网络的框图；
16.图4是根据本公开的一个或多个实施方案的超声成像设备的示意性图示；
17.图5是示出根据本公开的一个或多个实施方案的示出自动标记的超声图像的视图；并且
18.图6a和图6b是根据一个或多个实施方案的示出包括指示超声图像的质量的等级的超声图像的视图。
具体实施方式
19.本公开提供了用于自动超声图像标记和质量分级的系统和方法的若干实施方案，以及用于超声图像识别的系统和方法。本文提供的系统和方法对于由无经验超声技术人员执行的超声成像和/或利用可以在非传统临床环境中部署的手持式或移动超声成像设备的超声成像来说特别有用。利用人工智能方法，本文提供的系统和方法能够自动识别和标记所获取的超声图像内的解剖结构。标签可以与超声图像一起显示，例如，叠加到图像中的对
应解剖结构上。人工智能方法也用于本文提供的系统和方法中，以自动确定用于获取的超声图像的图像质量等级，并且在一些实施方案中，可以利用所确定的图像质量等级来指导用户对特定超声图像的采集，例如特定的临床上期望或标准视图。
20.在各种实施方案中，本文提供的系统和方法可以进一步用于确定获取的超声图像是否准确地描绘或表示患者的器官或其它组织、患者的特征或感兴趣的区域的期望视图。
21.本文提供的系统和方法可向用户提供反馈，例如，以指示所获取的超声图像的确定的图像质量，以及指示是否已经捕获患者器官或其它组织或特征的期望视图。在一些实施方案中，显示超声图像以及应用于超声图像中识别的解剖结构的标签。
22.图1示出了根据本公开的实施方案的自动超声图像标签和质量分级系统100(在本文中可以称为超声系统100)的框图。如图1所示，超声系统100包括超声成像设备110、通信网络102、机器学习电路105和图像知识数据库122。这些中的每一者可结合到单个超声设备中，例如手持式或便携式设备，或者可构成彼此操作地连接或可连接的多个设备。如本文将进一步详细描述的，机器学习电路105可包括超声图像识别模块120、解剖结构识别和标记模块130，以及超声图像分级模块140，其中的每一者可包括被配置成执行如本文所述的相应模块的功能或动作的编程和/或硬连线电路。
23.超声成像设备110是可操作以获取患者的超声图像的任何超声设备，并且在至少一些实施方案中可以为例如手持式超声成像设备。超声成像设备110可包括显示器112、存储器114和一个或多个处理器116。超声成像设备110可操作地耦合到超声探头118。
24.存储器114还可以为或可包括任何计算机可读存储介质，包括例如只读存储器(rom)、随机存取存储器(ram)、闪存存储器、硬盘驱动器、光学存储设备、磁存储设备、电可擦可编程只读存储器(eeprom)、有机存储介质，等等。
25.处理器116可以为可操作以执行指令(例如，存储在存储器114中的)的任何计算机处理器执行如本文所述的超声成像设备110的功能。
26.超声探头118由超声成像设备110驱动以向患者中的目标区域发射信号，并且响应于发射信号接收从目标区域返回的回波信号。在操作中，超声设备110的用户可以在一定位置和角度将探头118保持抵靠患者的身体，以获取期望的超声图像。由探头接收的信号(即回波信号)被传送到超声成像设备110并且可形成或被处理以形成患者的目标区域的超声图像。进一步，可将超声图像提供给显示器112，该显示器可向用户显示超声图像和/或任何其它相关信息。
27.因此，由超声成像设备110获取的超声图像可经由通信网络102提供给机器学习电路105。来自超声成像设备110的超声图像被提供给机器学习电路105，如附图标记101所示。通信网络102可利用一个或多个协议来通过一个或多个物理网络进行通信，包括局域网、无线网络、专用线、内联网、互联网等。
28.在一个或多个实施方案中，机器学习电路105(包括例如超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140)可设置在超声成像设备110内，或者机器学习电路105和/或存储在图像知识数据库122中的超声图像知识的本地副本可包括在超声成像设备110内，其中超声成像设备110接入远程定位的(例如存储在一个或多个服务计算机上，或者存储在“云”中)机器学习电路105。
29.机器学习电路105可以为或包括被配置成执行本文所述的超声图像识别、图像标
记和图像分级技术的任何电路。在一些实施方案中，机器学习电路105可包括计算机处理器、微处理器、微控制器等或由其执行，被配置成执行本文关于机器学习电路105描述的各种功能和操作。例如，机器学习电路105可由由存储的计算机程序选择性地激活或重新配置的计算机处理器执行，或者可以为用于执行本文所述的特征和操作的专门构建的计算平台。在一些实施方案中，机器学习电路105可被配置成执行存储在任何计算机可读存储介质中的软件指令，任何计算机可读存储介质包括例如只读存储器(rom)、随机存取存储器(ram)、闪存存储器、硬盘驱动器、光学存储设备、磁存储设备、电可擦可编程只读存储器(eeprom)、有机存储介质，等等。
30.机器学习电路105接收从超声成像设备110获取的超声图像，并且自动确定所接收的超声图像中的每个所接收的超声图像的图像质量等级，并且自动地标记接收到的超声图像中的一个或多个解剖结构。例如，在一些实施方案中，解剖结构识别和标记模块130(其可被包括作为机器学习电路105的一部分)自动识别超声图像中的解剖结构，并且自动将标签与识别的解剖结构相关联。在一些实施方案中，(例如，在显示器112上)显示与识别的解剖结构相关联的标签并叠加或嵌入到显示对应解剖结构的区域中的超声图像内。
31.在一些实施方案中，超声图像分级模块140(其可被包括作为机器学习电路105的一部分)自动确定所接收的超声图像中的每个所接收的超声图像的图像质量等级。
32.在一些实施方案中，超声图像识别模块120(其可被包括作为机器学习电路105的一部分)自动确定所接收的超声图像中的一个或多个所接收的超声图像是否表示患者的器官或其它方面、区域或特征的临床上期望的视图。
33.超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140中的每一者可由采用人工智能、从图像知识数据库122中提取的计算智能系统来实施，以执行如本文所述的这些模块的功能(例如，确定所接收的超声图像是否表示临床上期望的视图，识别和标记超声图像中的解剖结构，以及确定超声图像的图像质量等级)。本文所述的超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140的一些或全部功能可由超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140例如响应于接收到获取的超声图像来自动执行。
[0034]“人工智能”在本文中用于广泛地描述可学习知识(例如，基于训练数据)，并且使用此类学习知识来调整其方法以解决一个或多个问题的任何计算智能系统和方法。人工智能机器可采用例如神经网络、深度学习、卷积神经网络和贝叶斯程序学习技术来解决如图像识别、解剖结构识别和标记以及图像质量分级等问题。此外，人工智能可包括以下计算技术中的任何一种或组合：限定程序、模糊逻辑、分类、常规人工智能、符号操纵、模糊设定理论、进化计算、循环性、数据挖掘、近似推理、无导数优化、决策树和/或软计算。采用一个或多个计算智能技术，机器学习电路105(例如，包括超声图像识别模块120、解剖结构识别和标记模块130以及超声图像分级模块140)可学习适应未知和/或变化的环境，以获得更好的性能。
[0035]
图像知识数据库122可包括有助于通过超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140针对所接收的超声图像的图像分析的各种信息。
[0036]
在一些实施方案中，图像知识数据库122可包括与各种器官的各种图像视图有关的信息。例如，图像知识数据库122可包括与心脏的临床标准或期望视图相关联的信息。心
脏的临床标准视图可包括例如胸骨上、肋下、短轴和长轴胸骨、2腔室顶、3腔室顶、4腔室顶和5腔室顶视图。另外，与临床标准视图相关联的信息可以为与三维视图、二维横截面视图和/或一组二维横截面视图相关联的信息。
[0037]
图像知识数据库122可存储在可由机器学习电路105访问的任何计算机可读存储介质中，包括例如超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140中的任一个。
[0038]
图2是说明根据一个或多个实施方案的机器学习电路105的训练的框图。在各种实施方案中，机器学习电路105的训练可包括超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140中的每一者的单独或同时训练。此外，在一些实施方案中，超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140中的每一者可被实施为单独的机器学习模型，并且在其它实施方案中，超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140中的一些或全部可以在相同的机器学习模型中实施。
[0039]
可基于训练图像210训练机器学习电路105。训练图像210可包括任何超声图像信息。例如，训练图像210可包括用于训练超声图像识别模块120的图像信息，例如与器官(诸如心脏)的已知视图相关联的各种超声图像信息。作为另外的示例，训练图像210可以为临床上期望的图像，例如，心脏的胸骨视图。在这种情况下，训练图像210可以为预先确定(例如，通过医师)为充分显示心脏的临床上期望的胸骨上视图的超声图像。每个此类训练图像210可具有略微不同的特性(较更高质量的图像、较低质量的图像、模糊图像、以稍微不同的角度拍摄的图像等)，但是每个此类训练图像210仍然可被预定为充分表示心脏或其它解剖结构的临床上期望的视图。
[0040]
此外，训练图像210可不仅包括与临床标准或期望视图相关联的图像信息，而且可进一步包括与非临床标准或期望视图相关联的图像信息。因此，超声识别模块120可接收例如心脏的视图，该心脏不代表任何特定的临床上期望的视图(例如胸骨上、肋下、短轴和长轴胸骨、2腔室顶、3腔室顶、4腔室顶和5腔室顶视图)。在这种情况下，超声识别模块120仍然可被训练成将图像识别为心脏的视图，并且可进一步将图像识别为在例如2腔室顶视图和3腔室顶视图之间的某处的图像。临床标准的3腔室顶视图通常例如通过相对于2腔室顶视图逆时针旋转超声成像探头60
°
来获得。使用探头以相对于2腔室顶视图逆时针在例如5
°
和55
°
之间的某个旋转角度获得的超声图像可被确定为不表示心脏的临床上期望的视图。超声图像识别模块120可用显示各种已知但非临床上期望的心脏视图(诸如在2腔室顶视图和3腔室顶视图之间的某处的视图)的训练图像210来训练，并且因此可识别此类视图(例如，超声图像识别模块120可识别表示探头118相对于2腔室顶视图的35
°
逆时针旋转的视图)。在一些实施方案中，在识别出含有已知非临床上期望的视图的超声图像时，可以向用户提供指导以便以最终实现临床上期望的视图的采集的方式移动超声探头。
[0041]
在一些实施方案中，训练图像210可包括用于训练解剖结构识别和标记模块130的图像信息。例如，训练图像210可包括与已知解剖结构(诸如特定器官(例如，心脏))或器官(例如，左心室、右心室、左心房、右心房、二尖瓣、三尖瓣、主动脉瓣等)的特定特征相关联的各种超声图像信息。此外，训练图像210可包括来自各种不同视图的与此类已知解剖结构相关联的图像信息。在不同视图中，原子结构在不同视图中看起来可能非常不同，例如，左心
室在各种不同视图(例如，顶lv、胸骨长lv、胸骨长lv)处获取的超声图像中看起来可能不同。因此，各种不同视图中表示已知解剖结构(例如，左心室)的超声图像可被提供为训练图像210，该训练图像可用于训练解剖结构识别和标记模块130以不仅识别解剖结构，而且识别由超声图像提供的特定视图。
[0042]
在一些实施方案中，训练图像210可包括用于训练超声图像分级模块140的图像信息。例如，训练图像210可包括不同图像质量的各种超声图像(例如，较高质量的图像、较低质量的图像、模糊图像等)。用于训练超声图像分级模块140的训练图像210的质量可以例如通过诸如医师或其他临床医生等专家来分级。训练图像210的质量可基于任何分级系统来分级。在一些实施方案中，训练图像210的质量可基于标准分级系统来分级，诸如下表1所提供的美国急救医师学会(acep)分级准则。训练图像210中的每个训练图像可被分配特定等级(例如，1至5)由医师或其它临床医生，具有表示训练图像210的质量的分配等级。
[0043][0044]
[表1：acep图像质量分级准则]
[0045]
其它训练输入220可进一步提供给超声图像识别模块120用于训练。其它训练输入220可包括例如手动输入的输入以通过训练过程调整或以其它方式管理图像识别模块120中开发的图像识别模型。
[0046]
使用训练图像210，机器学习电路105(包括超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140)可实施迭代训练过程。训练可基于各种学习规则或训练算法。例如，学习规则可包括以下中的一个或多个：反向传播、实时递归学习、逐个模式学习、监督学习、插值、加权和、增强学习、时间差异学习、无监督学习和/或记录学习。
[0047]
反向传播学习算法是可与例如图3中所示的人工神经网络300一起采用的训练人工神经网络的方法的示例。反向传播通常包括两个阶段：传播和权重更新。在传播阶段中，训练模式的输入通过神经网络正向传播，以便生成传播的输出活跃度。然后，使用训练模式目标通过神经网络反向传播传播的输出激活以生成所有输出和隐藏神经元的δ(即，输入值和输出值之间的差异)。在权重更新阶段中，针对每个权重-突触，通常执行以下步骤：1.将输出δ和输入活跃度相乘，得到权重的梯度；2.从权重中减去梯度的比率(百分比)。根据需要重复传播和权重更新阶段，直到网络的性能令人满意。
[0048]
由于训练，超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140可学习以响应于训练图像210而修改其行为，并且获得或生成超声图像知识230。超声图像知识230可表示超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140可确定对新数据或情况的适当响应的任何信息。例如，超声图像知识230可表示
超声图像与器官的一个或多个视图之间的关系(例如，一种或多种功能，这些功能基于超声图像参数、系数、加权信息、与图3中所示的示例神经网络相关联的参数或任何此类变量描述器官的一个或多个视图)，这些关系可由超声图像识别模块120利用来识别超声图像。进一步地，超声图像知识230可表示来自各种不同视图的所接收的超声图像信息与所接收的超声图像信息中表示的识别解剖结构之间的关系。另外，超声图像知识230可表示所接收的超声图像信息与所接收的超声图像信息的图像质量之间的关系。
[0049]
超声图像知识230可存储在超声图像知识数据库122中。
[0050]
基于训练图像210，超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140可学习以修改其行为，并且可应用包含在图像知识数据库122中的知识来改变这些模块相对于新输入(诸如，例如，从超声成像设备110接收的超声图像信息)进行确定的方式。
[0051]
图3是示出根据一个或多个实施方案的可由机器学习电路105实施的人工神经网络300的一个示例的框图。在一些实施方案中，超声图像识别模块120、解剖结构识别和标记模块130以及超声图像分级模块140中的每一者可由神经网络(诸如图3中所示的神经网络300)实施。人工神经网络(ann)是用于估计或近似可取决于大量输入并且通常是未知的函数的人工智能模型。此类神经网络通常包括彼此之间交换信息的互连“神经元”的系统。连接具有可基于经验调谐的数字权重，并且因此神经网络对输入是自适应的，并且能够学习。
[0052]
图3中所示的人工神经网络300包括三层：输入层310，其包括输入神经元i1到i3；隐藏层320，其包括隐藏层神经元h1到h4；和输出层330，其包括输出神经元f1和f2。虽然图3的神经网络300被示出为具有三层，但是应当容易理解的是，可以根据需要在神经网络300中包括另外的层，以实现机器学习电路105的最佳训练和性能。类似地，出于示例性目的示出了每层中的神经元，并且应当容易理解，每个层可以包括比图3中所示更多、甚至显著更多的神经元。
[0053]
可通过向输入层310提供训练图像210来训练神经网络300。如关于图2所描述的，训练图像可包括具有各种已知特性的超声图像信息，包括例如各种器官视图、各种不同成像视图处的各种已知解剖结构、各种图像质量或等级等。通过训练，神经网络300可生成和/或修改隐藏层320，该隐藏层表示将在输入层310处提供的训练图像210映射到输出层330处的已知输出信息的加权连接(例如，将图像分类为心脏的特定成像视图，识别图像中的特定解剖结构，将图像分类为具有特定图像质量)。通过训练过程形成并且可包括权重连接关系的输入层310、隐藏层320和输出层330的神经元之间的关系在本文中通常被称为“超声图像知识”，并且可存储在例如超声图像知识数据库122中。
[0054]
一旦神经网络300已被充分训练，神经网络300就可在输入层310处设有非训练超声图像(即，利用超声成像设备110获取的患者的超声图像)。利用存储在超声图像知识数据库122中的超声图像知识(其可包括例如神经网络300的神经元之间的加权连接信息)，神经网络300可在输出层330处对所接收的超声图像信息做出确定。例如，神经网络300可确定所接收的超声图像是否表示器官的一个或多个临床上期望或非临床上期望的视图，并且可进一步识别所接收的超声图像中的一个或多个解剖结构，并且可自动标记图像中识别的解剖结构，与此同时可进一步自动确定图像质量等级和将其分配给所接收的超声图像。
[0055]
在机器学习电路105的各种可能实施方案中，图3的神经网络300仅作为一个示例
提供，该机器学习电路采用人工智能以相对于所接收的超声图像信息进行确定。例如，机器学习电路105(包括超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140中的一个或多个)可实施神经网络、深度学习、卷积神经网络和贝叶斯程序学习技术中的任一个，以相对于患者的所接收的超声图像进行确定。
[0056]
此外，可利用各种训练图像210和/或训练图像210的各种序列来训练超声识别模块120，以进行与所接收的超声图像信息有关的各种确定。例如，超声识别模块120可被训练或以其它方式配置成确定所接收的超声图像是否表示一个或多个临床标准或期望视图。此外，超声识别模块120可确定接收到的超声图像是否表示非临床上期望的视图(并且可识别此类非临床上期望的视图作为患者体内的特定器官或其它组织的特定视图或角度)，并且可进一步基于所接收的超声图像的序列来确定图像是否正在接近或移动远离器官的临床上期望的视图。例如，如果所接收的超声图像的图像质量逐个提高(基于由超声图像分级模块140提供的质量评估)，超声识别模块120可确定用户正在移动以获得器官或其它解剖结构的临床上期望的视图。基于其识别图像是否正在接近或移动远离器官的临床上期望的视图和/或其识别捕获的实际图像，系统然后可被配置成向用户提供反馈以帮助用户例如通过指示用户可能希望移动探头的方向和/或用户可能希望使探头倾斜的旋转角度或定向来提供反馈。
[0057]
例如，如上文所论述，超声图像识别模块120可用显示各种已知但非临床上期望的心脏视图(诸如在2腔室顶视图和3腔室顶视图之间的某处的视图)的训练图像210来训练，并且因此可识别此类视图(例如，超声图像识别模块120可识别表示探头118相对于2腔室顶视图的35
°
逆时针旋转的视图)。进一步，超声图像识别模块120可用一系列识别的但非临床标准或期望的心脏视图来训练。例如，超声图像识别模块120可被训练成识别显示心脏相对于2腔室顶视图在0
°
与60
°
之间逆时针旋转每个度数(即，2腔室顶视图和3腔室顶视图之间的每个度数)的视图的超声图像。进一步，超声图像识别模块120可被训练成识别朝向和/或远离临床上期望的视图的此类非临床上期望的视图的序列或进展(例如，训练图像210可包括表示探头118从2腔室顶视图朝向和/或远离3腔室顶视图旋转的超声图像的序列)。因此，超声图像识别模块120可被训练成识别所接收的超声图像，而不表示特定的临床上期望的视图，可连续地更靠近(或移动远离)临床上期望的视图。
[0058]
此外，超声图像识别模块120可被训练成使得超声图像识别模块120可确定所接收的超声图像是否表示器官的多个临床上期望的视图中的任一个视图。器官的此类临床上期望的视图可包括心脏的胸骨上、肋下、短轴和长轴胸骨、2腔室顶、3腔室顶、4腔室顶和5腔室顶视图。
[0059]
再次参考图1，机器学习电路105(包括超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140中的任一个)可基于对由机器学习电路105接收的超声图像的分析向超声成像设备110提供反馈信号(例如，由附图标记103指示)，如下文进一步详细描述的。
[0060]
图4示意性地示出了根据一个或多个实施方案的超声成像设备110。超声成像设备110可包括显示器112、包括一个或多个输入元件412的用户界面410、一个或多个视觉反馈元件420、声音反馈元件430和/或触觉反馈元件440。
[0061]
用户界面410允许用户控制超声成像设备110或以其它方式与其通信。可以例如经
由用户输入元件412提供各种类型的用户输入，这些用户输入元件可以为按钮或类似的用户输入元件。另外或可选地，显示器112可以为触摸屏显示器，并且可以经由显示器112接收用户输入。使用超声成像设备110，用户可选择(例如，经由输入元件412和/或显示器112)或以其它方式输入患者体内待成像的器官的期望视图。例如，用户可以存储在超声成像设备110中并呈现给用户的多个临床上期望的视图中选择一个视图(例如，心脏的肋下视图)。超声成像设备110可将所选视图传送到超声图像识别模块120，并且因此超声图像识别模块120可被配置成确定所接收的超声图像是否表示所选视图。也就是说，超声图像识别模块120可访问适当的超声图像知识(例如，在图像知识数据库122中与心脏的肋下视图相关联的知识、规则或关系)，使得所接收的超声图像可与对应于所选视图的知识进行比较或由其进行处理。可选地，用户可选择操作模式，其中系统通过捕获器官(诸如上述的心脏)的一系列标准视图中的一个或多个视图来引导用户。在这种模式中，系统可首先选择要成像的器官的期望视图，并且然后在期望图像已经被捕获和/或基于初始图像捕获朝期望视图引导用户时确认用户。例如，当超声图像识别模块120确定所接收的超声图像表示器官的特定所选视图时，系统100(例如，经由超声成像设备110)可向用户提供指示(例如，视觉、听觉或触觉反馈)，以确认所选视图的获取。另一方面，如果超声图像识别模块120确定所接收的超声图像不表示器官的特定所选视图，则系统100可向用户提供指示(例如，视觉、听觉或触觉反馈)，该指示朝所选视图的获取引导用户，诸如通过提供探头118的用户运动的指示以便获取所选视图。探头118的用户运动的指示可包括例如探头118的旋转或平移运动的特定方向和/或量的指示以便获取所选视图。
[0062]
然后，系统100可针对待成像器官的期望标准视图中的每个期望标准视图重复此过程。也就是说，对于期望获取的器官的一系列视图中的每个视图，系统100可迭代地指导用户在一系列视图中获取特定所选视图，并且可确认何时已经获取每个所选视图。另选地，在一些实施方案中，系统100被配置成以这样的方式操作：将任何捕获的图像与待捕获的图像中的每个待捕获的图像进行比较，并且确认何时已经捕获了所需标准视图中的一个或多个视图，而无需首先指示要首先捕获哪个视图。例如，在一些实施方案中，不需要首先选择特定视图。相反，系统100可自动识别在成像会话期间何时已经获取了特定的期望视图(例如，心脏的临床标准视图等)。一旦已经获取了特定的期望视图，系统100(例如，经由超声成像设备110)可自动向用户提供确认已经获取期望视图的指示，并且用户可以继续进行对患者的检查。类似地，当已经获取第二期望视图时，系统100可自动提供用户确认已经获取第二视图的指示，等等。在各种实施方案中，一旦已经例如通过将超声图像存储在超声图像数据库115中捕获表示期望视图的超声图像，系统100就可以自动存储这些超声图像。
[0063]
视觉反馈元件420可以为可向超声成像设备110的用户提供视觉指示的任何元件，并且可以为例如一个或多个灯、颜色、形状、图标等，无论是静态的还是移动的。声音反馈元件430可以为能够向超声成像设备110的用户产生声音指示的任何元件，并且可以为例如用于产生与捕获的图像和期望捕获的图像之间缺乏对应性和对应关系相关联的各种音调或声音的扬声器。类似地，触觉反馈元件440可以为能够向超声成像设备110的用户提供触觉效果的任何元件，并且可以为例如振动设备。
[0064]
由超声图像识别模块120提供的反馈信号103可指示由超声图像识别模块120关于从超声成像设备110所接收的超声图像进行的各种确定中的任何确定。
[0065]
例如，超声图像识别模块120可以提供反馈信号103，该反馈信号指示当前或最近接收的超声图像表示器官的临床上期望的视图(例如，所选临床上期望的视图)。在另一个示例中，超声图像识别模块120可确定所接收的超声图像是否顺序地接近或移动远离器官的临床上期望的视图，并且提供反馈信号103，该反馈信号例如基于超声图像分级模块140提高或降低超声图像的质量确定，或基于已知与指示朝向或远离器官的临床上期望的视图的移动的图像的进展一致的所识别图像或结构的序列来指示所接收的超声图像是否顺序地接近或移动远离器官的临床上期望的视图。此反馈信号可包括视觉或听觉命令，以指示用户以某种方式或图标(诸如直线或弯曲箭头)移动或倾斜探头，该命令指示探头所需的移动方向和/或角度，以便更好地接近器官的期望图像。
[0066]
超声成像设备110接收反馈信号103，并且作为响应，可激活一个或多个反馈元件(即，视觉反馈元件420、声音反馈元件430和/或触觉反馈元件440)以向超声成像设备110的用户提供反馈效果。例如，反馈信号103可指示当前或最近所接收的超声图像表示器官的临床上期望的视图。在这种情况下，由超声成像设备110提供的反馈效果可包括闪烁视觉反馈元件420的绿光420a、来自声音反馈元件430的可听音调或哔哔声和/或由触觉反馈元件440提供的振动脉冲。闪烁的绿光420a、可听音调和/或振动脉冲向用户指示已经获得期望视图，并且用户可因此保留期望视图的超声图像(例如，利用一个或多个用户输入元件412)以及将图像存储在超声图像数据库115中。
[0067]
附加地或另选地，在确定在所接收的超声图像中表示器官的临床上期望的视图时，超声图像识别模块120可能使(例如，通过反馈信号103)超声成像设备110自动保留和存储超声图像数据库115中的超声图像。还可以显示在每个期望类型的图像旁边具有适当指示的表，以指示用户是否已经捕获了期望的图像或是否仍然针对正被成像的特定患者捕获期望的图像。在一些实施方案中，该表包括将与特定类型的超声成像会话相关联获得的一组超声图像。一组超声图像可包括例如在特定类型的超声成像会话(例如，心脏成像会话)期间要采集的多个不同视图，诸如以下中的一个或多个：心脏的胸骨上、肋下、短轴和长轴胸骨、2腔室顶、3腔室顶、4腔室顶和5腔室顶视图。表内可包括各种不同类型的超声成像会话，诸如针对特定病理(例如，肺病理、心脏病理等)、针对特定解剖结构(例如，肺、心脏等)、或针对任何其他类型的超声成像会话或检查的超声成像会话或检查。超声成像会话中的每个超声成像会话可具有应该获得的相关联的一组期望或临床标准视图，并且表内可包括每个此类视图用于特定超声成像会话。在采集一组期望或临床标准视图中的每个视图时，可在表中自动进行输入以指示此类视图的采集。
[0068]
在反馈信号103指示所接收的超声图像被顺序地接近或移动远离器官的临床上期望的视图的实施方案中，超声成像设备110可例如通过提供改变的反馈效果来向用户传达这一点，改变的反馈效果为诸如当所接收的超声图像接近(或移动远离)临床上期望的视图时可听音调的频率增加(或减小)，当所接收的超声图像接近(或移动远离)临床上期望的视图时一系列振动脉冲的强度增加(或减小)，和/或当所接收的超声图像接近或移动远离临床上期望的视图时，对不同颜色或位置的光进行照明(例如，当所接收的超声图像接近临床上期望的试图时，对红色外部光420c，然后是黄色中间光420b，然后是绿色中心光420a进行照明)。
[0069]
在一些实施方案中，反馈信号103可表示从超声图像分级模块140得出或提供的信
息。例如，反馈信号103可指示获取的超声图像的预测或确定等级(例如，1至5等级)，并且等级可例如通过随显示器112上显示的超声图像一起显示等级或通过听觉、视觉、触觉或其它反馈机制来提供给用户。在一些实施方案中，可利用可由反馈信号103表示的图像质量等级来指导用户获取临床上期望的超声图像。例如，反馈信号103可指示获取的超声图像具有不良或非临床上有用的质量，并且用户可因此调整或重新定位探头118，直到获得合适图像质量的超声图像。
[0070]
在一些实施方案中，获取的超声图像的预测或确定等级可自动与特定视图相关联，并且可例如存储在表中，获取的超声图像被确定或以其它方式确认表示解剖结构或结构或器官的特定视图。
[0071]
在一些实施方案中，反馈信号103可表示由解剖结构识别和标记模块130或超声图像分级模块140响应于解剖结构识别和标记模块130或超声图像分级模块140对所接收的超声图像的分析而提供的信息。例如，解剖结构识别和标记模块130可识别所接收的超声图像中的解剖结构，并且可自动提供识别的解剖结构的标签，并且标签可例如在显示器112上与超声图像一起显示。
[0072]
图5是示出超声图像500的视图，该超声图像包括通过解剖结构识别和标记模块130自动与如解剖结构识别和标记模块130识别的解剖结构相关联的标签。解剖结构识别和标记模块130被配置为(例如，通过训练)来识别所接收的超声图像中的解剖结构，并且定位识别的结构，即，识别或确定超声图像中识别的解剖结构的位置。解剖结构识别和标记模块130的训练可例如使用先前获取的超声图像如本文所述来执行，解剖结构已经例如通过超声图像的人类专家解释在超声图像中被识别、定位和标记。以此方式，解剖结构识别和标记模块130可以确定标签的正确位置，即，在与超声图像中识别的解剖结构的确定位置相对应的位置处。图5中所示的标签包括右心室(rv)、左心室(lv)、三尖瓣(tv)、二尖瓣(mv)、右心房(ra)和左心房(la)的标签。这些标签显示在所显示的超声图像的与标签识别的结构相对应的位置处。图5中所示的标签仅作为可由解剖结构识别和标记模块130自动识别和标记的结构的一些示例提供；然而，本公开的实施方案不限于此，并且在各种实施方案中，与任何解剖结构相关联的标签可被自动确定并显示在超声图像上。
[0073]
由于超声图像中的视图例如通过探头118和/或被成像的患者的移动改变，超声图像500中的标签也可改变。例如，当识别的解剖结构从所显示的超声图像出现或消失时，与识别的解剖结构相对应的标签类似地出现或消失。又如，当所显示的超声图像的序列中的解剖结构被识别为在所显示的图像内来回移动时，解剖结构识别和标记模块130可随着识别的解剖结构在图像内来回移动来动态地重新定位图像内的标签。
[0074]
此外，在一些实施方案中，在获取的超声图像数据的视频流中在时间上平滑解剖结构识别和标记模块130的输出。例如，通过解剖结构识别和标记模块130进行分析的结果(例如，解剖结构的识别和标记)可以存储在环形缓冲器中。在一些实施方案中，显示的结果(例如，解剖结构的识别和标记)表示缓冲器中结果的几何平均值的计算。以此方式，异常值在识别和标记解剖结构中进行的确定中的影响(解剖结构的存在和/或位置)可能会减少，并且可平滑图像中所显示的标签的移动以减少由于探头118的移动、解剖结构的移动(心脏的收缩/膨胀)等引起的抖动或类似影响。
[0075]
在一些实施方案中，可基于获取的超声图像的视图来限制可与识别的解剖结构相
关联的标签。例如，在一些实施方案中，解剖结构识别和标记模块130不仅可识别获取的超声图像中表示的解剖结构，而且可进一步识别获得超声图像的视图(例如，顶lv，胸骨长lv，胸骨长lv)。如本文先前所描述，解剖结构在各种不同的超声成像视图中可能看起来有很大不同。各种不同视图中的解剖结构可被视为用于例如通过解剖结构识别和标记模块130识别的单独类别。因此，根据超声图像的视图，可根据可附加或以其它方式与识别的解剖结构相关联的标签来限制由解剖结构识别和标记模块130生成的输出。在一些实施方案中，一旦已经确定特定解剖结构的特定视图，解剖结构识别和标记模块130可确定与识别的解剖结构相关联的标签，并且所确定的标签可被限制为与解剖结构的特定视图相关联的特定一组标签内的标签。
[0076]
图6a和6b是示出包括由超声图像分级模块140将其与超声图像自动相关联的图像等级的超声图像的视图。
[0077]
图6a示出已经被自动分级为“1”的图像质量的超声图像601，在一些实施方案中，该图像质量可表示低质量图像。在一些实施方案中，如本文先前所讨论，诸如acep分级准则(参见表1)的标准分级系统可由超声图像分级模块140利用或实施，以对所接收的超声图像分级。超声图像601中描绘的图像质量“1”可表示其中不存在可识别结构并且其中可收集客观数据的超声图像，这与acep图像质量分级准则中的等级或分数1的标准一致。在一些实施方案中，超声图像分级模块140被配置成用自动确定的等级注释分级的超声图像。例如，如图6a所示，超声图像601包括标签“1”，该标签指示如由超声图像分级模块140确定的超声图像601的图像等级。可利用任何合适的识别信息来显示超声图像的所确定的图像等级，包括例如数字、文本描述、颜色(例如，红色可指示较差的图像质量；绿色可指示良好的图像质量)等。
[0078]
图6b示出已经被自动分级为图像质量“3”的超声图像602，在一些实施方案中，该图像质量可表示中间质量图像。在一些实施方案中，如本文先前所讨论，诸如acep分级准则(参见表1)的标准分级系统可由超声图像分级模块140利用或实施，以对所接收的超声图像分级。超声图像601中描绘的图像质量“3”可表示其中满足超声图像用于诊断的适合性的最低标准和结构可识别但是具有一些技术缺陷或其它缺陷的超声图像，这与acep图像质量分级准则中的等级或分数3的标准一致。
[0079]
在一些实施方案中，可通过使用所显示的图像质量等级来引导用户采集良好质量的超声图像(并且在一些实施方案中，采集表示临床上期望的视图的图像)。例如，当超声图像被显示为图像质量“1”时，用户可缓慢移动或重新定位探头，调节探头的成像参数(深度、增益等)等。当用户调节探头时，图像的质量可以增加，其用作对用户的反馈以指示用户正在接近更高质量的图像。
[0080]
虽然机器学习电路105(包括超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140)在本文中已经描述为与超声成像设备110分开并且可通过通信网络102访问，但是应当容易地理解，机器学习电路105可包括在超声成像设备110内。也就是说，机器学习电路105(包括超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140)可包含在超声成像设备110内，并且可存储在例如存储器114中，并且机器学习电路105的特征和/或功能可由处理器116执行或以其它方式实施。
[0081]
在一些实施方案中，超声图像识别模块120、解剖结构识别和标记模块130和超声
图像分级模块140中的一个或多个可由单个神经网络实施，该单个神经网络被优化来实现移动设备上的实时性能。例如，超声图像识别模块120、解剖结构识别和标记模块130和超声图像分级模块140中的一个或多个可由单个神经网络实施，该单个神经网络由超声成像设备110执行或存储在该超声成像设备上，并且超声成像设备110可以为移动设备，诸如膝上型计算机或平板计算机、智能电话等。
[0082]
在一些实施方案中，解剖结构识别和标记模块130可具有推断时间，使得在一个时间间隔内在所接收的超声图像中的每个超声图像内识别解剖结构，以便在下一个超声图像在实时超声成像期间可用(被接收并且可用于由解剖结构识别和标记模块处理)之前完成对所接收的超声图像的处理。在一些实施方案中，解剖结构识别和标记模块130可被配置成识别解剖结构(例如，对象检测)以及在接收到超声图像信息的采集的25毫秒内识别特定超声成像视图(例如，视图分类)。然而，本文提供的实施方案不限于此，并且在一些实施方案中，解剖结构识别和标记模块130被配置成在小于或大于25毫秒的时间识别超声图像中的解剖结构和超声成像视图。
[0083]
本技术要求2019年9月12日提交的美国临时申请号62/899,554的优先权的权益，该申请的全文以引用方式并入本文。
[0084]
可组合以上所述的各种实施方案来提供另外的实施方案。鉴于上文的详细说明，可以对这些实施方案作出这些和其他改变。一般来说，在随后的权利要求中，使用的术语不应解释成将权利要求书限制在本说明书和权利要求书中披露的具体实施方案中，而应解释成包括所有可能的实施方案以及这类权利要求书赋予的等效物的全部范围。因此，权利要求并不受本公开内容所限定。