一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

超声引导方法和系统与流程

2022-09-08 09:28:38 来源:中国专利 TAG:


1.本发明涉及一种用于辅助用户定位超声成像系统的超声探头的方法和系统。


背景技术:

2.超声成像在医学领域中广泛用于观察感兴趣解剖区域和用于导出对某些关键生理参数或解剖特征的测量结果或估计。例如,可以确定被成像解剖特征的尺寸,并且这可以在一些情况下自动执行,例如使用分割流程。而且,在一些情况下,例如心输出量,可以基于在一段时间内监测相关解剖区域(例如左心室)来导出生理参数。再次,这在一些情况下可以自动执行,例如使用分割或其他形式的图像分析。
3.一种形式的超声成像是经食道超声心动图(tee)。
4.使用经食道超声心动图(tee)来监测心脏功能(例如在手术期间)正在临床上取得进展。为了查看左心室,tee探头被导航到食道中部位置。当临床医师期望在手术期间的任何时间查看心脏时,他或她根据需要操纵探头以确保由探头换能器捕获正确的视图。
5.已经提出tee超声用于对心脏进行持续监测的用途,但在该领域中已存在很少进展。连续监测意指探头在延长时段内(例如贯穿手术流程的持续时间)保持就位并在整个过程中捕获超声数据的情况。
6.在该背景下,tee超声不仅可以用于定性观察心脏的解剖特征,例如捕获的us图像中的心脏的动态运动,而且用于进行定量测量。这样的测量结果可能包括例如左心室(lv)容积、每搏输出量(sv)和心输出量(co)。在一些情况下,可以应用基于模型的分割(mbs)来导出这样的测量结果或参数。例如,可以对心脏的一个或多个腔室执行自动分割。导出定量测量结果的其他方法可能包括混合方法,诸如在捕获的舒张末期(ed)帧上执行完整的mbs,跟随有在心动周期的其他帧上对分割边界进行2d或3d跟踪。
7.长期经食道超声心动图(tee)监测(例如,数小时内)能够具有挑战性,因为探头位置能够随着时间漂移。此外,甚至在专家操作者(例如心脏病专家、重症监护医师或其他专家)不在(例如在重症监护病房中)时的时间处,也可能期望进行测量。这引起问题,因为探头位置的漂移中断准确的超声观察和测量采集,并且潜在地没有专业操作者在场来校正位置。
8.因此,使得非专家操作者能够充分定位探头的手段将是有价值的。


技术实现要素:

9.本发明的发明人先前已经提出了一种新的定位辅助系统,其能够提供关于来自当前探头位置的成像视图是否将导致对给定的一个或多个参数的准确测量的实时反馈。
10.然而,通常,由于探头移动与心脏运动耦合,静态图像可能不产生足够的信息。因此,用户可能暂时到达可能的最佳探头位置,但是基于静态图像的方法可能不能够在所述用户已经再次移动所述探头并且因此移动到不同的视图之前将该位置识别为最佳(例如,由于缺乏足够的图像特征)。交替地,所述用户可能靠近于最佳视图,但可能缺乏足够的信
息来了解最终以哪种方式调节所述探头以实现最佳视图。
11.关于其他种类的超声探头(例如身体超声探头)的定位也出现类似的问题。因此,问题不仅限于经食道成像,或仅限于所述心脏的成像。
12.因此,辅助用户定位超声探头以用于获得用于观察一个或多个特征或用于导出一个或多个参数的最佳数据的改进方法将是有价值的。
13.本发明由权利要求定义。
14.根据依据本发明的方面的范例,提供了一种在对对象的身体的超声成像期间引导超声成像系统的用户的方法,其中,所述超声成像系统包括具有相对于所述对象的可移动位置的超声探头,所述方法包括:
15.在超声成像流程期间从所述探头接收表示一系列超声成像视图的超声数据,每个视图对应于从所述探头的相应位置和在所述流程期间的相应时间点处捕获的数据;
16.将评估流程应用于所述超声数据,所述流程可操作于评估所述超声成像视图的质量,所述质量与针对不同成像视图的所述超声数据用于观察一个或多个解剖特征或从所述数据导出一个或多个临床参数的适用性有关;
17.基于所述评估流程来生成用于辅助用户定位所述探头的引导反馈,其中,所述引导反馈基于在所述成像流程期间成像视图质量随时间的历史(26)。
18.因此,本发明的实施例基于使用由探头捕获的图像视图的时间历史,并且基于此向用户发出反馈以辅助他们决定所述探头可以如何移动以实现用于观察特定特征或导出一个或多个临床测量结果的最佳成像视图。所述反馈可能仅是图像视图质量随时间的历史的表示。由此,用户可以观察移动所述探头的他们的最新近路径是增加质量还是减少其。这单独为指导如何继续移动探头提供了有用的反馈。例如,如果质量增加,则保持沿着相同的路径移动;如果没有,则改变路径。
19.可以为每个成像视图明确计算质量评级,其指示数据用于导出临床参数或观察解剖特征的适用性,或者可以整体评估针对多个视图的数据,以及在单个操作中评估和输出的一系列视图上的质量的趋势。在任一种情况下,该方法隐含地考虑了每个成像视图的质量评级,并且基于随时间改变的视图的质量的历史向所述用户给出反馈。
20.与更复杂的探头定位引导方法不同,所述方法不要求在优选实施例中测量和跟踪所述探头的实际物理位置,而是可以仅仅基于所述图像质量和随时间的该质量的改变,因为所述探头已经移动通过不同的视图。例如,图像质量的趋势可以被用于确定随着所述探头已经移动,图像质量是随时间增加还是减少。正趋势(增加图像质量)可以指示在该趋势周期的过程上的探头移动已经使所述探头朝向更接近最佳成像位置移动,或者至少该方向上的移动正在提高图像质量。然后可以生成反馈,其建议维持当前的移动轨迹。如果趋势示出图像质量的降低,则所述反馈可以包括停止或改变当前移动轨迹的推荐。这些仅表示范例。下面将详细讨论其他范例。
21.因此,本发明的实施例中提出的方法在软件和硬件两者方面比依赖于探头的物理跟踪的方法简单得多。其还启用高度直观的反馈方法。其有效地模拟了高技能用户在尝试定位所述探头时的认知过程,其基于对当他们调节所述探头时改变图像视图的质量的定性评估。
22.此外,通过提供基于整个图像视图系列上的历史质量的反馈,这允许反馈考虑时
间特征(例如特征随时间的变化)以及纯静态空间特征。这提供了对基于评估每幅单幅静态图像的质量的方法的改进,因为例如最新近一段时间内的质量的趋势提供关于从那时起应如何继续移动以便改进图像质量的更大的指导。
23.上文提到的质量评估可以用于评估用于观察特定解剖特征或身体或参数或者用于导出或测量一个或多个参数的视图的质量。
24.所述超声数据优选地表示时间上连续的图像视图。所述数据可以是数据系列或数据流。
25.所述方法优选地在成像流程期间(在扫描期间)实时执行。技术人员在本技术的背景下应当理解,术语成像不限于能够提供由对象或用户感知的图像的流程、数据或系统。成像或扫描应该在更广泛的意义上解释为适合评估内部对象的解剖结构的任何数据采集(诸如在其重建之前的原始超声数据)。所述方法的实时性质能够是有益的,因为其放松了所述一个或多个临床参数的实际提取应该实时执行的约束。这是因为所述方法将所述用户引导到用于导出所述临床参数的最佳数据采集位置,这意指不再有必要在探头移动时为所述探头的每个和每一个位置实时计算所述临床参数。因此,这可以在一些范例中启用高准确度(但潜在地较慢运行速度)量化算法的使用,诸如基于模型的分割(mbs)。
26.所述方法是计算机实施的方法。例如,其可以由一个或多个处理器或计算机实施。
27.如上文所讨论的,所述方法可以包括为所述成像视图中的每个确定质量评级,所述评级指示针对所述成像视图的所述超声数据用于观察一个或多个解剖特征或从所述数据导出一个或多个临床参数的适用性。
28.还如上文所提到的,所述方法可以包括确定质量随时间的趋势,并且其中,所述反馈基于所述趋势。换句话说,所述反馈是基于图像视图评级随着进行时间的变化来生成的。例如,这可以包括确定计算的图像质量评级随时间的趋势。备选地,其可以包括确定所述图像视图的质量随时间的趋势,而不明确地计算针对每个个体图像视图的质量评级。
29.在一些情况下,所述反馈可以指示所述趋势,例如简单地所述趋势的表示。此处,质量随时间的变化被明确显示或以其他方式传递。由此,所述用户可以判断他们是朝向最佳位置移动还是远离最佳位置移动。
30.例如,所述反馈可以是表示作为时间函数的趋势的感觉输出。
31.如上文所讨论的,所述质量的趋势指示所述质量的变化模式,从其可以更容易地导出应该以何种方式进一步改变探头位置以改进质量。
32.在一些范例中,所述方法可以包括基于所述评估流程来建立表示在所述成像流程期间所述图像视图质量随时间的历史的数据集。
33.在这种情况下,所述方法包括确定图像视图质量的历史(例如,图像视图质量评级)的单独步骤。在备选范例中,可以隐含地考虑历史,例如所述方法可以包括例如利用机器学习算法导出图像视图质量随时间的趋势。
34.根据一个或多个实施例,所述反馈可以是指示作为时间的函数的图像视图质量的历史的视觉反馈。
35.例如,所述反馈可以采取作为时间的函数的所述图像视图质量的绘图或图形的形式。
36.由此,用户可以快速确定所述质量是在增加还是在降低,并且因此他们应该沿着
当前移动路径继续还是改变移动路径。
37.根据一个或多个实施例,所述方法可以包括确定所述质量随时间的趋势,并且其中,所述反馈指示所述趋势。
38.此处,质量随时间的变化被明确显示或以其他方式传递。由此,所述用户可以判断他们是朝向最佳位置移动还是远离最佳位置移动。
39.根据一个或多个实施例,所述反馈可以包括指示探头位置的建议移动的反馈,以用于以改进的质量捕获图像数据。例如,所述反馈是用于朝向最佳探头位置移动的移动的指导。例如,所述反馈可以包括移动所述探头的方向和/或距离的指示。
40.这可以基于确定随着时间的质量的趋势。所述反馈可以基于该趋势。例如,如果质量正在提高,则所述反馈能够是继续所述用户正在遵循的移动路径;如果质量正在降低,则所述反馈能够是改变移动路径。
41.因此,在一些情况下,所述指导反馈包括取决于质量评级的趋势是正面的还是负面的来继续所述探头的当前移动路径或中断所述探头的当前移动路径的建议。
42.在一些另外的范例中,所述引导反馈可以指示建议的移动距离和/或速度。还可以提供建议的移动方向,但这能够要求提供定位传感器以供所述探头实现。
43.存在评估流程可能处理所述超声图像数据以导出所述图像质量信息的不同方式。
44.根据一组实施例,可以逐个成像视图地应用所述评估流程,即,一次用评估流程处理一个成像视图或帧或片段的数据。
45.因此此处,所述评估流程可以依次应用于针对每个相应成像视图的超声数据,并且并且依次被应用于针对每个成像视图生成的相应质量评级。
46.因此,所述评估流程可以一次一个地应用于不同成像视图的数据,并且个体地并且依次为每个相应的成像视图生成评级。
47.根据一组备选实施例,所述评估流程可以将针对整个成像视图系列的超声数据采取为输入,并且生成关于该图像视图系列的评估输出。
48.因此此处,所述评估流程一次应用于针对多个超声成像视图的超声数据。所述多个成像视图可以在时间上是连续的。在一些范例中,它们可以时间上排序,即遵循在扫描期间采取它们的次序,但可以仅包括先前一系列n个收集的成像视图的每第m个成像视图。例如,所述评估流程可以应用于包括来自前一组n个采集的成像视图的每隔一个成像视图的一组输入成像视图。
49.所述评估流程可以涉及明确地确定针对每个相应成像视图的质量评级,或者可以隐含地考虑这一点并且生成质量信息作为输出,该质量信息指示跨一系列图像的质量随时间的趋势或变化。例如,可以使用机器学习算法,该算法初始已经用对应于整个成像视图系列的超声图像数据进行了训练,并被训练以确定质量的趋势。此处,所述算法隐含地考虑了每个图像视图的质量,但没有明确计算其。备选地,非机器学习算法能够明确确定针对每个成像视图的质量评级。
50.在任一情况下,通过一次考虑多个时间上连续的图像视图,评级确定可以考虑时间背景。例如,许多解剖特征呈现周期性运动(例如心脏、肺),并且其中,用于导出临床参数的适用性在该周期的一个阶段期间高而在另一阶段期间低。一次评估一系列成像视图允许考虑这样的周期性特征,以避免当实际上其是高质量但是周期性可变化时将特定成像视图
错误地指定为低质量。
51.根据一个或多个范例,所述方法可以包括将所述超声成像流程应用于在所述成像流程期间捕获的一组完整的超声数据,所述数据表示由所述成像流程所包含的一组完整的成像视图。此处,在所述评估流程的每次运行上,处理最新捕获的图像视图,加上所有先前的图像视图(或至少对于定义的先前时间窗口)。取决于使用上文所概述的两种方法中的哪一种,可以一次全部或单独评估这些。
52.在一些范例中,所述评估流程可以在捕获针对每个新成像视图的数据时反复应用于完整的一组成像数据。
53.以这种方式,每次对新视图进行成像时(例如,每次将所述探头移动到新位置时),重新运行所述评估。因此,可以不断更新图像质量的趋势。
54.在一些范例中,图像视图质量随时间的历史(例如图像质量评级)被确定为所述评估流程的部分,并且其中,所述评估流程被配置为确定作为时间的函数的图像视图质量的趋势。
55.此处,分析步骤全部作为一个单个综合评估流程的部分执行。例如,这可能是机器学习或人工智能流程。
56.根据一个或多个实施例,所述评估流程可以利用机器学习流程。这可以包括使用一个或多个机器学习算法。
57.在备选范例中,非机器学习算法可以被用于执行所述评估流程。例如,可以应用基于模型的分割流程来识别存在于针对捕获的视图的数据中的解剖特征,并且例如基于某些特征的存在或不存在来确定质量评级。
58.根据特定范例,所述评估流程可以包括卷积神经网络cnn的使用。
59.所述cnn利用训练数据训练。所述训练数据可以包括针对不同成像视图的超声数据,所述数据利用质量评级来标记。所述质量评级由经训练的人预先生成,并且相应地标记数据。在其他范例中,所述训练数据可以包括分别针对不同的成像视图系列的组超声数据,每个标记有作为时间的函数的质量评级的趋势。在其他范例中,所述训练数据可以被部分标记,或甚至未标记,并且在所述训练过程本身期间通过诸如例如分割或物体检测的自动方法来确定标记或注释。例如,如果分割成功(即在所述图像中识别感兴趣解剖物体),则所述图像的质量能够被标记为良好。如果不是,图像质量能够被标记为差。在其他范例中,可以部分地标记所述训练数据,并且可以使用主动学习方法将未标记的训练实例并入到所述训练中。
60.在一个或多个实施例中,所述评估流程可以包括识别或检测针对不同图像视图的超声数据中的一个或多个解剖特征的存在,并且其中,基于所述检测来确定所述图像视图的质量(例如质量评级)。
61.例如,所述质量确定可以基于一个或多个解剖特征的存在或不存在。
62.在一些范例中,所确定的质量(例如质量评级)可以指示图像视图包含特定解剖特征的程度或与其有关。例如,如果在所述图像中仅存在一半感兴趣解剖特征,则所述质量评级能够是50%,而如果没有任何特征存在,则所述质量评级是0%。例如,所述质量可以与包括在图像视图中的解剖特征或感兴趣区域的比例有关。
63.在一些范例中,所述质量评级可以与同解剖特征组合的超声图像伪影的存在和强
度有关。例如,由于不良声耦合、解剖异常(钙化、扩大脑室)或次优成像设置,可能存在图像伪影。图像伪影的范例包括散斑噪声、混响、旁瓣或声学阴影伪影。
64.在一些范例中,所述评估流程可以包括评估一个或多个解剖特征跨一系列成像视图的移动。例如,在所述过程将整个成像视图系列采取为输入的情况下,其可以被配置为明确或隐含地跟踪所述解剖特征跨一系列视图的运动,并且确定例如针对成像视图系列的图像质量随时间的趋势。
65.根据本发明的另一方面的范例提供了一种包括代码模块的计算机程序产品,所述代码模块当在处理器上运行时使所述处理器执行根据上文概述或下文描述的任何实施例或范例或根据本技术的任何权利要求的方法。
66.根据本发明的另一方面的范例还提供了一种用于在对对象的身体的超声成像期间引导超声成像系统的用户的引导系统,
67.所述超声成像系统包括具有相对于所述对象的可移动位置的超声探头,所述引导系统在使用中能操作地与所述超声成像系统耦合,
68.所述引导系统包括:
69.接收模块,其适于在超声成像流程期间从所述探头接收表示多个超声成像视图的超声数据,每个视图对应于从所述探头的相应位置和在所述流程期间的相应时间点处捕获的数据;
70.评估模块,其被配置为将评估流程应用于所述超声数据,所述流程用于评估所述超声成像视图的质量,所述质量与针对不同成像视图的所述超声数据用于观察一个或多个解剖特征或从所述数据导出一个或多个临床参数的适用性有关;以及
71.反馈模块,其被配置为基于所述评估流程来生成用于辅助用户定位所述探头的引导反馈,所述引导反馈基于在所述成像流程期间成像视图质量随时间的历史。
72.所述模块可以是单独的处理部件或可以表示单个集成处理单元的功能。每个模块可以包括一个或多个处理器,或者所有模块的功能可以由单个集成处理器或处理装置执行。
73.本发明的实施例还提供了一种超声成像系统,包括:
74.超声成像探头,其包括用于捕获超声数据的一个或多个超声换能器;以及
75.根据上文所概述或下文所描述的任何范例或实施例或根据本技术的任何权利要求的引导系统,
76.所述超声成像探头与所述引导系统的接收模块通信地耦合,以用于传送捕获的超声数据。
77.根据一个或多个实施例,所述超声成像探头可以是经食道超声心动图(tee)探头。
78.本发明的这些和其他方面将根据在下文中所描述的(一个或多个)实施例而显而易见并且将参考在下文中所描述的(一个或多个)实施例得到阐述。
附图说明
79.为了更好地理解本发明并且更清楚地示出其可以如何付诸实践,现在将仅通过范例对附图进行参考,其中:
80.图1以框图形式概述了根据一个或多个实施例的范例方法;
81.图2示意性地概述了根据一个或多个实施例的范例方法的工作流程;
82.图3还示意性地图示了根据一组实施例的范例方法的工作流程;
83.图4示意性地概述了根据另一组实施例的范例方法的工作流程;
84.图5和6示意性地图示了根据一个或多个实施例的方法的范例实施方式期间的工作流程;
85.图7示出了一组范例捕获的超声成像视图和相关联的质量评分;并且
86.图8以框图形式示意性地图示了根据一个或多个实施例的范例引导系统。
具体实施方式
87.将参考附图来描述本发明。
88.应该理解,详细描述和特定范例当指示装置、系统和方法的示范性实施例时旨在仅出于图示的目的并且不旨在限制本发明的范围。本发明的装置、系统和方法的这些和其他特征、方面和优点将从以下描述、权利要求书和附图变得更好理解。应当理解,附图仅是示意性的并且不按比例绘制。还应当理解,相同的附图标记贯穿附图被用于指示相同或相似的部分。
89.本发明提供了一种用于辅助用户相对于对象的身体定位超声探头的方法和系统。在使用中,用户通过一系列位置移动探头,并且为每个位置捕获超声图像数据,每个位置处的数据对应于被成像的解剖区域的特定成像视图。评估流程可操作于处理针对不同成像视图的超声数据,并且为针对每个视图的数据确定质量评级,其表示该视图的数据对于观察一个或多个解剖特征或从数据导出一个或多个临床参数的适用性。为用户生成引导反馈以辅助用户定位探头,其中,引导反馈基于在成像流程的过程中随时间的图像视图评级的历史。例如,图像视图评级随时间的趋势可以被确定并输出给用户,用户可以从其快速判断其是朝向(在增加评级的情况下)还是远离(减少评级)最佳成像位置。
90.本发明的该实施例基于使用来自探头的图像数据的最新近时间历史的图像特征,以向用户提供有见地的反馈,该反馈可以辅助他们调节探头的位置,以用于实现感兴趣解剖体的最佳视图,例如,以实现某些临床参数或测量结果的最佳采集。这有助于确保操作者可以更快地实现最佳探头位置,并且不在其搜索期间错过。
91.一个或多个实施例还提出了一种用户接口,该用户接口可操作于基于用户的最新近探头移动来显示关于用户应该如何移动探头的指导。例如,这可以是继续紧接先前的探头移动路径的指示,或者例如改变路径的指示。
92.下面描述了利用人工智能(ai)(例如机器学习)方法的一个或多个实施例。然而,在另外的范例中也可以使用其他常规算法方法。
93.图1以框图形式示意性地概述了根据一个或多个实施例的范例引导方法。
94.方法10是在对象的身体的超声成像期间引导超声成像系统的用户的方法。在这种情况下,超声成像系统包括具有相对于对象身体的可移动位置的超声探头。
95.方法10包括在超声成像流程期间从探头接收14表示一系列超声成像视图的超声数据,每个视图对应于从探头的相应位置和在流程期间的相应时间点处捕获的数据。
96.方法10还包括将评估流程应用16于超声数据,该流程可操作于针对图像视图中的每个确定质量评级,该质量评级指示针对该图像视图的超声数据用于观察一个或多个解剖
特征或从数据导出一个或多个临床参数的适用性。
97.方法10还包括基于评估流程生成18用于辅助用户定位探头的引导反馈,其中,引导反馈基于在成像流程期间图像视图评级随时间的历史。
98.针对每个成像视图的超声数据可以对应于针对单幅2d或3d图像(即图像帧)的图像数据。然而,在备选情况下,成像数据可能对应于针对一系列帧的成像数据,例如,针对探头的特定位置(即针对特定成像视图)捕获的小视频片段。
99.该方法是计算机实施的方法。例如,其可以在一个或多个处理器或计算机上运行。根据一个或多个实施例,一个或多个处理器或计算机可以布置为在使用中与超声探头或超声成像系统操作地耦合。
100.在一个或多个实施例中,评估流程可以包括识别或检测针对不同图像视图的超声数据中的一个或多个解剖特征的存在,并且其中,质量评级基于所述检测。
101.例如,质量评级可以基于一个或多个解剖特征的存在或不存在。
102.在一些范例中,质量评级可以指示图像视图包含特定解剖特征的程度或与其有关。例如,如果在图像中仅存在感兴趣解剖特征的一半,则质量评级可能是50%,而如果没有任何特征存在,则质量评级是0%。例如,评级可以与包括在图像视图中的解剖特征或感兴趣区域的比例有关。
103.在一些范例中,评估流程可以包括评估一个或多个解剖特征跨一系列成像视图的移动。例如,在流程将整个成像视图序列当作输入的情况下,其可以被配置为明确或隐含地跟踪解剖特征跨一系列视图的移动,并且确定例如针对一系列成像视图的图像质量随时间的趋势。
104.可能从超声图像数据提取或导出或测量的范例临床参数可能包括一个或多个解剖特征的尺寸,例如心脏的部分的外部或内部尺寸,例如左心室或右心室。通过非限制性范例,导出的临床参数可以包括左心室(lv)容积、每搏输出量(sv)和心输出量(co)。在一些情况下,可以应用基于模型的分割(mbs)来导出这样的测量结果或参数。例如,可以执行对心脏的一个或多个腔室的自动分割。导出定量测量结果的其他方法可能包括混合方法,诸如在捕获的舒张末期(ed)帧上执行完整的mbs,跟随有在心动周期的其他帧上对分割边界进行2d或3d跟踪。
105.评估流程被配置为评估给定实现的成像视图用于使用给定的一种或多种提取技术提取一个或多个临床参数或测量结果的适用性,或用于观察一个或多个解剖特征的适用性。可以基于此导出质量评级。该评估可以基于成像视图中的一个或多个解剖特征的检测(如上文所讨论的),或者可以基于另一图像分析技术或流程。技术人员将容易意识到用于实现该评估功能的各种图像处理和分析技术。
106.根据一组优选实施例,评估流程可以采用一个或多个机器学习算法的使用。
107.机器学习算法是处理输入数据以便产生或预测输出数据的任何自训练算法。此处,输入数据可以包括对应于不同成像视图的超声成像数据,并且输出数据可以包括针对成像数据的质量评级(如上文所讨论的),或者在一些情况下可以包括针对一系列成像视图的质量评级随时间的趋势。下面将更详细地解释这些选项。
108.用于采用在本发明中的适合的机器学习算法对于技术人员将是显而易见的。适合的机器学习算法的范例包括决策树算法和人工神经网络。诸如逻辑回归、支持向量机或朴
素贝叶斯模型的其他机器学习算法是适合的备选方案。
109.人工神经网络(或简单地,神经网络)的结构由人类大脑启发。神经网络包括层,每个层包括多个神经元。每个神经元包括数学运算。特别地,每个神经元可以包括单一类型的变换的不同加权组合(例如,相同类型的变换、s形等但具有不同的加权)。在处理输入数据的过程中,在输入数据上执行每个神经元的数学运算以产生数值输出,并且神经网络中的每个层的输出顺序馈送到下一层中。最终层提供输出。
110.训练机器学习算法的方法是众所周知的。通常,这样的方法包括获得训练数据集,包括训练输入数据条目和对应的训练输出数据条目。初始化的机器学习算法被应用于每个输入数据条目以生成预测的输出数据条目。预测的输出数据条目与对应的训练输出数据条目之间的误差被用于修改机器学习算法。可以重复该过程直到误差收敛,并且预测的输出数据条目与训练输出数据条目足够相似(例如
±
1%)。这通常被称为监督学习技术。
111.例如,在机器学习算法由神经网络形成的情况下,可以修改每个神经元的数学运算(的加权)直到误差收敛。修改神经网络的已知方法包括梯度下降、反向传播算法等。
112.在这种情况下,训练输入数据条目对应于针对不同成像视图或针对多个成像视图的范例超声数据集。训练输出数据条目例如对应于用于观察一个或多个解剖特征或用于确定一个或多个临床参数的超声数据的质量评级。在另外的范例中,在输入数据条目对应于一系列成像视图的超声数据的情况下,它们可能对应于质量评级的时间趋势。
113.机器学习算法仅表示实施评估流程的一种范例方法。其他可能性包括例如使用非机器学习算法,例如利用在一个或多个处理器中编程或编码的算法以用于基于一个或多个图像分析流程确定质量评级。可以根据一个或多个范例采用基于模型的分割算法。例如,分割算法可以被用于识别或检测每个成像视图内的特定感兴趣解剖特征。针对每个成像视图的质量评级可以基于分割算法的结果,例如基于感兴趣解剖特征的存在或不存在,或者基于该特征完全包括在成像视图内的程度。
114.在另一范例中,可以应用检测算法,该检测算法被配置为识别和定位特定解剖特征,诸如二尖瓣或隔膜的中心,并定义当前视场的中心与所述特征之间的直线轨迹(方向向量)。质量评级可以根据向量的长度来定义,例如与向量的长度成比例。特征距视场的中心越远,质量评级越低。
115.为了图示本发明的实施例的概念,图2中示意性地概述了范例工作流程。
116.在使用中,超声成像探头22被放置在相对于对象的身体的第一位置23a并且开始超声图像数据采集。例如,可以采用超声成像系统,超声成像探头22耦合到该超声成像系统,并且所述超声成像系统被配置为控制探头的超声换能器以捕获超声数据。
117.当处于第一位置时,超声探头捕获表示特定解剖区域的第一成像视图32a的超声数据。为了说明,成像视图被示出为心脏的左心室的捕获视图。
118.评估流程16可操作于处理针对第一成像视图32a的超声数据并确定质量评级或质量指标。这在图2中借助于图示成像视图的质量评级的范例图形示意性地示出。针对第一成像视图32a的质量评级被示出在针对第一成像视图的框架下面。
119.如上文所讨论的,质量评级指示针对该图像视图的超声数据用于观察一个或多个解剖特征或从数据导出一个或多个临床参数的适用性。
120.用户在调节探头位置的过程中,相对于身体移动探头通过一系列不同的位置23a、
23b、23c。在每个新位置23b、23c处,捕获超声数据,其表示对应于该新位置的成像视图32b、32c。评估流程可操作于确定针对每个新成像视图的超声数据的质量评级。
121.作为结果,可以为不同超声成像视图的数据建立质量评级的历史26。这在图2中以绘图或图形的形式示意性地表示。在一些范例中,为每个成像视图明确地确定质量评级,并且建立一个数据集,该数据集存储在成像流程的过程中的成像视图的质量评级的历史。在其他范例中,作为评估流程的一部分,隐含地考虑了一系列成像视图的质量评级,以及基于历史生成的反馈。
122.在任何一种情况下,基于超声扫描的过程中的成像视图的质量评级的历史为用户生成反馈。例如,在一些范例中,质量评级随时间的历史的图形或绘图,诸如图2中描绘的图形或绘图可以作为反馈输出给用户。例如,该绘图可以在显示设备上视觉地显示。
123.如上文简要讨论的,存在两种主要方法来评估捕获的图像视图以用于确定针对用户的反馈。一种是基于在捕获针对其的数据时一次评估一个图像视图:通过成像视图方法成像视图。另一种是基于评估整组图像视图,优选是时间上连续的图像视图,作为单个块,并且基于评估在所评估的序列内成像视图的质量评级随时间的趋势或变化。
124.例如,在第一组实施例中,人工智能(机器学习)模块可以被采用,并且可以被训练以在每个图像视图的基础上评价或评估针对不同成像视图的传入超声数据。例如,输出评估可能采取视图的定性评级的形式,诸如“好”(给定参数的量化可能成功)、“中等”(给定参数的量化可能准确或可能不准确)或“坏”(给定参数的量化不太可能成功)。在其他范例中,模块可以被配置为生成定量评级,其中,这可以是来自连续尺度或谱的评级,或者可以是来自离散的一组定量评级值的评级,例如1-5的尺度。
125.针对每个成像视图的质量评级结果可以存储在数据集(或“时间向量”)中。当接收到针对每个新的成像视图的超声数据时,可以累积地建立该数据集,一次一个成像视图。在范例中,可以以该数据集的至少时间部分的感觉(例如视觉)表示的形式向用户提供反馈。例如,可以以可理解的方式向用户显示过去n个质量评级结果。然后,用户可以基于该反馈确定他们是否在正确的方向上前进(即,如果评级在增加,那么他们正在正确的方向上移动,反之亦然)。输出给用户的先前评级结果的数目n可以是预定义的,或者在其他范例中可以是用户可调节的。以这种方式,仅显示针对由探头捕获的最紧接的最新近成像视图(对于最紧接的最新近时间窗口)的结果。这使得结果对于引导探头的正在进行或未来移动更有用,作为在与最新近移动路径有关的结果中可观察的趋势。因此,如果用户相当频繁地改变移动路径,则显示的结果能够对此做出反应,并向用户呈现他们最新近的探头移动路径的质量结果。
126.通过范例,在第二组实施例中,评估流程(例如机器学习模块)可以被馈送一组n个最新近超声成像视图的超声数据作为输入。评估流程可以基于此生成指示用户赋予的探头移动是否使其更接近最佳位置的输出,例如基于图像特征的变化历史,或者更远。因此,可以输出趋势数据。在一些范例中,反馈可以是基于质量结果的趋势对用户的简单建议或推荐(例如文本或音频)的形式。
127.现在将更详细地描述这两种方法,从第一种方法开始。
128.根据第一组实施例,评估流程被单独地应用于每个成像视图的超声数据,即其依次被连续或顺序地应用于针对每个相应成像视图的数据。依次为每个成像视图生成相应的
质量评级。
129.图3示意性地概述了根据该组实施例的范例工作流程。
130.在探头在相对于对象的身体的给定(当前)位置中的情况下,超声数据由对应于该位置的探头22捕获,超声数据表示来自该位置的特定超声成像视图32a。来自当前捕获视图32a的超声数据实时馈送到评估流程16(例如,评估模块),评估流程16处理针对该成像视图的数据并导出质量评级,该质量评级指示针对该成像视图32a的超声数据对于观察一个或多个解剖特征或从数据导出一个或多个临床参数的适用性。例如,在图3所示的范例中,感兴趣解剖特征是左心室(lv)。评估流程基于图像内lv的检测导出质量评级。例如,评估流程确定lv在针对成像视图32a的超声数据中存在的程度。评估流程可以采用分割算法来做到这一点,其被配置用于至少检测超声数据中的lv。备选地,可以采用机器学习算法,其被训练为至少识别超声数据中的lv,并且根据lv是否存在或其存在的程度对成像视图进行分类。
131.通过范例,在图3的范例中,当前成像视图32a具有仅部分可见的左心室(lv),而lv的部分被阻塞。
132.质量评级由针对当前成像视图的评估流程16输出。这然后被附加到数据集,该数据集存储在成像流程期间图像视图质量评级随时间的累积历史26。这在图3中以图形的形式被图示,该图形将评级(y轴)显示为时间(x轴)的函数。然而,数据集可以采取用于存储结果的任何数据结构的形式。
133.基于质量评级结果随时间的历史26来生成指导反馈以用于(例如,感官)输出给用户。在图3的范例中,反馈采取质量评级结果随时间的历史的感官表示的形式。例如,反馈采取质量评级结果的历史26的视觉显示绘图或图形的形式。在一些范例中,可以为反馈输出n个最新近成像帧的结果,如上文所讨论的。
134.基于反馈,用户能够确定他们当前的探头移动路径是提高质量结果(并且因此使其更接近最佳成像位置)还是恶化结果(并且因此使其远离最佳位置)。基于此,用户可以调节或调整探头的移动,以试图改进质量结果,并且朝向最佳位置移动。
135.换句话说,反馈向用户呈现指示成像视图质量结果随时间的趋势(例如,n个最新近结果的趋势)的信息,用户可以从其确定他们应该如何从其上继续或改变探头移动路径。
136.例如,如果视图质量呈上升趋势,则用户得到他们的动作的积极强化,并且可能继续相同的操作,直到他们实现良好的视图。备选地,如果视图质量呈下降趋势,那么用户可以改变探头操纵直到其开始呈上升趋势。
137.在每个新位置处,针对该新成像视图的超声数据被捕获并被馈送到评估流程16以用于确定成像视图的质量评级。然后,该方法的步骤循环地继续,直到用户到达最佳成像视图32c位置,其中,解剖特征是最佳可查看的或者临床参数是基于成像位置最佳可导出的。
138.该范例中的评估流程优选地采用一个或多个机器学习算法。例如,该范例中的评估流程优选地采用卷积神经网络(cnn)的使用。
139.例如,cnn可以利用预测针对一组输入成像视图中的每个的超声数据的质量评级的训练任务来训练(例如,对应于单个2d或3d超声图像帧的每个成像视图的数据)。
140.例如,cnn可以在一些范例中采取用于多类分类的网络的形式。例如,这可以使能分类为一组离散的质量评级(例如“坏”、“中”和“好”)之一。这可以通过最小化交叉熵损失
来训练。
141.另一方法可能是二元分类网络,诸如cnn。例如,可以训练该网络以使用交叉熵损失将图像分类为两个类别(例如“坏
”‑
0,“好
”‑
1)。预测的可能性(在0与1之间)可以作为连续的质量评分输出。
142.另一方法可能是训练被配置为回归质量评分的网络。这可以使能根据质量评级的谱之一进行分类,这可能是连续或离散的谱(例如1与5之间的数字)。例如,可以通过最小化均方根(rms)误差损失来训练网络。
143.在任何一种情况下,网络的架构可以包括单个卷积层或多个卷积层,然后是空间池化(全局,最大池化),以及一个或多个具有柔性最大值传递函数(多类分类)、s形(二进制分类)、或最后一层中的线性(回归)激活函数的全连接层。
144.每个卷积层可以包括卷积操作、非线性激活、批量归一化、丢弃和空间池化。这些操作中的每个的实施方式将是技术人员众所周知和理解的,并且范例在本领域中是已知的(例如,resnet、densenet、alexnet)。
145.文章ian goodfellow、yoshua bengio和aaron courville.2016.深度学习。例如,mit press.提供了可以根据本发明的实施例实施的适合的卷积神经网络的细节。
146.该网络优选地在相对大的临床数据集上进行训练,该数据集包括在类别之间具有均匀分布(即具有均匀分布的质量评分)的2d或3d超声心动图图像。例如,该数据集可能包括大量不同的病例、患者大小和典型的心脏异常。
147.每个2d或3d超声图像由专家超声医师预先标记有正确的质量评级(例如,“坏”、“中”、“好”或质量评分(1-5)),质量评级指示对以下的置信度:超声数据将适用于观察一个或多个感兴趣解剖特征或从数据导出或量化一个或多个临床参数。可以从超声数据导出的临床参数的一些范例包括例如:心室中的一个或多个的体积,或通过一个或多个血管的流率。
148.2d或3d超声图像可以借助于自动算法来标记,诸如基于模型的分割算法。例如,如果存在由分割掩膜表示的某些解剖特征,则图像可能被标记为“好”或可靠。如果分割掩膜仅部分存在(60%),则图像可能被标记为“中等”,或略微可量化。此处描述的标记方案是特定于应用的,并且取决于所执行的量化的类型。而且,质量评级可以是连续评级,而不是如本范例中所讨论的离散的定性描述符。
149.根据第二组实施例,代替于一次评估每个成像视图,可以一次将评估流程应用于针对多个超声成像视图的超声数据,多个成像视图优选地在时间上是连续的。例如,评估流程接收时间上连续的一系列成像视图的超声数据作为输入,例如n个最新近成像视图。在一些范例中,其可以生成图像质量评级在一系列图像的过程中或至少在一系列图像的部分上(例如最新近时间窗口)随时间的趋势或变化的指示作为输出。
150.图4示意性地概述了根据该组实施例的范例工作流程。
151.在该范例中,评估流程16被配置为接收针对n个(或n 1个)最新近成像视图的超声数据作为输入。例如,在用户移动探头时,在探头的每个新位置处,除了紧接地时间上前n个成像视图32a-32n的超声数据之外,系统向评估流程提供针对新(当前)成像视图32n 1的超声数据。
152.评估流程处理针对这些最新近成像视图系列的超声数据,并且被配置为确定指示
跨n个成像视图系列的过程的成像视图的质量评级随时间的趋势的信息。例如,评估流程16基于图像质量变化的历史来评估用户赋予的探头移动是否使探头更接近最佳位置,或者更远离最佳位置。
153.评估流程可以基于针对每个成像视图的数据内的一个或多个解剖特征的检测或评估。例如,其可以基于一个或多个感兴趣解剖特征的存在或不存在。其可以基于一个或多个解剖特征完全存在于成像视图中的程度。例如,在图4所图示的范例中,评估流程基于检测左心室(lv)在成像视图内存在并居中定位的程度。
154.评估流程被配置为从针对一系列成像视图的超声数据中识别lv跨成像视图的变化位置,以确定质量评级的随时间的趋势或变化。例如,可以采用ai模块,其被训练以识别lv位置的该变化。
155.评估流程被配置为基于对一系列图像的评估生成反馈指导18,反馈指导指示探头的建议或提议移动,以用于提高超声数据的质量评级评分,即用于移动到具有更佳的成像视图的新位置。
156.例如,反馈可以采取推荐的形式,如果质量评级正在增加,则沿着当前运动路径继续,或者如果质量评级正在降低,则改变移动过程。
157.每次馈送到评估流程的n个最新近成像视图可以对应于相对短的先前时间窗,使得引导反馈与探头的最新近移动方向有关。例如,n可以小于10,例如小于5。这意指反馈能够对用户对超声探头的移动的变化做出快速反应,并且相对于他们最新近移动路径给出推荐反馈。
158.在一些范例中,数字n可以是预定义的和/或可以是用户可调节的。
159.反馈可以将用户引导到在更好或更可接受的位置(例如,通常在图像的中心周围)包含lv的探头位置。
160.根据该第二组实施例的方法还能够考虑质量结果中的时间特征,其单独在单个静态图像中将是不明显的。例如,通过将针对一系列成像视图的超声数据当作输入,评估流程能够考虑成像特征的周期性变化。例如,许多解剖特征呈现周期性运动(例如心脏、肺),并且其中,用于导出临床参数的适用性在该周期的一个阶段期间高而在另一阶段期间低。一次评估一系列成像视图允许考虑这样的周期性特征,以避免当实际上其是高质量但是周期性可变化时将特定成像视图错误地指定为低质量。
161.在一些情况下,作为反馈的部分,系统可能能够针对由心脏运动导致的差质量视图提出变通方法。
162.例如,心脏运动可能导致左心室(lv)在舒张末期(ed)期间部分离开超声视场(fov),即使其在收缩末期(es)期间完全包含在fov中。如果此处未考虑时间趋势,则可以将图像分别交替分类为“坏”和“好”,即使一般探头位置对于提取与左心室有关的临床参数或测量结果的目的可能是令人满意的,例如通过分割算法。
163.本范例中的评估流程优选地采用一个或多个机器学习算法。例如,该范例中的评估流程可以采用卷积神经网络(cnn)的使用。
164.例如,对于第一组实施例,评估流程可以应用包括与以上关于图3的范例概述的相同元素的cnn。备选地,评估流程可以采用完全卷积神经网络(cnn)的使用,该网络在针对多个超声图像序列中的每个的超声数据内分割lv的任务上进行训练。用于执行这样的检测的
方法在本领域中是已知的。
165.可以训练cnn以识别输入成像视图系列的每个个体成像视图内的lv,并且分别确定每个输入图像视图的质量评级。由此,可以确定成像视图质量随时间的趋势。备选地,可以训练cnn以基于对作为整体的整个数据集的考虑来识别lv在一系列图像上的移动,或者基于整个图像系列的数据确定质量评级的趋势。因此,在这种情况下,不会为每个成像视图确定个体质量评级,而是仅仅隐含地考虑针对不同视图的质量评级。
166.在一些范例中,应用于每个成像视图的lv掩模的形状和大小可以至少部分地定义(一个或多个)成像视图的质量评级。备选地,由u-net架构的解码器部件生成的特征嵌入还可以用于回归质量评分(例如多任务学习(分割和分类))。
167.通过范例,在ai评估流程模块(例如cnn)的训练阶段期间,可以使用经由多个通道输入到模块的多幅图像(当前实况图像 “n”幅先前的图像)来训练该流程。
168.每个这样的n 1个成像视图的训练组被标记(标准数据标签)有质量评级的趋势的正确指示,或者备选地跨一系列成像视图以相关解剖特征的移动趋势,例如左心室(lv)。
169.例如,标准数据标签可以指示相关图像特征(在这种情况下为lv)通过多幅图像的进展,并且例如其与用户应该采取什么动作如何相关。
170.每个相应成像视图系列的标准数据标签由专家预先分配。
171.评估模块(例如,ai模块或网络)旨在有效地模拟在探头操纵期间评价超声图像的人的分析考虑或行为。众所周知,人类在评价us图像时将时间信息纳入他们的决策中。以这种方式,反馈对于操作者来说更加直观易懂。
172.根据该组实施例,对于评估流程和对用户的反馈两者,各种选项是可能的。这些可以除了上文所提到的特征之外应用,或者作为上文所提到的特征中的任何的备选方案。
173.根据一个或多个范例,评估流程16可以被馈送当前(实况)成像视图的超声数据以及n个先前的成像视图作为输入,并且可以被配置为确定和输出针对当前实况成像视图的质量评级。例如,这可以是好/中等/坏形式的离散评级。针对每个新的“当前”成像视图的这些质量评级累积存储在数据集中,以建立成像视图质量评级随时间的历史。在一些范例中,该评级历史可以作为反馈的至少部分呈现(例如显示)给用户。
174.根据一个或多个范例,评估流程可以被馈送针对当前成像视图和n个先前成像视图的超声数据作为输入。该流程可以被配置为确定和输出针对当前实况成像视图的质量评级,以及在n 1个成像视图的过程中质量评级的趋势的指示(例如,“改进”、“一致”、或“恶化”)。两条信息可以作为反馈的一部分呈现给用户。例如,除了质量评级随时间的历史26的表示之外,这可以被呈现。
175.根据一个或多个范例,评估流程可以被提供针对当前成像视图和针对n个先前成像视图的超声数据作为输入。评估流程可以被配置为确定针对成像视图中的每一个的质量评级。这些可以存储在阵列或数据集中。评估流程可以提供针对成像视图的该组质量评级作为输出。评估流程或反馈模块可以基于针对每个个体成像视图的导出的质量评级阵列确定成像视图过程中质量评级随时间的趋势。指示该趋势的信息可以作为反馈的至少部分显示给用户。
176.当采集每幅下一图像时,评估流程可以再次导出针对更新的一组n 1个成像视图的每个成像视图的质量评级。在一些范例中,可以应用时间滤波器以确保在n 1个成像视图
的每个时间连续集合中的n个交叠帧的质量评级确定的一致性。这导致随着时间对用户的更稳定的反馈。
177.根据一个或多个范例,代替于评估流程16的输入是针对n个最新近成像帧的数据,可以向其馈送不同的一组m幅先前图像。例如,通过输入在先前的2n个成像视图上的每隔一个成像视图,可以在不增加计算要求的情况下考虑更长的时间历史,这导致总共m个成像视图馈送到评估流程。在另外的范例中,可以备选地使用任何其他模式或成像视图的选择。
178.根据一个或多个范例,系统可以被配置为检测何时已经达到最佳或近似最佳的成像视图并将这作为反馈的至少部分传递给用户。
179.特别地,当用户已经接近最佳成像视图时,在任何方向上移动将导致“恶化”趋势。历史数据或其他反馈中的这样的响应应该向用户指示他们应该停止尝试调节探头。然而,这也可以由系统自动标记,并且借助于相关反馈(例如推荐(诸如“撤消最新操纵”/“返回到先前的视图”))传递给用户。
180.图5和图6示意性地图示了根据上文所描述的第二组实施例的方法的两个范例实施方式期间的范例工作流程。在第一范例工作流程(图5)中,用户从次优位置开始,并且缓慢提高成像视图的质量。在第二范例(图6)中,用户从合理的位置开始,但在基于反馈进行校正之前,无意中使成像视图质量更差。
181.更详细地,参考图5,探头22从次优位置开始(成像视图32a)。通过范例,针对每个成像视图的质量评级是基于左心室(lv)的解剖特征在成像视图中存在并且清晰可见的程度而生成的。图5示出了图示作为一系列成像视图32a-32f的时间(x轴)的函数的质量评级(y轴)的历史26的图形。成像视图32中的每个的示意性表示被示出为在图形中其相应评级上对准。
182.对于第一成像视图32a,成像视图具有低质量评级。
183.用户开始重新定位探头,同时将多幅图像(当前实况图像和“n”幅先前图像)连续馈送到评估流程16(例如ai模块)中。
184.当评估流程识别图像中的模式进展(即质量评级向上或向下的趋势)时,其以推荐的形式向用户输出关于他们当前正在执行的探头操纵的反馈。
185.在该范例中,随着探头移动继续,检测到lv更中心地移动到图像中,从而导致质量评级增加。因此,推荐是“继续”当前探头操纵。
186.随着用户继续当前探头操纵,视图质量更进一步增加(即lv继续朝向fov的中心移动),因此ai模块保持相同的输出。
187.最终,用户到达良好的以lv为中心的视图(成像视图32f),此时评估流程建议用户停止进一步的探头操纵,因为已经实现了良好的视图。例如,评估流程确定作为时间的函数的成像视图质量的增加速率正在减慢,这可以被视为对正在接近或靠近最佳视图的指示。
188.在另一范例中,并且参考图6,探头从具有相当好的“中等”质量评级的成像视图32a开始。在试图改进视图时,用户操纵探头。然而,在该范例中,移动将探头移动到较低质量的成像视图,从而导致具有非常低质量评级的成像视图32c。评估流程检测质量评级的下降趋势,并且以推荐的形式生成反馈,以改变探头的移动过程。用户然后开始改变探头操纵。这导致成像视图的质量评级的缓慢改进(例如,lv开始回到fov),其中,成像视图32e具有中等质量,并且最终成像视图32f具有高质量。评估流程再次检测质量评级的这种上升趋
势,并且一旦质量评级高或检测到成像视图靠近于最佳位置就生成推荐用户停止移动的反馈。
189.应注意,在图5和图6的范例中,将存在心脏运动,因此时间lv进展或运动将不像图中所指示一样平滑。特别地,通常存在在运动中呈现的两种不同的运动频率:心脏(循环)频率和实际探头运动频率。
190.此外,应注意,尽管在图5和图6的范例中,根据解剖特征(在这种情况下为lv)朝向或远离图像视图的中心的移动来图示改变的图像视图质量,但更一般地,图像视图质量可能与其他因子有关。特别地,感兴趣解剖体存在和清晰可见的程度,例如其是模糊的还是清晰描绘的。这在图7中示意性地图示,图7图示了一组范例图像视图,每个图像视图标记有针对成像视图的范例图像质量评级。例如,图像视图(a)示出了中心定位并清晰描绘的左心室。其具有0.99的高质量评分评级。图像视图(b)示出了较少中心定位但仍清晰描绘的左心室。其具有0.95的稍微更低的质量评分评级。图像视图(c)示出了中心定位但模糊或褪色的左心室。其具有0.40的相对低质量评分评级。图像视图(d)示出了从捕获的超声图像数据中丢失的心脏的关键部分(左心室)。此处,图像视图评级是四个范例图像视图中最低的,具有0.30的评级评分。
191.根据上文所描述的实施例中的任一项,取决于用户当前生成的成像视图的质量评级,以不同速度移动可能是最佳的。例如,当用户当前处于对应于低质量评级成像视图的位置,并且正在移动探头以试图改进质量时,相对快速的移动可能是可接受的。相反,当用户已经达到相对高质量成像视图并且可能即将实现最佳成像视图时,较慢的移动可以是优选的以避免超出最佳位置。
192.为了解决这一点,根据一个或多个范例,系统可以被配置为将操纵建议作为反馈的部分输出给用户。这例如可以是关于当前成像视图的当前质量评级和/或成像视图评级随时间的历史和/或成像视图评级的趋势的信息的补充。例如,操纵建议可以是当质量低时快速移动,当质量中等时减速,并且当质量高时维持恒定速度或以更快的速度减速。系统可以采用简单的查找表来实现这一点:坏质量-》快速移动,中等质量-》减速,好质量-》稳定运动。
193.额外地或备选地,可以提供在后台运行的运动检测算法。基于超声的运动检测算法在本领域中是已知的并且包括例如散斑跟踪算法,其使得运动速度能够基于检测到超声成像数据中的散斑图案移动的速度来检测。该算法可以评价运动的幅度并在操纵步速超过针对当前成像视图质量的某些预定义阈值或范围时警告用户,这些对应于针对不同成像视图质量的预定最佳速度。
194.根据一个或多个有利实施例,根据上述实施例中的任一项的方法可以作为个性化学习工具的部分来实施。例如,对于特定用户,系统在成像流程期间存储其探头移动模式,并且然后以后可以基于他或她如何操纵探头来提供特定推荐(例如,他们是否最有效地调节探头位置,他们是否实现最佳成像视图)。然后,用户可以离线查看这些模式,并且潜在地获悉他们的“优选”操纵,并且优化它们以以可能最有效的方式达到期望的视图。
195.尽管在上文所描述的特定范例中,已经提出采用机器学习算法以用于实施评估流程,但是在另外的实施例中,评估流程可以采用非机器学习方法。
196.通过范例,可以根据一个或多个范例采用基于模型的分割(mbs)算法。例如,可以
采用分割算法以用于识别或检测每个成像视图内的特定感兴趣解剖特征。针对每个成像视图的质量评级可以基于分割算法的结果,例如基于感兴趣解剖特征的存在或不存在,或者基于该特征完全包括在成像视图内的程度。
197.在一些范例中,质量评级可以指示图像视图包含特定解剖特征的程度或与其有关。例如,如果通过分割(或其他)算法仅一半感兴趣解剖特征被检测为存在于图像中,则质量评级可以是50%,而如果没有任何特征存在,则质量评级可以是0%。例如,评级可以与包括在图像视图中的解剖特征或感兴趣区域的比例有关。
198.根据本发明的另一方面的范例提供了一种包括代码模块的计算机程序产品,所述代码模块当在处理器上运行时使处理器执行根据上文概述或下文描述的实施例或范例中的任一项或根据本技术的任何权利要求的方法。
199.使用中的处理器可以通信地与超声探头耦合。备选地,处理器可以被布置为从不同的源接收超声数据,例如从超声成像系统、从中央服务器或者在一些范例中从存储器存储接收。
200.根据本发明的另一方面的范例还提供了一种用于在对象的身体的超声成像期间引导超声成像系统的用户的系统,该超声成像系统包括具有相对于对象身体的可移动位置的超声探头。
201.图8示意性地图示了范例系统90。
202.该系统在使用中被示出,与用于接收超声图像数据的超声成像探头22通信地耦合。在其他范例中,该系统可以与超声成像系统(例如诊断超声系统)通信或操作地耦合。根据另一方面的范例提供了一种超声成像系统,其包括超声探头22并且包括引导系统90。
203.返回到图8的引导系统90,系统包括接收模块92,其适于在超声成像流程期间接收表示多个超声成像视图的超声数据,每个视图对应于从探头的相应位置和在流程期间的相应时间点处捕获的数据。
204.系统90还包括评估模块94,评估模块94被配置为将评估流程应用于超声数据,该流程可操作于评估超声成像视图的质量,质量与针对不同成像视图的超声数据用于观察一个或多个解剖特征或从数据导出一个或多个临床参数的适用性有关。
205.该系统还包括反馈模块96,反馈模块96被配置为基于评估流程来生成用于辅助用户定位探头的引导反馈,所述引导反馈基于在成像流程期间成像视图质量随时间的历史。
206.通过图示,图8的范例中的反馈模块96被示出为操作地耦合到显示单元102,以用于向显示器输出针对用户的视觉引导反馈。这仅表示一个范例。在其他范例中,反馈单元可以生成不同形式的感觉反馈,例如,听觉反馈,或在一些范例中甚至触觉反馈,例如强度或频率或振动模式的振动,其被配置为表示图像视图质量评级随时间的历史。
207.针对以上系统的特征中的每个的实施选项和细节可以根据上文关于本发明的方法方面提供的解释和描述来理解和解释。
208.上文关于引导方法所描述的范例、选项或实施例特征或细节中的任一个可以应用或者组合或者并入到本发明的本系统方面中。
209.尽管在上文所讨论的范例系统90中,接收模块92、评估模块94和反馈模块96被示出和描述为单独的部件,但这不是必需的。其相关功能可以以不同方式分布在一个或多个部件中间。在一些范例中,例如,不同模块的功能可以由单个元件集成和执行,例如,由单个
控制器或处理器集成和执行,或者其功能可以以其他方式分布在一个或多个元件或部件之间。备选地,每个模块的功能可以由系统90内的单独的控制器或处理器执行。
210.本发明的实施例可以特别有利地应用于经食道超声心动图(tee),例如在延长和/或连续时段内进行tee监测的目的。例如,超声探头可以是经食道超声心动图(tee)探头。
211.然而,tee仅表示一个范例应用领域,并且本发明的实施例可以有利地应用于任何其他类型的超声检查。实施例对于长期或连续或进行中的超声检查可能特别有利,即超声监测应用,其中,超声探头的位置能够随时间漂移,并且可能需要反复校正。根据本发明的实施例的引导系统使得甚至非专业操作者能够准确且快速地调节探头的位置。
212.如上文所讨论的,实施例可以利用处理器来执行数据处理。处理器可以利用软件和/或硬件以许多方式实施以执行要求的各种功能。处理器通常采用可以使用软件(例如,微代码)编程以执行所要求的功能的一个或多个微处理器。处理器可以被实施为执行一些功能的专用硬件和执行其他功能的一个或多个编程的微处理器和相关联的电路的组合。
213.可以被采用在本公开的各种实施例中的电路的范例包括但不限于常规微处理器、专用集成电路(asic)和现场可编程门阵列(fpga)。
214.在各种实施方式中,处理器可以与一个或多个存储介质相关联,诸如易失性和非易失性计算机存储器,诸如ram、prom、eprom和eeprom。存储介质可以编码有一个或多个程序,其当在一个或多个处理器和/或控制器上运行时执行本文所要求的功能。各种存储介质可以被固定在处理器或控制器内或可以是可运输的,使得被存储在其上的一个或多个程序可以被加载到处理器中。
215.通过研究附图、说明书和所附权利要求书,本领域的技术人员在实践请求保护的本发明时可以理解和实现对所公开的实施例的变型。在权利要求中,词语“包括”不排除其他元件或者步骤,并且词语“一”或“一个”不排除多个。
216.单个处理器或其他单元可以履行权利要求中记载的若干项(例如若干模块)的功能。
217.尽管在互不相同的从属权利要求中记载了特定措施,但是这并不指示不能有利地使用这些措施的组合。
218.计算机程序可以被存储/分布在适合的介质上,诸如与其他硬件一起或作为其他硬件的部分提供的光学存储介质或固态介质,但是计算机程序也可以以其他形式分布,诸如经由因特网或其他有线或无线电信系统分布。
219.如果术语“适于”被使用在权利要求或说明书中,则应注意到,术语“适于”旨在等效于术语“被配置为”。
220.权利要求中的任何附图标记不应当解释为对范围的限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献