用于引导超声探头的系统和方法与流程

1.下文总体上涉及超声技术、超声成像技术、超声探头技术、超声探头引导技术、超声导管技术、经食道超声造影(tee)技术和相关技术。


背景技术：

2.采用被安装在导管末端的超声换能器阵列的超声成像，并且具体的经食道超声心动图(tee)是一种具有多种用途的现有成像方法，最常用于对心脏病患者的诊断目的和在基于导管的心脏介入手术期间提供图像引导。tee涉及一种用于心脏超声成像的方法，其中，超声探头包括超声换能器位于其尖端的电缆或管子。tee探头插入食道，以将超声换能器放置在其靠近心脏的远端尖端。
3.tee的另一种用途是用于基于导管的结构性心脏介入，其中，tee已经作为一种可靠的方法被广泛采用，以对在处置结构性心脏病中使用的介入导管器械进行成像。三维(3d)经食管超声(us)用于导管-实验室程序中的介入引导，因为它与使用b-模式超声的二维(2d)切片可视化相比，提供增强心脏解剖结构可视化的实时体积成像，并提供在x射线中缺失的特殊的软组织可视化。对于许多结构性心脏病(shd)介入(例如，二尖瓣置换术)，tee通常用于提供可视化。
4.通常，tee探头由受过训练的超声医师(或心脏病专家)插入食道中，并手动调整到多个标准查看位置，使心脏的具体解剖结构和透视在us设备的视场内。不同的测量或检查可能需要相同解剖结构的不同视场/透视，在这种情况下，需要重新定位探头。在手术中，探头经常在视图位置之间移动，以适应x射线成像。
5.tee探头通常包括机械关节，所述机械关节能够通过tee探头的手柄上的旋钮操作。关节，以及tee探头的受控插入距离和超声成像平面的电子束转向，为定位超声换能器和成像平面提供了很大的灵活性，从而采集所需的心脏视图。然而，使人担忧的事包括食道穿孔的风险、以及操纵多个程度的控制以实现所需临床视图的困难。
6.除了tee之外，采用具有超声换能器被设置在管子的远端端部的尺寸适合插入患者的管子(即，导管)的探头的其他类型的超声成像包括：心内回声(ice)探头，其通常比tee探头更薄并且插入血管以在心脏内移动超声换能器阵列；以及血管内超声(ivus)探头，其也很薄并且插入血管中从内部有利位置对各种解剖结构进行成像。
7.在心脏上执行的许多介入手术，包括主动脉瓣修复、二尖瓣修复或置换、卵圆孔未闭闭合和房间隔缺损闭合，已经从外科手术转移到经导管方法。在经导管介入中，临床医生通过脉管系统将长的柔性工具引入心脏。经股动脉通路是一种常见的技术，其中，在患者腹股沟附近做一个小切口，作为在通往心脏的途中进入股静脉的器械入口。
8.经导管方法越来越受欢迎，因为与外科手术相比，它们对患者造成的创伤更少并且需要更少的术后恢复时间。同时，由于缺乏灵活性、可视化和触觉反馈，它们是在技术上具有挑战性的程序。其中一些基本功能通过诸如tee的技术修复，其通过最小访问方法修复视觉损失，并在较小程度上用工具与组织交互的视觉反馈代替触觉反馈。
9.下文公开了一些改进以克服这些问题和其他问题。


技术实现要素：

10.在一个方面，一种超声设备包括探头，所述探头包括尺寸适合于体内插入患者内的管子和设置在管子远端端部的超声换能器。相机以与超声换能器的空间关系被安装在管子的远端端部。至少一个电子处理器编程为：当超声换能器被设置在体内时，控制超声换能器和相机分别采集超声图像和相机图像；在超声换能器的体内移动期间构造关键帧，每个关键帧表示超声换能器的体内位置，并且至少包括从在超声换能器的体内位置处采集的超声图像中的至少一幅提取的超声图像特征，以及从在超声换能器的体内位置处采集的相机图像中的至少一个提取的相机图像特征；生成包括关键帧的超声换能器的体内移动的导航图；并且，基于由超声换能器和相机采集的当前超声和相机图像与导航图的比较来输出导航引导。
11.在另一方面，公开了一种用于导航探头的导航设备，所述探头包括尺寸适合于插入患者体内的管子和被设置在管子的远端端部的超声换能器。导航设备包括至少一个电子处理器，其被编程为：在超声换能器被设置在患者体内时，控制探头的超声换能器采集超声图像；在超声换能器在患者体内进行体内移动期间构造关键帧，每个关键帧表示超声换能器的体内位置，并且包括(i)从在超声换能器的体内位置处采集的超声图像中提取的至少超声图像特征，以及(ii)探头在超声换能器的体内位置处的配置；生成包括关键帧的超声换能器的体内移动的导航图；并且，基于由超声换能器采集的当前超声图像与导航图的比较来输出导航引导。
12.在另一方面，一种控制包括探头的超声设备的方法，所述探头包括尺寸适合插入患者体内的管子和被设置在管子的远端端部的超声换能器，以及以与超声换能器的固定空间关系被安装在管子的远端端部的相机。所述方法包括：当超声换能器被设置在患者体内时，控制超声换能器和相机分别采集超声图像和相机图像；在超声换能器的体内移动期间构造关键帧，每个关键帧表示超声换能器的体内位置，并且至少包括从在超声换能器的体内位置处采集的超声图像中的至少一幅提取的超声图像特征，从在超声换能器的体内位置处采集的相机图像中的至少一个提取的相机图像特征，以及在超声换能器的体内位置处的探头的配置，其中，超声换能器的体内移动包括，从包括超声换能器的第一体内位置的第一视图到包括超声换能器的第二体内位置的第二视图的移动；生成包括关键帧的超声换能器的体内移动的导航图，所述导航图包括表示第一视图的第一视图关键帧、表示第二视图的第二视图关键帧和表示在从第一视图移动到第二视图的移动期间超声换能器的中间位置的中间关键帧；并且，基于由超声换能器和相机采集的当前超声和相机图像与导航图的比较来输出导航引导。
13.一个优点在于提供超声探头的正确定位以在特定视图处采集心脏图像。
14.另一个优点在于提供一种基于导管的超声探头，其具有改进的对超声探头的自动控制，或者在超声探头的手动操作的情况下改进的导航引导。
15.另一个优点在于提供具有空间布置的多个图像设备(例如，超声探头和辅助相机)的超声探头，以提供用于将探头导航到不同横截面视图的更多信息。
16.另一个优点在于为超声探头提供改进的导航，以提供对特定视图的更快靶向。
17.另一个优点在于提供一种超声探头，所述超声探头向用户提供导航图和引导，以操纵超声探头穿过患者。
18.另一个优点在于提供操作复杂性更低、减少错误和成本的超声探头。
19.另一个优点在于提供具有伺服马达和电子控制器的超声探头，所述电子控制器自动操纵超声探头通过食道、血管或具有可横穿内腔的其他解剖结构。
20.给定实施例可以不提供或者提供一个、两个、多个或所有上述优点，和/或可以提供其他优点，对于本领域普通技术人员在阅读和理解本公开后将变得显而易见。
附图说明
21.本公开可以采取各种组件和组件布置、各种步骤和步骤布置的形式。附图仅用于说明优选实施例的目的而不应被解释为限制本公开。
22.图1和图2示出了根据一个方面的超声设备的范例性实施例。
23.图3示出了图1和图2的超声设备的范例性流程图操作。
24.图4示出了由图1和图2的超声设备生成的关键帧的范例。
25.图5示出了图1和图2的超声设备的潜在可移动轴线。
26.图6示出了由图1和图2的超声设备生成的关键帧和对应的链接的范例。
27.图7示出了由图1和图2的超声设备生成的导航图的范例。
28.图8示出了图1和图2的超声设备的范例使用。
具体实施方式
29.本文公开的系统和方法利用关键帧。如本文所使用的，关键帧(及其变体)是指探头位置的位置签名。关键帧至少包括表示tee探头(或其他基于导管的超声探头)的具体位置的图像签名。在一些实施例中，关键帧可以是配置关键帧(或其变体)，其是指将表示tee探头的具体位置的图像签名与对应的(根据关节角度、管子旋转、插入深度、图像平面和可能的tee探头的其他自由度所定义的)tee探头配置组合的关键帧。
30.本文认识到，单独的超声图像可能不足以生成可靠的关键帧，因为超声成像能够是间歇性的，并且提供相对低分辨率的图像。为了提供更鲁棒的关键帧，将视频相机集成到探头尖端中，与超声换能器附接或在电缆上靠近其进行定位，以便一起移动。
31.在典型的工作流程中，tee探头在沿着横贯食道的点处采集关键帧。例如，每次图像丢失(由于移动和/或电子束转向引起)超过图像特征的阈值分数时，可以采集新的关键帧。任选地，当临床医生到达期望的视图时，可以采集并用视图标记关键帧的手动采集。备选地，可以基于自动识别定义图像特征的图像分析和利用视图标记的对应关键帧来自动识别视图。在自动tee探头的情况下，如果临床医生想要返回之前的视图，一个或多个伺服电机反转，以向后移动探头尖端，并将所采集的图像与沿途的关键点进行比较，以自动追踪并调整(如果需要)回溯过程。在手动操作的tee探头的情况下，提供人类可感知的引导(例如，文本、音频)来引导操作者向后移动探头尖端，并将所采集的图像与沿途的关键点进行比较，以自动跟踪回溯过程，并在需要时基于比较提供更新后的引导。
32.当tee探头横穿食道并移动到期望的临床视图中时，在一种方法中，采集配置关键帧。根据配置关键帧，构造导航图，其识别配置关键帧和它们之间的链接。链接识别从一个
关键帧移动到另一个关键帧的导航路径。这使得更容易返回到之前的视图并验证何时到达之前的视图。导航图还可以允许优化两个视图之间的路径。
33.在本文公开的一些实施例中，实施手动模式。在这种情况下，tee探头是手动操作探头，其具有旋钮，以控制tee探头的关节，并且所述系统基于从导航图导出的路线及实时的配置关键帧与先前采集的配置关键帧的比较来提供诸如“提前插入”、“缩回”、“处于视图”等控制提示。在其他实施例中，tee探头部分或完全是自动的，其中，伺服电机代替操作tee探头关节的旋钮。在这种情况下，系统能够直接控制伺服电机执行所期望的tee探头操纵。
34.在本文公开的一些实施例中，超声换能器是侧向发射的，而视频相机是前视的，这是一种方便的布置，因为侧向发射的超声换能器很好地放置为对心脏进行成像，而前视的视频相机提供侧向发射换能器不能提供的优势。特别有价值的是，前视相机能够检测将会阻碍tee探头进一步插入的障碍物，并且能够将适当的动作(例如转动探头关节)可视化，以避免与障碍物碰撞。
35.图1和图2示出了用于医学程序的，具体地用于心脏成像程序的超声导航设备10的一个范例性实施例。尽管在本文中称为tee超声设备，但超声设备10是任何合适的基于导管的超声设备(例如，用于心内回波(ice)程序、血管内us(ivus)程序等的超声设备)。如图1所示，超声设备10包括探头12，探头12例如被配置为用作导管以插入患者的管腔(例如，管腔可以是食道管腔，或血管管腔等)的柔性电缆或管子。探头12可以是任何合适的市售探头(例如，可从荷兰埃因霍温的koninklijke philips n.v.获得的philips x7-2 tee探头)。示意性的探头12被描述为在tee程序中使用，所述tee程序包括将探头插入患者的食道以采集患者的心脏的图像，但是应当理解，基于导管的探头可以适当地调整尺寸以插入患者的任何部分采集任何目标组织的图像。通常，用于ice或ivus的血管内探头将具有与tee探头相比更细的直径，因为与食管的较大管腔相比，在ice或ivus程序期间穿过的最窄血管的管腔更窄。
36.探头12包括管子14，管子14的尺寸适合插入患者的一部分(例如，食道)。管子14包括远端端部16，超声换能器18被设置在该处。超声换能器18被配置为采集目标组织(例如，心脏或周围脉管系统)的超声图像19。相机20(例如，诸如rgb或其他彩色相机之类的视频相机、单色相机、红外(ir)相机、立体相机、深度相机、光谱相机、光学相干断层扫描(oct)相机等)也被设置在管子14的远端端部16处。相机20被配置为采集目标组织的(例如，静止和/或视频)相机图像21。相机20可以是任何合适的市售相机(例如pattison等人在“atrial pacing thresholds measured in anesthetized patients with the use of an esophageal stethoscope modified for pacing”(journal of clinical anesthesia，第9卷，第6期，第492页)中描述的相机)。
37.相机20以一种与超声换能器18的空间关系(即，固定的空间关系)安装。在一个范例实施例中，超声换能器18和相机20彼此附接，或者如图1和图2所示，被容纳或以其他方式固定到位于管子14的远端端部16处的公共外壳22。具体地，如图2所示，超声换能器18被布置为侧向发射，并且相机20被布置为面向前方。有利地，如图1所示的这种布置提供侧向发射超声换能器18被很好地放置以对心脏进行成像，而前视相机20提供了侧向发射换能器不提供的(例如，心脏的)优势。
38.超声设备10还包括电子控制器24，其能够包括工作站，例如电子处理设备、工作站计算机、智能平板电脑或更通用的计算机。在非限制性示意性范例中，电子控制器24是philips epiq级超声工作站(注意，超声工作站24和tee探头12以不同的比例示出)。电子控制器24能够控制超声设备10的操作，包括例如控制超声换能器18和/或相机20采集图像，以及通过控制连接到驱动关节(未示出)的超声设备10的一个或多个伺服电机26来控制探头12移动通过食道，和/或延伸和缩回管子14。备选地，可以提供一个或多个旋钮27，用户通过所述一个或多个旋钮27手动操作驱动关节，以操纵探头通过食道。
39.尽管图1为了示意性目的示出了旋钮和伺服电机部件26、27，但通常超声探头12将是手动的(仅具有旋钮)或是自动的(仅具有伺服电机)，当然也考虑了混合手动/自动设计，例如在一种设计中，用户手动伸出/缩回管子14，同时提供伺服电机以自动操作探头关节。
40.工作站24包括典型部件，例如包括用于插入超声探头的连接器29(图1中虚线示出的电缆示意性指示tee探头12与超声工作站24连接)的至少一个电子处理器28(例如，微处理器)、至少一个用户输入设备(例如鼠标、键盘、轨迹球等)30、以及至少一个显示设备32(例如lcd显示器、等离子显示器、阴极射线管显示器、等等)。示意性超声工作站24包括两个显示设备32：其上显示超声图像的较大的上部显示设备，以及其上显示用于控制工作站24的图形用户接口(gui)48的较小的下部显示设备。在一些实施例中，显示设备32能够是与工作站24分开的组件。
41.电子处理器28与一个或多个非临时性存储介质34可操作地连接。以非限制性范例的方式，非临时性存储介质34可以包括磁盘、raid、或其他磁存储介质；固态驱动器、闪存驱动器、电子可擦除只读存储器(eerom)或其他电子存储器；光盘或其他光学存储器；其各种组合；等等；并且可以是例如网络存储器、工作站24的内部硬盘驱动器、它们的各种组合等等。尽管与控制器24分开示出，但在一些实施例中，一个或多个非暂时性存储介质34的一部分或全部可以与超声工作站24集成，例如包括内部硬盘驱动器或固态驱动器。还应当理解，本文中对非暂时性介质或介质34的任何引用应当被广义地解释为涵盖单一介质或者相同或不同类型的多种介质。同样，电子处理器28可以体现为单个电子处理器或者两个或多个电子处理器。非暂时性存储介质34存储可由至少一个电子处理器28执行的指令。
42.如上所述，超声设备10被配置为执行用于控制探头12的移动的控制方法或过程100。非暂时性存储介质32存储可由工作站24的至少一个电子处理器28读取和执行的指令，以执行所公开的操作，包括执行控制方法或过程100。在一些范例中，控制方法100可以至少部分通过云处理来执行。
43.现在参考图3，并继续参考图1和图2，控制方法或过程100的说明性实施例被示意性示出为流程图。在操作102处，至少一个电子处理器28被编程为控制超声换能器18和相机20分别采集超声图像19和相机图像21，同时超声换能器(以及相机20和公用刚性外壳22)在体内被放置在患者的食道内。
44.在操作104处，至少一个电子处理器28被编程为在超声换能器18的体内移动期间构造多个关键帧36。每个关键帧36表示超声换能器18的体内位置(例如，食道内)。为了构造关键帧36，至少一个电子处理器28被编程为从超声图像19中的至少一个提取超声图像特征38，和/或从相机图像21的至少一个提取相机图像特征40。超声图像19和相机图像21能够被存储在一个或多个非暂时性计算机介质34中，和/或显示在显示设备32上。提取过程能够包
括用于提取至少一个超声图像特征38与至少一个相机图像特征40之间的特征集的算法。这样的算法能够包括，例如，尺度不变特征变换(sift)算法、多尺度定向补丁(mops)算法、血管跟踪算法、或本领域已知的任何其他合适的匹配算法。在变型实施例中，操作102使用超声换能器18仅采集超声图像(在这种情况下可以可选地省略相机20)，并且操作104使用仅从超声图像提取的特征38来构造关键帧。然而，所预期的是，使用从超声图像19和相机图像21二者提取的特征来构造关键帧36将为关键帧36提供用于唯一识别给定视图的更高水平的辨别力，此外，相机图像21能够在超声图像具有低对比度或以其他方式具有信息不足特征的情况下是有用的(反之亦然，如果相机图像信息不足，则这可以通过从超声图像提取的特征进行补偿)。
45.在一个范例中，关键帧36还能够包括探头12在超声换能器18的体内位置处的配置37的特征。配置37能够被存储在非暂时性计算机可读介质34中，并且能够包括采集超声图像19时超声换能器18的一种或多种设置(例如，射束转向角度、聚焦深度、分辨率、宽度等)，在换能器的体内位置处从所述超声图像19提取图像特征38。探头12的配置37能够额外地或备选地包括在采集一个或多个超声图像19时探头的管子延伸设置和/或探头的关节位置设置。在其他范例中，探头12的配置37能够包括在超声换能器18的体内位置处采集的超声图像19之一的成像平面。超声成像平面的电子束转向设置在将超声换能器18和成像平面定位为便于采集所需的心脏视图方面提供了很大的灵活性。
46.关键帧36能够被配置为信息的集合或元组，包括超声图像特征38、相机图像特征40和探头12的配置37的设置。探头12的每个位置能够表示为唯一的元组。图4示出了这样的两个相邻关键帧36的元组的范例。元组能够作为任何合适的数据结构(例如连结元组元素的单个向量)，或者作为元组每个元素的独立向量，或者作为多维阵列数据结构等存储在存储器(即，非暂时性计算机可读介质36)中。
47.在一些范例实施例中，至少一个电子处理器28被编程为构造表示包括超声换能器18的第一体内位置的第一视图的关键帧36。在超声换能器18从第一视图横穿到包括超声换能器的第二体内位置的第二视图期间，至少一个电子处理器28被编程为构造表示超声换能器的“中间”位置的关键帧36。在超声换能器18的横穿结束时，至少一个电子处理器28被编程为构造表示第二视图的关键帧36。
48.至少一个电子处理器28被编程为检测何时应该采集和保存表示“中间位置”的新关键帧36(即，从第一视图到第二视图的过渡期间)。为此，将最近构造的关键帧36与最近采集的超声图像19和最近采集的相机图像21进行比较。在一个范例中，如果图像19、21中的特征(例如，解剖结构特征，等等)数量以超过关于关键帧36中的特征数量的预定比较阈值(特征的25％)的方式改变，则生成新的关键帧。在另一范例中，所采集的图像19、21中的平均像素位移相对于关键帧36的像素位移改变预定的比较阈值(例如，图像大小的x％)，则生成新的关键帧。其他范例能够包括对于改进图像19、21的本领域已知的可变形匹配算法，以进行图像跟踪。这些阈值能够根据经验进行调整，例如，为了确保采集“正确”数量的关键帧36(例如，太多的关键帧导致混叠关键帧，而太少的关键帧使导航变得困难)。
49.确定何时应当采集新的关键帧36的其他范例包括：距最近采集的关键帧的距离、距任何关键帧的距离、从最近采集的关键帧所流逝的时间、与上一图像(超声或相机)的足够不同、与任何图像的足够不同、足够的关节运动、及其组合。关键帧36的构造也能够由诸
如ecg信号、解剖信号(例如测量出的呼吸信号)或其他同步信号的信号触发。关键帧36可以任选地还包括关于任何医学介入器械的信息或组织跟踪信息的信息。
50.在其他范例实施例中，操作104包括响应于满足一个或多个关键帧采集标准42(其能够被存储在一个或多个非暂时性计算机可读介质34中)来构造每个关键帧36。在一个范例中，关键帧采集标准42能够包括“上一次采集的”关键帧36与当前采集的超声图像19和/或当前采集的相机图像21之间的比较。关键帧36能够被存储在一个或多个非暂时性计算机介质34中，和/或显示在显示设备32上。一旦存储，用户能够在任何时间经由工作站24访问关键帧36。比较能够包括上一次采集的关键帧36与超声图像19/相机图像21之间的特征的数量上的变化的比较、超声图像19之一或相机图像之一与上一次采集的关键帧的空间位移等。在另一范例中，关键帧采集标准42能够包括识别在当前超声图像19中成像的目标组织的定义图像特征(例如，左或右心室、左或右主动脉、诸如主动脉或腔静脉等的患者的心脏的特定血管)。比较过程能够包括应用匹配算法来分别匹配至少一个超声图像19和至少一个相机图像21的特征集38和40。这样的算法能够包括例如使用差值平方和(ssd)算法。在一些范例中，可变形配准算法能够应用于特征集38和40，以提高多个关键帧36之间匹配的可靠性。为了增加关键帧匹配的稳健性，任选地在匹配过程中使用最近生成的关键帧36的序列。
51.在任选操作106中，至少一个电子处理器28被编程为在从用户接收到经由工作站24的至少一个用户输入设备30的用户输入的情况下，利用标签44对表示超声换能器18的体内位置的关键帧36进行标记。在一种方法中，gui 48可以提供标准解剖视图(食管中段(me)四腔视图、me(长轴(lax)视图、经胃(tg)中乳头短轴(sax)视图等)的下拉列表gui对话框，并且用户能够选择列出的项目之一作为标签44。备选地，可以提供自由格式的文本输入gui对话框，用户经由该对话框在标签44中键入，或进一步注释从下拉列表中选择的标签。此外，关键帧36也能够被标记为指示或表示超声换能器18的中间位置(例如，在示出在“相邻”超声图像19和/或相机图像21中的位置之间的位置中的超声换能器的位置)。标签44和带标签的关键帧36能够被存储在一个或多个非暂时性计算机可读介质34中。标签44还能够包括例如相应的事件，如手术子任务、不良事件等。
52.在一些范例中，不同于(或额外地)采用手动标记，至少一个电子处理器28可以被编程为根据示出在图像中的具体解剖视图(例如，me四腔视图、me lax视图、tg midpapillary sax视图等)标记或以其他方式分类超声图像19和/或相机图像21。图像19和21能够由用户经由至少一个用户输入设备30手动标记，或者使用本领域已知的超声图像匹配算法自动标记。
53.现在简要参考图5，并继续参考图1-3，探头12是可以各种方式进行操纵的(根据实施例，使用旋钮27或其他手动操纵手动进行，和/或使用伺服电动机26自动进行)。探头12能够横向前进(沿图3中的方向1(a)标记)；沿方向1(b)横向后退；沿前角方向2(a)旋转，并且沿后角方向2(b)旋转。探头12的远端端部16被配置为沿右方向3(a)、左方向3(b)、前屈方向4(a)、和后屈方向4(b)移动(经由旋钮27的用户操作)。这些是说明性的自由度；特定的超声探头实施方式可以提供更多、更少和/或不同的自由度来操纵体内探头位置。
54.继续参考图1-3，并且现在参考图6和图7，在操作108中，至少一个电子处理器28被编程为生成超声换能器18的体内移动的导航图45。图6示出了在构造导航图45中使用的事
件的时间序列的一部分，同时图7示意性示出了导航图45。导航图45包括关键帧36(即，在操作104处生成的)。为了生成导航图45，至少一个电子处理器28被编程为基于表示在超声换能器18的体内移动期间超声换能器的体内位置的关键帧的构造的时间序列(图6)来识别关键帧36之间的一个或多个链接47。如图6所示，链接47连接相邻的关键帧36(例如，在第一视图关键帧36'与第二关键视图关键帧36”之间；在第一视图关键帧与中间关键帧36”'之间；等等)。链接47识别从一个关键帧36移动到另一个的导航路径。例如，每个链接47可以包括在上一个关键帧和下一个关键帧之间执行的探头调整的记录的按时间排序的序列。这使得返回之前的视图以及验证何时到达之前的视图更容易。链接47能够根据能够朝向目标组织导航探头12的效率来计算。效率能够从多个度量来确定，例如探头的关节位移、行进的距离、由探头施加的力、中间关键帧36的数量、等等。
55.当探头12处于图6所示的关键帧36”的位置时，为了从关键帧36”回到较早的(即，第一视图)关键帧36，原则上要足以：(i)将链接47从关键帧36”倒回(即重复，但以相反的顺序)至中间关键帧36'；并且(ii)将链接47从中间关键帧36'倒回至第一视图关键帧36。然而，在实践中，由于各种原因，简单倒回可能是不够的。由于由食道壁施加在探头上的力，探头12可以在移动期间偏移，从而改变行进路径。探头关节还可以表现出一些滞后或也能够改变行进路径的其他机械缺陷。为了解决这个问题，电子控制器24适当地执行当前关键帧与沿路径的任何可用关键帧(如图6中所示的示意性的中间关键帧36”)的匹配，以确保倒回按预期进行。如果识别出偏差(例如，在执行第一链接47的倒回之后，当前关键帧与预期的中间关键帧36”不匹配)，则能够对探头关节或其他自由度进行调整，以将当前关键帧与中间关键帧36”对齐。这能够迭代地进行，例如对一个关节进行少量调整，并且查看匹配是否改善，如果不在相反方向上调整关节，则迭代地进行重复，直到获得最佳匹配，然后对探头12的另一个关节重复这种迭代优化，如此类推。备选地，当前关键帧与中间关键帧36”的比较能够用于估计调整的正确方向，例如，基于当前关键帧中的关键特征与中间关键帧36”中这些关键特征的预期位置之间的偏移。如果关键帧36包括配置信息，这也能够用于在倒回期间做出调整，例如，如果倒回第一链接47之后的当前帧的关节位置与中间关键帧36”中记录的配置未精确匹配，则能够调整关节以更接近地匹配关键帧配置。
56.在另一种方法中，可以不记录链接47。在这种情况下，应当以足够小的间隔采集中间关键帧36”，并且优选地带有关键帧中的配置信息，以便能够通过迭代调整关节或其他探头自由度来执行从当前关键帧到先前的关键帧的倒回，以从一个中间关键帧的配置步进到下一个中间关键帧的配置，依此类推，直到达到之前的关键帧的配置。
57.导航图45还可以允许两个视图之间的路径的优化。导航图45能够用于确定到先前访问位置的路径，具有减少路径冗余并由此提高导航效率的潜力。导航图45还可以用于基于已映射的内容外推到未映射的位置。在一些范例中，能够(例如，经由gui 48在显示设备30上)更新导航图45，以反映实时状况(即，来自食道内部的)。
58.现在返回到图1-3，在操作110中，至少一个电子处理器28被编程为基于分别由超声换能器18和相机20采集的当前超声和相机图像19、21与导航图45的比较来输出导航引导49。导航引导49可以额外地或备选地基于链接47，例如实施已执行的探头调整的记录的按时间排序的序列或记录的序列的倒回。导航引导49可以额外地或备选地基于连续的中间关键帧的配置之间的逐步变化。在后一种方法中，根据链接47确定的导航引导49和/或连续的
中间关键帧36”的配置的逐步变化优选地基于当前超声和相机图像19、21与导航图45的关键帧的比较来进行验证(以及，如果需要进行调整)。例如，至少一个电子处理器28被编程为通过使用导航引导49经由多个关键帧36的构造来引导(以及，在自动实施例的情况下控制)探头12通过食道的体内移动。能够经由gui 48在显示设备30上输出引导49。
59.在一个范例实施例中，操作110以手动模式实施。为此，至少一个电子处理器28被编程为在超声换能器18从第二视图返回到第一视图的手动执行的(例如通过旋钮27)回溯行进(即“反向”移动)期间提供人类可感知的引导46。引导46是基于超声图像19和相机图像21(在回溯行进期间采集的)与表示中间位置的关键帧36和表示第一视图的关键帧之间的比较。引导46能够包括命令，所述命令包括以下中的一项或多项：超声设备10通过食道前进(例如，“向前行进及其变体)；超声设备通过食道收回(例如，“反向”及其变体)、“转动”、“捕获关键帧”、等等。引导46能够在显示设备32上可视地输出，通过扬声器(未示出)可听地输出，等等。此外，引导46可以显示为覆盖在显示设备32上显示的图像19和21。
60.在另一范例实施例中，操作110以自动化模式实施，其中，探头12通过伺服电机26的动作自动移动通过食道。为此，至少一个电子处理器28被编程为控制探头12的一个或多个伺服电机26执行超声换能器18从第一视图到第二视图的行进。然后至少一个电子处理器28被编程为控制探头12的伺服电机26基于(在回溯行进期间采集的)超声图像19和相机图像21与表示中间位置的关键帧36和表示第一视图的关键帧的比较来执行超声换能器18从第二视图返回到第一视图的回溯行进。
61.在手动模式和自动模式两种情况下，至少一个电子处理器28被编程为，通过生成用于在显示设备32上进行显示的gui 48来引导用户关于探头12通过食道的移动。用户能够使用gui 48，以使用至少一个用户输入设备30来选择期望的视图或关键帧36。关键帧36的期望视图能够包括之前采集并存储在非暂时性计算机可读介质34中的关键帧、在当前过程中采集的关键帧、或被存储在非暂时性计算机可读介质中的预定义关键帧。针对图像特征集38、40的匹配算法能够用于找到如在显示设备30上所示的最接近当前采集的关键帧的一组关键帧36。例如，从“视图a”到“视图n”的关键帧36由用户在程序开始时创建并保存在非暂时性计算机可读介质34中。相邻视图之间的视图(例如，“视图a”到视图“b”、“视图b”到“视图c”、等等)使用“中间”关键帧36链接。为此，当前关键帧(例如，“视图b”)与下一个关键帧(例如，“视图c”)之间的增量移动使用，例如，诸如特征的基本光学流量的运动估计方法来估计探头12应当移动的方向。在gui48上实施将探头12移动到下一个关键帧所要求的到所需视图的增量移动方向。增量移动能够相对于例如相机20的视图、超声换能器18的视图、探头12的模型、心脏的模型、患者的模型、等等来呈现。增量移动能够例如示为指示移动方向的三维区域。
62.图7示出了导航图45的范例。星形表示关键帧36，并且“单头”箭头表示探头12通过食道(即，通过每个关键帧36)的移动。“双头”箭头表示引导49。引导49的双头箭头表示用户引导探头12通过食道移动的优选路径。
63.图8示出在体内插入患者食道中的超声设备10的范例使用。如图8所示，将探头12插入患者的食道，使得超声换能器18和相机20能够采集患者心脏的相应的超声图像19和相机图像21。应当理解，这仅仅是所公开的用于引导基于导管的超声探头的方法的一种具体应用。例如，心内回波(ice)或血管内超声(ivus)探头能够类似地被引导通过患者的主要血
管以到达所需的解剖视图，并返回到先前的解剖视图。
64.已经参考优选实施例描述了本公开。在阅读和理解前面的详细描述后，其他人可能会想到修改和变更。旨在将范例性实施例解释为包括所有这些修改和变更，只要它们落入所附权利要求或其等同物的范围内。