导引器和定位线可视化的制作方法

导引器和定位线可视化
1.对相关应用的交叉引用
2.本技术是2019年5月3日提交的标题为“biopsy needle visualization”的pct国际专利申请pct/us2019/030615的部分继续申请，该申请要求于2018年5月4日提交的标题为“biopsy needle visualization”的美国临时专利申请序列no.62/666,869的优先权和权益，其公开内容通过引用整体并入本文。


背景技术：

3.活检是用于从患者的目标位置提取组织以进行进一步检查的规程。例如，可以在患者体内识别病变或肿块，并且期望该病变或肿块的样本用于进一步的测试、分析或检查。在一些活检规程(诸如经皮核心活检)期间，外科医生或医学专家通过患者皮肤的切口将活检针插入患者体内。为了用活检针准确地瞄准和/或可视化病变，采用各种成像模态，包括使用超声技术查看皮下位置处针的图像。虽然超声技术的这种使用是有用的，但是先前的超声引导的活检技术提供了视觉指示，但是关于病变或活检针的附加信息有限，并且对执行活检规程的医疗专业人员几乎没有提供指导或见识。因此，活检规程很大程度上依靠医疗专业人员的技能、经验和直觉。
4.乳房肿瘤切除术是一种可以被用于移除患者体内已识别出的病变或肿块的规程。例如，可以在分析病变或肿块的活检之后识别病变或肿块以进行提取。在一些乳房肿瘤切除术规程期间，可以在手术之前将定位线或定位种子放置在患者体内，以协助手术指导以及验证病变或肿块移除。这种定位线或种子的准确放置传统上也严重依赖于医疗专业人员的技能、经验和直觉。
5.关于这些和其它一般考虑，已经做出了本文公开的方面。而且，虽然可以讨论相对具体的问题，但是应当理解的是，示例不应当限于解决在背景技术中或本公开中其它地方识别出的具体问题。


技术实现要素：

6.本公开的示例描述了用于通过超声技术连同其它模态的附加组合来定位植入的标记物的系统和方法。
7.在一方面，该技术涉及一种用于为导引器提供指导的方法。该方法包括从超声探头的超声换能器发射超声声波的阵列并检测由超声换能器反射的超声波，其中反射的超声声波包括从患者体内被反射之后的超声声波的阵列的至少一部分。该方法还包括从反射的超声声波生成图像数据。此外，该方法包括由处理器在生成的图像数据内识别患者体内的导引器的至少一部分。该方法包括，至少部分地基于导引器的识别，由处理器确定定位线的环的预测的位置，定位线能够通过将定位线从导引器中推出而被导引器放置。该方法还包括在可操作地连接到处理器的显示器上显示基于生成的图像数据的超声图像；以及在超声图像上显示用于环的预测的位置的至少一个指示符。
8.在示例中，环是定位线的具有形状记忆特点的一部分。在另一个示例中，显示用于
环的预测的位置的至少一个指示符包括显示环的平面内预测的环中心或环的预测的环位置中的至少一个。在另一个示例中，识别导引器包括基于导引器上的朝向标记确定导引器的朝向，并且其中环的朝向基于导引器的朝向。在又一个示例中，该方法还包括基于以下至少一个确定用于环的预测的位置的偏转概率：(1)用于环的类型的实验数据和(2)环的一个或多个存储的特性，这些特性包括环直径、环的规格、环材料成分、环尖端几何形状和环延伸特性中的至少一个。在又一个示例中，环的一个或多个存储的特性基于关于环的尺寸的用户输入。
9.在示例中，确定偏转概率还基于沿着环的环轨迹的患者体内的组织特性。在另一个示例中，该方法还包括在超声图像上显示偏转概率指示符，其中偏转概率指示符基于所确定的偏转概率指示环位置的范围。在另一个示例中，偏转概率指示符指示预测的环位置的概率范围。在又一个示例中，该方法还包括：确定预测的环位置的一部分在超声图像的成像平面之外；以及响应于确定预测的环位置的该部分在成像平面之外，显示朝向警报。在又一个示例中，朝向警报包括显示旋转导引器的推荐的校正角度。
10.在示例中，该方法还包括确定导引器未处于部署位置；以及响应于确定导引器未处于部署位置，显示位置警报。在另一个示例中，确定导引器未处于部署位置包括以下之一：将平面内预测的环中心与病变中心进行比较；或将环的预测的位置与病变的边界进行比较。在另一个示例中，位置警报包括显示推荐的校正距离以移动导引器。在又一个示例中，该方法还包括确定导引器已经转移到超声图像的成像平面之外，包括：在第一时间确定导引器的第一表观深度；在第一时间之后的第二时间确定导引器的第二表观深度，第二表观深度大于第一表观深度；在第二时间之后的第三时间确定导引器的第三表观深度，第三表观深度小于第二表观深度；以及基于第三表观深度小于第二表观深度并且第二表观深度大于第一表观深度，确定导引器已经转移到超声图像的成像平面之外。
11.在另一方面，公开了一种系统。该系统包括超声探头，该超声探头包括超声换能器，该超声换能器被配置为发射超声声波的阵列并检测反射的超声声波，其中反射的超声声波包括在患者体内反射之后超声声波的阵列的至少一部分。该系统还包括显示器。此外，该系统包括至少一个处理器，其可操作地连接到显示器和超声探头，以及存储器，其可操作地连接到至少一个处理器，存储当由至少一个处理器执行时执行操作集的指令。该操作集包括从反射的超声声波生成图像数据并由至少一个处理器在生成的图像数据内识别患者体内的导引器。该操作集包括，至少部分地基于导引器的识别，由至少一个处理器确定能够由导引器至少部分地基于存储在存储器中的一个或多个环导引器特性放置的环的预测的位置。该操作集还包括在可操作地连接到处理器的显示器上显示基于生成的图像数据的超声图像。此外，该操作集包括在超声图像上显示用于环的预测的位置的至少一个指示符。
12.在另一方面，公开了一种用于为利用导引器放置定位线提供指导的方法。该方法包括显示用于选择要用于定位规程的环的用户界面，其中环是能够由导引器放置的定位线的一部分。此外，该方法包括在用户界面处接收对环的选择，所选择的环将用于定位规程。该方法还包括确定所选择的环的环特性，其中环特性包括环直径、环规格、环材料成分、环尖端几何形状或环延伸特性中的至少一个。该方法包括从超声探头的超声换能器发射超声声波的阵列，并检测由超声换能器反射的超声声波，其中反射的超声声波包括在从患者体内反射之后超声声波的阵列的至少一部分。该方法还包括从反射的超声声波生成超声图
像。此外，该方法包括在生成的超声图像内识别导引器，并确定导引器的位置和朝向。该方法包括，基于导引器的位置和朝向以及确定的环特性，确定所选择的环的预测的环位置。该方法包括，基于预测的环位置，显示预测的环位置指示符。
13.在示例中，该方法还包括为导引器显示位置通知和朝向通知，其中位置通知包括显示在移动导引器的方向上的推荐的校正距离，并且其中朝向通知包括显示旋转导引器的推荐的校正角度。在另一个示例中，该方法还包括，基于导引器的位置和朝向以及确定的环属性，估计所选择的环的预测的环中心；在生成的超声图像内识别病变，病变具有边界和中心；以及基于以下一个或多个确定导引器处于部署位置：预测的环位置和病变的边界；或预测的环中心和病变的中心。在又一个示例中，确定导引器的朝向包括在生成的超声图像内识别与导引器相关联的朝向标记。
14.提供本发明内容以简化形式介绍一些概念，这些概念将在下面的详细描述中进一步描述。本发明内容既不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。示例的附加方面、特征和/或优点将在下面的描述中部分地阐述，并且部分地将从描述中变得显而易见，或者可以通过本公开的实践而获知。
附图说明
15.参考以下附图描述非限制性和非穷举性示例。
16.图1a描绘了活检针可视化系统的示例。
17.图1b描绘了活检针处于击发前配置的活检针可视化系统的示例。
18.图1c描绘了活检针处于击发后配置的活检针可视化系统的示例。
19.图1d描绘了处于击发前配置的活检针的示例。
20.图1e描绘了在击发过程期间图1d的活检针的示例。
21.图1f描绘了处于击发后配置的图1d-1e的活检针的示例。
22.图1g描绘了用于结合到活检针可视化系统的合适操作环境的示例。
23.图2描绘了包括活检针预测指示符的示例超声图像。
24.图3a描绘了用于活检针的可视化的示例方法。
25.图3b描绘了用于活检针的可视化的另一个示例方法。
26.图3c描绘了用于活检针的可视化的另一个示例方法。
27.图4描绘了用于检测活检针的平面转移的示例方法。
28.图5a描绘了用于定位线的皮下插入的处于部署前状态的示例性定位插入设备。
29.图5b描绘了用于定位线的皮下插入的处于部署后状态的示例性定位插入设备。
30.图5c描绘了使用图5a和图5b的定位插入设备进行皮下插入的示例定位线。
31.图6a-d描绘了具有(一个或多个)定向标记的定位插入设备的不同透视图。
32.图7a描绘了包括病变的示例超声图像。
33.图7b-c描绘了基于病变的维度和/或图7a中癌旁组织(margin)的尺寸的定位线的示例环尺寸。
34.图7d-e描绘了包括图7a的病变、导引器和定位线的预测的环位置的示例超声图像，其中导引器和病变都在超声图像的成像平面中。
35.图7f描绘了包括病变和图7d-e的导引器的示例超声图像，其中预测的环位置的一
部分位于成像平面之外。
36.图8描绘了用于可视化定位线的示例方法。
37.图9描绘了用于沿着成像平面检测导引器的位置和朝向信息的示例方法。
具体实施方式
38.活检针的正确定位对于成功的活检规程是重要的。在活检针未正确定位的情况下，可能需要重复执行活检规程，直到获得期望的样本为止。不正确的定位还会导致在规程期间的重复步骤、在同一规程期间获取附加样本，和/或患者必须返回以进行其它后续活检规程。但是，随着使用不同的活检针，活检针的正确定位变得更加困难。作为示例，一些活检针是弹簧加载的并且具有使得活检针的一部分延伸以捕获样本的其它“击发”机构。例如，可以将活检针的外套管插入患者体内，并且在释放机构被触发后，从外套管内击发具有孔的内套管，以使内套管进一步延伸到患者体内以捕获样本。这样的活检针的示例包括来自marlborough,massachusetts的hologic公司的活检设备和活检设备。甚至对于这样的活检针处于皮下位置的超声图像，活检针的击发后位置仍是未知的。即，虽然可以在超声图像上看到处于其击发前配置的活检针的一部分，但是不一定能够单独地从超声图像辨别处于其击发后配置的活检针的最终位置。
39.许多活检规程，甚至那些具有先前超声技术的活检规程，都严重依靠执行活检规程的医疗专业人员的技能、经验和直觉。虽然一些训练有素且经验丰富的医疗专业人员能够大致估计出活检针可能位于击发后位置的地方，但经验不足的医疗专业人员可能难以做出这样的近似。另外，活检针在不同品牌和型号之间也有所不同，这进一步增加了过程的不可预测性。例如，一根活检针在被击发时可以比另一根偏转更大，并且这种偏转也可以取决于活检针在被击发时将穿过的特定组织。对于那些经验丰富的外科医生来说，即使不是不可能，这些偏转也是极其难以预测的。此外，患者乳房组织的性质和成分存在差异，会在击发后造成活检针的最终位置的某种不可预测性。
40.为了减轻那些问题，除其它以外，本技术尤其提供了一种活检针可视化系统，该系统在活检规程期间提供更精确和有用的反馈，以允许医疗专业人员更准确地定位活检针。作为示例，活检针可视化系统可以基于其击发前配置来提供处于其击发后配置的活检针的预测的位置(location)和/或地点(position)的标记。活检针的预测的位置可以优选地在活检针的实况或实时超声图像上显示为覆盖图并且作为活检针的目标位置。因此，为医疗专业人员提供了附加的指导以使用活检针执行组织的更准确采样。例如，如果外科医生看到预测的位置不是目标位置，那么医疗专业人员能够将活检针调整到准确的位置。活检针的预测的位置可以被显示为活检预测指示符的集合，其可以指示活检针的尖端和活检针的孔的预测的位置。预测还可以基于当前用于执行活检的活检针的特性。因而，提供给外科医生的指导是特定于所使用的具体活检针的，从而允许医疗专业人员即使他或她之前从未使用过该特定的针也可以执行活检。医疗专业人员在规程期间可以确定或指示的患者乳房组织的成分也可以被用于确定活检针的预测的位置，从而提供更准确的预测。因此，本文描述的技术为经验丰富的和经验不足的外科医生都提供了改进的性能。
41.图1a描绘了活检针可视化系统100的示例。活检针可视化系统100包括超声探头102，超声探头102包括超声换能器104。超声换能器104被配置为发射超声波106的阵列。超
声换能器104将电信号转换成超声声波106。超声换能器104还可以被配置为检测超声声波，诸如已经从患者的体内反射的超声声波。在一些示例中，超声换能器104可以结合电容性换能器和/或压电换能器以及其它合适的换能技术。
42.超声换能器104也可操作地连接(例如，有线或无线)到显示器110。显示器110可以是计算系统的一部分，其包括被配置为产生和分析超声图像的处理器和存储器。下面参考图1g提供合适的计算系统的进一步讨论。显示器110被配置为基于患者的超声成像显示超声图像。在活检针可视化系统100中执行的超声成像主要是b模式成像，其导致患者体内的一部分的横截面的二维超声图像。所得图像中像素的亮度一般与反射的超声波的振幅或强度对应。也可以使用其它超声成像模式。虽然本文使用术语“收发器”，但是该术语旨在覆盖发送器、接收器和收发器，以及它们的任意组合。
43.图1b描绘了活检针124处于击发前配置的活检针可视化系统100的示例。超声探头102与患者112的一部分(诸如患者112的乳房)接触。在图1b中描绘的位置，超声探头102被用于对患者112的包含病变114的一部分成像。具有活检针124的活检设备122被插入患者112体内。活检针124以其击发前配置被描绘。为了对患者112的包含活检针124的部分成像，超声换能器104将超声声波106的阵列发射到患者112的体内。当活检针124在视场中时，超声声波106的一部分从患者112的内部特征以及活检针124反射，并且作为反射的超声声波120返回到超声探头102。反射的超声声波120可以由超声换能器104检测。例如，超声换能器104接收反射的超声声波120并将超声声波120转换成可以被处理和分析以在显示器110上生成超声图像数据的电信号。
44.图1c描绘了活检针124处于击发后配置的活检针可视化系统100的示例。如图1c中所描绘的活检针可视化系统100与图1b中所描绘的活检针可视化系统100基本相同，不同之处在于活检针124处于击发后配置。在击发后配置中，活检针具有从活检针124延伸出的投掷部分126。在一些示例中，投掷部分126可以是活检针124的内套管。投掷部分126还包括用于收集来自病变114的组织的孔130。孔130位于活检针尖端128和活检针124的击发前配置的活检针124的部分之间。
45.如从图1b-1c可以看出的，活检针124在朝着病变114的方向上插入患者体内。当处于其击发前配置的活检针124到达患者112体内的特定点时，活检针124被击发。常常通过按压或以其它方式操纵位于活检设备122上的触发器来触发活检针124的击发。当活检针124被击发时，投掷部分126从活检针124延伸。在所描绘的示例中，期望投掷部分126的孔130位于病变114处，使得可以收集来自病变114的组织样本。如以上讨论的，确定处于击发前配置的活检针124的正确位置和定位以在击发后配置中实现期望的孔130和尖端128位置既重要又困难。通过在活检规程期间生成包括活检针124的超声图像，可以对图像执行分析以提供关于针的定位的附加指导，如下面参考图2-4进一步讨论的。
46.图1d-1f描绘了在击发过程期间的多个阶段的活检针124的示例，并同时进行讨论。特别地，图1d描绘了处于击发前配置的活检针124，图1e描绘了在击发过程期间的活检针124，并且图1f描绘了处于击发后配置的活检针124。示例活检针124包括外套管132和内套管134。内套管134包括孔130和活检针尖端128。在击发过程期间，内套管134从外套管132前进。内套管134从外套管132延伸的距离可以被称为投掷距离。一旦内套管134已经从外套管132延伸(如图1e中所描绘的)，组织就被捕获在孔130中。在一些示例中，真空机构可以附
接到活检针124以将组织拉入孔130。随着组织被捕获在孔130中，外套管132在内套管134上前进(如图1f中所描绘)，这切开组织，从而将捕获在孔130中的组织与患者的剩余组织分离。外套管132(单独)或外套管132和内套管134两者都可以全部或部分地由显示出高回声程度的材料制成，这使得那些元件在结果产生的超声图像中显得更亮。然后，活检针124处于完全的击发后配置，并且可以从患者112撤回。然后，可以从活检针124移除在孔130中捕获的组织，以进行进一步的分析和检查。可以多次执行上述规程，以移除多个活检样本。在活检规程结束时，可以将标记活检部位的位置的标记物插入活检位置。
47.在另一种情况下，外套管132的仅一部分135由高回声性材料形成，其可以完全或部分地围绕内套管的圆周。当处于其最大程度时，部分135位于外套管132上与内套管134的尖端128相距已知距离d的位置处。例如，这个距离d可以特定于特定的针类型或制造商。在此，已知距离d将部分135定位在尖端128的远侧，并与尖端135的孔130相对，但是可以预期其它位置。通过仅由高回声材料形成外套管132的部分135并且与尖端128形成已知距离d，可以提高内套管134的击发后位置的准确性。更具体而言，如果使用具有完全由高回声材料形成的外套管的活检针，那么分析图像的处理器(或执行该规程的外科医生)可能不知道识别出的外套管的表观尖端是否是那个部件的实际尖端。给定超声波的穿透深度，有可能外套管的表观尖端可以只是外套管的位于那个波穿透的最大深度处的一部分。但是，在图1d-1e中所描绘的构造中，一旦检测到部分135，就可以更容易地确定实际尖端128的位置。
48.图1g描绘了用于结合到活检针可视化系统100中的合适的操作环境150的示例。在其最基本的配置中，操作环境150通常包括至少一个处理单元152和存储器154。取决于计算设备的确切配置和类型，存储器154(存储执行本文公开的主动监视实施例的指令)可以是易失性的(诸如ram)、非易失性的(诸如rom、闪存等)，或两者的某种组合。这种最基本的配置在图1e中由虚线156示出。另外，环境150还可以包括存储设备(可移动设备158和/或不可移动设备160)，包括但不限于磁盘、光盘或磁带。类似地，环境150还可以具有(一个或多个)输入设备164(诸如键盘、鼠标、笔、语音输入等)，和/或(一个或多个)输出设备166(诸如显示器、扬声器、打印机等)。输入设备164还可以包括接收或检测从活检针可视化系统100的各个部件发射的信号的电路系统或接口，诸如超声探头102。环境中还可以包括一个或多个通信连接162，诸如lan、wan、点对点等。在实施例中，连接可以可操作以促进点对点通信、面向连接的通信、无连接通信等。
49.操作环境150通常包括至少某种形式的计算机可读介质。计算机可读介质可以是可以由处理单元152或包括操作环境的其它设备访问的任何可用介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据之类的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、eeprom、闪存或其它存储技术、cd-rom、数字多功能盘(dvd)或其它光存储装置、磁带、磁带、磁盘存储或其它磁存储设备，或任何其它可以用于存储期望信息的非瞬态介质。计算机存储介质不包括通信介质。
50.通信介质在诸如载波或其它运输机制之类的经调制的数据信号中实施计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息递送介质。术语“经调制的数据信号”是指具有以将信息编码为信号的方式来设置或改变其一个或多个特点的信号。作为
示例而非限制，通信介质包括诸如有线网络或直接有线连接之类的有线介质，以及诸如声学、rf、红外、微波和其它无线介质之类的无线介质。以上任何内容的组合也应当包括在计算机可读介质的范围内。
51.操作环境150可以是使用到一个或多个远程计算机的逻辑连接在网络环境中操作的单个计算机。远程计算机可以是个人计算机、服务器、路由器、网络pc、对等设备或其它公共网络节点，并且通常包括上述许多或全部元素以及未提及的其它元素。逻辑连接可以包括可用通信媒体支持的任何方法。
52.图2描绘了包括活检针224和多个活检针预测指示符的超声图像201的示例。超声图像显示在显示器200上。显示器200可以是以上参考图1a讨论的显示器110。超声图像201是其中活检针224在超声探头的视野内的超声图像的示例。超声图像201是根据从检测到的反射的超声声波生成的图像数据生成的。基于图像数据或超声图像201，可以通过图像分析技术的使用来识别活检针224。活检针224的形状一般可与人体的其它组织或内部部分区分开。例如，活检针224具有在人体中不自然发生的形状。另外，活检针224的材料也可以全部或部分地由使得标记物易于在超声图像201或图像数据内检测的材料制成。例如，活检针224的材料的至少一部分可以是具有高回声性的材料，这使得活检针224的那部分在结果产生的超声图像201中显得更亮。活检针内的空气或其它气体还可以使得活检针224在超声图像201中显得更亮。
53.因而，基于活检针224的有区别的形状和材料，图像分析技术可以更容易地在超声图像201内识别活检针。图像分析技术还可以基于机器学习技术，诸如神经网络、深度学习算法、统计分析技术、增强对比度技术或其它基于活检针的形状进行训练的模式识别或匹配技术。作为示例，可以首先在包含特定类型的活检针224的超声图像集合上训练图像分析算法。然后将当前超声图像201或图像数据作为输入提供给经训练的图像分析算法，以检测或识别活检针224。可以基于活检针224的横截面来识别活检针224，因为超声图像201是具有活检针224的横截面的二维图像。
54.在附加的示例中，超声技术人员、外科医生或其他用户可以提供附加的输入以帮助识别超声图像201中的活检针224。例如，可以提供指示正被用于活检规程的活检针的类型的输入。在示例中，输入可以包括提供用于活检针224的型号、品牌或其它识别信息。基于来自用户的输入，系统可以获得关于活检针224的维度和其它信息，诸如从存储这种信息的本地或远程数据库获得。本地或远程数据库可以用几种活检针模型、品牌或类型进行预编程，并且包括与活检针相关联的相关联几何形状。然后，图像分析技术可以使用活检针224的维度以帮助识别超声图像201内的活检针224。来自超声技术人员、外科医生或其他用户的附加输入还可以包括直接识别超声图像201上的活检针，诸如接收指针、触摸或其它输入以定位活检针224。例如，超声技术人员可以通过在超声图像的显示上用鼠标点击活检针224来选择活检针224。识别活检针224的输入(诸如在活检针224的图像上的点击)也可以在图像分析技术中被用于限制要分析的超声图像201的面积。例如，在从超声技术人员接收到活检针224的选择后，可以分析选择点周围的预定区域以识别活检针224。在其它示例中，超声技术人员可以提供二维输入(诸如方框)，以便为要通过图像分析技术分析以识别活检针224的区域提供边界。在其它示例中，超声图像的显示上的用户输入和图像分析技术的组合可以被用于确定活检针224。
55.一旦在超声图像201中识别出活检针224，就可以基于在击发之后活检针224的预测的位置来生成活检针预测指示符。活检针预测指示符指示在活检针224击发之后活检针224及其元件的预测的位置。例如，当活检针224被击发时，活检针224可以在其静止到其击发后配置状态之前偏转。活检针224的偏转部分地基于活检针224的特性连同活检针224在击发期间穿过的组织的特点或特性。如下面进一步讨论的，根据活检针224特性和/或组织特点来确定由活检针预测指标表示的活检针224的元件的预测的位置。
56.例如，乳房组织包括腺、结缔组织和脂肪组织。接受乳房活检的患者可以具有这些不同类型的乳房组织的不同相对量。例如，致密的乳房具有相对大量的腺组织和纤维结缔组织以及相对少量的脂肪性乳房组织。另一方面，乳房可以主要由脂肪性乳房组织制成。乳房组织的其它特点可以包括致密的腺组织和纤维结缔组织的散布区域以及具有腺组织和纤维结缔组织的许多区域的异质致密的乳房组织。乳房组织的不同特点可以导致活检针224的预测指示符的不同位置。在一个示例中，当活检针224在击发期间穿过乳房组织时，具有较高密度或刚度的乳腺组织可以导致活检针224的更大偏转。可以通过图像分析和/或来自用户的指示乳房组织的特点的输入来确定乳房组织的特点。乳房组织的部分可以在超声图像中被突出显示或以其它方式强调。例如，如果通过图像分析和/或用户输入识别出组织的特别致密或僵硬的部分，那么可以在超声图像上突出显示组织的那个部分或以其它方式强调，以提醒医疗专业人员该组织的存在。
57.活检针预测指示符包括轨迹指示符202、尖端指示符204、偏转概率指示符206、孔指示符208和最大针深度指示符210。轨迹指示符202指示活检针224的轨迹。例如，如果活检针224在超声图像201中的其当前位置被击发，那么活检针224的投掷部分被预测为沿着轨迹指示符202的线。如图2中所描绘的，轨迹指示符202可以被显示为从活检针224延伸并基本上平行于活检针224延伸的线。尖端指示符204指示处于其击发后配置的活检针224的尖端的最可能位置。例如，如果从当前超声图像201中的活检针224的当前位置击发活检针224，那么处于击发后配置的活检针224的尖端最可能的位置由尖端指示符204示出。活检针224可以是三角形的形状，或者具有与用于该规程的当前活检针224的尖端形状更相似的形状。例如，尖端指示符204的形状可以基于用于活检的活检针224的尖端的几何形状。因而，尖端指示符204的形状可以基于用于执行活检的特定活检针224而改变。用于尖端指示符204的其它形状也是可能的，包括刺血针尖端针、套管针尖端针、斜面尖端和多点尖端等。偏转概率指示符206也显示为与尖端指示符204相邻。偏转概率指示符206基于所确定的针对活检针224的偏转概率来指示预测的击发后尖端位置的范围。例如，尖端指示符204可以指示活检针224的尖端的最可能的预测的位置，并且偏转概率指示符206可以涵盖活检针224的尖端的所有可能的预测的位置。在其它示例中，偏转概率指示符206可以涵盖可能的预测尖端位置的很大一部分，诸如80％的可能性或与最可能的尖端位置相距一或两个标准偏差内的预测尖端位置。偏转概率指示符206可以是椭圆形、圆形、正方形、矩形或其它形状。偏转概率指示符206也可以是示出预测的尖端位置的概率分布的热图的形式。
58.孔指示符208指示处于其击发后配置的活检针224的孔的预测的位置。通过查看由孔指示符208表示的孔的预测的位置，外科医生能够在击发活检针224之后更准确地预测孔是否将处于目标位置(例如，病变或肿块)。孔指示符208可以由垂直于轨迹指示符202的两个线段表示。孔指示符208之间的距离表示被用于执行活检的特定活检针224的孔的长度。
因而，对于不同的活检针，孔指示符208之间的距离可以改变。
59.最大针深度指示符210指示活检针224在处于其击发前配置时可以延伸的最大深度，在该构造中，仍可以对尖端位置进行预测。例如，如果处于其击发前配置的活检针224要通过最大针深度指示符210，那么活检针224的尖端将在当前超声图像201的外部。最大针深度指示符210可以是垂直于轨迹指示符202的线段。虽然已经将活检针预测指示符描述和描绘为具有某些形状或朝向，但是本文也预期其它形状和朝向。例如，虽然指示符中的一些以虚线显示而其它指示符以实线显示，但是该技术不限于这样的示例。
60.图3a描绘了用于活检针的预测可视化的示例方法300a。预测可视化方法300a提供附加的指导和活检针预测指示符，以在执行活检时显示在超声图像上。照此，执行活检的外科医生能够接收用于执行活检的基本实时的指导。方法300a和本文中讨论的其它方法的操作可以由至少一个处理器结合诸如图1a-1c中所描绘的系统100的系统内的合适操作环境(诸如图1g中的操作环境150)的其它部件来执行。
61.在操作302处，从超声探头的超声换能器发射超声声波的阵列。如上面所讨论的，超声声波进入患者体内并且从患者体内的部件(包括自然组织以及活检针)反射。然后在操作304处检测反射的超声声波。在操作306处，然后从检测到的反射的超声声波生成超声图像数据。超声图像数据可以是b模式超声成像数据。
62.在操作308处，由活检针可视化系统的处理器分析图像数据以识别或检测图像数据内的活检针。如以上所讨论的，图像分析技术可以基于图像处理技术和基于植入患者体内的标记物的形状进行训练的机器学习技术(诸如神经网络、深度学习算法或其它模式匹配技术)。作为示例，可以首先在包含处于不同朝向和视图的活检针的超声图像的集合上训练图像分析算法。然后将当前的超声图像或图像数据作为输入提供给经训练的图像分析算法，以检测或识别活检针。识别标记物一般可以基于活检针的形状和维度。
63.在操作310处，访问或以其它方式确定活检针的特性。活检针的特性是针长度、针量规、针壁厚度、针材料成分、针尖端几何形状以及针击发机构特性、孔长度、投掷长度中的至少一项，以及其它潜在的活检针特性。可以通过查询在活检针可视化系统100中本地存储的数据库或可从活检针可视化系统100访问的远程数据库来访问活检针的特性。在示例中，可以首先在活检规程的开始处显示用户界面，以允许选择或输入要在活检规程中使用的活检针的类型。在示例中，到用户界面的输入可以指示活检针的特定品牌或型号。在这样的示例中，到用户界面的输入可以被用于查询相应的数据库，以访问或确定由到用户界面的输入所指示的活检针的特性。在其它示例中，活检针的特性(例如，针长度、量规等)直接作为输入提供给用户界面。在这种示例中，由于已经直接提供了特性，因此不执行数据库查询。
64.在操作312处，确定活检针的预测的位置。确定活检针的预测的位置可以包括确定活检针的方面或部分(诸如活检针的针尖端、孔、投掷部分或其它特征)的位置。例如，可以确定处于击发后配置的活检针的位置。在这种示例中，可以针对处于击发后配置的针来确定活检针的各个方面(诸如针尖端、孔、投掷部分和/或活检针的其它特征、方面或部分)。活检针的预测的位置的确定可以基于在操作310中访问或确定的活检针的特性。此外，所确定的活检针的预测的位置也可以基于组织特性。在操作314处，活检针预测指示符显示在超声图像上。例如，活检针预测指示符可以包括轨迹指示符、尖端指示符、偏转概率指示符、孔指示符和最大针深度指示符中的一个或多个。显示预测指示符还可以包括改变预测指示符的
状态。例如，当处于其击发前位置的活检针在患者体内移动时，预测指示符的状态可以改变。作为示例，随着活检针被重新定位，所显示的预测指示符的位置可以改变。预测指示符还可以包括活检设备中的听觉指示符或触觉指示符。下面参考图3b和3c讨论关于确定活检针的预测的位置的附加细节。
65.除了预测指示符之外，还可以显示附加的定位指示符，以向医疗专业人员指示如何更改活检针的位置以更准确地瞄准病变或关注区域。例如，可以通过图像分析和/或用户输入来识别病变或感兴趣区域。如果活检针孔的预测的位置未与病变对准，那么可以显示定位指示符以指导医疗专业人员如何将针移动到针孔的预测的位置更准确地瞄准病变的位置。除其它指示符外，这样的定位指示符尤其可以是提供定位指导的箭头和/或文本的形式。此外，可以显示视觉、触觉和/或听觉定位指示符，其指示活检针的正确定位。作为示例，当针被定位成使得针的孔将正确地瞄准病变时，可以提供触觉、听觉和/或视觉反馈。例如，可以提供可听的声音，并且当活检针朝着或远离正确地瞄准病变或关注区域移动时，声音可以改变音量或频率。
66.图3b描绘了用于活检针的预测可视化的另一个示例方法300b。在操作320处，基于特定活检针的特性确定在活检规程中使用的特定活检针的偏转概率。当击发活检针时，投掷部分可以会由于患者的内部组织而偏转。偏转的方向和量取决于活检针特性以及被击发时活检针通过的组织的类型。如以上所讨论的，活检针的特性可以包括以下一项或多项：针长度、针量规、针壁厚度、针材料成分、针尖端几何形状以及针击发机构特性、孔长度、投掷长度，以及其它潜在的活检针特性。这些特性中的每一个都可能在被击发时对活检针的偏转产生影响。例如，具有长的长度但大的量规(即，小直径)的活检针在被击发时更可能偏转。类似地，壁厚度较薄的针也可以更可能具有较大的偏转度。活检针尖端的几何形状也影响偏转的量以及偏转的方向。活检针的击发机构特性进一步影响由于击发针的力而引起的偏转。活检针的其它特性也会影响活检针偏转的量值和/或方向。
67.可以通过分析和/或基于实验数据的集合来确定活检针的偏转概率。例如，基于针的特性，可以对最终针位置及其偏转的概率进行数学预测。数学预测可以基于空心圆柱体前进通过其密度和/或刚度类似于活检部位处的人体组织的密度和/或刚度的材料的机械行为。可以基于活检针的特性和所得的中空圆柱体或管的挠曲来修改中空圆柱体或管的特性。还可以处理针对活检针的计算机化模拟，以确定活检针偏转的概率。计算机化模拟的结果提供了活检针的偏转概率。偏转概率也可以根据经验由实验结果的集合确定。例如，可以将活检针插入乳房(或特定于活检部位的其它人体组织)的复制物中并击发。可以使用活检针可视化系统来跟踪针的偏转。可以从用于不同活检针的实验数据集重复进行测试。例如，可以为穿过致密组织的针和穿过脂肪组织的针生成实验数据。可以从实验数据集确定特定活检针的偏转特性。
68.在操作322处，可选地接收弹性成像数据。弹性成像数据可以是沿着活检针的轨迹的组织的弹性成像数据(例如，活检针被击发时将穿过的路径)。弹性成像数据可以直接从活检针可视化系统获得。作为示例，超声部件的成像模式可以包括弹性成像模式，该弹性成像模式提供指示组织的刚度或其它弹性特性的弹性成像数据。也可以基于活检部位处的已知组织从其它源接收弹性成像数据。在一个示例中，可以部分地基于超声图像数据来确定击发轨迹，并且可以已经为轨迹指示符确定了击发轨迹。然后沿击发轨迹接收组织的至少
一部分的弹性成像数据。基于接收到的弹性成像数据，可以确定沿着击发轨迹的组织的组织特性。
69.在操作324处，患者的组织特性可以被用于调整偏转概率。组织特点可以是沿着针的击发轨迹的组织特点或活检部位的一般组织特点。在一些示例中，为围绕击发轨迹的预定距离确定组织特点。可以根据在操作322中接收或捕获的弹性成像数据、超声图像的图像分析和/或用户输入来确定组织特性。例如，在弹性成像数据指示在活检针击发轨迹内存在组织的刚性部分的情况下，更可能发生偏转。然后可以基于组织的该部分的刚度和/或组织的该部分的位置来更新偏转概率。还可以结合其它组织特性(诸如密度和/或组织拆分)以调整偏转概率。在示例中，可以通过超声图像的图像分析来识别这样的组织特点。例如，可以针对在超声图像中显得更亮和/或具有特定形状的组织的一部分来确定组织特点。此外，用户还可以提供识别组织的一部分并提供所识别出的组织的组织特点(诸如密度、刚度等)的输入。用户输入和/或图像分析还可以识别超声图像中的组织的类型。例如，用户输入和/或图像分析可以将组织的部分识别为或者腺组织、结缔组织或者脂肪组织。然后可以访问或接收该类型的组织的组织特点，诸如从本地或远程数据库访问或接收，然后可以将其用于确定偏转概率。组织特性也可以直接结合到操作320的概率偏差确定中。
70.在操作326处，基于偏转概率和活检针的特性来生成尖端指示符。尖端指示符可以用于处于击发后配置的活检针。例如，基于特定针的投掷部分的长度和偏转概率，可以确定处于击发后配置的活检针的尖端的预测的位置，并且可以基于那个确定来生成尖端指示符。在操作328处，可以基于偏转概率和活检针的特性来生成孔指示符(或多个孔指示符)。孔指示符可以用于处于其击发后配置的活检针。例如，基于投掷部分的长度、孔位置和偏转概率，可以确定处于击发后配置的活检针的孔的预测的位置。可以基于那个确定来生成孔指示符。在操作330处，生成偏转概率指示符。偏转概率指示符可以针对处于其击发后配置的活检针的尖端。偏转概率指示符基于所确定的偏转概率。偏转概率指示符基于所确定的活检针的偏转概率来指示预测的击发后尖端位置的范围。例如，尖端指示符可以指示活检针的尖端的最可能的预测的位置，并且偏转概率指示符可以涵盖活检针的尖端的所有可能的预测的位置。在其它示例中，偏转概率指示符可以涵盖可能的预测尖端位置的很大一部分，诸如90％、80％或70％的可能性，或者距最可能的尖端位置在一个或两个标准偏差内的预测尖端位置。为了示出所确定的偏转概率的概率分布，偏转概率指示符也可以是热图的形式。
71.图3c描绘了用于活检针的预测可视化的另一种方法300c。在操作332处，确定最大击发前活检针深度用于预测。最大击发前活检针深度是活检针在其击发前配置中可以延伸的最大深度，在该构造中，仍可以对尖端位置进行预测。最大击发前活检针深度的确定可以基于预测的尖端位置和显示超声图像的显示器的尺寸。基于所确定的最大击发前活检针深度，生成最大针深度指示符并且可以被显示在所确定的最大击发前活检针深度的位置。
72.在操作336处，确定处于其击发前配置的活检针是否已经通过最大击发前活检针深度。如果活检针已经通过最大击发前活检针深度，那么方法300c进行到操作336，在那里生成提醒外科医生尖端位置预测不再能够呈现在屏幕上的警报。警报可以是视觉、听觉或触觉的。在示例中，还可以提供听觉或触觉指示符，其随着活检针接近最大击发前活检针深度而改变频率或振幅。因而，基于指示符的变化的状态，可以为医疗专业人员提供关于活检
针的定位的连续指导。如果活检针深度尚未通过最大击发前活检针深度，那么超声成像会继续进行，并且最大击发前活检针深度指示符保持显示，以供外科医生参考。
73.虽然图3a-c描述了用于活检针的可视化的方法300a-c，但是这些方法300a-c可以根据需要或期望为将要沿着成像平面定位的任何设备的可视化实现。例如，方法300a-c可以被用于使针、导引器、线等可视化以确定沿着或相对于平面(例如，超声成像器的成像平面)的移动和/或偏转和/或转移。
74.图4描绘了用于检测活检针的平面转移的示例方法400。在超声图像中，当活检针基本上与超声成像系统的成像平面对准时，可以看到活检针进一步深入患者体内。如果针转移出成像平面，那么尽管针实际上进一步移入患者体内，针仍会在超声图像中看起来不再前进。在一些情况下，在超声图像中可以看到针的表观深度的减小。如果表观深度的减少与从患者体内撤回的针不对应，那么外科医生很可能已将针转移到成像平面之外并且可以需要重新调整针或超声成像探头。方法400提供警报或来自超声成像探头的波束形式的改变，作为这种针转移出成像平面的结果。
75.在操作402处，在第一时间(t1)确定活检针的第一表观深度(d1)。活检针的表观深度是活检针在超声图像中出现时进入患者体内的深度。在一些示例中，可以通过测量在超声图像中出现的活检针的部分的长度来确定针的表观深度。在操作404处，在随后的时间(t2)再次确定针的表观深度。这个随后的表观深度是第二表观深度(d2)。在操作406处，确定d2是否大于d1。如果d2不大于d1，那么针可能不前进或已撤回。照此，方法400返回到操作402，在那里方法402重复。如果d2大于d1，那么针可能在成像平面上前进到患者体内，并且方法400进行到操作408。在操作408处，在时间(t2)之后的时间(t3)测量第三表观深度(d3)。在操作410处，确定d3是否小于d2。如果d3大于d2，那么针仍在前进并且在成像平面中，并且方法400返回到操作402，在那里方法400重复。如果d3小于d2，那么或者针已转移出成像平面或已撤回。如果d3小于d2，那么方法400进行到可选操作412，在那里比较d3与d2之间的差以确定该差是否超过阈值。通过将d3与d2之间的差与阈值进行比较，可以避免在仅观察到表观深度的微小变化的情况下发生误报警。如果d2与d3之间的差小于阈值，那么方法400进行回到操作402，在那里方法400重复。如果d2与d3之间的差超过阈值，那么方法400进行到操作414，在那里可以生成转移警报。转移警报指示针可能已转移出超声图像的成像平面。转移警报允许外科医生重新定位针或超声探头，以使针与成像平面重新成一直线。如果针实际上正在从患者体内撤回，那么外科医生还可以忽略或使警报静音。此外，可以显示定位指示符，以向医疗专业人员指示如何更改活检针的位置以将活检针带回到成像平面中。例如，如果针已经转移出成像平面，那么在操作414中可以显示定位指示符。除其它可能的指示符外，定位指示符尤其可以是向医疗专业人员提供关于如何移动针以将针带回到成像平面中的指导的箭头和/或文本的形式。
76.在操作414处，还可以更改从超声探头发射的超声声波的波束形式，以更改成像平面。例如，通过更改超声波的波束形式，可以更改波的方向以修改所得的成像平面。当检测到潜在的转移时(诸如d3小于d2)，可以更改波束形式。可以基于针的移动来预先确定波束形式的改变，或者可以改变波束形式，直到可以确定针的表观深度大于d2为止。
77.虽然图4描述了用于检测活检针的平面转移的方法400，但是这个方法400可以根据需要或期望为确定要沿着平面定位的任何设备的平面转移实现。例如，方法400可以被用
于检测针、导引器、线等的平面转移以确定沿着平面(例如，超声成像器的成像平面)的移动。
78.活检针以外的设备(诸如定位线)在插入和放置期间也面临重大挑战。本技术还能够在此类材料和设备的插入和放置期间协助定位。与活检针不同，一些定位线可以具有二维或三维特点，这增加了放置时的附加并发症。例如，本技术可以为基于环的定位线提供指导，诸如来自马萨诸塞州马尔堡的hologic公司的环定位设备。二维或三维形状的放置对坐标系(例如，x-y-z坐标)内的放置以及坐标系内的旋转朝向都提出了挑战。本技术通过分析导引器的位置和朝向以提供非线性定位线的部署后位置的多维预测来提供针对此类附加复杂性的解决方案。
79.图5a-b描绘了处于两种状态的示例定位插入设备500。定位插入设备500的一个示例是环定位设备。图5a描绘了用于定位线506的皮下插入的处于部署前状态的示例定位插入设备500。定位插入设备500可以由医疗专业人员501操作以将定位线506放置在患者体内以指示病变的位置以供手术移除。定位插入设备500包括导引器502和手柄504。导引器502被配置为允许医疗专业人员501将定位线506插入患者体内。例如，导引器502可以包括环形物，在该环形物上定位线506被馈送通过导引器502以放置在患者体内。导引器502可以在固定位置耦合到手柄504。
80.在图5a所示的部署前状态中，定位线506耦合到定位插入设备500，使得定位线506随着导引器502的移动和手柄504的移动而移动。可以调整定位线506相对于导引器502的位置。例如，定位线506的位置可以由医疗专业人员501通过调整插入元件508来调整。插入元件508可以是按钮、拨动开关、滚动(scroll)、压力开关、滑动开关或耦合到定位插入设备500的任何其它物理元件，其可用于相对于导引器502或手柄504移动定位线506。例如，如果在部署前状态下从患者身上移除导引器502，那么定位线506也从患者身上被移除。定位线506可以预先定位在导引器502的环形物中并且在处于部署前状态时相对于导引器502保持在固定位置。
81.图5b描绘了用于定位线506的皮下插入的处于部署后状态的示例定位插入设备。在图5b所示的部署后状态中，定位线506耦合到患者，使得定位线506随着患者的移动而移动，独立于定位插入设备500的移动。例如，如果在部署后状态下从患者身上移除导引器502，那么定位线506的至少一部分可以留在患者体内。
82.定位线506的部署可以由插入元件508的调整引起。例如，插入元件508的调整可以使得定位线506的一部分从导引器502的环形物暴露。例如，插入元件508的调整使得定位线前进到导引器502之外。当定位线506被部署时，定位线506的尖端510和形状记忆部分512可以首先被暴露。尖端510和/或形状记忆部分512可以使定位线506耦合到患者。在所描绘的示例中，形状记忆部分512是环形部分。至少关于图5c进一步描述形状记忆部分512的各方面。
83.定位线506的部署可以是可逆的，以使定位插入设备500能够在图5a的部署前状态与图5b的部署后状态之间过渡。定位线506的缩回可以由插入元件508的调整引起。部署的可逆性(例如，通过缩回定位线506)可以受到限制。例如，在从导引器暴露的定位线的长度超过阈值长度之后，定位线可能不可缩回。在实例中，在暴露形状记忆部分512的阈值百分比(例如，20-60％)之后，定位线506可能不再是可缩回的。
84.图5c描绘了使用图5a和图5b的定位插入设备500进行皮下插入的示例定位线506。如本文所述，定位线506可以通过导引器502植入患者体内，使得当移除导引器502时，定位线506保留在患者体内。定位线506包括要植入患者体内的尖端510和当定位线506被植入时延伸到患者体外的外端518。定位线506可以包括多个部分。例如，定位线506可以包括与定位线506的尖端510相邻的形状记忆部分512、与外端518相邻的尾部516、以及在形状记忆部分512和尾部516之间延伸的细长部分514。
85.当定位线506由定位插入设备部署并在从患者移除导引器502之后植入患者体内时，定位线506的形状记忆部分512可以通过采取在患者体内围绕、包裹、指向或以其它方式指示患者病变的位置的形状来定位患者体内的病变。形状记忆部分512由在变形为临时形状之后能够恢复原状的形状记忆材料(例如，合金、聚合物等)制成。例如，形状记忆部分512可以是定位线506的在导引器502内部时处于张力下的一部分。当形状记忆部分512进入患者体内时，形状记忆部分512的张力使得形状记忆部分512从其线性位置卷曲——类似于弹簧。
86.在其它示例中，形状记忆材料可以使用多种诱导物(诸如温度、光、化学试剂、磁场、机械力等)被诱导成临时形状(例如，细长形状，以插入导引器502)。例如，形状记忆部分512可以在导引器外部具有原始形状(例如，非细长形状)，当插入到导引器502的环形物中时被拉直(机械力)成临时形状(例如，细长形状)，然后在被定位插入设备500部署时退出导引器502的环形物时返回到原始形状。可替代地，形状记忆部分512可以在第一温度(例如，低于患者体温的温度)下具有原始形状(例如，细长形状)并且当达到至少患者的体温时(例如，当导引器放置在患者体内或当形状记忆部分512部署在患者体内时)可以过渡到临时形状(例如，非细长形状)。在这种情况下，如果形状记忆部分512在部署之前达到诱导温度，那么由环形物施加在形状记忆部分512上的机械力可以将形状记忆部分基本保持在原始形状(例如，细长形状)直到由导引器502部署。应当认识到其它诱导因素。
87.如图所示，形状记忆部分512的非细长形状可以是环，诸如椭圆形、圆形或长圆形。可替代地，形状记忆部分512的非细长形状可以是任何二维形状，使得当定位线506被导引器部署时，形状记忆部分512在由导引器502定义的导引器轴线x之外的至少一个方向上延伸。形状记忆部分512的非细长形状可以使得定位线506的尖端510与导引器轴线x相交或接近其。例如，如果形状记忆部分512的非细长形状是环，那么尖端510可以朝着导引器轴线x向回弯曲以形成与导引器轴线x基本相切的环。形状记忆部分512可以具有多种尺寸。例如，如果非细长形状是圆形状的环，那么圆的直径可以是可选择的(例如，1cm、1.5cm、2cm等)。
88.当定位线506被植入患者体内时，细长部分514可以定位在患者体内，而尾部516从患者身上突出。因为尾部516从患者身上突出，所以尾部516可以是有延展性的或柔性的以便以最小的突出固定到患者的外部。细长部分514和尾部516可以由不同材料构成或者可以具有不同的材料特点。在示例中，定位线506的一些部分是编织的。附加地或可替代地，细长部分514和/或尾部516内的片段可以具有与沿着相同部分的另一个片段不同的特点。例如，细长部分514相对于尾部516可以是刚硬的或不灵活的，细长部分514的第一片段相对于细长部分514的第二片段可以是刚硬的或不灵活的，或者尾部516的第一片段相对于尾部516的第二片段可以是刚硬的或不灵活的。
89.图6a-d描绘了在导引器602上具有朝向标记613a-d的定位插入设备600的不同透
视图。如本文所述，定位线(例如，具有形状记忆部分的定位线506，该形状记忆部分具有环的非细长形状)的朝向相对于定位插入设备600、导引器602、手柄604和/或插入元件608(统称为“设备组件”)可以是固定的，使得环612的预测的位置取决于设备组件之一的朝向。
90.可以基于朝向标记613a-d来确定设备组件之一的朝向。朝向标记613a-d可以具有在成像器下方可见的回声特性(例如，超声成像)并且可以定位在导引器602上，使得当将导引器602定位在患者体内时朝向标记是可见的。朝向标记613a-d可以由医疗专业人员识别以手动确定设备组件或定位线的朝向，或者可以由成像器识别以自动确定设备组件之一的朝向。还可以在导引器602的超声图像中自动检测特定朝向标记613a-d。基于朝向标记613a-d的检测，本技术然后能够为环612的预测的位置提供指导，以及就如何旋转手柄604以使得环612与超声图像在平面中向医疗专业人员提供指导。
91.在示例中，多个朝向标记613a-d可以被放置在导引器602上以指示旋转朝向。例如，图6a中所示的第一朝向标记613a指示环612的预测的位置，该位置沿着由超声图像定义的成像平面在正y轴方向(例如，在导引器轴线x上方)延伸。图6b中所示的第二朝向标记613b指示环612的预测的位置，该位置从成像平面朝着成像器延伸(例如，从由第一朝向标记613a定义的朝向顺时针90度)。图6c中所示的第三朝向标记613c指示环612的预测的位置，该位置在负y轴方向上沿着成像平面延伸(例如，在导引器轴线x下方，从由第二朝向标记613b定义的朝向顺时针90度，并且与由第一朝向标记613a定义的朝向成180度)。图6d中所示的第四朝向标记613d指示环612的预测的位置，该位置从成像平面远离成像器延伸(例如，从由第三朝向标记613c定义的朝向顺时针90度，并且从由第一朝向标记613a定义的朝向逆时针90度，并且与由第二朝向标记613b定义的方向成180度)。可替代地，设备组件或定位线的朝向可以基于设备组件(例如，导引器的尖端)的几何形状来确定。
92.图7a描绘了示例显示器700，其示出了包括病变704的超声图像702。显示器700可以共享针对图2中所示的显示器200描述的各方面并且超声图像可以共享针对图2中所示的超声图像201描述的各方面。病变704包括沿着所示成像平面的至少两个维度。例如，沿着成像平面，病变704具有病变高度h1(如图所示，其由y方向上病变704的边缘之间的最大距离定义)和病变宽度w1(如图所示，其由x方向上病变704的边缘之间的最大距离定义)。基于病变高度h1和病变宽度w1，病变中心c可以被定义为病变高度h1和病变宽度w1围绕病变704形成的矩形的中心。用于确定病变高度h1和病变宽度w1的病变704的边缘可以由医疗专业人员手动识别或由成像技术自动识别。例如，可以自动识别病变704的边界，或者可以经由显示器700处的输入手动选择病变的边界。此外，可以手动或自动识别病变中心c。
93.可以基于选择的或预先选择的癌旁组织偏好为病变704选择或确定癌旁组织706。可以基于病变维度手动或自动生成癌旁组织维度。例如，癌旁组织高度h2可以是病变高度h1加上高度误差，并且癌旁组织宽度w2可以是病变宽度w1加上宽度误差。可替代地，癌旁组织维度可以基于医疗专业人员的输入来确定。癌旁组织706可以与病变704同时显示在超声图像702上。在癌旁组织包括来自病变704的所有边缘的相同误差的示例中，癌旁组织的中心与病变中心c相同。
94.图7b-c描绘了基于图7a中的病变704的维度和/或癌旁组织706的维度的定位线的示例环尺寸。最小环维度(例如，最小半径、最小直径等)可以基于病变高度h1、癌旁组织高度h2、病变宽度w1、癌旁组织宽度w2和/或病变中心c来确定。在图7b所示的示例中，基于病
变高度h1和病变宽度w1确定定位线的环(例如，具有环作为非细长形状的形状记忆部分512)的最小半径。在图7c所示的示例中，定位线的环的最小半径是基于癌旁组织高度h2和癌旁组织宽度w2确定的。为病变确定的最小环维度可以被用于选择具有形状记忆部分的定位线，该形状记忆部分具有至少最小环维度。在示例中，可选择的环尺寸可以包括0.5cm直径(环尺寸a)、1cm直径(环尺寸b)和1.25cm直径(环尺寸c)。如果最小环维度是半径为0.5cm或更小，那么可以选择环尺寸a。如果最小环维度为半径大于0.5cm且小于或等于1.0cm，那么可以选择环尺寸b。如果最小环维度是半径大于1.0英寸且小于或等于1.25cm，那么可以选择环尺寸c。最小环维度和/或建议的环尺寸可以显示在显示器700上。例如，基于病变高度h1和病变宽度w1以及期望或选择的癌旁组织，成像系统可以自动显示最小环维度和/或建议的环尺寸。
95.图7d-e描绘了示例超声图像，包括图7a的病变704、(例如，定位插入设备(诸如定位插入设备500、600)的)导引器708和定位线710的预测的环位置指示符，其中导引器708和病变704都在超声图像702的成像平面中。图7f描绘了包括图7d-e的病变704和导引器708的超声图像702，其中预测的环位置指示符710的一部分位于成像平面之外。
96.在图7d中，超声图像702是在导引器708已经插入患者体内并且处于其部署前状态之后的病变704和导引器708的图像。成像系统可以基于其物理特点(诸如是线性形状和回声特性)自动识别导引器。在识别出导引器708后，成像系统可以显示预测的环位置指示符710。预测的环位置指示符710指示定位线的环部分的预测的位置。预测的环位置指示符710基于导引器708的位置和朝向。可以通过识别导引器的尖端形状和/或检测朝向标记712来确定导引器的旋转朝向。预测的环位置指示符710还基于所选择的环的特性(例如，环直径或环半径、环中心、环规格、环材料成分、环尖端几何形状和环延伸特性)。另外，预测的环位置指示符710可以基于导引器708的尖端附近并且沿着定位线在被部署时将行进的路径的组织特性。因为定位线的环可以在二维方向上移动，所以与上面讨论的线性活检针不同，组织成分可以引起附加的偏转并对偏转具有不同的影响。例如，整个环可以偏转或者环的一部分可以偏转以扭曲环的形状。还可以显示偏转概率指示符以指示定位线将遵循预测的环位置指示符710的路径的可能性或置信度。偏转概率指示符710可以具有相同或相似的特征(例如，热图、颜色等)和上面关于活检针讨论的偏转概率指示符。当放置定位线时，医疗专业人员可以利用预测的环位置指示符710作为指导。
97.可以手动或自动选择环尺寸。环尺寸的选择可以基于上述最小环维度。环尺寸的指示可以与预测的环位置指示符710一起显示在显示器700上。如果环尺寸未知、可互换或可变，那么可以显示多个预测的环位置指示符710。如果预测的环位置的一部分在成像平面之外，那么预测的环位置指示符710的那个部分不能在显示器700上示出(例如，如图7f中所示)。基于环尺寸和导引器708的位置，可以生成平面内预测的环中心o。无论预测的环位置指示符710是否在超声图像702的成像平面中(例如，如图7f所示)，都可以在显示器700上示出平面内预测的环中心o。
98.可以评估导引器的三维位置。导引器708的深度或导引器708在成像平面之外的平面转移的确定可以使用至少关于图4描述的技术来评估。
99.还可以基于预测的环位置指示符710向医疗专业人员提供附加的指导。如果假设环与成像平面在平面内旋转定向，预测的环位置指示符710包括病变704和至少在病变704
周围的期望癌旁组织706，那么导引器708的位置可以适合于环的部署。如本文中另外提及的，适当的位置、允许的位置和部署位置指示导引器708处于部署环的可接受或期望的位置。可以基于平面内预测的环中心o是否在病变中心c的阈值距离内来确定对导引器708的适当定位的评估。例如，如图7d中所示，平面内预测的环中心o是远离病变中心c的定心距离l。可以基于平面内预测的环中心o和病变中心c的位置自动计算定心距离l。如本文所述，平面内预测的环中心o可以基于环特性(例如，环直径或环半径、环中心、环规格、环材料成分、环尖端几何形状和环延伸特性)来确定。病变中心c可以基于病变704的特征(例如，病变高度h1、病变宽度w1、病变面积、病变形状等)和/或癌旁组织的特征(例如，癌旁组织高度h2、癌旁组织宽度w2、癌旁组织形状等)，并且可以自动地或基于医疗专业人员的输入来确定。
100.在识别出病变中心c和平面内预测的环中心o之后，可以计算定心距离l。可以将定心距离l与阈值距离进行比较。阈值距离可以基于环特性、病变的特征、癌旁组织的特征和/或预测的偏转。基于定心距离l与阈值距离的比较，可以发出通知。例如，如果定心距离l小于或等于阈值距离，那么可以发出指示导引器708的位置正确的通知。如果定心距离l大于阈值距离，那么可以发出指示导引器708的位置不正确的通知。
101.作为计算定心距离l的替代方案，平面内预测的环中心o的坐标位置可以基于围绕病变中心c的阈值区域来评估。阈值区域可以是以病变中心c为中心的具有阈值半径的圆。可替代地，阈值区域可以关于病变中心c不对称。例如，阈值区域可以是病变的维度的一部分。可以将平面内预测的环中心o的坐标位置与阈值区域进行比较，以确定坐标位置是位于阈值区域的内部还是外部。与上述距离的比较类似，基于平面内环中心o的坐标位置与阈值区域的比较，可以发出指示导引器708的位置是正确还是不正确的通知。
102.作为基于形状中心(即，平面内预测的环中心o和病变中心c)评估导引器708的位置的替代方案，可以将预测的环位置指示符710与识别出的病变704和/或癌旁组织706的边缘或边界进行比较。与上述距离和坐标位置的比较类似，基于预测的环位置指示符710与病变704和/或癌旁组织706的比较，可以发出指示导引器708的位置是正确还是不正确的通知。例如，如图7d中所示，预测的环位置指示符710将不涵盖病变704。因此，医疗专业人员不希望在导引器708处于其当前位置的情况下部署定位环。相比之下，在图7e中，预测的环位置指示符710被定位在适当的位置，使得它涵盖病变704。
103.可以在显示器700上指示导引器708的正确定位(例如，颜色变化、文本、阴影或正确的二维和/或三维定位的其它指示符)。作为示例，当导引器708被正确定位时，预测的环位置指示符710可以改变颜色。例如，当导引器没有被正确定位时，预测的环位置指示符710可以是第一颜色，而当导引器708被正确定位时，预测的环位置指示符710可以是第二颜色。预测的环位置指示符710的颜色也可以随着导引器708朝着正确位置移动而逐渐改变。除了颜色之外或作为颜色的替代，预测的环位置指示符710的线类型或线特性也可以基于导引器708的正确定位而改变。如果导引器708没有被定位成用于正确部署，那么可以在显示器700上显示指示导引器708不在位置上的警报714(例如，图7d中所示的警报714)。警报714还可以提供用于正确定位的导引器708的建议的移动量(例如，沿着超声图像702中所示的成像平面在y方向上的移动和/或在x方向上的移动)。建议的移动可以基于病变中心c的位置与平面内预测的环中心c的位置的比较。
104.除了导引器708的二维和/或三维位置之外，还可以评估导引器708的旋转朝向。导
引器708和/或预测的环位置指示符710的旋转朝向可以基于超声图像702中可见的朝向标记712，如至少关于图6a-d进一步描述的。例如，图7d-e中所示的第一朝向标记712指示预测的环位置指示符710与超声图像702在平面内，而图7f中所示的第二朝向标记713指示预测的环位置的一部分指示符710位于成像平面之外。因此，预测的环位置指示符710的旋转朝向可以通过识别(一个或多个)可见的朝向标记来手动或自动确定。如果预测的环位置指示符710的一部分基本上位于成像平面之外，那么可以在显示器上示出指示预测环位于平面外的警报714(例如，图7f中所示的警报714)。警报714还可以提供导引器708在顺时针和/或逆时针方向上的建议的旋转度数。建议的旋转度数可以基于识别出的朝向(例如，基于(一个或多个)朝向标记)。如果导引器708的旋转朝向适合于部署，那么可以在显示器700上示出正确定位的指示(例如，颜色变化、文本、阴影或正确三维定位的其它指示符)。因此，当导引器708处于部署位置时(例如，平面内预测的环中心o和病变中心c足够靠近并且预测的环位置指示符710在平面内，或者预测的环位置指示符710包围病变704和/或癌旁组织706，或如本文中另外描述的)，可以在显示器700上示出指示。
105.图8描绘了用于定位线的可视化的示例方法800。当执行定位规程时，预测的可视化方法800提供要在超声图像上显示的附加引导和导引器预测指示符。照此，执行定位规程的外科医生或其他医疗专业人员可以接收用于执行定位规程的基本上实时的指导。方法800和本文讨论的其它方法的操作可以由至少一个处理器结合系统(诸如图1a-1c中描绘的系统100)内合适的操作环境(诸如图1g中的操作环境150)的其它组件来执行。
106.除了可视化方法800被应用于能够放置定位线的导引器之外，可视化方法800的操作802-808可以与图3a中的方法300a的操作302-308类似，该定位线包括二维形状部分(例如，图5c中的定位线506的形状记忆部分512，其可以是环)。
107.在操作810处，环和/或导引器的特性被访问或以其它方式确定。环的特性包括环直径、环半径、环中心、环规格、环材料成分、环尖端几何形状和环延伸特性中的至少一个，以及其它潜在的定位线特性。环的属性可以通过查询本地存储在可视化系统100中的数据库或可从可视化系统100访问的远程数据库来访问。在示例中，用户界面可以在定位规程开始时首先显示，以允许选择或输入要在定位规程中使用的环或定位线的类型或尺寸(例如，可以与环维度相关联)。在示例中，到用户界面的输入可以指示环或定位线的特定品牌或型号。在这种示例中，到用户界面的输入可以被用于查询相应的数据库以访问或确定由到用户界面的输入所指示的环或定位线的特性。在其它示例中，环或定位线的特性(例如，环直径或半径、形状记忆材料强度、环规格、线规格、线长度等)作为输入被直接提供给用户界面。在这种示例中，由于已经直接提供了特性，因此不执行数据库查询。
108.在操作812处，确定环的预测的位置。确定环的预测的位置可以包括确定导引器在环的部署前位置和/或特性中的二维、三维位置和/或旋转朝向。例如，可以确定部署后环的预测的位置。在这种示例中，可以为处于部署后状态的环确定环的各个方面，诸如环尖端、环直径或半径等。环的预测的位置的确定可以基于在操作810中访问或确定的环特性。此外，所确定的环的预测的位置也可以基于组织特性。
109.在操作814处，一个或多个环预测指示符被显示在超声图像上。例如，环预测指示符可以包括存在于超声图像的成像平面中的预测的环位置(例如，预测的环位置指示符710)、预测的环中心(例如，预测的环中心o)、偏转概率指示符、位置警报或朝向警报中的一
个或多个。显示预测指示符还可以包括改变预测指示符的状态。例如，当处于其部署前状态的导引器在患者体内移动时，预测指示符的状态可以改变。作为示例，所显示的预测的环位置可以随着导引器被重新定位和/或旋转重新定向而改变。预测指示符还可以包括定位插入设备中的可听指示符或触觉指示符。
110.当满足某些条件和/或环预测指示符的显示可以是可切换的时，可以激活环预测指示符的显示。作为示例，成像系统可以识别定位线何时开始从导引器部署。那个事件可以由开始从超声图像中的导引器的尖端突出的高回声元件检测。在检测到这种事件后，可以激活环预测指示符的显示。因而，医疗专业人员可以通过开始部署过程(例如，向前移动定位设备的手柄上的按钮)来激活环预测指示符的显示。如果环预测指示符指示导引器的位置不正确，那么医疗专业人员可以缩回定位线并在导引器中重新定位。在一些示例中，将定位线缩回到导引器中可以使环预测指示符的显示停止。在其它示例中，环预测指示符的显示可以在定位线缩回之后持续。环预测指示符的显示也可以是可切换的。例如，可以接收打开或关闭一个或多个环预测指示符的显示的输入。
111.除了环预测指示符之外，还可以显示向医疗专业人员指示如何更改导引器的位置以便更准确地瞄准病变或感兴趣区域的附加定位指示符。例如，可以通过图像分析和/或用户输入来识别病变或感兴趣区域。如果预测的环位置没有对准以在部署后正确定位病变，那么可以显示定位指示符以指导医疗专业人员如何将导引器移动到预测的环位置准确瞄准病变的位置。这种定位指示符可以是箭头和/或文本的形式，以及提供定位指导的其它指示符。此外，可以显示指示导引器的正确定位的视觉、触觉和/或可听定位指示符。作为示例，当导引器被定位成使得预测的环位置将适当地瞄准病变时，可以提供触觉、可听和/或视觉反馈。例如，可以提供可听的声音，并且随着导引器移向或远离正确瞄准病变或感兴趣区域，声音可以改变音量或频率。
112.上面关于活检针和活检规程描述的附加可视化技术可以应用于能够放置定位线的导引器。例如，确定部署后定位线的预测的环位置的偏转概率可以与图3b中的方法300b中描述的确定偏转概率类似。例如，沿着预测的环位置的路径的环特性和组织特性可以被评估并用于生成概率指示符。附加地或可替代地，评估导引器和/或预测的环位置是否正在经历平面转移可以与图4的方法400中描述的技术类似。
113.图9描绘了用于沿着成像平面检测导引器的位置和朝向信息和/或预测的环位置的示例方法900。在操作902处，确定导引器的位置和朝向。位置信息包括与导引器的位置相关的二维和/或三维信息，诸如深度信息和平面转移信息，以及沿着平面的x-y坐标信息和偏转信息。朝向信息包括关于导引器的旋转朝向和/或预测的环位置的信息，诸如相对于成像平面的旋转角度和旋转方向。可以使用本文描述的技术来确定位置信息和朝向信息。
114.在确定904处，评估位置。如本文进一步描述的，当预测的环位置涵盖病变加上期望的癌旁组织时，或者当环的预测的中心与病变的中心对准或在期望的半径内时，可以允许导引器的位置以部署定位线的环(假设环部署在成像平面中)。如果确定位置不适合部署环(例如，预测的环位置不包括整个病变或环的预测的中心与病变的中心不够靠近)，那么在操作906处生成位置警报。位置警报可以包括视觉、触觉和/或可听指示符，如上文进一步描述的。在示例中，位置警报还可以包括方向指示符(例如，y方向上的距离和x方向上的距离)以帮助医疗专业人员移动导引器直到允许定位。
115.但是，如果导引器的位置对于环的部署是允许的，那么在确定908a处评估导引器的朝向。当导引器和/或预测的环位置与成像平面在平面内或基本上在平面内(例如，在可接受的旋转度数内)时，导引器的旋转朝向可以是允许的。如果朝向被确定为不允许部署环(例如，导引器和/或预测的环位置基本上在平面外)，那么在操作910处生成朝向警报。朝向警报可以包括视觉、触觉和/或可听指示符，如上文进一步描述的。在示例中，朝向警报还可以包括方向指示符(例如，旋转角度和旋转方向)以帮助医疗专业人员旋转导引器直到朝向是允许的。
116.在确定908b处，使用与确定908a相同的技术来评估朝向。因此，如果在确定908a处或在确定908b处确定朝向不正确，那么在操作910处生成朝向警报。但是，如果朝向被评估为允许定位线的部署，那么确定908a与908b不同。在确定908a处，在确定904处确定导引器的位置是正确的，因此，如果位置和朝向两者都是允许的(例如，在确定904和908a处流向“是”)，那么可以在操作912处发出指示允许导引器和预测的环位置以在评估的位置和朝向处部署定位线的通知。可替代地，在确定908b处，在确定904处确定导引器的位置是不允许的，因此，不管朝向如何，导引器都不定位成用于部署。如果朝向是允许的，那么可以不会发出附加警报(除了在操作906处的位置警报之外)。
117.虽然方法900描述了在评估朝向(例如，在确定908a、908b处)之前对位置的评估(例如，在确定904处)，但可以以任何次序或同时评估位置和朝向。操作902-912可以根据需要或期望重复。例如，操作902-912可以在导引器的位置和/或朝向和预测的环位置改变时重复，如可以使用本文描述的技术检测到的。
118.可以使用软件、硬件或软件和硬件的组合来采用本文描述的实施例，以实现和执行本文公开的系统和方法。虽然在整个公开中已经将具体的设备描述为执行具体的功能，但是本领域的技术人员将认识到的是，提供这些设备是为了说明性目的，并且在不脱离本公开范围的情况下，可以采用其它设备来执行本文公开的功能。
119.本公开参考附图描述了本技术的一些实施例，在附图中仅示出了一些可能的实施例。但是，其它方面可以以许多不同的形式实施，并且不应当被解释为限于本文阐述的实施例。更确切地说，提供这些实施例是为了使本公开彻底和完整，并将可能的实施例的范围充分传达给本领域技术人员。
120.虽然在本文描述了具体的实施例，但是本技术的范围不限于那些具体的实施例。本领域技术人员将认识到在本技术的范围和精神内的其它实施例或改进。因此，仅作为说明性实施例公开了具体的结构、动作或介质。该技术的范围由所附权利要求及其中的任何等同形式限定。
121.此外，如本文和权利要求中所使用的，短语“元素a、元素b或元素c中的至少一个”旨在传达以下任何一项：元素a、元素b、元素c、元素a和b、元素a和c、元素b和c，以及元素a、b和c。此外，本领域技术人员将理解的是，诸如“大约”或“基本上”之类的术语传达的程度根据本文使用的测量技术。就本领域技术人员可能无法清楚地定义或理解这些术语的程度而言，术语“大约”应表示加减百分之十。