准确的组织接近度的制作方法

准确的组织接近度
1.相关申请信息
2.本技术要求2020年12月16日提交的美国临时专利申请序列号63/126,152的权益，该临时专利申请的公开内容据此以引用方式并入本文。
技术领域
3.本发明涉及医疗系统，并且具体地但并非排他性地涉及导管设备。


背景技术：

4.大量的医疗规程涉及将探头诸如导管放置在患者体内。已经开发出位置感测系统来跟踪这类探头。磁性位置感测为本领域已知的一种方法。在磁性位置感测中，通常将磁场发生器放置在患者体外的已知位置处。探头的远侧端部内的磁场传感器响应于这些磁场生成电信号，这些电信号被处理以确定探头的远侧端部的坐标位置。这些方法和系统在美国专利5,391,199、6,690,963、6,484,118、6,239,724、6,618,612和6,332,089中、在pct国际专利公布wo 1996/005768中、以及在美国专利申请公布2002/0065455、和2003/0120150、以及2004/0068178中有所描述，这些专利的公开内容全部以引用方式并入本文。还可使用基于阻抗或电流的系统来跟踪位置。
5.心律失常的治疗是一种已证明其中这些类型的探头或导管极其有用的医疗规程。心律失常并且具体地讲心房纤颤一直为常见和危险的医学病症，在老年人中尤为如此。
6.心律失常的诊断和治疗包括标测心脏组织(尤其是心内膜和心脏体积)的电性质，以及通过施加能量来选择性地消融心脏组织。此类消融可停止或改变不需要的电信号从心脏的一个部分传播到另一部分。消融方法通过形成非导电消融灶来破坏不需要的电通路。已经公开了多种用于形成消融灶的能量递送形式，并且包括使用微波、激光和更常见的射频能量来沿心脏组织壁形成传导阻滞。在两步式手术(标测，之后进行消融)中，通常通过将包括一个或多个电传感器的导管推进到心脏中并采集多个点处的数据来感测和测量心脏内各个点处的电活动。然后利用这些数据来选择拟加以消融的心内膜目标区域。
7.电极导管已经普遍用于医疗实践多年。它们被用来刺激和标测心脏中的电活动，以及用来消融异常电活动的位点。使用时，将电极导管插入到主静脉或动脉例如股动脉中，并且随后引导到所关注的心脏腔室中。典型的消融手术涉及将在其远侧端部具有一个或多个电极的导管插入到心室中。可提供通常用胶带粘贴在患者的皮肤上的参比电极，或者可使用设置在心脏中或附近的第二导管来提供参比电极。rf(射频)电流被施加到消融导管的顶端电极，并且电流通过周围介质(即血液和组织)流向参比电极。电流的分布取决于与血液相比电极表面与组织接触的量，血液具有比组织更高的导电率。由于组织的电阻，发生组织的加热。组织被充分加热而致使心脏组织中的细胞破坏，从而导致在心脏组织内形成不导电的消融灶。
8.因此，当将消融导管或其他导管放置在体内(尤其是心内膜组织附近)时，希望具有直接接触组织的导管远侧末端。可通过(例如)测量远侧末端和身体组织之间的接触来证
实接触。美国专利申请公布2007/0100332、2009/0093806和2009/0138007(其公开内容以引用方式并入本文)描述了使用埋入导管内的力传感器感测导管远侧末端与体腔中的组织之间的接触压力的方法。
9.许多参考文献已经报道了用于确定电极-组织接触的方法，包括美国专利5,935,079、5,891,095、5,836,990、5,836,874、5,673,704、5,662,108、5,469,857、5,447,529、5,341,807、5,078,714、和加拿大专利申请2,285,342。这些参考文献中的多个参考文献，例如美国专利5,935,079、5,836,990和5,447,529，通过测量顶端电极与返回电极之间的阻抗来确定电极-组织接触。如'529专利所公开，众所周知，通过血液的阻抗通常低于通过组织的阻抗。因此，通过将一组电极之间的阻抗值与已知电极与组织接触和已知电极仅与血液接触时的预先测量的阻抗值进行比较来检测组织接触。
10.授予gliner等人的美国专利9168004描述了使用机器学习来确定导管电极接触，该专利以引用方式并入本文。
‘
004专利描述了通过以下方式执行的心导管插入术：将探头的电极与心脏壁之间的接触状态的指配记忆为有接触状态或无接触状态，并且对穿过该电极与另一电极的电流的阻抗相位角作一系列确定，由此识别该系列中的最大相位角和最小相位角，并且将二元分类器适应性地界定在极限值的中间。将测试值与由滞后因数调整的分类器进行比较，并且当测试值超过调整后的分类器或降到调整后的分类器以下时，报告接触状态的变化。
11.以引用方式并入本文的mest的美国专利公布2013/0085416描述了一种用于力感测探头诸如电生理导管的体内重新校正的方法，该方法用于产生自动置零区域。将所述导管或其他探头的远侧末端放置在所述患者的体腔内。使用心电图(ecg)或阻抗数据、透视或其他实时成像数据、和/或电解剖标测系统来证实不存在组织接触。一旦证实不存在组织接触，该系统就重新校准源自力传感器的信号以使其对应于零克的力读数并且使用此校准的基线读数来产生和显示基于力传感器数据的力读数。


技术实现要素：

12.根据本公开的实施方案，提供了一种用于获取组织接近度指示的方法，该方法包括：将导管插入活体受检者的身体部位中，使得该导管的电极在该身体部位内的相应位置处接触组织；接收由该电极提供的信号；响应于所接收的信号中的至少一个信号在强化学习探索阶段内选择性地奖励和惩罚强化学习智能体，以学习至少一个组织接近度策略；在强化化学习利用阶段中应用该强化学习智能体，以响应于该至少一个组织接近度策略来获取将要采取的相应组织接近度动作，该组织接近度动作最大化相应的预期奖励；以及响应于所获取的相应组织接近度动作，提供该电极中的给定电极与该组织的接近度的相应导出组织接近度指示。
13.另外，根据本公开的实施方案，该应用包括在该强化学习利用阶段中的相应强化学习利用阶段中应用该强化学习智能体，以响应于该强化学习智能体的相应状态和将要采取的相应的可用组织接近度动作组来获取将要采取的该组织接近度动作中的相应组织接近度动作，该相应组织接近度动作最大化相应的预期奖励；并且该选择性地奖励和惩罚包括响应于该强化学习利用阶段中的相应最后强化学习利用阶段的数据，在该强化学习探索阶段内选择性奖励和惩罚该强化学习智能体，该数据包括：该状态中的相应状态、将要采取
的该组织接近度动作中的相应的所获取的组织接近度动作、以及相应的实际奖励。
14.此外，根据本公开的实施方案，将要采取的可用组织接近度动作组中的每个组织接近度动作包括：改变在该强化学习利用阶段中的相应最后强化学习利用阶段中提供的所导出的组织接近度指示中的相应一个组织接近度指示；以及不改变在该强化学习利用阶段的该相应最后一个强化学习利用阶段中提供的所导出的组织接近度指示中的该相应一个组织接近度指示。
15.另外，根据本公开的实施方案，该相应状态中的每个状态包括：在该强化学习利用阶段中的该相应最后一个强化学习利用阶段中提供的所导出的组织接近度指示中的该相应一个组织接近度指示；以及针对该强化学习利用阶段中的当前相应一个强化学习利用阶段计算的该给定电极的相应阻抗值。
16.此外，根据本公开的实施方案，该方法包括响应于将要采取的该组织接近度动作中的该相应的所获取的组织接近度动作和独立于应用该强化学习智能体而计算的相应的参考组织接近度指示来计算该相应的实际奖励。
17.另外，根据本公开的实施方案，该方法包括：响应于所接收的信号中的至少一个信号来针对该相应状态中的每个状态计算该给定电极的相应阻抗值；以及响应于所接收的信号中的至少一个信号独立于应用该强化学习智能体来计算该相应的参考组织接近度指示。
18.此外，根据本公开的实施方案，该计算该相应的参考组织接近度指示包括响应于该给定电极的相应阻抗值来计算该相应的参考组织接近度指示。
19.另外，根据本公开的实施方案，计算该相应的实际奖励包括计算未来折扣奖励的总和。
20.此外，根据本公开的实施方案，该强化学习智能体为深度强化学习智能体。
21.另外，根据本公开的实施方案，该强化学习智能体为q学习无模型的强化学习智能体。
22.此外，根据本公开的实施方案，该方法包括将该导管的第一组电极和该给定电极电耦接到第一信号处理单元，其中该计算相应的参考组织接近度指示由该第一信号处理单元响应于接收由该给定电极提供的至少一个信号来执行；以及将该导管的第二组电极和该给定电极电耦接到第二信号处理单元，该第二组电极不同于该第一组电极，其中针对该相应状态中的每个状态计算该给定电极的相应阻抗值是在该第二信号处理单元中响应于接收由该给定电极提供的该至少一个信号而执行的。
23.另外，根据本公开的实施方案，该方法包括：由该第二信号处理单元计算该第二组电极中的相应电极的相应阻抗值；应用该强化学习智能体以响应于该第二组电极中的该相应电极的所计算的相应阻抗值来获取将要采取的相应组织接近度动作，该相应组织接近度动作最大化该第二组电极中的该相应电极的相应预期奖励；以及响应于该第二组电极中的该相应电极的所获取的将要采取的相应组织接近度动作来提供该第二组电极中的该相应电极与该组织的接近度的相应的导出的组织接近度指示。
24.此外，根据本公开的实施方案，该方法包括：将体表电极施加到活体受检者的皮肤表面；将该体表电极电耦接到该第一信号处理单元；以及计算该给定电极与该体表电极之间的相应阻抗值，其中该计算该相应的参考组织接近度指示由该第一信号处理单元响应于所计算的相应阻抗值来执行。
25.根据本公开的另一个实施方案，还提供了一种用于获取组织接近度指示的系统，该系统包括：导管，该导管被配置成被插入活体受检者的身体部位内并且包括电极，该电极被配置成在该身体部位内的相应位置处接触组织；以及处理电路，该处理电路被配置成：接收由该电极提供的信号；响应于所接收的信号中的至少一个信号在强化学习探索阶段内选择性地奖励和惩罚强化学习智能体，以学习至少一个组织接近度策略；在强化学习利用阶段中应用该强化学习智能体，以响应于该至少一个组织接近度策略来获取将要采取的相应组织接近度动作，该相应组织接近度动作最大化相应的预期奖励；以及响应于所获取的相应组织接近度动作，提供该电极中的给定电极与该组织的接近度的相应的导出的组织接近度指示。
26.另外，根据本公开的实施方案，该处理电路被配置成：在该强化学习利用阶段中的相应强化学习利用阶段中应用该强化学习智能体，以响应于该强化学习智能体的相应状态和将要采取的相应的可用组织接近度动作组来获取将要采取的该组织接近度动作中的相应组织接近度动作，该相应组织接近度动作最大化相应的预期奖励；以及响应于该强化学习利用阶段中的相应最后强化学习利用阶段的数据，在该强化学习探索阶段内选择性奖励和惩罚该强化学习智能体，该数据包括：该状态中的相应状态、将要采取的该组织接近度动作中的相应的所获取的组织接近度动作、以及相应的实际奖励。
27.此外，根据本公开的实施方案，将要采取的可用组织接近度动作组中的每个组织接近度动作包括：改变在该强化学习利用阶段中的相应最后一个强化学习利用阶段中提供的所导出的组织接近度指示中的相应一个组织接近度指示；以及不改变在该强化学习利用阶段的该相应最后一个强化学习利用阶段中提供的所导出的组织接近度指示中的该一个相应组织接近度指示。
28.另外，根据本公开的实施方案，该相应状态中的每个状态包括：在该强化学习利用阶段中的该相应最后一个强化学习利用阶段中提供的所导出的组织接近度指示中的该一个相应组织接近度指示；以及针对该强化学习利用阶段中的当前相应一个强化学习利用阶段计算的该给定电极的相应阻抗值。
29.此外，根据本公开的实施方案，该处理电路被配置成响应于将要采取的该组织接近度动作中的该相应的所获取的组织接近度动作和独立于应用该强化学习智能体而计算的相应的参考组织接近度指示来计算该相应的实际奖励。
30.另外，根据本公开的实施方案，该处理电路被配置成：响应于所接收的信号中的至少一个信号来针对所述相应状态中的每个状态计算所述给定电极的相应阻抗值；以及响应于所接收的信号中的至少一个信号独立于应用所述强化学习智能体来计算所述相应的参考组织接近度指示。
31.此外，根据本公开的实施方案，该处理电路被配置成响应于该给定电极的相应阻抗值来计算该相应的参考组织接近度指示。
32.另外，根据本公开的实施方案，该处理电路被配置成：计算未来折扣奖励的总和；以及响应于所计算的未来折扣奖励的总和来计算该相应的实际奖励。
33.此外，根据本公开的实施方案，该强化学习智能体为深度强化学习智能体。
34.另外，根据本公开的实施方案，该强化学习智能体为q学习无模型的强化学习智能体。
35.另外，根据本公开的实施方案，该导管包括第一组电极和第二组电极，该第二组电极不同于该第一组电极，该系统还包括：第一信号处理单元，该第一信号处理单元被配置成电耦接到该第一组电极，并且响应于接收由该给定电极提供的至少一个信号来计算该相应的参考组织接近度指示；以及第二信号处理单元，该第二信号处理单元被配置成电耦接到该导管的该第二组电极，并且响应于接收由该给定电极提供的该至少一个信号来针对该相应状态中的每个状态计算该给定电极的相应阻抗值。
36.另外，根据本公开的实施方案，该第二信号处理单元被配置成计算该第二组电极中的相应电极的相应阻抗值；该处理电路被配置成：应用该强化学习智能体以响应于该第二组电极中的该相应电极的所计算的相应阻抗值来获取将要采取的相应组织接近度动作，该相应组织接近度动作最大化该第二组电极中的该相应电极的相应预期奖励；以及响应于该第二组电极中的该相应电极的所获取的将要采取的相应组织接近度动作来提供该第二组电极中的该相应电极与该组织的接近度的相应的导出的组织接近度指示。
37.此外，根据本公开的实施方案，该系统包括被配置成施加到活体受检者的皮肤表面的体表电极，该第一信号处理单元被配置成电耦接到该体表电极，其中该第一信号处理单元被配置成：计算该给定电极与该体表电极之间的相应阻抗值；以及响应于所计算的相应阻抗值来计算该相应的参考组织接近度指示。
38.根据本公开的又一个实施方案，还提供了一种软件产品，该软件产品包括非暂态计算机可读介质，在该非暂态计算机可读介质中存储程序指令，这些指令在被中央处理单元(cpu)读取时致使该cpu：接收由电极提供的信号；响应于所接收的信号中的至少一个信号在强化学习探索阶段内选择性地奖励和惩罚强化学习智能体，以学习至少一个组织接近度策略；在强化学习利用阶段中应用该强化学习智能体，以响应于该至少一个组织接近度策略来获取将要采取的相应组织接近度动作，该相应组织接近度动作最大化相应的预期奖励；以及响应于所获取的相应组织接近度动作，提供该电极中的给定电极与该组织的接近度的相应的导出的组织接近度指示。
附图说明
39.根据以下详细说明结合附图将理解本发明，其中：
40.图1为根据本发明的示例性实施方案构造和操作的医疗规程系统的示意图；
41.图2为用于图1的系统中的导管的示意图；
42.图3为执行强化学习的图1的系统的元件的示意图；
43.图4为包括执行用于图1的系统中的强化学习的方法中的步骤的流程图；
44.图5为示出用于图1的系统中的强化学习的利用阶段的示意图；
45.图6为包括在图5的利用阶段中执行的步骤的流程图；
46.图7为示出用于图1的系统中的强化学习的探索阶段的示意图；并且
47.图8为包括在图7的探索阶段中执行的步骤的流程图。
具体实施方式
48.概述
49.以举例的方式，在电生理(ep)实验室中，可将一个或多个导管以及体表电极贴片
连接到信号处理控制台，该信号处理控制台处理来自导管和体表电极的信号以执行与标测和消融相关联的各种任务。
50.此类信号处理控制台通常包括用于将电极和传感器连接到其的有限数量的可用输入连接件。另外，导管被制造成具有越来越多数量的电极(数十个或甚至数百个电极)。例如，biosense webster(irvine,ca)的octaray
tm
导管包括48个标测电极和两个方位传感器电极以及磁传感器，所有这些部件均需要连接到信号处理控制台。
51.一种解决方案是利用具有一个或多个连接件的控制台替换信号处理控制台。另一个更可接受的解决方案是提供辅助信号处理单元，该辅助信号处理单元连接到电极的子组，而其他电极连接到信号处理控制台。辅助信号处理单元处理从连接的电极的子组接收的信号，与之并行的是由信号处理控制台(下文称为“主信号处理单元”)进行的处理。主信号处理单元和辅助信号处理单元的输出可随后由另一个处理装置处理，该另一个处理装置执行诸如标测、消融控制和用户界面渲染之类的任务。
52.上述解决方案的一个问题涉及组织接近度指示(tpi)的计算，该组织接近度指示提供各个导管电极与身体部位(例如，心室)中的组织的接近度的量度。主信号处理单元可以与辅助信号处理单元不同的方式处理tpi。例如，tpi可基于阻抗值来计算，该阻抗值是基于导管电极与体表电极之间的阻抗来获取的。当体表电极连接到主信号处理单元而不连接到辅助信号处理单元时，主信号处理单元可基于导管电极与体表电极之间的阻抗来计算tpi，而辅助信号处理单元可基于在各对导管电极之间测量的双极性阻抗来计算tpi。即使对于相同的电极，基于双极性阻抗计算的tpi也可不同于由主信号处理单元计算的tpi，并且可能提供较差的结果。在一些示例中，主信号处理单元和辅助信号处理单元可包括不同的处理硬件，这也可导致所计算的tpi的不同质量。
53.本发明的实施方案通过以下方式来解决上述问题：使用强化学习(例如，q学习、深度q学习)基于在主信号处理单元中计算的tpi来导出仅连接到辅助信号处理单元的电极的tpi，从而为仅连接到辅助信号处理单元的电极提供类似的结果。
54.一个或多个导管电极(例如，电极a)连接到主信号处理单元和辅助信号处理单元两者，并且可用于校准针对仅连接到辅助信号处理单元的导管电极计算的tpi。辅助信号处理单元计算电极a的阻抗值(例如，基于双极性信号)，并且主信号处理单元计算电极a的tpi(例如，基于电极a与体表电极之间的阻抗值)。处理装置接收由辅助信号处理单元计算的阻抗值和得自主信号处理单元的tpi。处理装置在利用阶段中应用强化学习智能体，并且在探索阶段中奖励或惩罚智能体，如下文更详细所述。处理装置响应于新阻抗值和tpi执行后续的利用和探索阶段，并且智能体在利用阶段之间被连续地训练。
55.其他电极(例如，电极b)仅连接到辅助信号处理箱，该辅助信号处理箱计算这些电极的阻抗值。处理装置随后在利用阶段中应用智能体以基于输入状态(例如，从辅助信号处理单元接收的电极b的阻抗值、以及先前提供的电极b的接触状态(例如，接触或不接触))和动作(例如，从先前提供的tpi改变或不改变tpi)来确定那些电极的tpi，从而产生该动作的第一预期奖励。将相同状态但相反的动作输入到智能体以产生该动作的第二预期奖励。选择与最高奖励相关联的动作并且采取该动作。
56.可使用得自辅助信号处理单元的阻抗数据和得自主信号处理单元的tpi结果来训练(在探索阶段中)智能体。基于所采取的最后动作与从主信号处理单元接收的电极a的tpi
是否一致来计算实际奖励。实际奖励可被计算为未来折扣奖励的总和。然后基于实际奖励通过奖励和惩罚智能体来训练智能体。如果所采取的最后动作与由主信号处理单元计算的tpi一致，则奖励智能体(例如，实际奖励可等于 1)。如果所采取的最后动作与由主信号处理单元计算的tpi不一致，则惩罚智能体(例如，实际奖励可等于-1)。在一些情况下，可对奖励函数打折扣。
57.可将状态和在电极a的最后利用中所采取的最后动作输入到智能体，从而产生预期奖励(例如，具有介于-1和 1之间的值)。可迭代地改变智能体的参数，直到预期奖励(即，智能体的实际输出)足够接近实际奖励(即，智能体的期望输出)。可使用合适的损失函数来执行智能体的实际输出与期望输出的比较。
58.系统描述
59.现在参见图1，其为根据本发明的实施方案构造和操作的医疗规程系统20的示意图。现在参见图2，其为用于图1的系统20中的导管40的示意图。
60.医疗手术系统20用于确定导管40的方位，如在图1的插图25中以及在图2中更详细地所见。导管40包括轴22和用于插入到活体受检者的身体部位中的多个可挠曲臂54(为了简单起见，仅一些被标记)。可挠曲臂54具有连接到轴22的远侧端部的相应近侧端部。
61.导管40包括方位传感器53，该方位传感器以相对于可挠曲臂54的近侧端部呈预定义空间关系的方式设置在轴22上。方位传感器53可包括磁传感器50和/或至少一个轴电极52。磁传感器50可包括至少一个线圈，例如但不限于双轴或三轴线圈布置，以提供位置和取向(包括横摆)的位置数据。导管40包括沿着可挠曲臂54中的每个可挠曲臂设置在不同的相应位置处的多个电极55(为了简单起见，仅一些被标记在图2中)。通常，导管40可用于使用电极55标测活体受检者的心脏中的电活动，或者可用于在活体受检者的身体部位中执行任何其他合适的功能。
62.医疗手术系统20可基于由磁传感器50和/或装配在轴22上的位于磁传感器50的任一侧的轴电极52(近侧电极52a和远侧电极52b)提供的信号来确定导管40的轴22的方位和取向。近侧电极52a、远侧电极52b、磁传感器50和电极55中的至少一些电极通过经由一个或多个导管连接器35穿过轴22延伸的导线连接到控制台24中的各种驱动电路。在一些实施方案中，可挠曲臂54中的每个可挠曲臂的电极55、轴电极52和磁传感器50中的至少两者经由导管连接器35连接到控制台24中的驱动电路。在一些实施方案中，可省略远侧电极52b和/或近侧电极52a。
63.图2所示的例证完全是为了概念清晰而选择的。轴电极52和电极55的其他配置也是可能的。附加功能可包括在方位传感器53中。为清晰起见，省略了与本发明所公开的实施方案无关的元件，诸如冲洗口。
64.医师30通过使用靠近导管40的近侧端部的操纵器32操纵轴22和/或从护套23的挠曲来将导管40导航到患者28的身体部位(例如，心脏26)中的目标位置。将导管40插入穿过护套23，其中可挠曲臂54聚集在一起，并且仅在导管40从护套23回缩之后，可挠曲臂54能够展开并恢复其预期的功能形状。通过将可挠曲臂54容纳在一起，护套23还用于使在其到目标位置的途径上的血管创伤最小化。
65.控制台24包括处理电路41(通常为通用计算机)以及用于在体表电极49中生成信号和/或接收来自该体表电极的信号的合适的前端和接口电路44，该体表电极通过穿过缆
线39的导线附接到患者28的胸部和背部、或者任何其他合适的皮肤表面。
66.控制台24还包括磁感应子系统。将患者28放置在由包括至少一个磁场辐射器42的垫生成的磁场中，该磁场辐射器由设置在控制台24中的单元43驱动。磁场辐射器42被配置成将交变磁场发射到身体部位(例如，心脏26)所在的区域内。由磁场辐射器42生成的磁场在磁传感器50中生成方向信号。磁传感器50被配置成检测所发射的交变磁场的至少一部分，并且将方向信号作为对应的电输入提供到处理电路41。
67.在一些实施方案中，处理电路41使用从轴电极52、磁传感器50和电极55接收的方位信号来估计导管40在器官(诸如心腔)内的方位。在一些实施方案中，处理电路41将从电极52、55接收的方位信号与先前采集的磁位置-校准方位信号相关联，以估计导管40在心腔内的方位。可由处理电路41基于(除了其他输入以外)电极52、55与体表电极49之间的测量的阻抗、或电流分布的比例来确定轴电极52和电极55的位置坐标。控制台24驱动显示器27，该显示器示出心脏26内的导管40的远侧端部。
68.使用电流分布测量结果和/或外部磁场的方位感测的方法在各种医疗应用中实现，例如，在由biosense webster inc.(irvine,california)生产的系统中实现，并且详细地描述于美国专利5,391,199、6,690,963、6,484,118、6,239,724、6,618,612、6,332,089、7,756,576、7,869,865和7,848,787、pct专利公布wo 96/05768、以及美国专利申请公布2002/0065455a1、2003/0120150a1和2004/0068178a1中。
69.系统应用基于有功电流定位(acl)阻抗的位置跟踪方法。在一些实施方案中，处理电路41被配置成使用acl方法来产生电阻抗的指示与磁场辐射器42的磁坐标系中的方位之间的映射(例如，电流-方位矩阵(cpm))。处理电路41通过在cpm中执行查找来估计轴电极52和电极55的方位。
70.处理电路41通常用软件进行编程以执行本文所述的功能。该软件可通过网络以电子形式被下载到计算机，例如或者其可另选地或另外地设置和/或存储在非临时性有形介质(诸如磁存储器、光存储器或电子存储器)上。
71.为简单和清晰起见，图1仅示出了与本发明所公开的技术有关的元件。系统20通常包括附加模块和元件，该附加模块和元件与本发明所公开的技术不直接相关，并且因此该附加模块和元件从图1和对应的描述中被有意地省略。
72.上文所述的导管40包括八个可挠曲臂54，其中每个臂54具有六个电极。仅以举例的方式，可使用任何合适的导管代替导管40来执行上文和下文所述的功能，例如，具有不同数量的柔性臂和/或每个臂上的电极的导管，或具有不同的远侧端部类型的导管诸如球囊导管、篮形导管或套索导管。
73.医疗手术系统20还可使用任何合适的导管，例如使用导管40或不同的导管以及任何合适的消融方法来执行心脏组织的消融。控制台24可包括被配置成生成rf功率的rf信号发生器(未示出)，该rf功率由连接到控制台24的导管的一个或多个电极以及体表电极49中的一个或多个体表电极施加以消融心脏26的心肌。控制台24可包括泵(未示出)，该泵将冲洗流体进入冲洗通道泵送到执行消融的导管的远侧端部。执行消融的导管还可包括温度传感器(未示出)，该温度传感器用于测量消融期间的心肌的温度并且根据所测量的温度来调节消融功率和/或冲洗流体的泵送的冲洗速率。
74.现在参见图3和图4。图3为执行强化学习的图1的系统20的元件的示意图。图4为包
括执行用于图1的系统20中的强化学习的方法中的步骤的流程图400。
75.导管40包括第一组60和第二组62的电极55。第一组60不同于第二组62。例如，第一组60包括电极1至14，并且第二组62包括电极15至48。为了简单起见，电极55已被描述为被分成两组以解释电极55可如何连接到不同的处理装置，并且这两组不一定反映电极55如何定位在导管40上。
76.处理电路41包括主信号处理单元64、辅助信号处理单元66和处理装置68。主信号处理单元64和辅助信号处理单元66中的每一者可包括相应的信号处理电路，例如，模数转换器、降噪电路和其他滤波电路。主信号处理单元64被配置成电耦接到第一组60电极55和任选的体表电极49(框402)。辅助信号处理单元66被配置成电耦接到第二组62电极55(框404)。为了训练强化学习智能体70，第一组60电极55的一个或多个电极也耦接到辅助信号处理单元66。为了简化说明，在下文提供的描述中，将假定第一组60电极55中的电极1也耦接到辅助信号处理单元66。然而，在实施过程中，第一组60电极55中的多于一个电极可耦接到辅助信号处理单元66并且提供用于训练强化学习智能体70的数据。因此，当下文的描述涉及电极1时，相同或相似的处理也可针对第一组60中的电极55中的一个或多个电极来执行。
77.导管40被配置成被插入活体受检者(例如，图1的患者28)的身体部位(例如，图1的心脏26)内(框406)。电极55被配置成在身体部位内的相应位置处接触组织。体表电极49被配置成施加到活体受检者的皮肤表面。
78.辅助信号处理单元66被配置成从导管40的第二组62电极55和第一组60电极55中的电极1接收信号(框408)。辅助信号处理单元66被配置成响应于接收由电极1提供的至少一个信号来计算电极1随时间变化的相应阻抗值72(框410)。由电极(例如，电极1)提供的信号可经由导管40中的连接到控制台24的接线来直接从该电极接收，或者经由从该电极(例如，电极1)发射的由体表电极49检测到的信号来接收。辅助信号处理单元66还被配置成计算第二组62电极55中的相应电极的相应阻抗值。
79.如先前所提及的，每个探索阶段都紧随利用阶段。例如，首先应用强化学习智能体70以获取将要在利用阶段中采取的动作，然后基于在最近利用阶段中采取的动作在探索阶段中奖励或惩罚强化学习智能体70。因此，首先描述在利用阶段中应用强化学习智能体70，然后在探索阶段中奖励或惩罚强化学习智能体70。首先，初始化(例如，随机化)强化学习智能体70的参数，并且在连续的利用和探索阶段内改变参数，同时强化学习智能体70学习如何跟随由主信号处理单元64计算的tpi。
80.处理装置68被配置成从辅助信号处理单元66接收电极1和第二组62的相应电极55的阻抗值72。
81.处理装置68被配置成在强化学习利用阶段中应用强化学习智能体70(框412)以响应于至少一个组织接近度策略来获取将要采取的相应组织接近度动作74，该组织接近度动作最大化电极1的相应预期奖励。框412的步骤参考图5和图6进行了更详细的描述。
82.类似地，处理装置68被配置成应用强化学习智能体70以响应于第二组62的相应电极55的所计算的相应阻抗值来获取将要采取的相应组织接近度动作74，该组织接近度动作最大化第二组62的相应电极55的相应预期奖励。
83.处理装置68被配置成响应于电极1的所获取的相应组织接近度动作74来提供电极
1与组织的接近度的相应的导出的组织接近度指示(tpi)76(框414)。例如，如果将要采取的组织接近度动作74为从先前提供的tpi改变tpi，并且先前的tpi等于“接触”，则当前的tpi将为“不接触”。如果将要采取的组织接近度动作74为不从先前提供的tpi改变tpi，并且先前的tpi等于“接触”，则当前的tpi将为“接触”。
84.类似地，处理装置68被配置成响应于第二组62的相应电极55的所获取的将要采取的相应组织接近度动作74来提供第二组62的相应电极55与组织的接近度的相应的导出的组织接近度指示76。处理装置68被配置成将电极1和第二组62的相应电极55的所导出的tpi 76渲染到显示器27。
85.主信号处理单元64被配置成从导管40的第一组60电极55和体表电极49接收信号(框416)。主信号处理单元64被配置成响应于所接收的信号来计算电极1与体表电极49之间的随时间变化的相应阻抗值(框418)。在其他实施方案中，可使用任何合适的方法例如基于双极性信号来计算阻抗值。主信号处理单元64通常被配置成计算第一组60的其他电极55的随时间变化的阻抗值。
86.主信号处理单元64被配置成响应于电极1的所计算的相应阻抗值(即，响应于接收由电极1提供的至少一个信号)来计算相应的参考组织接近度指示(tpi)78(框420)。参考tpi 78被描述为“参考”tpi，因为它们在训练强化学习智能体70时可用作质量参考。主信号处理单元64被配置成独立于应用强化学习智能体70并且响应于所接收的信号(其用于计算电极1的阻抗值)中的至少一个信号来计算相应的参考组织接近度指示78。类似地，主信号处理单元64被配置成计算第一组60电极55中的其他电极的参考tpi。框402至框420的步骤可按任何合适的顺序执行。
87.处理装置68被配置成在强化学习探索阶段内选择性地奖励和惩罚强化学习智能体70(框422)，以响应于包括参考tpi 78、阻抗值72的数据和其他数据(例如，状态、所采取的动作和实际奖励)来学习组织接近度策略(或多个策略)，如参考图7和图8更详细地描述。在每个强化学习探索阶段中，处理装置68被配置成奖励或惩罚强化学习智能体70。如上所述，响应于从电极55和体表电极49接收的信号中的至少一个信号来计算数据(包括参考tpi 78和阻抗值72)。重复框408至框422的步骤(箭头424)以用于后续的利用和探索阶段。
88.在一些实施方案中，强化学习智能体70为深度强化学习智能体。深度强化学习使用将深度学习结合到解决方案中的深度神经网络，从而允许智能体从非结构化输入数据作出决策，而无需手动设计状态空间。在其他实施方案中，强化学习智能体70为q学习无模型的强化学习智能体。q学习为无模型的(不需要环境模型)，并且可求解随机转换和奖励的问题。可使用任何合适的强化学习算法，例如蒙特卡罗、sarsa、q-学习-λ、sarsa-λ、dqn、ddpg、a3c、naf、trpo、ppo、td3或sac。
89.在实施过程中，处理电路41的功能中的一些或全部功能可组合在单个物理部件中，或者另选地，使用多个物理部件来实现。这些物理部件可包括硬连线或可编程装置，或这两者的组合。在一些实施方案中，处理电路41的功能中的至少一些功能可由可编程处理器在合适软件的控制下实施。该软件可以通过(例如)网络以电子形式下载到装置中。另选地或除此之外，该软件可以储存在有形的非暂态计算机可读存储介质中，诸如光学、磁或电子存储器。
90.现在参见图5和图6。图5为示出用于图1的系统20中的强化学习的利用阶段的示意
图。图6为包括在图5的利用阶段中执行的步骤的流程图600。
91.利用阶段中的每个阶段具有相关联的状态500，该相关联的状态以及针对该阶段将要采取的一组不同的可用组织接近度动作502用作强化学习智能体70的输入。每个相应状态500包括：在相应的最后强化学习利用阶段中提供的电极1的相应的导出的组织接近度指示76(图3)；以及针对当前相应的强化学习利用阶段计算的电极1的相应阻抗值72(图3)。将要采取的每组可用的组织接近度动作502包括：改变在最后强化学习利用阶段中提供的电极1的导出的组织接近度指示76(框504)；以及不改变在最后强化学习利用阶段中提供的电极1的导出的组织接近度指示76(框506)。处理装置68被配置成响应于电极1的当前阻抗值72以及电极1(前一利用阶段)的最后提供的导出的tpi 76来更新状态500(框602)。在初始利用阶段中，可将电极1的最后提供的导出的tpi 76设定为初始值，例如，不接触。
92.处理装置68被配置成在相应的强化学习利用阶段中应用强化学习智能体70(框604)，以响应于电极1的强化学习智能体70的相应状态500和将要采取的电极1的相应的可用组织接近度动作502组来获取电极1的将要采取74的相应组织接近度动作，该相应组织接近度动作最大化(框508)相应的预期奖励(框510)。
93.在一个利用阶段中，处理装置68被配置成：应用具有状态500和改变电极1的导出的tpi的动作(框504)的强化学习智能体70(框606)，从而产生预期奖励510-1；应用具有状态500和不改变电极1的导出的tpi的动作(框506)的强化学习智能体70(框608)，从而产生预期奖励510-2；并且通过选择(电极1)将要采取的组织接近度动作502来最大化预期奖励510(框508、框610)，由此导致最大预期奖励510(例如，从预期奖励510-1和510-2)，从而产生电极1的将要采取的组织接近度动作74(例如，改变tpi或不改变tpi)。处理装置68被配置成从将要采取的组织接近度动作74导出电极1的tpi 76(框612)，并且将电极1的导出的tpi 76(框614)提供给医师30(例如，通过将电极1的导出的tpi 76渲染到显示器27(图1))。
94.处理装置68被配置成对于连接到辅助信号处理单元66(图3)的其他电极55(例如，第二组62和任选地第一组60的至少一个其他电极55)执行框602至框614的上述步骤。
95.现在参见图7和图8。图7为示出用于图1的系统20中的强化学习的探索阶段的示意图。图8为包括在图7的探索阶段中执行的步骤的流程图800。
96.处理装置68被配置成响应于将要采取的相应的获取的组织接近度动作74(图5)(即，在最后利用阶段中获取的将要采取的组织接近度动作74用于当前探索阶段中)和由主信号处理单元64独立于应用强化学习智能体70来计算的电极1的相应的参考组织接近度指示78(即，基于来自最后利用阶段的阻抗数据计算的)来计算用于相应探索阶段中的电极1的相应的实际奖励700(框802)。在一些实施方案中，处理装置68被配置成：计算未来折扣奖励的总和；以及响应于所计算的未来折扣奖励的总和来计算相应的实际奖励700。框802的步骤可包括处理装置68被配置成针对每个相应探索阶段将导出的tpi 76(图3)(在最后利用阶段中导出)与参考tpi 78(图3)(基于最后利用阶段的阻抗数据计算)进行比较(框804)。如果针对探索阶段中的一个探索阶段的电极1的导出的tpi 76与针对该探索阶段的电极1的参考tpi 78相同，则实际奖励可等于高值，例如 1，并且如果导出的tpi 76与针对该探索阶段的电极1的参考tpi 78不同，则实际奖励可等于低值，例如-1。
97.处理装置68被配置成响应于强化学习利用阶段中的相应最后强化学习利用阶段的数据，在强化学习探索阶段内选择性地奖励和惩罚强化学习智能体70(框806)。换句话
讲，在每个探索阶段中使用的数据来自该探索阶段之前的最后利用阶段。用于每个相应利用阶段的数据包括：状态500(即，相应的最后利用阶段中的状态500)中的相应一个状态、相应的所获取的将要采取的组织接近度动作74(图5)、以及在相应的最后利用阶段中采取的动作(即，所获取的将要采取的动作)的相应的实际奖励。
98.在探索阶段中的一个探索阶段中，处理装置68被配置成：应用具有最后状态500和所采取的动作702(即，在最后利用阶段所获取的将要采取的组织接近度动作74)的强化学习智能体70(框808)；例如使用任何合适的损失函数将强化学习智能体70的实际输出(例如，预期奖励704)与期望输出(例如，在框802的步骤中计算的用于该探索阶段中的实际奖励700)进行比较(框706、框810)；在决策框812处，确定实际输出是否在期望输出的给定阈值内，并且如果实际输出不在给定阈值内(分支814)，则处理装置68被配置成更新强化学习智能体70的参数(例如，权重)(框816)并继续框808的步骤；并且如果实际输出在给定阈值内(分支818)，则继续框802的步骤以用于下一个探索阶段。处理装置68被配置成使用任何合适的优化算法(例如，梯度下降算法诸如adam优化算法)来更新参数。
99.如本文所用，针对任何数值或范围的术语“约”或“大约”指示允许部件或元件的集合实现如本文所述的其预期要达到的目的的合适的尺寸公差。更具体地，“约”或“大约”可指列举值的值
±
20％的范围，例如，“约90％”可指72％至108％的值范围。
100.为清晰起见，在独立实施方案的上下文中描述的本发明的各种特征部也可在单个实施方案中组合提供。相反地，为简明起见，本发明的各种特征部在单个实施方案的上下文中进行描述，也可单独地或以任何合适的子组合形式提供。
101.上述实施方案以举例的方式被引用，并且本发明不受上文具体示出和描述的内容的限制。相反，本发明的范围包括上文描述的各种特征的组合和子组合以及它们的变型和修改，本领域的技术人员在阅读上述描述时将会想到该变型和修改，并且该变型和修改并未在现有技术中公开。