使用多个成像模态来自动识别有机组织内的疤痕区域的制作方法

使用多个成像模态来自动识别有机组织内的疤痕区域
1.相关申请的交叉引用
2.本技术要求2020年7月29日提交的美国临时专利申请号63/058,439的权益，该申请如同完整阐述般以引用方式并入。
技术领域
3.本发明涉及人工智能和机器学习的方法和系统。更具体地，本发明涉及基于多个成像模态来自动识别有机组织内的疤痕区域的系统和方法。


背景技术：

4.心脏病症(诸如心律失常)的治疗通常需要心脏成像(即，对心脏组织、腔室、静脉、动脉和/或通路进行成像，这也被称为心脏扫描或心脏成像)。通过心脏成像，能够识别疤痕组织允许表征心脏基质并了解心律失常机制。常规成像模态(其示例包括超声成像和磁共振成像(mri))可用于识别疤痕组织，但不限于此。虽然超声成像是易得的实时工具，但与其他常规成像模态相比，超声成像依赖于操作者(由此将结果暴露于主观解释)并且具有更低的分辨率。mri可利用延迟钆增强(lge)技术来输出比超声成像更高的分辨率；然而，mri不具有实时可用性，相对昂贵，并且所得的电压标测缺乏评估心脏组织的整个深度的能力。由于常规成像模态的限制性，需要提供用于心脏成像的改进方法。


技术实现要素：

5.根据一个实施方案，提供了一种用于使用耦接到存储器的处理器来实现疤痕组织识别器的方法和设备。所述方法和设备接收第一模态和第二模态。所述第一模态具有第一类型。所述第二模态具有不同于所述第一类型的第二类型。所述第一模态和所述第二模态中的每一者分别根据第一类型和第二类型描述患者的有机组织。所述方法和设备交叉引用所述第一模态和所述第二模态，并且基于所述交叉引用来生成所述第一模态的改进图像数据。所述改进图像数据包括与所述第一模态的原始数据相比增强的准确度或更高的分辨率。
6.根据一个或多个实施方案，上述方法实施方案可被实现在设备、系统和/或计算机程序产品内。
附图说明
7.通过以举例的方式结合附图提供的以下具体实施方式可得到更详细的理解，其中附图中类似的附图标号指示类似的元件，并且其中：
8.图1示出了可实现本公开主题的一个或多个特征的示例性系统的图示；
9.图2示出了用于远程监测和传送患者生物计量的示例性系统的框图；
10.图3示出了人工智能系统的图形描绘；
11.图4示出了在图3的人工智能系统中执行的方法；
12.图5示出了基于多个成像模态来自动识别有机组织内的疤痕区域的方法的框图；
13.图6示出了基于多个成像模态来自动识别有机组织内的疤痕区域的方法的框图；
14.图7示出了本发明系统的数据准备和训练；
15.图8示出了本发明系统的示例性架构；
16.图9示出了图8的标测图合并阶段的可能架构；
17.图10示出了根据本文所述的实施方案的使用神经网络的系统；并且
18.图11示出了根据本文所述的实施方案的使用神经网络的系统。
具体实施方式
19.本文公开了人工智能和机器学习的方法和系统。更具体地，本公开涉及基于多个成像模态来自动识别有机组织(例如，心脏)内的疤痕区域的系统和方法。系统和方法可包括处理器可执行代码或软件，该处理器可执行代码或软件必然来源于由医疗装置设备进行的处理操作和该医疗装置设备的处理硬件，以基于一个模态改变另一个模态。根据一个实施方案，该系统和方法提供多个成像模态的特定多步数据操纵，其提供比常规成像模态更准确且更高分辨率的实时图像数据以支持更好的诊断(例如，因为该实时图像数据不可经由常规成像模态来获得)。就这一点而言并且在操作中，该系统和方法交叉引用不同模态以强化单个模态的发现。
20.例如，操作以识别疤痕组织的系统和方法访问或接收患者的有机组织(例如，心脏)的来自超声的一个或多个图像(例如，第一/相同类型的第一模态中的至少一者)和来自lge-mri的数据(例如，第二/不同类型的第二模态)。操作以识别疤痕组织的系统和方法然后通过将超声图像中的每一者的位置与lge-mri数据上的对应位置进行比较和匹配(例如，基于电压)来将这些超声图像与lge-mri数据交叉引用。以这种方式，操作以识别疤痕组织的系统和方法利用成像处理(和/或其他方法)以实现交叉引用并且基于lge-mri数据来调整和解释超声图像的数据。操作以识别疤痕组织的系统和方法使用在调整和解释之后的超声图像的数据来自动识别有机组织内的疤痕区域。
21.操作以识别疤痕组织的系统和方法的技术效果和益处包括针对超声图像生成更准确且更高分辨率的实时图像数据(例如，与第一模态的原始数据相比增强的准确性或更高的分辨率)，而不依赖于人类操作者的主观解释(如在常规成像模态中)。操作以识别疤痕组织的系统和方法及所生成的实时图像数据还使得能够评估有机组织的整个深度，克服常规超声成像的较低分辨率，并且与mri相比相对便宜且可用。操作以识别疤痕组织的系统和方法实际上可应用于但不限于消融-超声技术、病灶的计划和诊断、和磁共振的评价和诊断，以解决一种或多种疾病状态(诸如心房纤颤、心房扑动、一般电生理学、心律失常、心室纤颤和心室性心动过速)。
22.图1示出了可实现本公开主题的一个或多个特征的示例性系统100(例如，医疗装置设备)的图示。系统100的全部或部分可用于为成像数据集(例如，训练数据集)收集信息，并且/或者系统100的全部或部分可用于实现本文所述的疤痕组织识别器。
23.系统100可包括被配置为使用血管内超声和/或mri导管插入来对体内器官进行成像的部件，诸如导管105。导管105还可被进一步配置为获得包括心脏的电信号(例如，心内信号)的生物识别数据。虽然导管105示出为尖导管，但是应当理解，包括一个或多个元件
(例如，电极、跟踪线圈、压电换能器等)的任何形状的导管均可用于实现本文公开的实施方案。
24.系统100包括探头110，该探头具有可由医生或医疗专业人员115导航到躺在床(或台)130上的患者125的身体部位(诸如心脏120)的轴。根据实施方案，可提供多个探头。然而，为简明起见，本文描述了单个探头110。但是，应当理解，探头110可表示多个探头。
25.示例性系统100可用于检测、诊断和治疗心脏病症(例如，使用疤痕组织识别器)。心脏病症，诸如心律失常(具体地为心房纤颤)，一直是常见且危险的医学病症，在老年群体中尤为如此。在具有正常窦性节律的患者(例如，患者125)中，包括心房、心室和兴奋性传导组织的心脏(例如，心脏120)被电激励而以同步的、仿照的方式搏动(需注意，该电激励可被检测为心内信号等)。
26.对于具有心律失常的患者(例如，患者125)，心脏组织的异常区域不会像具有正常窦性节律的患者那样遵循与正常传导组织相关联的同步搏动周期。相反，心脏组织的异常区域异常地传导到相邻组织，从而将心动周期打乱为非同步心律(需注意，该非同步心律也可被检测为心内信号)。之前已知此类异常传导发生于心脏(例如，心脏120)的各个区域，例如，窦房(sa)结区域中、沿房室(av)结的传导通路或形成心室和心房心腔壁的心肌组织中。
27.此外，包括房性心律失常在内的心律失常可为多子波折返型，其特征在于分散在心房腔室周围并通常自传播的电脉冲的多个异步环(例如，心内信号的另一个示例)。另选地，或除多子波折返型外，诸如当心房内孤立的组织区域以快速重复的方式自主搏动时，心律失常还可具有病灶源。(例如，心内信号的另一个示例)室性心动过速(v-tach或vt)是一种源于某一个心室的心动过速或快速心律。这是一种可能危及生命的心律失常，因为它可以导致心室纤颤和猝死。
28.当窦房结产生的正常电脉冲(例如，心内信号的另一个示例)被起源于心房和肺静脉、会导致不规则脉冲被传输至心室的紊乱电脉冲(例如，信号干扰)淹没时，会发生一种类型的心律失常，即心房纤颤。从而产生不规则心跳，并且可持续几分钟至几周，或甚至几年。心房纤颤(af)通常是慢性病症，它会使通常由中风导致的死亡风险稍有增加。af的第一线治疗是可减慢心率或使心律恢复正常的药物治疗。另外，患有af的人通常会被给予抗凝剂，以防止他们有中风的风险。使用此类抗凝血剂会伴随其自身带有的内出血风险。对于一些患者，药物治疗是不够的，他们的af被视为药物难治性的，即用标准药物干预是无法医治的。也可以采用同步电复律使af恢复至正常心律。另选地，通过导管消融治疗af患者。
29.基于导管消融的治疗可包括标测心脏组织的电特性(尤其是心内膜和心脏容量)，以及通过施加能量来对心脏组织进行选择性地消融。心脏标测(其为心脏成像的示例)包括创建例如沿着心脏组织的波传播的电势的标测图(例如，电压标测图)或到各种组织定位点的抵达时间的标测图(例如，局部时间激活(lat)标测图)。心脏标测(例如，心脏标测图)可用于检测局部心脏组织功能障碍。消融，诸如基于心脏标测的消融，可停止或改变不需要的电信号从心脏的一个部分传播到另一部分，从而恢复正常窦性节律。
30.消融过程通过形成非导电消融灶来损坏不需要的电通路。已经公开了多种用于形成消融灶的能量递送模态，并且包括使用微波、激光、冷冻消融和更常见的射频能量来沿心脏组织壁形成传导阻滞。在标测然后消融的两步规程中，通常通过向心脏(例如，心脏120)中插入含有一个或多个电传感器(例如，导管105的至少一个消融电极134)的导管(例如，导
管105)并获取多个点处的数据来感应并测量心脏中各个点的电活动。然后利用该数据(例如，包括心内信号和3d位置的生物识别数据)来识别要执行消融的心内膜目标区域。需注意，由于示例性系统100(例如，医疗装置设备)所采用的疤痕组织识别器的使用，提供了更准确和更高分辨率的实时图像数据以支持更好的诊断。
31.随着临床医生治疗越来越具挑战性的病症诸如心房颤动和室性心动过速，心脏消融和其他心脏电生理规程变得日益复杂。复杂性心律失常的治疗目前依赖于使用三维(3d)标测系统以便重构感兴趣心脏腔室的解剖结构。就此而言，本文中由示例性系统100(例如，医疗装置设备)采用的疤痕组织识别器提供底层实时图像数据，使得可生成用于治疗心脏病症的改进的图像、扫描和/或标测图。
32.例如，心脏病专家依赖于软件，诸如由biosensewebster,inc.(加利福尼亚州尔湾市)生产的3 3d标测系统的复杂碎裂心房电图(cfae)模块，以生成并分析心内心电描记图(egm)。示例性系统100(例如，医疗装置设备)的疤痕组织识别器增强该软件以生成和分析改进的心内图像、扫描和/或标测图，使得可确定消融点以用于治疗一系列的心脏病症，包括非典型性心房扑动和室性心动过速。
33.由疤痕组织识别器支持的改进的图像、扫描和/或标测图可提供关于体内器官(例如，心脏和/或包括疤痕组织的有机组织)的电生理特性的多条信息，其表示这些具有挑战性的心律失常的心脏基质(解剖和功能)。
34.具有不同病因(缺氧、扩张型(dcm)、肥大型心肌症(hcm)、致心律失常性右心室发育异常(arvd)、左心室致密化不全(lvnc)等)的心肌症具有可识别基质，其特征在于由功能正常的心肌细胞包围的不健康组织的区域。
35.异常组织通常通过低压egm来表征。然而，心内-心外膜标测中的初始临床经验指示低电压区域并不总是作为唯一的致心律失常机制存在于此类患者中。事实上，低压或中压区域可在窦性节律期间表现出egm碎裂和延长的活动，该窦性节律对应于在持续和组织的室性心律失常期间识别的关键峡部，例如，仅适用于非耐受室性心动过速。此外，在许多情况下，在显示正常或接近正常的电压振幅(》1-0.5mv)的区域中观察到egm碎裂和延长的活动。虽然后一区域可根据电压振幅来评估，但根据心内信号不能将它们视为正常的，因此表示真实的致心律失常的基质。3d标测能够将致心律失常基质定位在右/左心室的心内膜层和/或心外膜层上，这可根据主要疾病的扩展而在分布上变化。
36.与这些心脏病症相关的基质与心室腔室(右和左)的心内膜层和/或心外膜层中的碎裂和延长的egm的存在相关。3d标测系统，诸如3，能够在异常egm检测方面定位心肌症的潜在致心律失常基质。
37.电极导管(例如，导管105)用于医疗实践中。所述电极导管被用来刺激和标测心脏中的电活动，以及用来消融异常电活动的位点。使用时，将电极导管插入到主静脉或动脉例如股动脉中，并且随后引导到心脏腔室中。典型的消融规程涉及将在其远侧端部具有至少一个电极的导管插入到心脏腔室中。提供通常用胶带粘贴在患者的皮肤上的参考电极，或者可使用设置在心脏中或附近的第二导管来提供参考电极。射频(rf)电流被施加至消融导管的尖端电极，并且电流通过围绕其的介质(即，血液和组织)流向该参考电极。电流的分布取决于与血液相比电极表面与组织接触的量，血液具有比组织更高的导电率。由于组织的电阻，发生组织的加热。组织被充分加热而致使心脏组织中的细胞破坏，从而导致在心脏组
织内形成不导电的消融灶。在这个过程中，由于从被加热组织至电极本身的传导，还发生对电极的加热。如果电极温度变得足够高，可能高于60摄氏度，则可在电极的表面上形成脱水血蛋白的薄透明涂层。如果温度继续升高，则该脱水层可变得越来越厚，导致在电极表面上的血液凝结。因为脱水生物材料具有比心内膜组织更高的电阻，所以对于进入组织的电能量流的阻抗也增大。如果阻抗充分地增加，则出现阻抗上升，并且必须将导管从体内移除并清理尖端电极。
38.心脏病症(诸如心律失常)的治疗通常需要获得心脏组织、腔室、静脉、动脉和/或电通路的详细标测。例如，成功执行导管消融的先决条件是导致心律失常的原因准确位于心脏腔室中。此类定位可经由电生理研究来完成，在该电生理研究期间，用引入到心脏腔室中的标测导管空间分辨地检测电势。该电生理研究(所谓的电解剖标测)因此提供可在监视器上显示的3d标测数据。在许多情况下，标测功能和治疗功能(例如，消融)由单个导管或一组导管提供，使得标测导管也同时作为治疗(例如，消融)导管操作。在这种情况下，疤痕组织识别器可由导管105直接存储和执行。
39.心脏区域(诸如心脏区域、组织、静脉、动脉和/或心脏(例如，120)的电通路)的标测可导致识别问题区域诸如疤痕组织、心律失常源(例如，电转子)、健康区域等。心脏区域可被标测，使得使用显示器提供标测心脏区域的视觉渲染，如本文进一步公开的。另外，心脏标测(其为心脏成像的示例)可包括基于一种或多种模态的标测，该一种或多种模态诸如但不限于局部激活时间(lat)、电活动、拓扑、双极性标测、主频率或阻抗。使用插入患者体内的导管可捕获对应于多种模态的数据，并且可基于医疗专业人员的对应设置和/或偏好来同时或不同时提供对应于多种模态的数据以用于渲染。
40.心脏标测可使用一种或多种技术来实现。作为第一技术的示例，心脏标测可通过根据心脏内的精确位置感测心脏组织的电特性(例如，lat)来实现。对应的数据可通过一个或多个导管获取，这些导管使用在其远侧末端中具有电传感器和位置传感器的导管推进到心脏中。具体例如，最初可在心脏的内表面上的约10个至约20个点上测量位置和电活动。这些数据点通常可足以生成心脏表面的质量令人满意的初步重构或标测图。初步图可与取自额外的点处的数据结合，以便产生更全面的心脏电活动图。在临床环境中，积累1000个或更多个位点处的数据以生成心脏腔室电活动的详细且全面的标测图并不少见。所产生的详细的图可接着作为基础以用于决定例如组织消融的治疗行动过程，以改变心脏电活动的传播和恢复正常心律。
41.如图1所示，为了实现所述的心脏成像，医疗专业人员115可穿过护套136插入轴137，同时使用导管105的近侧端部附近的操纵器138和/或从护套136偏转来操纵轴137的远侧端部。如插图140所示，导管105可装配在轴137的远侧端部处。导管105可在塌缩状态下穿过护套136插入并且然后可在心脏120内展开。如本文进一步所述的，导管105可包括至少一个消融电极134和导管针。
42.根据实施方案，导管105可被配置为消融心脏120的心腔的组织区域。插图150以放大视图示出了在心脏120的心脏腔室内的导管105。如图所示，导管105可包括联接到导管的主体上的至少一个消融电极134。根据其他实施方案，多个元件可经由形成导管105的形状的长条连接。可以提供一个或多个其他元件(未示出)，该一个或多个其他元件可以是被配置成消融或获得生物计量数据的任何元件，并且可以是电极、换能器或一个或多个其他元
件。
43.根据本文所公开的实施方案，消融电极诸如至少一个消融电极134可被配置为向体内器官诸如心脏120的组织区域提供能量。能量可以是热能并且可从组织区域的表面开始并延伸到组织区域的厚度中对组织区域造成损伤。
44.根据本文所公开的实施方案，生物计量数据可以包括以下中的一者或多者：lat、电活动、拓扑结构、双极标测图、主频、阻抗等。lat可以是基于归一化初始起点来计算的对应于局部激动的阈值活动的时间点。电活动可以是可以基于一个或多个阈值来测量并且可以基于信噪比和/或其他滤波器来感测和/或增强的任何适用的电信号。拓扑结构可以对应于身体部位或身体部位的一部分的物理结构，并且可以对应于物理结构相对于身体部位的不同部分或相对于不同身体部位的变化。阻抗可以是在身体部位的给定区域处的电阻测量值。
45.如图1所示，探头110和导管105可连接到控制台160。控制台160可包括采用如本文所述的疤痕组织识别器的计算装置161。根据一个实施方案，控制台160和/或计算装置161至少包括处理器和存储器，其中该处理器执行关于本文所述的疤痕组织识别器的计算机指令，并且该存储器存储供该处理器执行的指令。
46.计算装置161可以是包括软件和/或硬件的任何计算装置，诸如通用计算机，该计算装置具有合适的前端和接口电路162，以用于向导管105传输信号和从导管105接收信号，以及用于控制系统100的其他部件。计算装置161可包括通常被配置为现场可编程门阵列(fpga)的实时降噪电路系统，之后是模数(a/d)心电图或肌电图(emg)信号转换集成电路。计算装置161可将信号从a/d ecg或emg电路传递到另一处理器并且/或者可被编程以执行本文所公开的一个或多个功能。例如，一个或多个功能包括接收第一模态和第二模态；交叉引用第一模态和第二模态；以及基于交叉引用来生成第一模态的改进图像数据。前端和接口电路162包括输入/输出(i/o)通信接口，该i/o通信接口使控制台160能够从至少一个消融电极134接收信号和/或将信号传输到至少一个消融电极134。
47.在一些实施方案中，计算装置161可被进一步配置为接收生物识别数据，诸如电活动，并确定给定的组织区域是否导电。根据一个实施方案，计算装置161可位于控制台160的外部，并且可位于例如导管中、外部装置中、移动装置中、基于云的装置中，或者可以是独立的处理器。
48.如上所述，计算装置161可包括通用计算机，该通用计算机可用软件编程以执行本文所述的疤痕组织识别器的功能。软件可以例如通过网络以电子形式下载到通用计算机，或者可另选地或另外地设置和/或存储在非临时性有形介质诸如磁存储器、光存储器或电子存储器(例如，任何合适的易失性和/或非易失性存储器，诸如随机存取存储器或硬盘驱动器)上。图1所示的示例性配置可被修改为实施本文所公开的实施方案。本发明所公开的实施方案可以类似地使用其他系统部件和设置来应用。另外，系统100可以包括附加部件，诸如用于感测电活动的元件、有线或无线连接器、处理和显示装置等。
49.根据一个实施方案，显示器165连接到计算装置161。在规程期间，计算装置161可促进在显示器165上向医疗专业人员115呈现身体部位渲染，并且将表示身体部位渲染的数据存储在存储器中。在一些实施方案中，医疗专业人员115可能能够使用一个或多个输入装置(诸如触摸板、鼠标、键盘、手势识别设备等)来操纵身体部位渲染。例如，输入装置可用于
改变导管105的位置，使得渲染被更新。在另选的实施方案中，显示器165可包括触摸屏，该触摸屏可被配置为除了呈现身体部位渲染之外，还接受来自医疗专业人员115的输入。需注意，显示器165可位于相同的位置或远程位置，诸如单独的医院或在单独的医疗保健提供者网络中。另外，系统100可为外科系统的一部分，该外科系统被配置为获得患者器官(诸如心脏120)的解剖测量结果和电测量结果，并执行心脏消融规程。此类外科系统的示例是由biosense webster销售的系统。
50.控制台160可通过缆线连接到体表电极，该体表电极可包括附连到患者125的粘合剂皮肤贴片。处理器与电流跟踪模块相结合可确定导管105在患者125的身体部位(例如心脏120)内的方位坐标。位置坐标可以基于在体表电极和电极或导管105的其他电磁部件(例如，至少一个消融电极134)之间测得的阻抗或电磁场。附加地或另选地，定位垫可位于床130的表面上并且可与床130分离。
51.系统100还可以并且任选地使用超声、计算机断层摄影(ct)、mri或本领域已知的其他医疗成像技术来获得生物识别数据，诸如心脏120的解剖测量结果。系统100可使用导管或测量心脏120的电特性的其他传感器来获得ecg或电测量结果。然后可将包括解剖和电测量结果的生物识别数据存储在控制台160的非临时性有形介质中。生物识别数据可从非临时性有形介质传输到计算装置161。另选地或除此之外，可使用如本文另外所述的网络将生物计量数据传输到服务器，该服务器可以是本地的或远程的。
52.根据一个或多个实施方案，包含位置传感器的导管可用于确定心脏表面上的点的轨线。这些轨线可用于推断运动特性，诸如组织的收缩性。当在心脏120中足够数量的点处采样轨迹信息时，可构建描绘此类运动特性的标测图。
53.通常可将在其远侧末端处(至少一个消融电极134)或附近包含电传感器的导管105推进到心脏120中的某点处，用传感器接触组织并获取该点处的数据，通过这种方式来测量心脏120中该点处的电活动。使用仅包含单个远侧末端电极的导管105标测心腔的一个缺点是在对于腔室总体的详细图所需的必要数量的点上逐点采集数据需要的时间较长。因此，已开发出多电极导管以同时在心脏腔室中的多个点处测量电活动。
54.多电极导管可使用任何适用的形状来实现，诸如具有多个电极的线性导管、包括分散在使球囊成形的多个脊上的电极的球囊导管、具有多个电极的套索或环导管，或任何其他适用的形状。线性导管可以是完全或部分弹性的，使得其可基于所接收的信号和/或基于在该线性导管上施加外力(例如，心脏组织)来扭曲、弯曲或以其他方式改变其形状。球囊导管可被设计成使得在其被部署到患者体内时，其电极可保持与心内膜表面紧密接触。例如，球囊导管可插入内腔，诸如肺静脉(pv)。球囊导管可以收缩状态插入pv中，使得球囊导管在插入pv中时不占据其最大体积。球囊导管可在pv内部膨胀，使得球囊导管上的那些电极与pv的整个圆形节段接触。与pv的整个圆形部分或任何其他内腔的此类接触可实现有效的标测和/或消融。
55.根据一个示例，多电极导管可被推进到心脏120的腔室中。可获得前后荧光图(ap)和侧向荧光图以建立每个电极的位置和取向。可由与心脏表面接触的电极中的每个电极记录相对于时间基准(诸如，从来自体表ecg的窦性节律中的p波开始)的egm。如本文进一步公开的，该系统可区分记录电活动的那些电极和由于不紧密接近心内膜壁而不记录电活动的那些电极。在记录初始egm之后，可重新定位导管，并且可再次记录荧光图和egm。然后可根
据上述过程的迭代构建电标测图。
56.根据一个示例，可基于心内电势场的检测来生成心脏标测。可实施同时获取大量心脏电信息的非接触技术。例如，具有远侧端部部分的导管可设置有分布在其表面上并且连接到绝缘电导体的一系列传感器电极，以用于连接到信号感测和处理装置。端部部分的尺寸和形状可使得电极与心腔的壁基本上间隔开。可在单次心跳期间检测心内电势场。根据一个示例，传感器电极可分布在位于彼此间隔开的平面中的一系列圆周上。这些平面可垂直于导管的端部部分的长轴。可在端部的长轴的端部处相邻地提供至少两个附加电极。作为更具体的示例，导管可包括四个圆周，其中在每个圆周上等角地间隔开八个电极。因此，在该具体实施中，导管可包括至少34个电极(32个周向电极和2个端部电极)。
57.根据另一个示例，可实现基于非接触和非膨胀多电极导管的电生理心脏标测系统和技术。egm可通过具有多个电极(例如，42至122个电极)的导管获得。根据该具体实施，对探头和心内膜的相对几何形状的了解可诸如通过独立的成像模态(诸如经食道超声心动图)来获得。在独立成像后，非接触电极可用于测量心脏表面电势并由其构造标测图。该技术可包括以下步骤(在独立成像步骤之后)：(a)利用设置在定位在心脏120的探头上的多个电极测量电势；(b)确定所述探头表面和所述心内膜表面的几何关系；(c)产生表示所述探头表面和心内膜表面的几何关系的系数矩阵；以及(d)基于电极电势和系数矩阵来确定心内膜电势。
58.根据另一个示例，可实现用于标测心脏腔室的电势分布的技术和设备。心内多电极标测导管组件可插入患者的心脏120中。标测导管组件可包括具有整体参考电极的多电极阵列，或者优选地，包括配套参考导管。电极可以基本上球形阵列的形式部署。电极阵列可通过参考电极或通过与心内膜表面接触的参考导管在空间上以心内膜表面上的点为参考。优选的电极阵列导管可承载多个单独的电极位点(例如，至少24个)。另外，该示例性技术可通过了解阵列上电极位点中的每个电极位点的位置以及了解心脏几何形状来实现。这些位置优选地通过阻抗容积描记术的技术来确定。
59.根据另一个示例，心脏标测导管组件可包括限定多个电极位点的电极阵列。标测导管组件还可包括内腔以接纳具有远侧末端电极组件的参考导管，该远侧末端电极组件可用于探测心脏壁。标测导管可包括绝缘线材的编织物，并且每根线可用于形成电极位点。导管可易于定位在心脏120中以用于从第一组非接触电极位点和/或第二组接触电极位点获取电活动信息。
60.根据另一个示例，可实现用于标测心脏内的电生理活动的另一个导管。该导管主体可包括适于递送用于心脏起搏的刺激脉冲的远侧末端或用于消融与所述末端接触的组织的消融电极。导管还可包括至少一对正交电极以生成指示邻近该正交电极的局部心脏电活动的差值信号。
61.根据另一个示例，可实现用于测量心脏腔室中的电生理数据的过程。该方法可部分地包括将一组有源电极和无源电极定位到心脏120中，向所述有源电极供应电流，从而在心脏腔室中产生电场，以及测量所述无源电极位点处的电场。无源电极包含在定位在球囊导管的可充胀球囊上的阵列中。在优选的实施方案中，该阵列据称具有60至64个电极。
62.根据另一个示例，心脏标测可使用一个或多个超声换能器来实现。超声换能器可插入患者的心脏120中，并且可在心脏120内的各种位置和取向处收集多个超声切片(例如，
二维或三维切片)。给定超声换能器的位置和取向可以是已知的，并且可以存储所收集的超声切片，使得它们可以在稍后的时间显示。可显示一段时间后与探头(例如，治疗导管)的位置对应的一个或多个超声切片，并且所述探头可覆盖在一个或多个超声切片上。
63.根据其他示例，身体贴片和/或体表电极可定位在患者身体上或患者身体附近。具有一个或多个电极的导管可定位在患者的身体内(例如，患者的心脏120内)，并且该导管的位置可由系统基于在该导管的一个或多个电极与身体贴片和/或体表电极之间传输和接收的信号来确定。另外，导管电极可感测来自患者体内(例如，心脏120内)的生物识别数据(例如，lat值)。生物识别数据可与所确定的导管的位置相关联，使得可显示患者的身体部位(例如，心脏120)的渲染，并且可显示覆盖在身体形状上的生物识别数据。
64.现在参见图2，示出了用于远程监测和传送生物识别数据(即，患者生物识别、患者数据或患者生物识别数据)的示例性系统200的框图。在图2所示的示例中，系统200包括与患者204相关联的监测和处理设备202(即，患者数据监测和处理设备)、本地计算装置206、远程计算系统208、第一网络210和第二网络211。根据一个或多个实施方案，监测和处理设备202可以是图1的导管105的示例，患者204可以是图1的患者125的示例，并且本地计算设备206可以是图1的控制台160的示例。
65.监测和处理设备202包括患者生物识别传感器212、处理器214、用户输入(ui)传感器216、存储器218和发射器-接收器(即，收发器)222。在操作中，监测和处理设备202获取患者204的生物识别数据(例如，电信号、血压、温度、血糖水平或其他生物识别数据)，并且/或者从一个或多个其他患者生物识别监测和处理设备接收表示任何所获取的患者生物识别和与所获取的患者生物识别相关联的附加信息的生物识别数据的至少一部分。附加信息可以是例如诊断信息和/或从诸如可穿戴装置的附加装置获得的附加信息。监测和处理设备202可采用本文所述的疤痕组织识别器来处理数据，包括所获取的生物识别数据以及从一个或多个其他患者生物识别监测和处理设备接收的任何生物识别数据。例如，就这一点而言，当处理数据时，疤痕组织识别器包括接收第一模态和第二模态；交叉引用第一模态和第二模态；以及基于交叉引用来生成第一模态的改进图像数据。
66.监测和处理设备202可经由网络210连续地或周期性地监测、存储、处理和传送任何数量的各种患者生物识别(例如，所获取的生物识别数据)。如本文所述的，患者生物识别的示例包括电信号(例如，ecg信号和脑生物识别)、血压数据、血糖数据和温度数据。可监测和传送患者生物计量以便对任何数量的各种疾病进行治疗，疾病诸如心血管疾病(例如，心律失常、心肌病和冠状动脉疾病)和自身免疫疾病(例如，i型和ii型糖尿病)。
67.患者生物识别传感器212可包括例如一个或多个换能器，该一个或多个换能器被配置为将一个或多个环境条件转换为电信号，使得获取不同类型的生物识别数据。例如，患者生物识别传感器212可包括被配置为获取电信号(例如，心脏信号、脑信号或其他生物电信号)的一个或多个电极、温度传感器(例如，热电偶)、血压传感器、血糖传感器、血氧传感器、ph传感器、加速度计和麦克风。
68.如本文更详细地描述，监测和处理设备202可实现疤痕组织识别器以从单个和/或多个患者接收至少图像、数据等(例如，其实例通常可称为模态)。模态可具有一种或多种类型，诸如超声类型、计算机断层摄影(ct)类型、mri类型或其他医学成像/扫描类型。例如，第一模态可具有第一类型，并且第二模态可具有不同于第一类型的第二类型。监测和处理设
备202可实现疤痕组织识别器以交叉引用第一模态和第二模态，并且基于交叉引用来生成第一模态的改进图像数据。需注意，改进图像数据包括与第一模态的原始数据相比增强的准确度和更高的分辨率。
69.在另一个示例中，监测和处理设备202可以是用于监测心脏(例如，图1的心脏120)的ecg信号的ecg监测器。就此而言，ecg监测器的患者生物识别传感器212可包括用于获取ecg信号的一个或多个电极(例如，图1的导管105的电极)。ecg信号可用于治疗各种心血管疾病。
70.在另一个示例中，监测和处理设备202可以是连续血糖监测器(cgm)，用于连续监测患者的血糖水平以持续治疗各种疾病，诸如i型和ii型糖尿病。就此而言，cgm的患者生物识别传感器212可包括皮下设置的电极(例如，图1的导管105的电极)，该电极可监测来自患者间质液的血糖水平。cgm可以是例如闭环系统的部件，其中血糖数据被发送到胰岛素泵，用于在没有用户干预的情况下计算胰岛素的递送。
71.处理器214可被配置为接收、处理和管理由患者生物识别传感器212获取的生物识别数据，并且经由收发器222将生物识别数据传送到存储器218以用于存储和/或跨网络210。来自一个或多个其他监测和处理设备202的数据也可通过收发器222由处理器214接收，如本文更详细所述的。如本文更详细描述的，处理器214可被配置为选择性地响应从ui传感器216(例如，其中的电容传感器)接收的不同轻击模式(例如，单击或双击)，使得可以基于检测的模式激活贴片的不同任务(例如，数据的获取、存储或传输)。在一些实施方案中，处理器214可相对于检测手势生成可听反馈。
72.ui传感器216包括例如被配置为接收用户输入诸如轻击或触摸的压电传感器或电容传感器。例如，响应于患者204轻击或接触监测和处理设备202的表面，可控制ui传感器216以实现电容耦接。手势识别可经由各种电容类型中的任何一种来实现，诸如电阻电容、表面电容、投射电容、表面声波、压电和红外触摸。电容传感器可设置在小区域处或表面的长度上，使得表面的轻击或触摸激活监测装置。
73.存储器218是任何非临时性有形介质，诸如磁性存储器、光学存储器或电子存储器(例如，任何合适的易失性存储器和/或非易失性存储器，诸如随机存取存储器或硬盘驱动器)。
74.收发器222可包括单独的发射器和单独的接收器。另选地，收发器222可包括集成到单个设备中的发射器和接收器。
75.根据一个实施方案，监测和处理设备202可以是处于患者204体内的(例如，可皮下植入的)设备。监测和处理设备202可经由任何适用的方式插入患者204的体内，包括口腔注射、经由静脉或动脉的外科规程插入、内窥镜规程或腹腔镜规程。
76.根据一个实施方案，监测和处理设备202可以是处于患者204外部的设备。例如，如本文更详细描述的，监测和处理设备202可包括可附接贴片(例如，其附接到患者的皮肤)。监测和处理设备202还可包括具有一个或多个电极的导管、探头、血压袖带、体重秤、手镯或智能手表生物计量跟踪器、葡萄糖监测器、持续气道正压通气(cpap)机或可提供与患者的健康或生物计量有关的输入的几乎任何装置。
77.根据一个实施方案，监测和处理设备202可以包括患者内部的部件和患者外部的部件。
78.虽然图2示出了单个监测和处理设备202，但示例性系统可包括多个患者生物识别监测和处理设备。例如，监测和处理设备202可与一个或多个其他患者生物识别监测和处理设备通信。除此之外或另选地，一个或多个其他患者生物识别监测和处理设备可与网络210和系统200的其他部件进行通信。
79.本地计算装置206和/或远程计算系统208连同监测和处理设备202可以是单独或共同存储、执行和实现疤痕组织识别器及其功能的软件和/或硬件的任何组合。此外，本地计算装置206和/或远程计算系统208连同监测和处理设备202可以是电子计算机框架，包括和/或采用利用各种通信技术的任何数量和组合的计算装置和网络，如本文所述。本地计算装置206和/或远程计算系统208连同监测和处理设备202可易于缩放、扩展和模块化，具有改变为不同服务或独立于其他功能重新配置一些特征的能力。
80.根据一个实施方案，本地计算装置206和远程计算系统208连同监测和处理设备202可至少包括处理器和存储器，其中处理器执行关于疤痕组织识别器的计算机指令，并且存储器存储供该处理器执行的指令。
81.系统200的本地计算装置206与监测和处理设备202通信，并且可被配置为通过第二网络211充当到远程计算系统208的网关。例如，本地计算装置206可以是智能电话、智能手表、平板电脑、或被配置成经由网络211与其他装置通信的其他便携式智能装置。另选地，本地计算装置206可以是固定或独立装置，诸如包括例如调制解调器和/或路由器能力的固定基站，使用可执行程序以经由pc的无线电模块在处理设备202与远程计算系统208之间传送信息的台式计算机或膝上型计算机，或usb加密狗。可使用近程无线技术标准(例如，蓝牙、wi-fi、zigbee、z波和其他近程无线标准)，经由近程无线网络210，诸如局域网(lan)(例如，个人局域网络(pan))在本地计算装置206与监测和处理设备202之间传送生物识别数据。在一些实施方案中，本地计算装置206还可被配置为显示所获取的患者电信号和与所获取的患者电信号相关联的信息，如本文更详细描述的。
82.在一些实施方案中，远程计算系统208可被配置为经由作为远程网络的网络211接收所监测的患者生物识别和与被监测患者相关联的信息中的至少一者。例如，如果本地计算装置206是移动电话，则网络211可以是无线蜂窝网络，并且可经由诸如上述任何无线技术的无线技术标准在本地计算装置206与远程计算系统208之间传送信息。如本文更详细描述的，远程计算系统208可被配置为向医疗专业人员、医生、医护专业人员提供(例如，可视地显示和/或听觉地提供)患者生物识别和相关信息中的至少一者。
83.在图2中，网络210是近程网络(例如，局域网(lan)或个人局域网(pan))的示例。可使用各种近程无线通信协议(诸如蓝牙、wi-fi、zigbee、z-wave、近场通信(nfc)、ultraband、zigbee或红外(ir))中的任何一种经由近程网络210在监测和处理设备202与本地计算装置206之间发送信息。
84.网络211可以是有线网路、无线网络或包括一个或多个有线和无线网络的网络，诸如内联网、局域网(lan)、广域网(wan)、城域网(man)、直接连接或一系列连接、蜂窝电话网络，或者能够促进本地计算装置206和远程计算系统208之间的通信的任何其他网络或介质。可使用各种远程无线通信协议(例如，tcp/ip、http、3g、4g/lte或5g/新无线电)中的任何一种经由网络211发送信息。可以使用以太网、通用串行总线(usb)、rj-11或本领域公知的任何其他有线连接来实现有线连接。可使用wi-fi、wimax和蓝牙、红外、蜂窝网络、卫星或
任何其他无线连接方法来实现无线连接。另外，几个网络可单独工作或彼此通信以促进网络211中的通信。在一些情况下，远程计算系统208可被实现为网络211上的物理服务器。在其他情况下，远程计算系统208可被实现为网络211上的公共云计算提供商(例如，amazon web services)的虚拟服务器。
85.图3示出了根据一个或多个实施方案的人工智能系统300的图形描绘。人工智能系统300包括数据310、机器320、模型330、多个结果340和底层硬件350。图4示出了在图3的人工智能系统中执行的方法400。为了便于理解，参照图2对图3和图4进行描述。
86.通常，人工智能系统300通过使用数据310来训练机器320(例如，图2的本地计算装置206)，同时构建模型330以实现多个结果340(可被预测)来操作方法400。在此配置中，人工智能系统300可以相对于硬件350(例如，图2的监视和处理装置202)操作，以训练机器320、构建模型330并使用算法预测结果。这些算法可用于求解已训练的模型330并预测与硬件350相关联的结果340。这些算法通常可分成分类、回归和聚类算法。
87.在框410处，方法400包括从硬件350收集数据310。机器320作为与硬件350相关联的控制器或数据收集工作和/或与其相关联。数据310(例如，可源自图2的监测和处理设备202的生物识别数据)可与硬件350相关。例如，数据310可以是正在生成的数据，或者是与硬件350相关联的输出数据。该数据310还可包括当前从硬件350收集的数据、历史数据或其他数据。例如，该数据310可包括外科规程期间的测量结果，并且可与外科规程的结果相关联。例如，可收集心脏(例如，患者204的心脏)的温度和心脏腔室的尺寸并将其与心脏规程的结果相关联。
88.在框420处，方法400包括训练机器320，诸如相对于硬件350350的机器。该训练可包括在框410中收集的数据310的分析和相关性。例如，就心脏而言，可训练温度和结果的数据310以确定在心脏规程期间心脏(例如，患者204的心脏)的温度与结果之间是否存在相关性或联系。
89.在框430处，方法400包括在与硬件350相关联的数据310上构建模型330。构建模型330可包括物理硬件或软件建模、算法建模等。该建模可试图表示已收集和训练的数据310。根据一个实施方案，模型330可被配置为对硬件350的操作建模并对从硬件350收集的数据310建模，以便预测由硬件350实现的结果。根据一个或多个实施方案，相对于疤痕组织识别器，模型330接收第一模态和第二模态；交叉引用第一模态和第二模态；以及基于交叉引用来生成第一模态的改进图像数据。
90.在框440处，方法400包括预测与硬件350相关联的模型330的结果340。对多种结果340的这种预测可基于已训练的模型330。例如，为了增加对本公开的理解，就心脏而言，如果规程期间的温度在36.5摄氏度和37.89摄氏度之间(即，97.7华氏度和100.2华氏度)，从心脏规程产生正面的结果，该结果可在给定规程中基于心脏规程期间的心脏温度来预测。因此，使用预测的结果340，硬件350可被配置为从硬件350提供某个期望的结果340。
91.现在转到图5，示出了根据一个或多个实施方案的基于多个成像模态来自动识别有机组织内的疤痕区域的方法500的框图。根据一个实施方案，方法500由用于识别疤痕组织的系统实现。用于识别疤痕组织的系统可体现为机器学习算法，该机器学习算法交叉引用不同模态以加强单个模态的发现。软件和/或硬件(例如，本地计算装置206和远程计算系统208连同监测和处理设备202)的任何组合可单独地或共同地存储、执行和实现用于识别
疤痕组织的系统及其功能。一般来讲，用于识别疤痕组织的系统交叉引用不同模态以加强单个模态的发现，使得可识别有机组织内的疤痕区域。例如，用于识别疤痕组织的系统可以是结果定向的，因为机器学习软件/硬件工具基于先前模态的比较、交叉引用和识别操作来比较、交叉引用和识别后续模态。机器学习软件/硬件可包括但不限于神经网络、人工神经网络、卷积神经网络、编码器、解码器、树结构和自动编码器。
92.流程流500在框510处开始，其中用于识别疤痕组织的系统接收第一模态和第二模态。根据一个或多个实施方案，第一模态表示各自具有第一类型的一个或多个第一模态。例如，第一模态可以是图像或图像下面的数据。在一些情况下，第一模态的数据可被认为是原始数据。第二模态具有不同于第一类型的第二类型。类似地，例如，第二模态可以是图像或图像下面的数据。第一类型可以是超声图像或其数据，而第二类型的第二模态可以是lge-mri图像或其数据。用于识别疤痕组织的系统可从医疗装置设备实时接收第一模态和/或第二模态，或者可访问存储器中的第一模态和/或第二模态。接收可以是自动的或用户发起的。
93.在框520处，用于识别疤痕组织的系统交叉引用第一模态和第二模态。为了交叉引用第一模态和第二模态，用于识别疤痕组织的系统将第一模态与第二模态进行比较。就这一点而言，用于识别疤痕组织的系统将第一模态的位置与第一模态的对应位置匹配。例如，可根据电压将超声数据映射到lge-mri数据。根据一个或多个实施方案，交叉引用可在模态之间彼此相互。也就是说，第一模态可改进第二模态，并且第二模态可改进第一模态。
94.在框530处，用于识别疤痕组织的系统基于交叉引用来生成第一模态的改进图像数据。也就是说，一旦标测，用于识别疤痕组织的系统基于第二模态来调整和解释第一模态的原始数据以生成第一模态的改进图像数据。因此，一旦进行调整和解释，改进图像数据就比原始数据更准确并且包括比原始数据更高的分辨率，而不依赖于人类操作者的主观解释(如在常规成像模态中那样)。根据一个或多个实施方案，第一模态和第二模态可用于利用框520的交叉引用操作的相互性质来生成/产生混合模态。混合模态包括两种或更多种类型的两个或更多个模态的组合(例如，组合的改进数据)，并且因此合并每种模态类型可提供给另一种模态的相互改进。第一模态和第二模态可以是患者特定的，然后随时间推移，后续模态和/或辅助数据(身高、体重、心脏病等)可由过程500使用并且有助于组合的改进数据。另外，随时间推移，患者特定的数据、模态和/或辅助数据可由过程500使用并且有助于其他患者的组合的改进数据。
95.图6示出了根据一个或多个实施方案的基于多个成像模态来自动识别有机组织内的疤痕区域的方法600的框图。根据一个实施方案，方法600由用于识别疤痕组织的系统实现。软件和/或硬件(例如，本地计算装置206和远程计算系统208连同监测和处理设备202)的任何组合可单独地或共同地存储、执行和实现用于识别疤痕组织的系统及其功能。一般来讲，用于识别疤痕组织的系统交叉引用不同模态以加强单个模态的发现。例如，相对于患者的心脏，通过加强单个模态的发现，用于识别疤痕组织的系统可对现有疤痕和导管可能无法检测的其他难以到达的区域建模。该建模有助于诊断心脏疾病，如本文所述。
96.方法600在框610处开始，其中用于识别疤痕组织的系统接收或访问第一模态。根据一个或多个实施方案，用于识别疤痕组织的系统接收或访问第一类型的多个模态。例如，可从患者并从特定类型的传感器(例如，导管、电极、超声换能器、医疗数据库等)获得数据。
第一模态可以是患者心脏的超声数据、mri数据和心脏数据(例如，心脏标测图)中的一者或它们的组合。根据一个或多个实施方案，第一类型的第一模态包括超声数据。数据可被存储和/或组织在适于如何获得数据以及数据如何起作用的任何数据结构(例如，表格、树、矩阵等)中。
97.在框620处，用于识别疤痕组织的系统接收或访问第二模态。根据一个或多个实施方案，用于识别疤痕组织的系统接收或访问相对于患者心脏的第二类型的多个模态(例如，可从图2的本地计算装置206或远程计算系统208内的数据库获得数据)。第二模态可以是不同于第一类型的第二类型。根据一个或多个实施方案，第二类型的第二模态包括lge-mri数据。
98.在框630处，用于识别疤痕组织的系统访问第三模态。根据一个或多个实施方案，用于识别疤痕组织的系统接收或访问相对于患者心脏的第三类型的多个模态(例如，可从图2的本地计算装置206或远程计算系统208内的数据库获得数据)。第三模态可具有不同于第一类型和第二类型的第三类型。根据一个或多个实施方案，第三类型的第三模态包括心脏标测图。
99.在框640处，用于识别疤痕组织的系统将第一模态与第三模态和第二模态交叉引用。该交叉引用包括将第一模态与第三模态和第二模态与对应位置进行比较，这为心脏的特定区域提供了冗余。以这种方式，数据在模态之间关联，使得第二模态和第三模态补充第一模态并且为难以到达的区域提供附加数据。例如，如果超声数据被认为是具有低分辨率的基础数据，则通过将超声数据与lge-mri数据和心脏标测图相关联，用于识别疤痕组织的系统创建用于诊断的较大数据集。根据一个或多个实施方案，交叉引用可在模态之间彼此相互。也就是说，第一模态、第二模态和第三模态可彼此改进。另外，当方法600进行多次迭代时，交叉引用可利用框650的改进模态和框660的数据库来实现机器学习(如从框650和660到640的虚线箭头所示)。
100.在框650处，用于识别疤痕组织的系统生成多个改进模态(例如，存储所生成的数据的对应数据结构)。就这一点而言，基于交叉引用来改进第一模态中的每一者的原始数据。例如，用于识别疤痕组织的系统基于第二模态和第三模态来调整和解释第一模态中的每一者的原始数据以生成改进图像数据。多个改进模态包括改进图像数据，该改进图像数据具有与第一模态的原始数据相比增强的准确度和/或更高的分辨率。用于识别疤痕组织的系统可根据改进图像数据生成对应的改进图像。根据一个或多个实施方案，第一模态、第二模态和第三模态可用于利用框640的交叉引用操作的相互性质来生成/产生混合模态。
101.根据一个或多个实施方案，权重(例如，字母数字值)可被分配(例如，在数据结构内相关联)给模态的原始数据和/或改进图像数据。具体地，最高权重可归因于疤痕组织的实际识别。具体地，在一个实施方案中，可使用多个权重，包括用于指示疤痕组织的严重性的第一权重和用于提供第一权重的可能性的第二权重。组合起来，改进数据是“改进的”，这是因为该数据收集来自基础模态中的每一者的益处(例如，超声数据实现组织分析的深度，mri数据增加可行性，并且心脏标测产生心电图数据)。
102.在框660处，使用改进图像数据和/或改进图像(包括任何混合模态和/或权重)来构建数据库。改进图像数据可用于创建新数据库作为训练过程的一部分，或者被添加到容纳模态数据的数据库。根据一个或多个实施方案，数据库可驻留在计算系统上(例如，在图2
的本地计算装置206或远程计算系统208内)。数据库还可包括来自其他患者的附加信息(诸如从医生和/或医疗专业人员收集的数据)以支持特征/优化。
103.在框670处，然后将数据库和其中的改进图像数据和/或改进图像提供给医生和/或医疗专业人员。继而，医生和/或医疗专业人员可将改进图像数据和/或改进图像用于消融超声技术、消融灶的计划和诊断、以及磁共振的评估和诊断中的一者或多者以解决疾病状态。具体地，通过改进图像数据和/或改进图像来增强进行诊断的能力，因为改进图像数据和/或改进图像识别否则将无法由常规成像模态识别的疤痕组织。
104.本发明公开了一种用于基于包括3d壳和至少一个成像模态的输入来产生心脏腔室组织的3d模型的系统和方法，该模型包括具有可能性分数的疤痕区域。至少一个成像模态可包括ct、mr或uls图像集中的一者或多者。附加输入可包括人口统计数据、来自3d标测系统的电解剖信息，以及下文更详细公开的心内和体表相关信息。系统和方法输出3d体素，其在与每个体素相关联的分数中具有疤痕级别分数和置信度。
105.图7示出了本发明系统的数据准备和训练。针对每个此类病例，均将来自先前患者病例的数据710用于训练该系统。来自先前患者病例的数据710可包括3d标测735(本文详细描述)和患者参数725数据(本文详细描述)，诸如年龄、性别、病史等，以及基于导管的3d标测715。来自先前临床病例的数据710(包括基于导管的3d标测715和患者参数725数据)可用作本文所述系统的系统输入720，以及用于计算输出并在训练步骤750中训练系统的数据。
106.来自先前临床病例的数据710可包括相关的先前临床病例以训练系统和算法。对于每种此类情况，可用数据应包括本文所述的输入，以及患者id 725和描述输出的数据。
107.将用于计算期望输出740的数据735可包括心脏组织的3d模型，其中基于来自由专家或自动工具确定的lge-mri读数的数据，每个体素具有该体素处的疤痕密度的指示。将用于计算期望输出740的数据735可包括心脏组织的3d模型，其中基于来自由专家或自动工具确定的超声读数的数据，每个体素具有该体素处的射线不可透性和组织弹性的指示。将用于计算期望输出740的数据735可包括心脏组织的3d模型，其中基于来自由专家或自动工具确定的延迟增强ct读数的数据，每个体素具有该体素处的射线不可透性和组织弹性的指示。
108.预处理730可发生在3d标测735上以符合期望的输出形式。可预处理数据735以符合期望的输出740格式，其中每个体素具有介于0和1之间的值，从而指示疤痕的密度(1＝最严重，没有电力通过，0＝没有疤痕)和置信度分数。计算置信度分数可依赖于专家针对3d组织模型基于uls/mri/ct标测735进行的手动评分，和/或通过指定uls/mri/ct的阈值—射线不可透标度进行的自动评分。
109.根据一个实施方案，可使用置信度分数高于90％的数据735体素，同时排除较低置信度分数或对其进行加权。另外，在一个实施方案中，可预期数据710包括要包括在数据710中的具有高于90％的置信度分数的体素的至少85％。较低置信度分数的其他分数可被加权或排除。在一个实施方案中，置信度阈值由医师在术中期间选择。
110.在对3d标测735进行预处理730之后，可包括并提供期望的输出740以在步骤750处训练神经网络。
111.一旦进行训练750，神经网络就在760处经过训练。可将数据集分成训练集、验证集和测试集。训练集和验证集可在系统开发期间使用，而测试集用于评估系统的准确度。交叉
验证可用于提高性能。
112.图8和图9示出了本发明系统的示例性组合架构。如本文所述，可在步骤810处将这些标测输入到该系统中。
113.标测的配准可在配准阶段820中发生。可能需要使系统能够从不同患者的配准中学习模式并概括正确给定数据。可计算各种输入彼此的对准—称为“配准”。配准阶段820中的配准可在各种维度上发生，包括患者内对准和患者间对准。
114.对于患者内对准，根据一个实施方案，如果针对心脏腔室的心外膜表面和心内膜表面两者从导管产生3d标测，则配准可为3d标测系统能力中固有的。例如，在中，记录在病例期间收集的标测图。其他图像(诸如mri、ct和/或uls)可能需要与3d导管标测图以及与其他此类图像配准。例如，当由导航的导管收集uls图像时，uls图像可自动配准到3d标测图。也可使用文献中已经描述的其他配准技术。
115.对于患者间对准，根据一个实施方案，数据可归一化为心脏腔室的“标准模型”。将各种标测“投影”到该标准模型上。然后可将所得的投影提供给标测图合并阶段830。
116.可发生标测图合并830，并且在步骤840处可发生电力通过的标测的输出。有许多如本文所述的可能神经架构可在标测图合并830中用于计算期望的输出。上文提供了这些架构中的一些，并且下文另外提供了若干详细架构。根据数据的性质，可能期望更复杂的架构。
117.如上文相对于配准阶段820所讨论，标测图合并阶段830的输入是配准阶段820的将3d输入标测对准到“标准化”3d标测的输出。标测图合并阶段830的输入包括n个标测，每个标测是具有体素(其为3d“像素”)的大小为h
×w×
d的3d“立方体图像”。每个体素可具有与其相关联的多个值，包括例如电压、弹性、来自mr/ct的疤痕、壁运动。
118.根据一个实施方案，标测图合并阶段830使用某种线性组合来组合输入标测。可使用大小为h
×w×
d的一个神经层，其中为神经元(i,j,k)馈送n个立方体图像中的每个图像中的位置(i,j,k)的值。当每个输入标测图中的每个体素自身呈现疤痕组织的稍微可靠的指示时，并且前提条件是输入标测图的简单线性组合(或平均)足以进行整合时，可使用标测图合并阶段830的该实施方案。标测图合并阶段830的此类实施例可能是有益的，因为其易于训练，与更复杂的模型相比具有更少的数据。标测图合并阶段830的此类实施例可提供不够准确的结果。
119.为了获得准确性并增加标测图合并830的益处，可以使用附加层(即更深的网络)。附加层可提供表示更复杂的功能的能力。可使用更大的层。更大的层可允许捕获该数据中的更多细微差别的能力。也可以使用单独的处理。在组合信息之前对每个输入标测图进行单独处理可提供附加益处。除此之外或另选地，可使用如本文所述的不同类型的层架构，例如完全连接的卷积神经网络(cnn)、最大池化等。
120.下面描述了用于获取准确度并增加标测图合并阶段830的益处的这些技术。标测图合并阶段830可通过利用包括尺寸为h
×w×d×
k的第一(“隐藏”)层(即，“厚度”k》1的3d层h
×w×
d)和尺寸为h
×w×
d的第二(“输出”)层的两个层来增强。为第一层中的位置(i,j,k)中的k个神经元中的每个神经元馈送来自n个输入标测图中的每个输入标测图的位置(i,j,k)的n个信号，并且向第二层中的神经元(i,j,k)提供其输出。可表示每个体素中的n个值的非线性组合。
121.当考虑给定立方体区域中的体素作为疤痕组织的潜在候选时，可增强标测图合并阶段830，这样的决定可以取决于候选体素的周围立方体区域中的输入标测值，而不是整个标测。该计算可利用在使用cnn进行深度学习时的标准技术来获得该周围区域信息的益处。
122.标测图合并阶段830可通过例如提供输入n个图像中的每一者来增强，该图像可具有其自身的卷积模型，即每个输入图像被馈送到单独的cnn中。cnn层中的每个卷积滤波器可利用体素的小立方体作为其输入并输出一个值。每个cnn的输出是基于仅一个输入标测来给出初步输出推荐标测图的立方体图像。
123.根据用于使用cnn、最大池化和本领域技术人员已知的本文所讨论的其他标准规范来进行图像/区域处理的深度学习，附加层可通过在n个标测图“轨道”中的一者上单独应用来增强标测图合并阶段830。
124.组合层可用于接收输入标测图和/或如所述的先前单独处理层的输出以将数据组合成一个表示。如本文所解释的，可使用简单线性组合或使用更复杂的组合即非线性组合、和/或cnn、最大池化及图像处理的其他标准层来执行该组合。
125.图9示出了标测图合并阶段830的可能架构。出于图形清晰的目的，架构示出了处理2d图像的nn，但该想法可以相同方式应用于3d立方体图像。
126.左侧的输入由n＝8个2d标测组成(每个标测表示输入810上的配准820的输出)。由不同cnn网格在层1 910中单独地处理每个此类标测。层1 910的输出包括馈送到层2 920中的n＝8个卷积标测。然后将这些标测馈送到组合层3 930中(本文和上文中描述为层中组合)，其具有深度k＝5以便允许非线性组合，也如上所述。由层4 940将k个组合层合并成输出标测图。此处的值n＝8和k＝5仅为示例值，并且本领域的技术人员将理解可使用其他值。取决于数据的性质和所需的输出准确性，可使用与所示层相比更多或更少的层。
127.患者参数诸如年龄、性别、药物治疗、病史和心房纤颤类型可影响结果。可基于一些输入患者参数来训练单独模型。另选地，可将患者输入提供给nn架构中的层以帮助其基于这些参数来学习差异。
128.不同患者的心脏可不同，从而使得所记录的数据有变化。根据一个实施方案，可能需要分批地训练该系统，其中每个批次限于单名患者的数据。需要从至少一定数量的患者收集数据，才能使该系统的训练达到稳健。
129.即使在系统准备就绪并被部署在医院中之后，也可累积附加数据。可以将附加数据添加到训练数据集中，并且可以重新训练系统，以不断提高准确性。具体地，来自附加操作的数据可通过考虑根据系统的建议执行的消融的成功评级来提供反馈。
130.图10示出了根据本文所述的实施方案的使用神经网络的系统1000。系统1000包括患者数据725、附加数据1010和3d标测735，该标测包括例如mri/ct、uls和基于导管715的其他3d标测。该输入数据710可包括来自分析来自患者的读数的若干算法的3d标测和成像。该数据710可包括每个电极/通道的具有在一段时间内的空间(3轴向至6轴向—x、y、z 俯仰、滚转、偏转)中的位置、在一段时间(例如，2500毫秒)内的心内心电图的数据。该数据710可包括每个腔室的数据，包括3d重建，其可为网格、至少一个成像模态735(ct、mr或超声风扇集合)的形式。患者数据725可包括人口统计信息、年龄、性别、体重、身高、身体质量指数、种族和其他患者特定细节，包括左心房主轴长度(宽度、高度、长度)、左心室射血分数、高血压、糖尿病。其他基线并存病可包括在附加数据1010中，包括睡眠呼吸暂停、冠状动脉疾病、
瓣膜性心脏病(例如，二尖瓣回流)、充血性心脏病。患者病史可包括在患者数据725中，并且可包括心律失常病史、症状和记录的方法、自首次诊断以来的时间、抗心律失常药物(aad)病史、先前的心脏消融、抗凝血、cha2ds2-vasc分数、血栓性疾病史、纽约心脏协会(nyha)的心脏功能等级、出血性疾病史、has-bled、呼吸模式、心室周期长度、心房周期长度。每个电极/通道的数据715和对该数据执行的分析(例如，导数、算法计算)可包括局部激活时间、一段时间内的阻抗、随时间推移的阻抗变化、位置变化速率(位置随时间推移的导数)、最大峰间电压、来自远处区域(不是点或紧邻的周边区域)的单极性测量值和双极性测量值，以及导管位于该点处的时间段的开始时间点和结束时间点。此类时间标记数据可提供洞察力，因为基于在不同时间进行的测量来计算3d标测中的不同点。如果某个点值由该算法进行三角测量而不是根据导管前往该点处来获得，则可使用相关时间点的三角测量。每个腔室的数据(可以是心外膜标测图和/或心内膜标测图)可包括来自uls的壁运动、来自uls的多普勒、来自mri的疤痕区、腔室尺寸、循环长度标测图、持续心房纤颤聚焦源标测图(例如，cartofinder或等同物)、持续心房纤颤旋转源标测图(例如，cartofinder或等同物)、折返/纤颤激活标测(例如，相干或等同物)、纹波标测图、cfae、ecg碎裂和心脏组织的3d模型，其中基于来自超声读数的数据，每个体素具有在该体素处的组织弹性的指示。
131.输出840是表示心脏组织的体素的集合，其中每个体素具有两个值，包括疤痕级别和与疤痕级别相关联的置信度值。疤痕级别可包括从0到1的数字，其中1＝最严重，没有电力通过，《1&》0边界线区，并且0＝没有疤痕。置信度值可设置在0和1之间。
132.在输入710和输出840之间，3d标测可经由如上所述的配准阶段820进行配准。配准的3d标测735可连同如上所述的患者数据和任何附加数据1010一起输入到神经网络830。神经网络830可包括输入层910、隐藏层(诸如被描述为层920、930的层)和输出层940，以上中的每一者均相对于图8和图9进行描述以提供输出840。
133.类似于图10的神经网络，图11的系统1100利用根据本文所述的实施方案的神经网络。系统1100包括患者725、附加数据1010和3d标测735，该标测包括例如mri/ct、uls和基于导管715的其他3d标测。该输入数据710是输入到包括系统1000的其他实施方案中的数据。
134.在输入710和输出840之间，3d标测可经由如上所述的配准阶段820进行配准。配准的3d标测735可连同如上所述的患者数据和任何附加数据1010一起输入到神经网络830。神经网络830可包括第一卷积和池化1110，之后是第二卷积和池化1120。来自卷积和池化1110、1120的输出可使用整形1150和输入到串联的致密层1130和致密输出层1140的经整形数据来整形。一旦数据被分类，数据就到达类似于输出层940的输出层。输出层提供输出840。
135.如本文所述，输出840是表示心脏组织的体素的集合，其中每个体素具有两个值，包括疤痕级别和与疤痕级别相关联的置信度值。疤痕级别可包括从0到1的数字，其中1＝最严重，没有电力通过，《1&》0边界线区，并且0＝没有疤痕。置信度值可设置在0和1之间。
136.根据一个或多个实施方案，用于识别疤痕组织的系统和方法的技术效果和益处包括针对超声图像生成更准确且更高分辨率的实时图像数据，而不依赖于人类操作者的主观解释(例如，所生成的实时图像数据使得能够评估有机组织的整个深度，克服常规超声成像的较低分辨率，并且与mri相比相对便宜且可用)。
137.附图中的流程图和框图示出了根据本发明的各种实施方案的系统、方法和计算机
程序产品的可能具体实施的架构、功能和操作。就此而言，流程图或框图中的每个框可表示指令的模块、部段或部分，该指令包括用于实现指定逻辑功能的一个或多个可执行指令。在一些替代具体实施中，框中指出的功能可不按附图中指出的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可基本上同时执行，或者框有时可以以相反的顺序执行。还应当注意，框图和/或流程图图示中的每个框以及框图和/或流程图图示中的框的组合可通过执行指定功能或动作的基于专用硬件的系统或者通过专用硬件和计算机指令的组合来实现。
138.虽然上文具体地描述了特征和元件，但本领域的普通技术人员将会知道，每个特征或元件均可以单独使用或以与其它特征和元件的任何组合使用。此外，本文所述的方法可在被结合在计算机可读介质中的计算机程序、软件或固件中实现，以供计算机或处理器执行。如本文所用，计算机可读介质不应理解为暂态信号本身，诸如无线电波或其他自由传播电磁波、传播通过波导或其他传输介质的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线传输的电信号。
139.计算机可读介质的示例包括电子信号(通过有线或无线连接传输)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于寄存器、高速缓存存储器、半导体存储器设备、磁介质诸如内部硬盘和可移动磁盘、磁光介质、光学介质，诸如光盘(cd)和数字通用盘(dvd)、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存存储器)、静态随机存取存储器(sram)和记忆棒。与软件相关联的处理器可用于实现在终端、基站、或任何主计算机中使用的射频收发器。
140.应当了解，本文所用的术语只是为了描述具体实施方案的目的，并非旨在进行限制。如本文所用，除非上下文另有明确说明，否则单数形式“一个”、“一种”和“该/所述”包括复数指代。还应当理解，术语“包括”和/或“包含”在用于本说明书中时指定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件部件和/或其组的存在或添加。
141.本文对各种实施方案的描述是出于说明的目的而呈现的，但并非旨在穷举或限于所公开的实施方案。在不脱离所述实施方案的范围和实质的情况下，许多修改和变型对于本领域的普通技术人员而言将是显而易见的。选择本文所用的术语是为了最好地解释实施方案的原理、相对于市场上存在的技术的实际应用或技术改进，或者使得本领域的其他普通技术人员能够理解本文所公开的实施方案。