基于恒定荧光镜快照的配准几何形状重建的制作方法

基于恒定荧光镜快照的配准几何形状重建
1.相关申请信息
2.本技术要求2020年11月25日提交的美国临时专利申请序列号63/118,047的权益，该临时专利申请的公开内容据此以引用方式并入本文。
技术领域
3.本发明涉及医疗装置，并且具体地但并非排他性地涉及生成解剖标测图。


背景技术：

4.大量的医疗手术涉及将探针诸如导管放置在患者体内。已经开发出位置感测系统来跟踪这类探针。磁性位置感测为本领域已知的一种方法。在磁性位置感测中，通常将磁场发生器放置在患者体外的已知位置处。探针的远侧端部内的磁场传感器响应于这些磁场生成电信号，这些电信号被处理以确定探针的远侧端部的坐标位置。这些方法和系统在美国专利5,391,199、6,690,963、6,484,118、6,239,724、6,618,612和6,332,089中、在pct国际专利公布wo1996/005768中、以及在美国专利申请公布2002/0065455、2003/0120150和2004/0068178中有所描述。还可使用基于阻抗或电流的系统来跟踪位置。
5.心律失常的治疗是一种已证明其中这些类型的探针或导管极其有用的医疗手术。心律失常并且具体地讲心房纤颤一直为常见和危险的医学病症，在老年人中尤为如此。
6.心律失常的诊断和治疗包括标测心脏组织(尤其是心内膜)的电性质，以及通过施加能量来选择性地消融心脏组织。此类消融可停止或改变不需要的电信号从心脏的一个部分传播到另一部分。消融方法通过形成非导电消融灶来破坏不需要的电通路。已经公开了多种用于形成消融灶的能量递送形式，并且包括使用微波、激光和更常见的射频能量来沿心脏组织壁形成传导阻滞。在两步式手术(标测，之后进行消融)中，通常通过将包括一个或多个电传感器的导管推进到心脏中并采集多个点处的数据来感测和测量心脏内各个点处的电活动。然后利用这些数据来选择拟加以消融的心内膜目标区域。
7.电极导管已经普遍用于医疗实践多年。它们被用来刺激和标测心脏中的电活动，以及用来消融异常电活动的位点。使用时，将电极导管插入主静脉或动脉例如股静脉中，并且随后引导到所关注的心脏腔室中。典型的消融手术涉及将在其远侧端部具有一个或多个电极的导管插入心脏腔室中。可提供通常用胶带粘贴在患者的皮肤上的参比电极，或者可使用设置在心脏中或附近的第二导管来提供参比电极。rf(射频)电流被施加在消融导管的导管电极与无关电极(其可为导管电极中的一个电极)之间，并且电流流经这些电极之间的介质(即，血液和组织)。电流的分布可取决于与血液相比电极表面与组织接触的量，血液具有比组织更高的导电率。由于组织的电阻，发生组织的加热。组织被充分加热而致使心脏组织中的细胞破坏，从而导致在心脏组织内形成不导电的消融灶。在一些申请中，可进行不可逆电穿孔以消融组织。
8.心腔中的传感器可检测远场电活动，即，远离传感器发起的周围电活动，该远场电活动可扭曲或模糊局部电活动，即，在传感器处或附近发起的信号。授予govari等人的共同
转让的美国专利申请公布2014/0005664公开了区分由于与电极接触的组织而引起的心内电极信号中的局部分量与对信号的远场贡献，并且解释了可响应于所区分的局部分量而控制应用于组织的治疗过程。


技术实现要素：

9.根据本公开的实施方案，提供了一种用于生成三维(3d)解剖标测图的方法，该方法包括将经训练的人工神经网络应用于(a)活体受检者的身体部位的一组二维(2d)荧光镜图像，和(b)该组2d荧光镜图像的相应第一3d坐标，从而产生限定3d解剖标测图的第二3d坐标，以及响应于这些第二3d坐标而将该3d解剖标测图渲染到显示器。
10.进一步根据本公开的实施方案，该组2d荧光镜图像仅包括两个2d荧光镜图像。
11.仍进一步根据本公开的实施方案，该组2d荧光镜图像包括身体部位的前后投影和身体部位的左前斜投影。
12.另外，根据本公开的实施方案，第二3d坐标包括以下中的一者或多者：3d网格的网格顶点，和3d点云。
13.此外，根据本公开的实施方案，该方法包括响应于从插入活体受检者的身体部位中的导管的电极接收到的信号来改进3d解剖标测图。
14.进一步根据本公开的实施方案，第一3d坐标和第二3d坐标处于相同坐标空间。
15.仍进一步根据本公开的实施方案，该方法包括训练人工神经网络以响应于训练数据而生成3d解剖标测图，该训练数据包括相应活体受检者的相应身体部位的多组2d荧光镜图像、该多组2d荧光镜图像的相应3d坐标以及该相应活体受检者的该相应身体部位的多个3d解剖标测图的相应3d坐标。
16.另外，根据本公开的实施方案，该方法包括将相应活体受检者的相应身体部位的多组2d荧光镜图像和该多组2d荧光镜图像的相应3d坐标输入人工神经网络中，以及迭代地调整人工神经网络的参数以减小人工神经网络的输出与期望输出之间的差异，该期望输出包括该多个3d解剖标测图的相应3d坐标。
17.此外，根据本公开的实施方案，该方法包括响应于从插入相应活体受检者的身体部位中的至少一个导管的电极接收到的信号而生成训练数据的多个3d解剖标测图。
18.进一步根据本公开的实施方案，该多组2d荧光镜图像中的每组2d荧光镜图像仅包括两个2d荧光镜图像。
19.仍进一步根据本公开的实施方案，该多组2d荧光镜图像包括相应身体部位的相应前后投影和相应左前斜投影。
20.根据本公开的另一实施方案，还提供了一种医疗系统，该医疗系统包括：荧光镜成像装置，该荧光镜成像装置被配置成捕获活体受检者的身体部位的一组二维(2d)荧光镜图像；显示器；和处理电路，该处理电路被配置成将经训练的人工神经网络应用于(a)活体受检者的身体部位的一组二维(2d)荧光镜图像，和(b)该组2d荧光镜图像的相应第一3d坐标，从而产生3d解剖标测图的第二3d坐标，以及响应于这些第二3d坐标而将该3d解剖标测图渲染到显示器。
21.另外，根据本公开的实施方案，该组2d荧光镜图像仅包括两个2d荧光镜图像。
22.此外，根据本公开的实施方案，该组2d荧光镜图像包括身体部位的前后投影和身
体部位的左前斜投影。
23.进一步根据本公开的实施方案，第二3d坐标包括以下中的一者或多者：3d网格的网格顶点，和3d点云。
24.仍进一步根据本公开的实施方案，该系统包括导管，该导管包括电极并且被配置成被插入活体受检者的身体部位中，该处理电路被配置成响应于从导管的电极接收到的信号而改进3d解剖标测图。
25.另外，根据本公开的实施方案，第一3d坐标和第二3d坐标处于相同坐标空间。
26.此外，根据本公开的实施方案，荧光镜成像装置被配置成捕获相应活体受检者的相应身体部位的多组二维(2d)荧光镜图像，并且处理电路被配置成训练人工神经网络以响应于训练数据而生成3d解剖标测图，该训练数据包括相应活体受检者的相应身体部位的多组2d荧光镜图像、该多组2d荧光镜图像的相应3d坐标以及该相应活体受检者的该相应身体部位的多个3d解剖标测图的相应3d坐标。
27.进一步根据本公开的实施方案，该处理电路被配置成将相应活体受检者的相应身体部位的多组2d荧光镜图像和该多组2d荧光镜图像的相应3d坐标输入人工神经网络中，以及迭代地调整人工神经网络的参数以减小人工神经网络的输出与期望输出之间的差异，该期望输出包括该多个3d解剖标测图的相应3d坐标。
28.仍进一步根据本公开的实施方案，该系统包括至少一个导管，该至少一个导管包括电极并且被配置成被插入相应活体受检者的身体部位中，该处理电路被配置成响应于从插入相应活体受检者的身体部位中的该至少一个导管的电极接收到的信号而生成训练数据的多个3d解剖标测图。
29.另外，根据本公开的实施方案，该多组2d荧光镜图像中的每组2d荧光镜图像仅包括两个2d荧光镜图像。
30.此外，根据本公开的实施方案，该多组2d荧光镜图像包括相应身体部位的相应前后投影和相应左前斜投影。
31.根据本公开的又一个实施方案，还提供了一种软件产品，该软件产品包括非暂态计算机可读介质，在所述非暂态计算机可读介质中存储程序指令，这些指令在由中央处理单元(cpu)读取时使该cpu将经训练的人工神经网络应用于(a)活体受检者的身体部位的一组二维(2d)荧光镜图像，和(b)该组2d荧光镜图像的相应第一3d坐标，从而产生3d解剖标测图的第二3d坐标，以及响应于这些第二3d坐标而将该3d解剖标测图渲染到显示器。
附图说明
32.根据以下详细说明结合附图将理解本发明，其中：
33.图1为根据本发明的一个示例性实施方案构造和操作的医疗系统的示意图；
34.图2为包括训练用于图1的系统的人工神经网络的方法中的步骤的流程图；
35.图3为在图1的系统中训练的人工神经网络的示意图；
36.图4为包括训练用于图1的系统的人工神经网络的方法中的详细步骤的流程图；
37.图5为包括在图1的系统中应用经训练的人工神经网络的方法中的步骤的流程图；并且
38.图6为在图1的系统中应用的经训练的人工网络的示意图。
具体实施方式
39.概述
40.在使用导管进行心脏腔室标测之前，医师只会在手术期间使用荧光镜检测来引导导管。荧光镜检测的主要缺点是辐射的危险。然而，荧光镜检测确实具有一些优点，因为其提供了各种静脉和心脏跳动的视图。
41.因此，基于导管的标测通常用于基于围绕心脏腔室移动导管来标测心脏腔室以产生心脏的三维(3d)解剖标测图。可以使用基于磁性和/或阻抗的位置跟踪来跟踪导管而不使用荧光镜检测。然而，荧光镜检测可以例如用于正确地引入护套。另外，荧光镜图像可以与基于磁性和/或阻抗的位置跟踪配准，并且与所生成的3d标测图一起渲染到显示器。
42.尽管基于导管的标测具有优于荧光镜检测的许多优点，但是利用导管进行标测可能错过某些特征，诸如静脉，这是通过荧光镜检测观察到的。例如，一些人可能具有三个肺静脉，其他人可能具有四个肺静脉。医师可能会在移动导管时忽略第四条静脉，并创建没有第四条静脉的解剖标测图。
43.本发明的实施方案通过使用经训练的人工神经网络(ann)根据身体部位(例如，心脏腔室)的两个二维(2d)荧光镜图像(例如，前后(ap)和左前斜(lao)投影或任何合适的荧光镜图像投影对)生成初始3d解剖标测图来解决上述问题。然后可以通过在身体部位(例如，心脏腔室)周围移动导管来基于该基于导管的标测来细化初始3d解剖标测图。
44.在一些实施方案中，训练ann以生成根据两个2d荧光镜图像(例如，前后(ap)和左前斜(lao)投影或任何合适的荧光镜图像投影对)的3d解剖标测图和基于训练数据的2d荧光镜图像的相应3d坐标。训练数据包括：(a)作为ann的输入的来自相应电生理(ep)程序的多组2d荧光镜图像和这些2d荧光镜图像的相应3d坐标；和(b)作为ann的期望输出的从相应ep程序小心采集的基于导管的3d解剖标测图。在训练ann期间，修正ann的参数(例如，权重)，使得ann的输出接近给定限制内的期望输出。
45.荧光镜图像(在ann的训练和应用期间使用)的坐标通常与基于磁性和/或阻抗的位置跟踪系统配准，使得可以根据已知的配准将ann生成的3d解剖标测图渲染到显示器。因此，配准(即，荧光镜图像的坐标与3d解剖标测图的对应坐标)形成了训练过程的一部分。
46.一旦经过训练，ann就接收两个2d荧光镜图像(例如，前后(ap)、左前斜(lao)或任何合适的荧光镜图像投影对)和这两个2d荧光镜图像的相应3d坐标作为输入，并且输出具有基于磁性和/或阻抗的位置跟踪系统的坐标系中的坐标的3d解剖标测图。3d解剖标测图可以由3d网格的网格顶点或3d点云表示。例如，3d点云可用于生成封装网格，例如，使用合适的算法诸如“marchingcubes”，该算法为由lorensen和cline在1987年siggraph会议记录中公布的一种计算机图形算法，用于从三维离散标量场中提取等值面的多边形网格。
47.系统描述
48.现在参考图1，该图为根据本发明的示例性实施方案构造和操作的医疗系统10的示意图。医疗系统10被配置成用于对活体受检者的心脏12执行导管插入手术，该导管插入手术根据本发明的公开的实施方案构造和操作。该系统包括导管14，其由操作者16经由皮肤穿过患者的血管系统插入心脏12的腔室或血管结构中。操作者16(通常为医师)使导管的远侧端部18在消融目标位点处与心脏壁接触。然后，可以使用位于控制台24中的处理电路22根据任何合适的方法(例如在美国专利6,226,542、6,301,496和6,892,091中公开的方
法)来准备电激活标测图、解剖位置(即，导管14的远侧端部18的位置)信息和其他功能图像。一种包括系统10的元件的商品可以3系统购自biosense webster,inc.(irvine,ca,usa)，其能够根据消融的需要产生心脏的电解剖标测图。此系统可由本领域的技术人员进行修改以实施本文所述的本发明的实施方案的原理。
49.例如，通过评估电激活标测图被确定为异常的区域可以通过应用热能来消融，例如，通过将射频电流通过导管14(或另一个导管)中的导线传导到在远侧端部18处的一个或多个电极21(为了简单起见，仅标记一些电极)，这些电极将射频能量应用于心脏12的心肌。能量被吸收在组织中，从而将组织加热(或冷却)到组织永久性地失去其电兴奋性的点(通常为约60℃)。此手术成功后，会在心脏组织中形成非传导性的消融灶，这些消融灶可中断导致心律失常的异常电通路。本发明的原理可应用于不同的心室以治疗多种不同的心律失常。
50.导管14通常包括柄部20，该柄部上具有合适的控件，以使操作者16能够按标测和消融所需而对导管14的远侧端部18进行操纵、定位和取向。为了协助操作者16，导管14的远侧部分包含向处理电路22提供信号的位置传感器(未示出)，该处理电路计算远侧端部18的位置。
51.消融能量和电信号可以经由缆线34在心脏12与控制台24之间来回传送。可通过缆线34和电极21将起搏信号和其他控制信号从控制台24传送到心脏12。
52.线连接件35将控制台24与体表电极30和定位子系统的其他部件连接在一起。电极21和体表电极30可用于测量消融部位处的组织阻抗，如美国专利7,536,218中所教导。
53.控制台24通常包含一个或多个消融功率发生器25。导管14可适于使用任何已知的消融技术将消融能量(例如，射频能量、不可逆电穿孔、超声波能量、冷冻技术和激光产生的光能)传导至心脏。此类方法公开于美国专利6,814,733、6,997,924和7,156,816中。
54.处理电路22可以是系统10中测量导管14的位置和取向坐标的定位子系统的元件。在一个实施方案中，定位子系统包括磁定位跟踪布置，该磁定位跟踪布置通过利用磁场生成线圈28在预定工作空间中生成磁场并感测导管14处的这些磁场来确定导管14的位置和取向。定位子系统可以采用阻抗测量，例如在美国专利7,756,576和美国专利7,536,218中所教导的。
55.荧光镜成像装置37具有c形臂39、x射线源41、图像增强器模块43和可调准直器45。可以位于控制台24中的控制处理器(未示出)允许操作者例如通过设置成像参数，并且控制准直器45以调整视场的大小和位置来控制荧光镜成像装置37的操作。控制处理器可以经由缆线51与荧光镜成像装置37通信以启用和禁用x射线源41，或通过控制准直器45将该x射线源的发射限制在期望的感兴趣区域，并且从图像增强器模块43获取图像数据。连接到控制处理器的任选的显示监视器49允许操作者16查看由荧光镜成像装置37产生的图像。当不包括显示监视器49时，可以通过分屏或与其他非荧光镜图像交替地在显示器29上查看荧光镜图像。
56.如上所述，导管14联接到控制台24，这使得操作者16能够观察并调控导管14的功能。处理电路22通常为具有适当信号处理电路的计算机。处理电路22被耦接以驱动显示器29。信号处理电路通常接收、放大、过滤并数字化来自导管14的信号，这些信号包括由上述传感器和位于导管14远端的电极21产生的信号。控制台24和定位子系统接收并使用数字化
信号来计算导管14的位置和取向、分析来自电极21的电信号，并生成期望的电解剖标测图。
57.通常，系统10包括其他元件，但为简明起见未示出于附图中。例如，系统10可包括心电图(ecg)监视器，该心电图(ecg)监视器被耦接以接收来自一个或多个身体表面电极的信号，以便向控制台24提供ecg同步信号。如上所述，系统10通常还包括基准位置传感器，其或者位于附接在受检者身体外部的外部施加基准补片上，或者位于插入心脏12中并相对于心脏12保持在固定位置的内置导管上。提供了用于使液体循环穿过导管14以冷却消融位点的常规泵和管路。
58.荧光镜成像装置37通常与定位子系统的坐标空间31配准，该坐标空间与场生成线圈28和导管14的远侧端部18相关联。因此，由荧光镜成像装置37捕获的图像可以与定位子系统一起使用。例如，可以将导管14的远侧端部18的表示渲染到显示器29，叠加在由荧光镜成像装置37捕获的x射线图像上。
59.现在参考图2和图3。图2为包括训练用于图1的系统10的人工神经网络52的方法中的步骤的流程图100。图3为在图1的系统10中训练的人工神经网络52的示意图。
60.荧光镜成像装置37(图1)被配置成捕获(框102)相应活体受检者58的相应身体部位56的多组2d荧光镜图像54。该多组2d荧光镜图像54中的每组2d荧光镜图像与图像的3d坐标60相关联。例如，每个2d荧光镜图像可以包含在坐标空间内标识图像中的至少两个给定点(例如，图像的两个角，或图像的拐角和中心，或任何其他合适的点)的坐标。另选地，每个2d荧光镜图像可以包含标识图像中的一个给定点的坐标和图像在坐标空间中的取向。坐标可以由荧光镜成像装置37的控制器参考与坐标空间31配准的任何其他坐标空间的坐标空间31(图1)来提供。如果荧光镜成像装置37相对于坐标空间31固定，则不需要由荧光镜成像装置37的控制器针对该多组2d透视图像54中的每组2d透视图像供应该多组2d荧光镜图像54的3d坐标，因为该多组2d荧光镜图像54的3d坐标是医疗系统10已知的。
61.在一些实施方案中，该多组2d荧光镜图像54中的每组2d荧光镜图像仅包括两个2d荧光镜图像。这两个2d荧光镜图像通常为身体部位56的正交投影。在一些实施方案中，多组2d荧光镜图像54包括相应身体部位56的相应前后投影和相应左前斜投影，如图3所示。
62.对于每组2d荧光镜图像54，使用现在更详细地描述的基于导管的方法生成对应的解剖标测图62。至少一个导管(例如，导管14)包括电极(例如，电极21)并且被配置成被插入(框104)相应活体受检者58的身体部位56中。处理电路22被配置成接收(框106)来自导管(例如，导管14)的电极(例如，电极21)的信号。使导管小心地围绕身体部位56移动，以确保根据导管移动生成的标测图是准确的。处理电路22(图1)被配置成响应于从插入相应活体受检者58的身体部位56中的导管的电极接收到的信号而生成(框108)多个3d解剖标测图62作为人工神经网络52的训练数据。可以参考可包括3d网格的网格顶点和/或3d点云的相应3d坐标64来定义该多个3d解剖标测图62。
63.处理电路22被配置成训练(框110)人工神经网络52以响应于训练数据而生成3d解剖标测图，该训练数据包括：(a)相应活体受检者58的相应身体部位56的多组2d荧光镜图像54(由荧光镜成像装置37捕获)；(b)该多组2d荧光镜图像54的相应3d坐标60；和(c)相应活体受检者58的相应身体部位56的多个3d解剖标测图62的相应3d坐标64。每组2d荧光镜图像54和该组2d荧光镜图像54的相应3d坐标60具有相关联的3d解剖标测图62(具有对应3d坐标64)，其针对相应活体受检者58的相应身体部位56捕获。换句话说，训练数据包括一组2d荧
光镜图像54、该组2d荧光镜图像54的相应3d坐标60以及活体受检者58中的每一者的身体部位的多个3d解剖标测图62中的一个3d解剖标测图的3d坐标64。身体部位56可以包括任何合适的身体部位，例如心脏腔室。用于训练人工神经网络52的身体部位56是相同类型的身体部位，例如心脏腔室。
64.现在参考图4，其为包括图2的框110的步骤中的详细子步骤的流程图。还参考图3。
65.神经网络是神经元的网络或电路，或者在现代意义上，是由人工神经元或节点组成的人工神经网络。生物神经元的连接被建模为权重。正权重反映兴奋性连接，而负值表示抑制性连接。通过权重修改输入并使用线性组合求和。激活函数可控制输出的振幅。例如，可接受的输出范围通常介于0和1之间，或者该范围可为-1和1之间。
66.这些人工网络可用于预测建模、自适应控制和应用，并且可经由数据集被训练。由经验产生的自学可发生在网络内，这可从复杂且看似不相关的信息组中得出结论。
67.为了完整起见，生物神经网络由一组或多组化学连接的或功能相关的神经元组成。单个神经元可被连接到许多其他神经元，并且网络中的神经元和连接的总数可以是广泛的。连接(称为突触)通常由轴突至枝状体形成，但树枝状突触和其他连接也是可能的。除了电信号之外，还存在由神经递质扩散引起的其他形式的信号。
68.人工智能、认知建模和神经网络是由生物神经系统处理数据的方式诱发的信息处理范式。人工智能和认知建模试图模拟生物神经网络的一些特性。在人工智能领域，人工神经网络已被成功地应用于语音识别、图像分析和自适应控制，以便(在计算机和视频游戏中)构建软件代理或自主机器人。
69.就被称为人工神经网络(ann)或模拟神经网络(snn)的人工神经元而言，神经网络(nn)是一组互连的天然或人工神经元，该神经网络基于计算的连接方法使用数学或计算模型进行信息处理。在大多数情况下，ann是基于流动通过网络的外部或内部信息来改变其结构的自适应系统。更实际的术语神经网络为非线性统计数据建模或决策制定工具。这些术语神经网络可用于对输入和输出之间的复杂关系进行建模或在数据中找到模式。
70.在一些实施方案中，人工神经网络52包括完全连接的神经网络(例如，卷积神经网络)。在其他实施方案中，人工神经网络52可包括任何合适的ann。人工神经网络52可包括由处理电路22(图1)执行的软件和/或被配置成执行人工神经网络52的功能的硬件模块。
71.人工神经网络52包括输入被接收到的输入层80，以及渐进地将输入处理至输出层84的一个或多个隐藏层82，从该输出层提供人工神经网络52的输出。人工神经网络52可包括人工神经网络52的层80、82、84之间的层权重。人工神经网络52根据人工神经网络52的层80、82、84之间的各个层权重的值来操纵在输入层80处接收到的数据。
72.在人工神经网络52的训练期间更新人工神经网络52的层权重，使得人工神经网络52执行人工神经网络52被训练执行的数据操纵任务。
73.人工神经网络52中的层的数量和层的宽度可以是可配置的。随着层的数量和层的宽度增加，人工神经网络52可根据手头的任务操纵数据的准确度也增加。然而，更大数量的层和更宽的层通常需要更多的训练数据、更多的训练时间，并且训练可能不会收敛。以举例的方式，输入层80可包括400个神经元(例如，以压缩一批400个样本)，并且输出层也可包括400个神经元。
74.训练人工神经网络52通常是迭代过程。现在将在下文描述训练人工神经网络52的
一种方法。处理电路22(图1)被配置成迭代地调整(框112)人工神经网络52的参数(例如，层权重)以减小人工神经网络52的输出与人工神经网络52的期望输出之间的差异。该期望输出包括多个3d解剖标测图62的相应3d坐标64。
75.现在在下文描述框112的步骤的子步骤。
76.处理电路22(图1)被配置成将相应活体受检者58的相应身体部位56的多组2d荧光镜图像54和该多组2d荧光镜图像54的相应3d坐标60输入(框114，箭头70)到人工神经网络中52的输入层80中。处理电路22被配置成将人工神经网络52的输出与期望输出(即，该多个3d解剖标测图62的对应相应3d坐标64)进行比较(框116，箭头72)。通常使用合适的损失函数进行该比较，该损失函数计算人工神经网络52的所有输出与所有期望输出(例如，所有相应多个3d解剖标测图62的3d坐标64)之间的总体差异。
77.在决策框118处，处理电路22(图1)被配置成确定人工神经网络52的输出与期望输出之间的差异是否足够小。如果人工神经网络52的输出与期望输出之间的差异足够小(分支120)，则处理电路22被配置成保存(框122)经训练的人工神经网络52的参数(例如，权重)，以用于应用该经训练的人工神经网络52，如参考图5和图6更详细地描述的。
78.如果差异不够小(分支124)，处理电路22被配置成修正(框126)人工神经网络52的参数(例如，权重)以减小人工神经网络52的输出与人工神经网络52的期望输出之间的差异。在上述示例中被最小化的差异是人工神经网络52的所有输出与所有期望输出(例如，所有相应多个3d解剖标测图62的3d坐标64)之间的总体差异。处理电路22被配置成使用任何合适的优化算法(例如，梯度下降算法诸如adam优化算法)来修正参数。然后重复框114-118的步骤。
79.现在参考图5和图6。图5为包括在图1的系统10中应用经训练的人工神经网络52的方法中的步骤的流程图200。图6为在图1的系统10中应用的经训练的人工网络52的示意图。
80.荧光镜成像装置37(图1)被配置成捕获(框202)活体受检者90的身体部位88的一组2d荧光镜图像86。在一些实施方案中，该组2d荧光镜图像86仅包括两个2d荧光镜图像。在一些实施方案中，该组2d荧光镜图像86包括身体部位88的前后(ap)投影和身体部位86的左前斜投影(lao)，或任何其他合适的投影对。身体部位88可以为任何合适的身体部位，例如心脏腔室。
81.处理电路22(图1)被配置成将经训练的人工神经网络52应用于(框204)：(a)活体受检者90的身体部位88的一组2d荧光镜图像86；和(b)该组2d荧光镜图像86的相应3d坐标96，从而产生3d解剖标测图94的3d坐标92。在一些实施方案中，该组2d荧光镜图像86的3d坐标96和3d解剖标测图94的3d坐标92处于相同坐标空间，并且与上文参考图1描述的定位子系统的坐标空间配准(例如，图1的坐标空间31)。3d解剖标测图94的3d坐标92可包括3d网格的网格顶点和/或3d点云。
82.处理电路22被配置成响应于3d坐标92而将3d解剖标测图94渲染(框206)到显示器29(图1)。
83.导管14(图1)被配置成被插入(框208)进入活体受检者90的身体部位88中并且围绕身体部位88移动，以便经由电极21采集信号(图1)来校正和改进3d解剖标测图94。处理电路22被配置成接收(框210)来自导管14的电极21的信号。处理电路22被配置成响应于从导管14的电极21接收到的信号而改进(框212)3d解剖标测图94。
84.在实施过程中，处理电路22的功能中的一些或全部功能可以组合在单个物理部件中，或者另选地，使用多个物理部件来实现。这些物理部件可包括硬连线或可编程装置，或这两者的组合。在一些实施方案中，处理电路22的功能中的至少一些功能可以由可编程处理器在合适软件的控制下实施。该软件可以通过(例如)网络以电子形式下载到装置中。另选地或除此之外，该软件可以储存在有形的非暂态计算机可读存储介质中，诸如光学、磁或电子存储器。
85.如本文所用，针对任何数值或范围的术语“约”或“大约”指示允许部件或元件的集合实现如本文所述的其预期要达到的目的的合适的尺寸公差。更具体地，“约”或“大约”可指列举值的值
±
20％的范围，例如“约90％”可指72％至108％的值范围。
86.为清晰起见，在独立实施方案的上下文中描述的本发明的各种特征部也可在单个实施方案中组合提供。相反地，为简明起见，本发明的各种特征部在单个实施方案的上下文中进行描述，也可单独地或以任何合适的子组合形式提供。
87.上述实施方案以举例的方式被引用，并且本发明不受上文具体示出和描述的内容的限制。相反，本发明的范围包括上文描述的各种特征的组合和子组合以及它们的变型和修改，本领域的技术人员在阅读上述描述时将会想到该变型和修改，并且该变型和修改并未在现有技术中公开。