具有增强视图的可转向内窥镜系统的制作方法

具有增强视图的可转向内窥镜系统
1.相关申请的交叉引用
2.本公开要求于2019年11月8日提交的美国临时申请62/932,571和于2019年12月20日提交的美国临时申请62/951,512的优先权和权益，这些美国临时申请的公开内容全文以引用方式并入本文。
技术领域
3.本公开整体涉及医疗装置，并且更具体地涉及具有增强现实视图的可转向内窥镜系统及相关方法和系统。


背景技术：

4.医疗内窥镜是长的柔性仪器，其可以在多种情形下，于医疗规程期间引入患者的腔中，以促进腔内的可视化和/或医疗规程。例如，一种类型的镜是在其远侧端部具有相机的内窥镜。内窥镜可以插入患者的口腔、咽喉、气管、食道或其他腔中以帮助可视化解剖构造，或促进诸如活检或消融等规程。内窥镜可以包括可转向远侧尖端，可转向远侧尖端可被主动控制以在所需方向上弯折或转动远侧尖端，从而获得所需视图或导航穿过解剖结构。
5.在医疗或临床规程期间，一个人可以操作内窥镜(诸如将其向前或向后推进到患者腔中，使远侧尖端转向，并观察屏幕上的相机图像)，而作为医疗或临床团队成员的其他人则观察或协助。当内窥镜向前或向后移动时，这些人可能难以查看来自内窥镜的相机图像，或难以保持对内窥镜在腔内的位置的准确了解。


技术实现要素：

6.下面概括了范围与原始要求保护的主题相称的某些方面或实施方案。这些实施方案不旨在限制本公开的范围。实际上，本公开可以涵盖可以与下面阐述的实施方案类似或不同的多种形式。
7.在一个方面或实施方案中，提供了一种计算机控制的内窥镜系统，该系统包括具有可转向远侧尖端的内窥镜，该可转向远侧尖端具有产生图像信号的相机和产生取向信号的取向传感器。该系统包括具有描绘来自图像信号的图像的硬件屏幕的第一显示器和具有增强现实显示的第二显示器。增强现实显示包括覆盖在真实世界视场上的计算机生成图形的复合视图。计算机生成的图形包括：任选地固定在视场中的解剖模型，根据取向信号定位在解剖模型中的内窥镜标记，以及描绘相机的实时取景方向的照明。
8.计算机生成的图形还可以包括来自图像信号的图像。硬件屏幕可以包括触摸屏。该系统还可以包括控制器，该控制器与内窥镜有线或无线通信并且包括存储指令的硬件存储器，该指令用于接收取向信号，并根据取向信号在解剖模型内移动内窥镜标记。控制器可以包括与提供增强现实显示的ar查看器无线通信的ar控制器。该系统还可以包括内窥镜控制器，该内窥镜控制器包括连接到内窥镜的手柄，其中第一显示器可以安装到手柄，并且其中内窥镜控制器可以将图像信号和取向信号中继到ar控制器。
9.在可以独立提供的一个方面或实施方案中，内窥镜系统在视场上设置有增强现实(ar)显示。该系统包括内窥镜、手持式控制器和ar头戴式设备。内窥镜包括具有相机和取向传感器的可转向远侧端部。手持式控制器连接到内窥镜的近侧端部，并包括触摸屏显示器。耳机在视场上提供ar显示。ar显示包括：具有来自内窥镜相机的图像的窗口，与视场中的对象配准的解剖模型，以及在解剖模型中在对应于可转向远侧端部的位置处显示的内窥镜标记。
10.在可以独立提供的一个方面或实施方案中，提供了一种图形显示器，该图形显示器包括：对应于患者解剖结构的解剖构造的渲染模型；来自患者解剖结构内的某位置处的内窥镜的图像；以及在对应于内窥镜在患者解剖结构内的位置的位置处覆盖在渲染模型上的图形标记，其中图形标记随着内窥镜在患者解剖结构内的移动而移动通过渲染模型。
11.图形标记可以包括模拟的内窥镜。渲染模型可以包括支气管的三维模型。
12.在可以独立提供的一个方面或实施方案中，提供了一种用于在视场上生成增强现实显示的计算机实现的方法，该方法包括以下步骤：在控制器处接收来自内窥镜的位置信号，该位置信号包括内窥镜的可转向远侧端部的位置、取向或移动数据；在控制器处接收来自内窥镜的图像信号，该图像信号包括来自内窥镜的远侧端部处的相机的图像数据；在控制器处生成虚拟对象，该虚拟对象包括：包括来自图像信号的图像的浮动窗口；配准到视场中的真实对象的三维解剖模型；以及在内窥镜的当前位置处定位在解剖模型内的内窥镜标记；并且通过头戴式查看器显示虚拟对象。
13.该方法可以包括根据来自内窥镜的位置信号和图像信号更新虚拟对象。更新虚拟对象可以包括随着内窥镜的移动在解剖模型内移动内窥镜标记。内窥镜标记可以包括管状体和相机截头锥体。
14.在可以独立提供的一个方面或实施方案中，提供了一种用于增强现实控制和显示的方法，该方法包括以下步骤：在控制器处接收来自内窥镜的一个或多个传感器的传感器信号，该传感器信号包括指示患者解剖结构的实时数据；在ar头戴式设备处显示虚拟对象，该虚拟对象包括配准到ar头戴式设备的视场中的对象的解剖模型；并且在控制器处将实时数据投影到解剖模型的一部分的三维(3d)空间中；并且在ar头戴式设备处显示具有所投影的实时数据的解剖模型。
15.投影可以包括用图像信号中识别的特征来纹理化解剖模型。投影可以基于经更新的取向信号和经更新的图像信号移动到解剖模型的不同部分。解剖模型的该部分可以基于解剖模型的与内窥镜相机的真实世界视场相关的区域来选择。该方法可以包括在ar头戴式设备处在显示器的单独部分中显示实时数据，其中实时数据从内窥镜相机的视点取向。实时数据可以是来自超声换能器或飞行时间传感器的数据。该方法还可以包括在控制器处识别实时数据与解剖模型之间的偏差，并且在ar头戴式设备处生成该偏差的通知。
16.在可独立提供的一个方面或实施方案中，提供了一种计算机实现的方法，该方法包括：从内窥镜接收图像信号和取向信号，该内窥镜包括可转向远侧尖端，该可转向远侧尖端具有产生图像信号的相机和产生取向信号的取向传感器；在第一显示器的硬件屏幕上描绘来自图像信号的图像；并且在第二显示器的增强现实显示上提供复合视图，其中复合视图包括覆盖在真实世界视场上的计算机生成的图形的复合视图，其中计算机生成的图形包括：解剖模型；根据取向信号定位在解剖模型中的内窥镜标记；以及描绘相机的实时取景方
向的照明。
17.在可以独立提供的一个方面或实施方案中，提供了一种系统，该系统包括图形显示器和控制器，该控制器被配置为控制该图形显示器以显示：对应于患者解剖结构的解剖构造的渲染模型；来自患者解剖结构内的某位置处的内窥镜的图像；在对应于内窥镜在患者解剖结构内的位置的位置处覆盖在渲染模型上的图形标记，其中控制器被配置为控制图形标记随着内窥镜在患者解剖结构内的移动而移动通过渲染模型。
18.一个方面或实施方案中的特征可以按任何适当的组合作为任何其他方面或实施方案中的特征来应用。例如，系统、手柄、控制器、处理器、镜、方法、图形显示器或部件中的任何一个或多个的特征可以在系统、手柄、控制器、处理器、镜、方法、图形显示器或部件中的一个或多个中实现。
附图说明
19.通过阅读以下详细描述并参考附图，所公开的技术的优点可以变得显而易见，在附图中：
20.图1是根据本公开的实施方案的在临床规程期间的内窥镜系统、增强现实查看器和患者的视图。
21.图2a是根据本公开的实施方案的图1的患者通过增强现实视场的视图；
22.图2b是根据本公开的实施方案的在临床规程期间内部解剖结构的增强现实视场，其不与患者的实时视图相连；
23.图2c是根据本公开的实施方案的增强现实视场的细节图；
24.图3是根据本公开的实施方案的图1的患者通过增强现实视场的视图和内窥镜控制器的插图；
25.图4是根据本公开的实施方案的图1的患者通过增强现实视场的视图和内窥镜控制器的插图；
26.图5是根据本公开的实施方案的图1的患者通过增强现实视场的视图；
27.图6是根据本公开的实施方案的在使用内窥镜的规程期间提供患者的增强现实视图的增强现实眼镜的剖视图。
28.图7是根据本公开的实施方案的增强现实内窥镜系统的示意性框图。
29.图8是根据本公开的实施方案的在使用内窥镜的规程期间提供患者的增强现实视图的方法的流程图。
30.图9是根据本公开的实施方案的在使用内窥镜的规程期间提供患者的增强现实视图的方法的流程图。
具体实施方式
31.如本文所提供的医疗镜或内窥镜是薄的细长柔性仪器，其可以插入体腔中而用于探索、成像、活检或其他临床治疗，包括导管、窄管状仪器或者其他类型的镜或探头。通过将内窥镜的远侧端部推进到所需位置，并且在某些实施方案中通过对内窥镜的远侧端部的主动转向，可以将内窥镜导航到体腔(诸如患者的气道、胃肠道、口腔或鼻腔、或其他腔或开口)中。内窥镜的形状可以是管状的。
32.将长的柔性医疗装置推进到患者腔内通常经由从该装置的近侧部分(患者腔外部)所传递的力，该力导致远侧尖端在患者腔内的推进。如本文所用，“近侧”是指离开患者腔，向后朝向装置的手柄端部的方向，并且“远侧”是指向前进入患者腔，远离医生或护理人员，朝向装置的探头或尖端的方向。例如，医生或其他护理人员握住在患者腔外部的内窥镜的近侧部分向下或向前推动，并且所产生的运动被传递到内窥镜的远侧尖端，从而致使尖端在腔内向前(向远侧)移动。类似地，护理人员在近侧部分所施加的拉力可导致远侧尖端的缩回，或者在相反(近侧)方向上将其从患者腔中移出来。然而，因为患者腔不是规则形状或规则大小的，所以内窥镜移动穿过一条曲折的路径，并且来自近侧端部的推动或拉动运动中的传递力可能不会导致远侧尖端处的可预测运动。
33.医生或房间内的任何护理人员可能难以知道内窥镜定位在患者解剖结构内的位置，内窥镜向近侧或远侧移动了多远，以及内窥镜通过患者解剖结构采取了什么路径。这对于护理人员、临床医生、医生、护士或房间中不直接操作内窥镜的其他人员来说可能尤其困难。这些团队成员可能无法清楚地看到内窥镜屏幕，也可能无法在内窥镜向前(向远侧)进入或向后(向近侧)离开患者时保持清楚地看到内窥镜。此外，对于包括不同护理人员的协调动作的某些临床规程，提供关于在临床规程中使用的内窥镜和/或其他工具的进展的实时信息是有益的。下面描述增强现实系统的各种实施方案，用于在临床规程期间提供患者和内窥镜的增强现实视图。
34.示例增强现实(ar)系统与图1所描绘的内窥镜查看系统100结合使用。在所示的实施方案中，内窥镜查看系统100包括连接到内窥镜控制器14的内窥镜12。在临床规程期间，内窥镜12被插入患者20体内。系统100还包括增强现实查看器16，诸如眼镜、护目镜或耳机，其无线地连接到增强现实控制器18，诸如膝上型计算机。图1所示的视图是患者20和临床规程的真实世界视图，没有增强现实(“ar”)视图。
35.如图1所示，内窥镜12是细长的管状镜，其在近侧端部处连接到控制器14。控制器14包括具有显示屏24的手柄、手持式光标器(puck)或棒22。显示屏显示来自患者腔内的内窥镜12的远侧端部处的相机的图像。操作内窥镜的临床医生(操作者)用他或她的左手26握住手柄22，并用他或她的右手28抓住或夹紧内窥镜12。操作者可以用右手向近侧或远侧移动内窥镜12，同时在显示屏24上观看来自相机的所产生的图像。在一个实施方案中，显示屏24是触摸屏，并且操作者可以在屏幕24上输入触摸输入(诸如，用操作者的左拇指)以使内窥镜的远侧尖端转向，诸如使其向右、向左、向上或向下弯曲。在该示例中，操作者使用他们的右手将内窥镜向前移动到患者的肺中，使用他们的左拇指使远侧尖端转向以导航并调节相机的视图，并且在显示屏24上观看肺(诸如支气管或通道)的所产生的相机视图。如上所述，因为操作者的近侧运动不总是直接转换到患者解剖结构内的远侧尖端，所以操作者可能难以准确地知道远侧尖端定位在患者解剖结构内的位置。
36.另外，如图1中可以看出，房间中的另一临床医生或护理人员可能难以看到显示屏24上的相机图像。在一个实施方案中，显示屏24小而紧凑，使得它可以由电池供电，重量轻，并且由握住手柄22的操作者手持。屏幕24也可以是小的，使得操作者可以在同一视线内保持清楚地看到患者20和屏幕24。
37.本文提供了在临床规程期间患者20的增强现实视图的实施方案。“增强现实”(ar)是计算机生成的组件，诸如通过ar查看器16叠加在用户的真实世界视场上的图形图像，从
而产生真实世界和计算机生成的(虚拟)对象的复合视图。增强现实也可以被称为“混合现实”。增强现实可以包括通过增强现实查看器16的透镜(例如，透明或半透明透镜)对真实世界视图的直接可视化，或者可以包括真实世界捕获的图像数据以及一起显示在增强现实查看器16的显示表面上的计算机生成的组件。ar系统可以包括ar查看器16和ar控制器18，该ar控制器与ar查看器16通信并控制该ar查看器上的虚拟对象的显示。
38.图2a是图1的患者20通过ar视场30的视图，如通过ar查看器16所看到的。佩戴ar查看器16的用户可以是不是内窥镜操作者的提供支持或协助的临床医生或学生。增强现实系统允许在固定到患者的患者气道的计算机生成模型的背景下通过内窥镜12对视图进行可视化。虽然内窥镜操作者通常可以保持靠近患者的嘴以在气道内导航和操纵内窥镜12，但是ar查看器16的用户可以在患者周围自由移动，同时保持ar视场30。ar视场30将计算机生成的图形叠加在患者20和房间的真实世界视图上。计算机生成的组件可以是视觉的(诸如图像和图形)、听觉的(诸如噪声、蜂鸣声和声音)、触觉的(诸如ar查看器16或其他装置的物理振动)，或其他交互。
39.ar视图30可以通过用户戴上ar查看器16(其可实施为头戴装置，诸如图1中所示的ar护目镜，或实施为眼镜、其他查看器、或包括平板电脑和移动设备在内的屏幕)并通过ar控制器18(图1中所示)激活ar对象的生成来实现。图2a显示了ar视图30的实施方案。在该实施方案中，ar视图30包括与图1相同的真实世界视图(包括例如患者20、内窥镜12、内窥镜控制器14和操作者的左手26及右手28)以及附加的计算机生成的图形。这些附加的图形增强了真实世界视图。增强的图形包括浮动窗口32、三维解剖模型38和模拟的内窥镜36。下面将更详细地描述这些图形中的每一个。
40.浮动窗口32朝向ar视图30的顶部定位，为下面的患者20和解剖模型38留下空间。窗口32可以根据用户的需要移动到ar视图30的另一部分。窗口32显示与显示屏24上显示的相机图像相同的相机图像34。相机图像34是来自位于患者体内的内窥镜12的远侧尖端处的内窥镜相机的图像。在图2a中，相机图像34显示了患者气管的视图，包括患者的气管环37。在一个实施方案中，该图像34是在临床规程期间来自内窥镜12的远侧端部处的相机的当前实时视频馈送，并且与在显示屏24上向内窥镜操作者显示的图像相同。当患者状况改变和/或内窥镜转向或移动时，窗口32中的图像34显示来自内窥镜相机的当前视图。相机图像34显示解剖特征以及在内窥镜相机的视场中的任何工具39(抽吸、活检、消融、切割等)。
41.在一个实施方案中，窗口32还包括与相机图像34同时显示的数据字段40。在相机图像34的左侧显示数据字段，使得它们不阻挡或重叠相机图像。在一个实施方案中，窗口32中的数据字段、菜单、按钮和其他显示元素的大小和位置被确定为使得在临床规程期间相机视图34保持不受阻碍。在数据字段40中可以显示不同类型的数据。几个示例是患者生命体征，诸如心率、spo2(血氧饱和度)、体温、呼吸率、血压等；计时器(计数以显示临床规程的总持续时间，当患者不自主呼吸时的总呼吸暂停时间，或一些其他持续时间，或者倒计时到特定时间或里程碑)；系统中部件的电池寿命，诸如ar护目镜16、内窥镜控制器14或其他装置；患者数据，诸如姓名、性别、体重或识别数据；临床数据，诸如正在进行的规程的类型；系统状态信息、菜单或控件；以及其他合适的信息。各个团队成员可以激活ar查看器16并访问这种类型的信息，而不中断房间中正在进行的临床规程。当紧急情况发生时(诸如患者长时间呼吸暂停)，房间中的护理人员可以快速看到相关信息(诸如总呼吸暂停时间)而不中断
他们对患者的观察。
42.在一个实施方案中，窗口32还包括图形按钮42，用户可以按下或点击(诸如用ar视场30内的指针或手势)这些图形按钮以改变系统设置。例如，用户可以点击按钮42以在数据字段40中的不同数据之间切换，或者打开或关闭不同的计算机生成的显示。在一个实施方案中，图形层可以根据需要添加到ar视场30或从该ar视场移除。示例图形层是脉冲层，其与患者的心率同步地对模型38(或内窥镜36，或窗口32)进行脉冲调制。如果需要，该层可以被激活，或者如果不需要，该层可以被关闭。用户可以点击按钮42以移除、添加或改变解剖模型38或模拟的内窥镜36的部分，或者激活或去激活触觉反馈或图像脉冲。例如，不同解剖结构(软组织、骨骼结构等)可以在ar模型38内被切换打开或关闭。
43.在一个实施方案中，如果可用，用户可以点击按钮42以在不同的相机视图之间切换。在一个实施方案中，第一相机视图是来自喉镜相机的视图，而第二相机视图是来自内窥镜相机的视图，并且用户可以在这两个不同视图之间切换，或者在窗口32中同时查看它们，或者在窗口32中与画中画视图同时查看它们。在一实施方案中，喉镜相机图像显示在第一形状的轮廓(诸如正方形或矩形轮廓)内，而内窥镜相机图像显示在第二不同形状的轮廓(诸如，如图2至图5的图像34中所示的椭圆形或圆形轮廓)内。
44.在一个实施方案中，用户可以点击按钮42来请求咨询、呼叫另一护理人员、宣布紧急情况、发送警报或请求其他帮助。因此，ar视图可以促进分布式团队之间的快速沟通。
45.ar视场30中的计算机生成的对象还包括三维解剖模型38。在图2a所示的实施方案中，模型38是从咽喉到肺的患者气道的模型。模型38是计算机生成的图形对象，其包括患者的咽喉43(或口或鼻通道)、气管44、右支气管46r、左支气管46l和下气道分支或支气管48。该三维模型38是覆盖在患者20的真实世界视图之上的计算机生成的图形。模型38可以用透明阴影显示，使得可以通过模型38和在该模型后面看到患者20。
46.解剖模型38可以以各种不同的方式创建，诸如使用先前从患者获取的图像或解剖数据。在一个实施方案中，在图2至图5所示的临床规程之前从患者20的扫描创建模型38。扫描可以是ct(计算机断层扫描)、mri(磁共振成像)、x射线或其他诊断或成像扫描。这些扫描可用于构建个体患者的实际解剖结构的三维模型。例如，来自ct扫描的计算可用于构建患者气道的三维模型(例如，以ct扫描为基础的解剖分割的基于计算机的方法)。所产生的三维模型显示该个体患者的实际气道分支，因为气道在左和右支气管下方分开和分支。在图2a中，模型38的解剖结构是患者的气道，但是应当理解，其他解剖模型可以用于其他规程和环境中，包括例如骨骼、软组织、胃肠结构等的模型。解剖模型38可以是从丰富图像数据生成的简化模型。也就是说，整个解剖模型可以是气道的卡通视图或平滑版本。可以渲染解剖模型38以显示气道通道和周围组织壁(诸如气管或支气管壁)的近似位置和尺寸。例如，使用包括密度信息的ct扫描数据，可以基于密度规则生成解剖模型38，以指定可能是开放气道通道的较低密度区域和可能是组织的较高密度区域。基于位于开放气道通道的边界处的组织区域来渲染解剖模型的气道壁。在这样的示例中，组织壁可以在具有或不具有精细特征分辨或纹理化的解剖模型38中被指定。解剖模型38可以由本文提供的ar系统生成或访问。
47.在一个实施方案中，解剖模型38是解剖结构的通用或标准模型，并且不是患者20特定的。模型38是默认或预先存储的模型，其用于解剖结构内的内窥镜移动的一般指示，诸
如成人气管和肺、或小儿气管和肺、或其他解剖结构的三维模型。该通用模型可以用于训练目的，或者甚至在对真实患者开展的规程期间，即使模型38不是由个体患者20构建的，也可以使ar查看器了解患者20体内的内窥镜的移动方向和视图。如果患者特定的解剖模型38不可用，则可以使用患者适当的通用解剖模型，并且该通用解剖模型可以基于患者的年龄、大小、体重和/或临床状况来选择或生成。
48.解剖模型38由在临床规程之前获得的数据(患者特定的或通用的)构建。模型38是解剖结构的静态全局图。在临床规程期间，内窥镜(或其他器械)将在该全局图的局部区域内移动，并将从这些区域获取实况数据(诸如位置和图像数据)。ar视场30将静态全局图38与来自内窥镜的远侧尖端的实况、实时数据相结合，以显示内窥镜在该图内的实时位置以及该位置处的实时局部状况(诸如使用来自内窥镜的实况图像或其他数据)。因此，系统将全局图(诸如先前收集的3d数据)与局部周围环境(诸如实况2d图像和位置数据)相结合，以给出临床规程和患者状况的混合视图，如下面进一步解释的。
49.在一个实施方案中，解剖模型38在ar视场30中与患者20配准。这意味着ar系统将模型38与患者20一起取向，并且即使当ar用户在房间中行走或移动时也保持该取向。模型38被“固定”或“钉”到患者20上，使得ar用户可以在患者周围走动并从任何视点查看模型38。虚拟部件(诸如解剖模型38)与现实对象(诸如患者20)的配准可以用对象识别软件来实现，该软件可以通过光流、特征检测、边缘检测、基准标记、其他图像处理技术来匹配模型和患者。诸如立体相机和lidar的三维映射技术可用于映射解剖空间并使成像扫描与现实之间的关键点相关联。
50.在一个实施方案中，ar可视化被锚定到患者，并且不依赖于外部固定或安装在手术室(or)或其他医院环境中的硬件。这样，ar系统以即插即用的方式操作以与可用的兼容内窥镜12和内窥镜控制器结合使用。患者锚定提供了随患者移动的局部或相对参考系，而不是锚定在手术室或其他设施中的空间中的相对更通用/静止的参考系。患者体内的远侧内窥镜相机也不锚定(机械地或虚拟地)到房间中的任何静止点。因此，该系统可以减少或避免患者的实况视图与2d和3d图像之间的未对准。例如，如果患者在房间内移动，则3d模型、ar视图和所有捕获到的图像均随患者移动，因此所有视图均保持对准。3d模型38被“固定”(或“配准”)到房间中的患者，并且从那里3d模型38可以随患者伸展、扭曲和移动。即使3d模型38被预先捕获(并且因此模型本身是静态的)，当患者呼吸、咳嗽、翻身、坐起或移动时，模型38也可以被拉伸、旋转或扭曲。
51.在一个实施方案中，模型38相对于可由相机分辨的一个或多个可检测的外部患者特征(诸如检测到的患者的鼻孔、嘴唇或肩膀)被锚定或固定。在一个示例中，可以将相机可检测的代码(例如，qr码)或基准标记应用于患者，并用作锚定点以固定模型38。通过将模型38固定到患者，即使在患者移动期间也将模型38锚定到患者。如果患者移动(诸如与患者的咳嗽或推挤相关的移动，或在医院各区域之间运送患者的过程中)，则ar系统检测可检测特征的相应移动，并将ar模型38保持固定在这些特征上并因而保持固定在患者上。以这种方式，ar系统对于患者是便携式的，并且不受特定房间、环境或外部硬件的束缚。
52.将模型38固定到患者是可能的，但对于利用ar视图不是必需的。图2b显示了一个实施方案，其中在ar视场30中看到的解剖模型38不与患者20的实时视图相连。因此，在某些实施方案中，解剖模型38可以由其ar视场30不包括患者20的用户查看。这对于在医疗规程
中患者20的视图被装置或其他护理人员阻挡的用户，或者对于在不同房间中的用户可能是有益的。在某些类型的临床规程中，与患者20分开地查看模型38可能是有用的，以便例如与ar视场分开地保持清楚地看到患者，或者在手术单上方查看ar视场。在这种情况下，模型38可以被固定到房间中的不同对象，或者可以被固定到患者但位于患者上方，而不是覆盖在患者胸部上。因此，系统可以将模型38固定到患者或房间中的另一对象，或者模型38可以保持未固定，并且固定或未固定的模型可以位于患者上、患者上方或别处。
53.在一个实施方案中，浮动窗口32不与患者20或视场中的任何真实世界对象配准，相反，窗口32保持在视场30的右上象限中并保持面向用户，即使当用户在房间中移动时。在某些实施方案中，浮动窗口32可由用户停用。
54.ar视场30中的计算机生成的图形还包括模拟的内窥镜36，如图2a和图2b所示。模拟的内窥镜36是计算机生成的动画，其表示正在患者20体内移动的实际内窥镜12。模拟的内窥镜36包括管状体50、远侧尖端52和相机截头锥体54。相机截头锥体54是在远侧尖端52前面的锥形部分，并且它表示真实世界内窥镜12上相机的当前取景方向。也就是说，相机截头锥体54的虚线表示内窥镜12的远侧尖端的当前取向，以显示内窥镜相机在患者解剖结构内指向的方向。
55.ar系统在解剖模型38内渲染该模拟的内窥镜36，并与真实世界内窥镜12的移动协调地在模型38内移动模拟的内窥镜36。模拟的内窥镜36在模型38内的位置和相机截头锥体54的取向表示真实世界内窥镜12在患者20体内的实际位置和取向。因此，当内窥镜操作者在患者体内向远侧推进内窥镜12时，ar系统更新模拟的内窥镜36的渲染以将其移动通过模型38相应的距离。当内窥镜12在整个临床规程中前进、缩回和转向时，ar系统用ar视场30中显示的模拟的内窥镜36渲染相应的移动。结果，ar用户(佩戴诸如护目镜16的ar查看器)能够更容易地保持跟踪内窥镜12在患者20中的位置和取向。模拟的内窥镜36是显示内窥镜在模型38的全局图中的实况、实时移动位置的标记。ar视图显示模型38中内窥镜的正在变化的当前位置，类似于车辆通过街道地图的导航。
56.在一个实施方案中，模型38和模拟的内窥镜36显示在平面显示屏上，而不是显示为覆盖在真实世界视场上的ar显示。例如，图2b中的视图可以显示在显示屏(诸如平板电脑、移动设备、膝上型计算机或其他显示器)上，以显示内窥镜在建模的患者解剖结构内的实时位置。
57.如一般所讨论的，模型38在内窥镜插入之前被预先渲染或生成，并在ar视图30中显示为虚拟对象。模拟的内窥镜36和相机截头锥体54的位置根据内窥镜12的实时取向数据在ar视图30内实时更新。先前生成的3d模型38和实时内窥镜36、截头锥体54、窗口32的组合创建先前采集的视图和实况视图的混合视图。
58.此外，在一个实施方案中，来自内窥镜的实况2d图像数据被实时添加到3d模型38以创建混合视图。在一个示例中，相机实况馈送被映射或投影到解剖模型38上，例如如图2a所示。内窥镜相机提供气道的实时二维(2d)相机图像34，并且图像34以内窥镜相机的真实世界取向而取向。该2d相机图像34被投影或映射到解剖模型中的三维(3d)空间中，使得ar用户可以在3d模型的背景下查看相机图像34的图像数据。当实况2d相机图像被投影到3d模型中时，ar用户可以在ar视图中观看3d模型的同时从相机的视点(诸如内窥镜相机前面的解剖和手术特征)看到图像数据。该2d图像投影在ar视图中一起创建实况2d图像数据与预
先获取的3d模型数据的混合。图2a显示了这种数据混合，其中来自2d图像34的气管环37被投影到相机截头锥体54内的3d模型38上(框57内)。
59.2d图像到3d模型上的映射或投影可由系统100(图1)的一个或多个部件(诸如ar控制器18)执行。在一个实例中，通过将2d图像投影到3d形状(诸如管、锥体、部分锥体、壁或其他形状)上来实现映射。该形状可以根据解剖模型38或解剖模型38所基于的数据(例如，通道尺寸信息)来确定。在一个实施方案中，映射渲染2d图像沿着气道通道的轴线的3d位移。
60.在一个实施方案中，为了将2d相机视图投影到3d模型38上，使用位置数据(陀螺仪/加速度计)来相对于模型38定位内窥镜远侧尖端，并跟踪远侧尖端的向前/向后移动的存在和程度。当内窥镜移动通过患者时，虚拟内窥镜36移动通过模型38。2d图像被投影到远侧尖端前面的3d模型的一部分上(在截头锥体54内)。例如，在图2a中，该部分在突出显示框57内示出。3d模型在该框57内的部分对应于相机图像34中当前的、真实世界捕获的视图。浮动窗口32从内窥镜相机的取向或角度呈现相机图像34，该取向或角度通常沿气道的轴线指向。相比之下，相机图像34的3d映射将相同的图像数据变换或移位到不同的取向，即用户的取向，该取向可以与气道的轴线正交。当该3d映射是活动的时，浮动窗口32可以保持显示，或者可以被移除使得它不被显示。
61.在一个实施方案中，相机图像34经历包括标志识别的光学图像处理。标志识别可以涉及识别存在于相机图像34中的特征，诸如声带、通道分叉或其他解剖标志，和/或识别内窥镜12移动经过这些特征。可以在3d模型中渲染某些标志，并且可以将图像34中的标志的识别与内窥镜通过该模型的实时跟踪相关联，诸如识别视图中的对象(息肉、血管等)并且在对象移动时跟踪该对象。跟踪可以包括像素处理(评估图像中对象的尺寸变化以跟踪内窥镜移动)。另一示例包括识别分支的分叉并跟踪内窥镜移动到分支中。
62.实时地将2d相机图像34映射到3d模型上可以包括纹理化解剖模型38的对应部分，如突出显示框57中所示，其对应于相机截头锥体54。当内窥镜12在气道内移动时，包括纹理化的突出显示框57与模拟的内窥镜36一起移动。如图2c所示，纹理化结合了相机图像34的特征，诸如气管环37，以及相机图像34中存在的映射到气道表面上的任何工具39。映射到三维取向中的工具39的视图在规程期间提供附加的临床信息。例如，工具39的视图提供关于临床规程的进展的信息，其涉及工具以及工具与组织之间的相互作用(抓取、钳口打开、钳口闭合、组织抓取、进行抽吸等)，这允许护理人员管理患者的实时状况并协调基于工具的动作而启动的后续步骤。通过ar查看器16提供该信息改善了对此类规程的协调。纹理映射还可以沿着3维空间分辨相机图像34中的特征，诸如病变、息肉或出血区域。从用户的观点来看，纹理映射可以使用阴影、透明度和/或颜色强度来显示气道通道壁的内部曲率并区分气道的更近的壁和更远的壁。
63.当相机图像34中的视频馈送在内窥镜12的导航期间更新时，映射可以移动到解剖模型38的对应于内窥镜12的更新位置的更新部分。映射(诸如突出显示框57中的映射)和任何纹理化随着对更新的内窥镜位置的检测和对更新的图像数据的接收而移动。因此，实时数据表示内窥镜远侧尖端周围的实况局部状况。在一个实施方案中，该数据可以被保留作为对内窥镜12的进展的历史跟踪的一部分。
64.在某些实施方案中，实时数据可用于在解剖模型38与实时数据之间存在偏差的情况下更新或校正解剖模型38。该更新可以根据基于规则的系统，其中将解剖模型38用实时
数据更新，该实时数据(i)显示出足以执行更新的程度的偏差(诸如具有某一阈值大小、类型或其他标准的偏差)和(ii)被确定为是可靠的(诸如通过满足质量标准)。在一个实施方案中，如果(实时数据与模型之间的)偏差显示出模型与患者解剖结构之间的结构差异，诸如不同位置或不同尺寸的气道通道，则该偏差可足以执行更新。在一个实施方案中，可以基于不同的实时传感器之间的证实来评估传入的实时数据的质量。如果来自不同传感器的传入的实况数据相匹配(显示出相同的偏差)，则可以更新模型38。这些传感器可以是正在感测或监测患者的独立工具的一部分，或者可以联接到内窥镜12的远侧尖端。例如，感测结构可以包括超声换能器、光学传感器(例如，可见光谱或穿透性ir)、陀螺仪、磁力计、温度传感器、飞行时间传感器等。在一个示例中，飞行时间传感器生成包括密度点云的信号。处理密度点云信息以估计通道的表面特征，诸如轮廓、颜色变化或其他纹理特征。如果这些特征证实或匹配来自内窥镜相机的信息，则这些特征用于更新解剖模型38。又如，将超声数据分段或以其他方式处理以分辨用于更新解剖模型38的表面纹理信息。映射可以包括误差或模式匹配，以识别实况数据所映射到的解剖模型38的最接近的匹配部分。
65.在一个实施方案中，解剖模型38与实时数据之间的检测到的偏差区域可以在解剖模型38上突出显示或加阴影，作为ar查看器16中的用户通知。此外，根据基于规则的系统，某些类型的检测到的偏差可能会有不同的权重。在一个实施方案中，与诸如变色或出血的临时状况相关联的实时数据不用于更新解剖模型38，而与结构差异(通道尺寸、形状或轮廓)相关联的实时数据被传递到质量检查步骤以评估该数据是否具有足够高的质量来用于更新解剖模型38。
66.图2a和图3显示了内窥镜12在ar视图30中的模拟移动的示例。在图3中，内窥镜操作者已经用操作者的右手28向远侧推进内窥镜12，从而将内窥镜12朝着隆嵴58进一步向前移动到患者气道中。(隆嵴是气管末端的组织，在那里气管分成左支气管46l和右支气管46r。)图3显示了内窥镜控制器14的剖面正视图，示出了显示屏24的前面。显示屏24显示与ar窗口32中所示相同的相机图像34。在这种情况下，图像34示出隆嵴58、左支气管46l和右支气管46r。在内窥镜显示屏24(由内窥镜操作者握住)和ar视图30中的浮动窗口32上显示相同的图像34。因此，ar查看器具有同时查看与内窥镜操作者相同的临床视图的益处。
67.另外，在图3中，模拟的内窥镜36已经在解剖模型38内向远侧朝隆嵴58向前移动。解剖模型38的隆嵴58以及左支气管46l和右支气管46r现在处于模拟的内窥镜36的相机截头锥体54的视图内。
68.图3还显示了内窥镜12的远侧端部的放大剖视图。内窥镜12在内窥镜的远侧尖端处带有相机60和取向传感器56。相机60位于内窥镜12的远侧端部的末端，以获得向前的清晰视图。取向传感器56正好位于相机60的后面，使得来自传感器56的位置和取向数据表示相机60的位置和取向。在一个实施方案中，取向传感器56邻近相机60。在一个实施方案中，取向传感器56安装在相机60后面的柔性电路上。在一个实施方案中，取向传感器56安装在与相机60相同的柔性电路上，但是取向传感器和相机可以或可以不在共享的柔性电路上通信。在一个实施方案中，取向传感器56在每个维度上具有1mm至2mm之间的尺寸。在一个实施方案中，相机60在每个维度上具有1mm至2mm之间的尺寸。
69.内窥镜12的转向移动如图4所示。在该示例中，内窥镜12已被转向患者的左侧，以使左支气管46l可视化。该真实世界转向输入由显示屏24上的图像34中的左支气管46l的视
图来证明。另外，在ar浮动窗口32中显示相同的相机图像34。ar系统还通过向左转来渲染模拟的内窥镜36从而模拟内窥镜12的转向方向。如图4所示，相机截头锥体54现在指向左支气管46l。因此，模拟的内窥镜36显示内窥镜12在患者20体内的实际转向移动和当前取向。
70.图4还示出了内窥镜控制器14上的来自内窥镜操作者的转向输入引起ar显示30的改变。在图4中，内窥镜操作者在内窥镜控制器14上输入转向命令，以使内窥镜12的远侧尖端弯曲或转向。在所示的示例中，转向命令是显示屏24上的轻扫式输入62。内窥镜操作者触摸显示屏24(在本实施方案中包括触摸屏界面)，并向左或向右(如箭头62所示)或向上或向下轻扫，以指示使内窥镜12的远侧尖端弯曲或转向的方向。在另一个实施方案中，可以通过其他用户输入(诸如其他触摸输入或手势、显示屏24上的软键、手柄22上的硬件按钮或键、或其他输入)来接收转向命令。由内窥镜操作者输入到内窥镜控制器14的转向命令引起真实世界内窥镜12和ar视场30内的计算机生成的对象均发生变化。也就是说，转向命令(诸如轻扫式输入62)使内窥镜12弯曲或转动，并且还使ar视场30内的模拟的内窥镜36移动、弯曲或改变位置。在图4中，内窥镜操作者在触摸屏24上轻扫他或她的左拇指以使内窥镜12向左转向。因此，内窥镜12朝向患者体内的患者左支气管46l向左弯曲，并且模拟的内窥镜36在解剖模型38中朝向左支气管46l移动其相机截头锥体54。这样，增强ar视图30的计算机生成的图形主动响应内窥镜控制器14上的触摸输入。在相机截头锥体54限定模型38的照明或突出显示部分的示例中，截头锥体54的角度变化反映在模型38上渲染的改变的照明角度或突出显示中。
71.此外，对于具有可独立寻址的可转向区段(区段63a、63b)的内窥镜12，内窥镜标记36可指示区段63a、63b之间的分界以及它们彼此之间的相对位置和取向。每个区段63a、63b可以具有单独的取向传感器，该取向传感器提供取向信号，该取向信号用于渲染内窥镜标记36的区段并指示区段63a、63b的相对取向。又如，内窥镜12可以向ar控制器发送转向指令，ar控制器基于来自更远侧的区段63a的取向信号和提供给区段63a、63b的任何转向指令来估计更近侧的区段63b的取向。
72.图5显示了内窥镜12已经沿患者气道向下行进得更远，从而穿过右支气管并向下进入患者支气管48的下分支的示例。模拟的内窥镜36显示了该路径并显示了内窥镜在患者气道内的当前位置。不利用该增强视图，在房间内对规程提供协助但不操作内窥镜的临床医生就可能难以了解内窥镜12当前位于患者20体内何处。ar视图以易于看到和了解的方式呈现实时位置信息。
73.该计算机生成的增强现实视图可用于许多不同的临床场景。一个示例是培训，其中学生或经验较少的临床医生佩戴ar查看器16并通过ar视图30观看临床规程(在患者上或在人体模型上)。利用视图中的ar对象，学生或受训者可以更好地了解在真实或模拟规程期间在患者体内发生了什么。当学生或受训者操作内窥镜12，而教师或导师佩戴ar查看器16并观察学生的进展时，也可以使用ar系统。学生和教师可以轮流佩戴ar查看器16并通过ar视场观看该规程，以实践和演示不同的技术和临床规程。
74.另一个示例是由一个或多个受过训练的临床专业人员在临床规程期间使用，诸如医生、护士或监视规程进展的助手。ar视图30可以使这些其他团队成员能够在正确的时间准备或提供介入工具或器械，以监视患者的状态，和/或准备好操作。手术团队的成员可以通过ar视场30监视插管或探查，并准备在需要时介入以提供帮助或对患者进行手术。麻醉
师可以在管理患者麻醉的同时监视规程。一个具体的示例是使用内窥镜12监视患者的清醒插管。清醒插管可能具有挑战性，并且ar视图30允许规程的多个团队成员围绕患者定位，同时保持内窥镜进展的视图。在一个实施方案中，ar系统由多个不同的用户同时查看，并且每个用户可以彼此独立地定制他们的视图(诸如定制浮动窗口32)。
75.ar视场30可利用各种突出显示、颜色、网格、透明度、窗口、覆盖图和其他图形组件。在一个实施方案中，相机截头锥体54被描绘为解剖模型38中的计算机生成的图形，并且可以被渲染为邻近模拟的内窥镜36的远侧尖端的锥形的照明区域。照明可以被建模为照射到三维解剖模型38上的光，使得截头锥体54的锥体实际上照明模型38在其锥形视图内的解剖特征。例如，根据内窥镜12的感测位置，将照明提供为虚拟对象或提供为在解剖模型38上渲染的突出显示。在模型38用照明部分中的解剖特征纹理化的示例中，映射可以调整图像数据中的亮度和暗度，以指示远离内窥镜12的光源映射的变化的照明水平。另选地，截头锥体54可以被描绘为从模拟的内窥镜36的远侧尖端展开的虚线，或者被描绘为具有某种透明度的特定颜色的锥形区域，以使得解剖模型38能够透过该颜色可见。当锥体远离内窥镜的远侧端部向远侧移动时，其强度会减弱。颜色、线条、虚线、透明度和照明的其他组合可以在ar视场内实现。
76.内窥镜36的模拟也可以采用各种形状、颜色或形式。在一个实施方案中，如图3所示，模拟的内窥镜36被显示为具有延伸到模型38的近侧端部的长近侧尾部。在另一个实施方案中，内窥镜的近侧尾部被截断，而代之以仅模拟内窥镜36的一小段，如图4所示。在模拟的内窥镜36的近侧端部，模拟的内窥镜可以被截断或淡化，使得其不会占据ar视场的空间或不必要地阻挡任何视图。又如，内窥镜36的近侧端部可以向后延伸经过隆嵴58并在那里停止或淡化，如图5所示。可以使用各种其他图形表示、颜色和图像来渲染模拟的内窥镜36。
77.在一个实施方案中，ar视场显示了面包屑路径或轨迹，其示出内窥镜36在模型38中的移动历史。图5显示了一个示例，其中模型38包括阴影区域64。该阴影区域64指示内窥镜36在移动到其当前位置之前先前穿过模型38的该区域。在一个实施方案中，模型38包括三种不同类型的阴影或照明：截头锥体54内的第一最亮照明，其显示内窥镜的当前视图(诸如照明模型38的相对较亮的黄色、粉红色、橙色或其他颜色)；区域64中的第二不太亮的照明，其显示内窥镜先前已经行进的地方(诸如相同的颜色，但亮度相对较弱)；以及模型38的其余部分，其与其他两个区域相比亮度最弱(诸如相对更暗，透明的灰色)，表示内窥镜没有在那里行进。
78.在一个实施方案中，诸如阴影区域64的突出显示被用于显示向前进入患者解剖结构的期望路径，而不是过去移动的历史。阴影64或其他视觉提示可置于模型38内，用作向用户指示内窥镜进入患者腔的期望路径的路径点，诸如突出显示通向临床规程的目标区域的支气管。这些路径点可以在规程期间切换打开或关闭。可以调用路径点菜单(诸如通过点击按钮42)以选择解剖结构中的路径点，或查看先前在该规程之前保存的路径点。
79.图6显示了根据实施方案的ar系统的另一种表示。在该示例中，ar视场630可通过ar查看器616(在该情况下是一副智能眼镜)看见。ar视场630通过在患者胸部上叠加解剖模型634来增强患者620的视图。解剖模型634包括患者下气管和肺的计算机生成的图形。在图6的右侧，内窥镜612被引入到患者的气道中，并且ar视场630增加了模拟的图形内窥镜636。模拟的内窥镜636的远侧尖端指示内窥镜612在患者620体内的当前位置。在内窥镜636的前
面照明解剖模型634的区域654，以指示内窥镜相机的当前视图，在这种情况下沿着患者右支气管的主分支。
80.图7显示了根据实施方案的增强现实内窥镜系统700的框图。如图所示，该系统包括内窥镜712、内窥镜控制器714、ar控制器718和ar查看器716。内窥镜712包括相机760、光源766(诸如从内窥镜的远侧尖端向前照射的led)、转向致动器768(联接到内窥镜的远侧可转向区段，以如下所述使它们弯曲或不弯曲)和取向传感器756。内窥镜712通过有线(所示的)或无线连接与内窥镜控制器714相连，该内窥镜控制器包括处理器770、硬件存储器772、转向控制器774(诸如用于操作致动器768的马达或其他驱动器)、显示屏724和无线收发器776。内窥镜控制器714通过有线或无线(所示的)连接与ar控制器718相连，该ar控制器还包括处理器780、硬件存储器782、无线收发器786和存储的解剖模型734。ar控制器718可以是例如运行存储在存储器782上的软件的膝上型计算机或台式计算机。ar控制器718通过有线或无线(所示的)连接与ar查看器716相连，该ar查看器包括观察框717(诸如护目镜或眼镜)、处理器790、硬件存储器792和无线收发器796。ar查看器716还包括捕获ar查看器的视场的面向前的3d扫描仪798或相机。来自3d扫描仪798或相机的数据被传送到ar控制器718，作为用于将虚拟对象(诸如3d模型38)固定到ar视场内的真实世界对象(诸如患者)的输入。
81.在一个实施方案中，内窥镜(诸如内窥镜12、612、712)在内窥镜的远侧端部处包括一个、两个或更多个可转向区段。每个可转向区段可以独立于其他区段进行关节运动。在一个实施方案中，每个可转向区段可以三维弯曲和弯折(不仅仅在单个平面中，诸如向上/向下或向右/向左)，从而在所有方向上弯折到点，直到其运动范围的极限。例如，在一个实施方案中，每个区段可以在任何方向上弯折至多90度，使其能够在半球内移动，该半球的半径等于区段长度。每个区段由其自身的致动系统来操纵，包括一个或多个致动器(诸如，套管型拉线或下文所述的其他致动器)，该致动系统移动以将该区段弯曲成某一弯折或弯曲形状或将其从该弯折或弯曲形状中拉直。
82.内窥镜的远侧端部处的每个关节运动区段由转向系统(诸如转向控制器774)操纵，该转向系统操作联接到该区段的致动器(诸如转向致动器768)以弯曲或拉直该区段。转向系统可以包括基于电输入而改变形状的一个或多个记忆金属部件(例如，记忆导丝、镍钛诺导丝)、压电致动器(诸如squiggle电机，来自new scale technologies,victor ny)、可回缩型护套(可回缩以释放预成形的弯曲部件，诸如弹簧钢，当从护套中释放时恢复其弯曲形状)、机械控制线(拉线)、液压致动器、伺服电机，或者用于弯折、旋转或转动内窥镜的远侧端部或远侧端部处的部件的其他装置。
83.在一个实施方案中，在内窥镜控制器714的显示屏724上呈现图形用户界面(gui)。在一个实施方案中，显示屏724是触摸屏。gui通过检测用户在屏幕724上的触摸来接收用户输入。用户触摸屏幕指示用户想要将相机(诸如内窥镜712的相机760)指向何处。gui将该触摸输入发送到处理器(下面将更全面地描述)，该处理器生成指令以操作转向系统来弯曲一个或多个远侧区段，从而将相机轴线指向用户指示的方向。
84.在一个实施方案中，显示屏724包括对来自用户的轻击、触摸或接近手势做出响应的触摸屏。例如，用户可以输入触摸手势(诸如轻击、双击、轻击并长按、滑动或轻扫)，以识别屏幕上的图像内的目标点或方向。此手势识别出了用户希望将内窥镜转向到何处，并且控制器将这转换为真实世界转向方向和对应指令，用于操作该转向系统以使内窥镜的远侧
可转向区段在该方向上移动。用户可以在所需方向上轻扫触摸屏724，以重新取向内窥镜的远侧端部。相机的期望取向或移动可以从触摸屏724上的轻扫移动的方向和长度来解释。在一个实施方案中，转向输入可以附加地或替代地经由用户从菜单中选择、软键选择、按钮按压、转向杆操作等来提供。
85.在一个实施方案中，控制器714与内窥镜712一起作为两部分式内窥镜操作，其中控制器714用作内窥镜712的手柄、显示器和用户输入。在一个实施方案中，控制器714是可重复使用的，而内窥镜712是一次性使用的和用后即丢弃的，以防止患者或护理人员之间的交叉污染。控制器714本身不需要与患者接触，并且可以进行擦拭和清洁以与新的无菌内窥镜712一起准备好用于下一患者。在一个实施方案中，控制器714是手持棒，并且内窥镜712可移除地直接连接到该棒，用于将控制信号从棒传递到内窥镜以及将视频和位置信号从内窥镜传递到棒。在其他实施方案中，控制器714可以具有其他形式或结构，诸如视频喉镜、桌面显示屏、平板电脑、膝上型计算机、手持式光标器或其他形状因数。
86.内窥镜控制器714可以被配置为检测兼容的内窥镜712的联接和内窥镜系统700的范围内ar查看器716的存在，以激活系统700的各个部件之间的通信。以这种方式，内窥镜系统控制器14可以作为传统的内窥镜观察装置以一种模式操作，并且在激活所联接的ar查看器16和控制器718时，可以将相机和取向信息传送到ar控制器718。
87.图7的框图显示了各种装置之间的信号流。在一个实施方案中，内窥镜712向内窥镜控制器714发送图像信号(来自相机760)和取向信号(来自取向传感器756)。内窥镜控制器714接收图像信号并在显示屏724上显示图像数据。内窥镜控制器714还将图像信号和取向信号转发到ar控制器718，诸如通过两个装置上的无线收发器，和/或通过有线连接和/或中间装置。ar控制器718接收图像信号并通过ar查看器716在流动窗口32中提供图像数据。图像信号还可以被路由到其他装置、处理器或服务器，并且例如可以被显示或存储在其他显示屏、装置或其他ar视图上。在一个实施方案中，ar查看器716是无线的，并且可以在使用期间在不与其他装置相连的情况下操作。在一个实施方案中，ar查看器716是可佩戴的观察装置，诸如头戴式显示器(示例是来自microsoft的全息透镜装置)。
88.ar控制器718接收取向信号并使用该信息来更新解剖模型中模拟的内窥镜的渲染。取向传感器756是感测内窥镜的远侧端部的取向(诸如相对于重力的取向)和/或移动(加速度)的电子部件。为了实现这一点，取向传感器756包含一个传感器或多个传感器的组合，诸如加速度计、磁力计和陀螺仪。取向传感器756可以是惯性测量单元(imu)。取向传感器756检测内窥镜的远侧尖端的静态取向和动态移动，并且提供指示内窥镜的取向和/或内窥镜的运动的改变的信号。取向传感器756将该信号发送到控制器718。取向传感器756位于内窥镜712的管状壳体内。如图3所示，在一个实施方案中，取向传感器位于非常靠近内窥镜的远侧端部的末端之处，诸如相机后面，以使得取向传感器756能够捕获远侧尖端和相机的全部移动范围的大部分范围。在一个实施方案中，取向传感器756放置在第一可转向部分的远侧端部，远离该可转向部分的近侧端部，以将取向传感器远离移动支点放置。
89.在一个实施方案中，取向传感器756利用内窥镜712的远侧尖端的位置坐标和朝向生成取向信号，并将取向信号发送到内窥镜控制器714。然后，内窥镜控制器714将取向信号发送到ar系统，诸如发送到ar控制器718，该ar控制器使用该坐标和朝向信息来更新解剖模型734内的模拟的内窥镜的位置。例如，当真实世界内窥镜712在患者体内向远侧移动了1mm
的距离时，取向传感器756通过取向信号报告该位置变化。新的位置坐标由ar控制器718接收，并且模拟的内窥镜在解剖模型734内向前(向远侧)移动相同或成比例的量。然后通过ar查看器716在显示器(诸如浮动窗口32)中以图形方式渲染该新的位置。来自取向传感器756的数据信号可称为取向信号、移动信号或位置信号。
90.在一个实施方案中，ar控制器718使用取向信号和图像信号两者来确定如何在解剖模型734内移动内窥镜标记。图像分割、对象检测、对象跟踪、光流和其他计算机视觉技术可用于确认或验证内窥镜在特定方向或特定量上的移动。例如，参考图3至图4，ar控制器可以监视图像信号以跟踪内窥镜朝向左支气管46l的移动，然后进入该左支气管。
91.图8是描绘根据本公开的实施方案的用于在使用内窥镜的规程期间提供患者的增强现实视图的方法800的流程图。该方法包括在801从视场中的内窥镜接收位置信号和图像信号。位置信号包括来自内窥镜的取向传感器的位置、取向和/或移动数据，并且图像信号包括来自内窥镜的相机的图像数据。在ar控制器处接收位置信号和图像信号。该方法还包括在802显示覆盖在真实世界视场上的虚拟对象，包括显示来自图像信号的图像，显示所存储的配准到视场中的对象的三维解剖模型，以及在解剖模型中显示内窥镜标记。该方法还包括在803基于图像信号和位置信号实时更新虚拟对象。
92.图9是描绘根据本公开的实施方案的用于在使用内窥镜的规程期间将实况图像数据并入患者的增强现实视图中的方法900的流程图。该方法包括在901在ar控制器处接收来自内窥镜的取向信号和图像信号。取向信号包括来自内窥镜的取向传感器的位置、取向和/或移动数据，并且图像信号包括来自内窥镜的相机的2d图像数据。该方法还包括在902显示覆盖在与ar控制器通信的ar头戴式设备的真实世界视场上的虚拟对象，包括显示所存储的配准到ar头戴式设备的视场中的对象的三维解剖模型。该方法还包括在903基于实时图像信号和取向信号将来自相机的2d图像数据映射到3d解剖模型的一部分上，并且在904显示具有映射到解剖模型的3d空间中的投影的2d图像数据的解剖模型。
93.处理器(诸如770、780、790)可以是芯片、处理芯片、处理板、芯片组、微处理器或类似器件。控制器714、718和查看器716还可以包括用户输入装置(触摸屏、按钮、开关)。控制器714、718也可以包括电源(例如，一体式或可移除电池)，该电源为控制器、内窥镜或查看器的一个或多个部件以及通信电路系统提供电力，以促进与其他装置的有线或无线通信。在一个实施方案中，通信电路系统可以包括收发器，该收发器促进与远程医疗装置或全屏监测器进行握手通信。通信电路系统可以将接收到的图像实时提供给另外的监测器。
94.处理器可以包括一个或多个专用集成电路(asic)、一个或多个通用处理器、一个或多个控制器、fpga、gpu、tpu、一个或多个可编程电路或它们的任何组合。例如，处理器也可包括或指代用于显示屏的控制电路系统。存储器可以包括：易失性存储器，诸如随机存取存储器(ram)；和/或非易失性存储器，诸如只读存储器(rom)。图像数据可以存储在存储器中，以及/或者可以直接提供给处理器。此外，可以存储和收集针对每个患者规程的图像数据以供稍后查看。存储器可以包括可以由处理器读取和执行以执行本文公开的技术的存储的指令、代码、逻辑和/或算法。
95.尽管本技术是在气管内插管的背景下讨论的，但是应当理解，所公开的技术也可以用于其他类型的气道管理规程或临床规程。例如，所公开的技术可以与以下项结合使用：气道内的其他装置的放置、移除气道中的分泌物、关节镜手术、经过声带的支气管可视化
(支气管镜检查)、换管、肺活检、鼻或鼻气管插管等。在某些实施方案中，所公开的可视化仪器可以用于可视化解剖结构(诸如咽、喉、气管、支气管、胃、食道、上下气道、耳鼻喉、声带)，或者肿瘤、肿块或组织的活检。所公开的可视化仪器也可以用于抽吸、药物递送、消融或其他可视化组织治疗或与抽吸、药物递送、消融或其他可视化组织治疗结合使用，并且也可以与内窥镜、探条、导引器、镜或探头结合使用。此外，所公开的技术也可以应用于使用其他临床技术和/或器械的导航和/或患者可视化，诸如患者导管插入技术。以举例的方式，设想的技术包括膀胱镜检查、心导管插入术、导管消融、导管药物递送或基于导管的微创手术。
96.虽然本公开可以容许各种修改和替代形式，但是附图已经以示例的方式示出了特定实施方案，并且已经在此对其进行了详细描述。然而，应当理解，本文提供的实施方案并非旨在限于所公开的特定形式。相反，各种实施方案可以囊括属于如以下所附权利要求所限定的本公开的精神和范围内的所有修改、等效物和替代物。