具有运动对准的可转向内窥镜的制作方法

具有运动对准的可转向内窥镜
1.相关申请的交叉引用
2.本技术要求于2019年8月19日提交的美国临时申请号62/888,906和于2020年4月20日提交的美国临时申请号63/012,741的优先权和权益，出于所有目的，此公开以全文引用的方式并入。
技术领域
3.本公开总体上涉及医疗装置，并且更具体地涉及具有主动运动对准的可转向内窥镜，以及相关的方法和系统。


背景技术：

4.医用内窥镜是长的柔性器械，其可以在各种情况下的医疗程序中被引入患者腔中，以便于在腔内进行可视化和/或医疗程序。例如，一种类型的镜是在其远端具有摄像机的内窥镜。内窥镜可以被插入到患者的嘴、咽喉或其它腔中，以帮助可视化解剖结构，或便于诸如活组织检查或消融的程序。内窥镜可以包括可转向的远侧尖端，该可转向的远侧尖端可以被主动控制以在期望的方向上弯折或扭转远侧尖端，以获得期望的视图或导航穿过解剖结构。然而，这些可转向镜可能难以操纵到患者解剖结构内的期望位置和方向。


技术实现要素：

5.以下总结了在范围上与最初要求保护的主题相称的某些实施例。这些实施例不旨在限制本公开的范围。实际上，本公开可以包括可能类似于或不同于以下阐述的实施例的各种形式。
6.在实施例中，计算机控制的内窥镜系统包括内窥镜和控制器。该内窥镜具有柔性管状体，该柔性管状体具有在该主体远端的第一铰接段，以及联接到第一铰接段近端的第二铰接段。第一铰接段包括具有沿摄像机轴的视场的摄像机和对沿运动轴的移动敏感的方向传感器。控制器与内窥镜通信，并且具有存储用于分析运动轴和摄像机轴之间的对准的指令的硬件存储器。在内窥镜运动期间，控制器使内窥镜的第一铰接段和第二铰接段转向，以改善对准。
7.在实施例中，用于计算机辅助内窥镜转向的方法包括通过触摸屏显示器接收用户输入以移动内窥镜的观察轴。该内窥镜具有第一独立铰接段和第二独立铰接段、具有沿观察轴的视场的摄像机以及方向传感器。响应于用户输入，该方法包括铰接内窥镜的第一铰接段以移动观察轴。该方法还包括从方向传感器接收指示内窥镜沿运动轴的移动的运动信号、在处理芯片处将运动轴与观察轴进行比较，以及生成转向信号，该转向信号控制第一铰接段和第二铰接段的铰接，以减小运动轴和观察轴之间的差异。
8.在实施例中，用于内窥镜自动转向的计算机实施方法包括通过图形用户界面接收包含移动内窥镜的观察轴的方向的用户输入。该内窥镜具有第一独立铰接段和第二独立铰接段、具有沿观察轴的视场的摄像机以及方向传感器。该方法包括生成具有用于在由用户
输入指示的方向上弯折内窥镜的第一铰接段的指令的第一转向信号。该方法还包括从方向传感器接收指示内窥镜的向前运动的运动信号，以及在没有来自用户的转向输入的情况下，生成具有用于在内窥镜的向前运动期间弯折第二铰接段的指令的第二转向信号。
9.在实施例中，计算机控制的内窥镜系统包括内窥镜，该内窥镜包括柔性管状体，该柔性管状体具有在该主体远端的第一铰接段和第一铰接段近侧的第二铰接段，其中该第一铰接段包括摄像机和方向传感器。该系统还包括与内窥镜通信的控制器，该控制器从方向传感器接收用户转向输入和运动信号。该控制器包括转向控制器，该转向控制器控制第一铰接段和第二铰接段的独立铰接，以铰接第一铰接段，从而根据用户转向输入呈现摄像机的摄像机轴的方向，并且在内窥镜向前运动期间，通过铰接第一铰接段和第二铰接段使摄像机轴保持在该方向上。
10.一个方面或实施例中的特征可以作为任何其它方面或实施例中的特征以任何适当的组合来应用。例如，系统、喉镜、手柄、控制器、内窥镜或方法特征中的任一个可以应用为系统、喉镜、控制器、内窥镜或方法特征中的任一个或多个。
附图说明
11.通过阅读以下具体实施方式并且参考附图，所公开的技术的优点可以变得显而易见，在附图中：
12.图1a是沿远侧方向移动穿过患者腔的内窥镜的截面图。
13.图1b是沿远侧方向移动穿过患者腔的内窥镜的截面图。
14.图2a是根据本公开的实施例的具有主动运动对准的铰接内窥镜的截面图。
15.图2b是根据本公开的实施例的具有主动运动对准的铰接内窥镜的截面图。
16.图2c是根据本公开的实施例的具有主动运动对准的铰接内窥镜的截面图。
17.图2d是根据本公开的实施例的具有主动运动对准的铰接内窥镜的截面图。
18.图3是根据本公开的实施例的向远侧移动穿过患者组织的两个铰接内窥镜的截面图，以展示运动对准转向。
19.图4是根据本公开的实施例的图形用户界面的正视图。
20.图5a是根据本公开实施例的用于运动对准的光流技术的示意图。
21.图5b是根据本公开实施例的用于运动对准的光流技术的示意图。
22.图5c是根据本公开实施例的用于运动对准的光流技术的示意图。
23.图6是根据本公开的实施例的控制器和内窥镜的透视图。
24.图7是根据本公开的实施例的控制器和内窥镜的框图。
25.图8是描绘根据本公开的实施例的用于计算机辅助内窥镜转向的方法的流程图。
26.图9是描绘根据本公开的实施例的用于计算机辅助内窥镜转向的方法的流程图。
具体实施方式
27.本文提供的医疗镜或内窥镜是薄的、细长的、柔性器械，其可以插入体腔中用于探查、成像、活组织检查或其它临床治疗，包括导管、狭窄管状器械或其它类型的镜或探针。内窥镜可以被导航到体腔(诸如患者的气道、胃肠道、口腔或鼻腔，或其它腔或开口)中，并且由用户通过将远端推进到期望位置以及，在某些实施例中，内窥镜的仿生运动来引导进入。
内窥镜的形状可以是管状的。
28.通常通过从装置的近侧部分(在患者腔外)传递的力将长的柔性医疗装置推进到患者腔内，这导致远侧尖端在患者腔内推进。例如，将医疗装置的近侧部分(诸如手柄)保持在患者腔外的医生或其它护理人员向下或向前推动，并且所产生的运动被传递到远侧尖端，从而导致尖端在腔内向前移动。类似地，由护理人员在近侧部分施加的拉力可以导致远侧尖端后退或沿相反方向移动离开患者腔。然而，因为患者腔不是规则地成形或特定大小的，所以内窥镜移动穿过曲折的路径，并且从近端以推或拉运动传递的力可能不会导致在远侧尖端处的可预测的运动。
29.图1a至1b示出了不期望的运动的实例，该实例示出了沿远侧方向移动穿过患者腔的内窥镜10的截面图。在该实例中，患者腔是鼻腔和口腔，通向食管12和气管14，并且操作者打算将内窥镜10引导到气管14中。标记为参考的还有患者的舌头16、下巴18、声带28和腭26。在图1a中，操作者使内窥镜10穿过鼻腔向前移动到会厌22和沟24后面的区域。此时，操作者停止并且将内窥镜的远侧尖端29向上朝向气管14(在图中)弯折，如内窥镜12的远侧尖端的虚线所指示。远侧尖端29可以铰接到该向上弯折处中，以便允许操作者控制在远侧尖端29处的摄像机的视图，并且在患者腔内环视。
30.气管在食管上方(向前的，朝向患者的胸部)，并且因此内窥镜必须沿向前的方向导航以避免进入食管。在图1b中，操作者沿远侧方向向前推动内窥镜10，如箭头d所指示。然而，内窥镜的向前运动将其向前移动到食管12中，而不是气管14中。如果操作者打算对患者插管(将气管内导管通入患者的气管)，则内窥镜的这种移动是不可取的。事实上，如果操作者没有意识到内窥镜已经移动到食管中而不是气管中，则操作者可能无意中进行食管插管(将气管内导管插入食管中而不是气管中)，这会对患者造成医疗紧急情况(因为呼吸气体随后被输送到胃肠系统中而不是肺中)。
31.图1a至1b展示了内窥镜近端(患者体外)处的推力可能不足以导致远侧尖端29在患者腔内沿期望方向转向。平滑地导航内窥镜10的长度穿过患者腔的弯曲或不规则部分可能是特别有挑战性的。
32.本文提供了具有计算机控制或自动控制转向的铰接内窥镜，所述转向使内窥镜的运动与其观察方向对准。可以执行这种对准以校正、改进或增加用户提供的转向输入，该转向输入提供关于远端的期望位置的粗略引导。根据实施例，内窥镜系统包括具有柔性管状体的内窥镜，该柔性管状体在其远端包括第一铰接段和第二铰接段。第一铰接段包括具有沿摄像机轴的视场的摄像机，以及对沿运动轴的运动敏感的方向传感器。该系统还包括与内窥镜通信的控制器，并且该控制器执行运动轴和摄像机轴之间的对准的自动分析。控制器主动使内窥镜的第一段和第二段转向以改善对准。尽管在第一铰接段和第二铰接段的上下文中公开了实施例，但是应理解，内窥镜系统可以包括具有如本文提供的附加铰接段(例如，第三、第四)的内窥镜。
33.图2a至2d示出了根据本公开的实施例的定位在患者腔内并且移动穿过患者腔的内窥镜220的截面图。内窥镜220包括在内窥镜220的远侧尖端229处的摄像机230。所描绘的运动模式包括可转向内窥镜220的不同(例如，第一、第二)可致动部分的铰接，以产生穿过患者的气管的期望移动。以实例的方式示出了鼻腔和口腔以及气管，并且在其它实施例中，内窥镜可以进入其它患者腔，并且穿过解剖结构的其它变化。
34.图2a至2d示出了穿过患者解剖结构移动的内窥镜220的矩形截面图，以及示出了来自内窥镜220的摄像机230的视图的圆形视场230v。内窥镜220包括在内窥镜220的远侧区域处的两个可转向段232、234。两个可转向段彼此联接，第一段232在第二段234的远侧。每个段232、234可以独立于其它段铰接。在实施例中，段232、234可以彼此直接邻近或者可以由内窥镜220的中间连接部分分开。在实施例中，每个段232、234可以在三个维度上(不仅仅在单个平面中，诸如上/下或右/左)弯折和弯曲，弯曲以指向所有方向，直到其运动范围的极限。例如，在实施例中，每个片段可以在任何方向上弯折高达90度，使其能够在半径等于段的长度的半球内移动。每个段由致动系统操纵，该致动系统包括一个或多个致动器(诸如套筒式拉线或下面描述的其它致动器)，该致动器移动以使段弯折成弯曲形状，或使段变直脱离弯曲形状。每个段232、234可以由控制所有铰接段的中央致动系统控制，或者可以联接到用于每个铰接段的专用致动系统。
35.在图2a中，两个可转向段232、234处于静止的默认位置，在该位置它们不主动弯折。内窥镜220已经穿过患者的鼻腔进入咽喉，并且指向患者的食管12。摄像机230沿摄像机轴ca指向，如虚线所指示。在该配置中，段232、234是直的，轴ca指向患者的食管12。摄像机的视图230v示出了食管12的视图，声带28在朝向视图的顶部可见。
36.仍然参考图2a，护理人员可以提供输入(例如，用户输入)以使摄像机向上朝向声带28。例如，护理人员可以轻敲触摸屏上显示的视场230v上的声带28，以命令内窥镜朝向该视图向上弯折。用户的触摸输入指示方向ca2是用户想要摄像机指向的地方。作为响应，内窥镜向上弯折第一段230，如图2a中的第二虚线ca2所示。
37.在转向之后，内窥镜现在沿段232弯曲至沿轴ca2指向，如图2b所示。此时，如果内窥镜在远侧方向上向前移动而没有任何进一步的转向，则它可能撞击气管壁29，或者在气管壁下方通过而进入食管12。因此，在实施例中，内窥镜220主动地使其自身转向以将其运动与摄像机轴对准。这种自动的运动对准转向在图2b至d中示出。在图2b中，用户在远侧方向上推动内窥镜220，并且内窥镜是计算机控制的，以自动铰接第二段234，从而使内窥镜的运动与摄像机的观察轴对准。因此，当用户在图2b中向前推动(在远侧方向上)时，内窥镜检测到该运动并且铰接第二段234以进行补偿。第二段234的铰接可以在向前运动发生时发生，使得主动转向在内窥镜220运动时发生。第二段234弯折以使其自身与摄像机轴ca对准。这种主动转向导致内窥镜220的远端朝向气管14向上弯折，摄像机轴ca指向气管。在图2b中，视场230v现在指向声带28的上方，并且段232、234两者向上弯折(沿向前方向，朝向患者的胸部)。
38.此时，用户可以使摄像机向后向下转向，以将摄像机的视图230v指向声带并且进入气管，如图2c所示。例如，用户可以在触摸屏显示器上轻敲声带28，并且内窥镜通过向下弯折第一段232以指向声带28来响应。此时，第一段232向下弯折(沿向后的方向，朝向患者的背部)，而第二段234仍然向上弯曲(向前的)，如图2c所示。
39.从这里，如果用户将内窥镜220进一步向前推入患者体内(在远侧方向上)，则内窥镜220将再次主动地使自身转向以将其运动与摄像机的轴ca对准，如图2d所示。在图2d中，用户已经向前推动内窥镜220穿过声带28。内窥镜220检测向前的运动并且沿向前的方向弯折第二段234以使该运动与摄像机的视轴ca对准。此时，段232、234两者都沿向后的方向弯折，并且视场230v现在观察经过声带28的气管壁。
40.在实施例中，自动运动对准转向应用于第一段232和第二段234。在这种情况下，系统允许用户在内窥镜220静止或不运动时使第一段232转向(以指向摄像机轴ca)，并且在内窥镜移动时自动使第一段和第二段转向。在另一实施例中，即使在运动期间，自动运动对准转向允许用户提供使第一段232转向的输入，并且系统解释用户输入以及运动信号以使第一段232转向。即，该系统允许在内窥镜220平移期间通过第一段232和/或第二段234的铰接来使远侧尖端29转向。在实施例中，用户转向输入仅用于直接使第一段232转向，而自动或主动转向用于控制段232、234两者。即，用户转向输入导致第一段232的直接移动以使摄像机230重新定向。当摄像机230处于期望方向时，自动转向控制段232、234的铰接，以在运动期间沿摄像机轴ca保持摄像机视场230v。
41.图3示出了移动穿过患者体内的内部通道的两个不同内窥镜的示意图。在行300中，内窥镜10在其远端仅包括一个可转向段。用户可以指示内窥镜使该远侧段转向以将内窥镜及其摄像机指向用户想要其去的地方(配置300a)，但是内窥镜不能通过使远端处的单个可转向段转向来主动地将其运动与摄像机的视图对准。因此，当用户向前(向远侧)推动内窥镜10时，内窥镜在其向前移动时沿患者的组织(结构300b和300c)推动和摩擦。例如，当内窥镜移动穿过肺中的支气管通道时，内窥镜10的前导入边缘在其向远侧移动时摩擦支气管壁。这种直接接触可以刺激组织，并使摄像机的视图模糊(通过将其指向组织或用分泌物覆盖)。这里，内窥镜10的单段转向和平移的组合提供了内窥镜10的不期望的定位。
42.相反，在行302中，根据本公开的实施例的内窥镜20在其远端包括两个可独立转向段。在实施例中，该内窥镜20是计算机控制的，以主动地使两个段转向，从而使内窥镜的远侧运动与摄像机的观察轴对准。因此，内窥镜20弯折远离组织壁，减少了患者的组织和内窥镜导入边缘之间的接触。
43.在实施例中，在内窥镜的向前(远侧)运动期间，而不是在内窥镜的向后(近侧)运动期间，内窥镜主动地使两个远侧铰接段转向以使其运动轴与其摄像机轴对准。在向后(近侧)运动期间，用户可以使第一(最远侧)铰接段转向以控制摄像机的视图，但是第二铰接段(第一铰接段的近侧)保持被动(非主动铰接)。
44.图3的行302还示出了内窥镜20的远端的放大剖视图，以示出摄像机30和方向传感器56的布置。该实例示出了定位在内窥镜20的远端的终点处的相机30，以获得清晰的向前视野。方向传感器56正好位于摄像机30的后面。在实施例中，方向传感器56邻近摄像机30。在实施例中，方向传感器56安装在摄像机30后面的印刷电路组件(例如，柔性电路)上。在实施例中，方向传感器56安装在与摄像机30同一印刷电路组件上，尽管方向传感器和相机不需要在共享的印刷电路组件上通信。在实施例中，方向传感器在每个维度上具有1-2mm之间的大小。
45.方向传感器56是感测内窥镜远端的方向(诸如相对于重力的方向)和/或移动(加速度)的电子部件。方向传感器56生成指示方向和/或移动的运动信号。方向传感器56由传感器或传感器的组合组成以实现这一点，诸如加速计、磁力计和陀螺仪。方向传感器56可以是惯性测量单元(imu)或允许偏航测量的磁、角速率和重力(marg)传感器。方向传感器56检测内窥镜的远侧尖端的静态方向和动态移动，并且提供指示内窥镜方向的变化和/或内窥镜运动的信号。方向传感器56将该信号发送到控制器。方向传感器56位于内窥镜20的管状壳体内。如图3所示，在实施例中，方向传感器56位于非常靠近内窥镜20的远端的终点处，诸
如在摄像机30的后面，以使方向传感器56能够捕获远侧尖端和摄像机30的整个移动范围的大部分。在实施例中，方向传感器56布置在第一可转向部分的远端，远离可转向部分的近端，以远离移动支点布置方向传感器。
46.图3的行302还展示了第一段和第二段的铰接如何使运动轴与摄像机轴对准。在配置302a中，内窥镜20指向通道，如摄像机轴ca所示。所示的内窥镜20的部分不接触患者腔或通道的侧壁。如果用户向前推动以推进内窥镜20，则内窥镜20将沿运动轴ma向前移动，该运动轴ma偏离摄像机轴ca。控制器检测该偏移并且通过弯折一个或多个远侧段来响应以进行补偿。例如，在配置302b中，内窥镜20主动地弯折第二铰接段以减小ca与ma之间的偏移。通过弯折，片段将沿ma的运动转换成沿ca的运动。当用户继续向前推进内窥镜20时，其最终与患者组织接触，如配置302c所示。与组织的接触点使内窥镜20沿期望的方向偏转，以便用户的附加推动将使内窥镜沿摄像机轴ca向前移动。因此，内窥镜20的其余部分不需要是主动可转向的。镜的其余部分(两个铰接段的近侧)应是柔性的，以便其可以被动地跟随铰接段，弯曲以沿铰接段转向穿过的通道跟随曲折路径。
47.第一铰接段和第二铰接段的铰接可以是并行的(即，同时)或可以以连续的或以交替(例如，快速交替)的方式执行。在实例中，通过快速连续地一次驱动一个马达来交替铰接。此外，第一铰接段和第二铰接段的铰接可以在相反的方向上，使得一个段与另一个段的方向相反地转向。
48.图3的行302还展示了第二可转向段和患者的组织之间的浅接触角。在实施例中，第二段具有足够长的长度，以在第二段和组织之间具有浅接触角的情况下将第一段提升离开组织壁。在实施例中，该接触角为约40度或更小。因此，第二段具有足够的长度以使第一段远离患者的组织推进，而第二段不必弯折超过大约40度。在实施例中，该角是约50度或更小，或约30度或更小。浅角还帮助保护患者的组织，通过产生平滑曲线而不是更尖锐的曲线来减少刺激。浅角还使内窥镜能够在来自使用者较小的力下滑过组织。在实施例中，第二段比第一段长。在实施例中，第一段具有约35mm的长度，并且第二段具有约50mm的长度。在实施例中，第一段具有大约20-40mm的长度，并且第二段具有在大约30-50mm范围内的较长长度。
49.在实施例中，内窥镜使用来自方向传感器56的信号来识别重力方向(向下)，并且然后在相反方向(相反重力)上向上弯折第二段，以将第一段和摄像机提升到患者的组织之上。重力方向还可以用作输入，以确定接近患者的组织的特定部分。如果内窥镜推靠组织，则可以在绝对空间中识别推动点或支点的位置。位置信息可以用于按比例调节对用户输入的灵敏度。进入气道越远，结构越小。如果正在推断附近结构的相对位置，则其可以帮助按比例缩减，因此沿其移动时，类似的输入手势在视频传送中产生类似的移动。类似地，如果所有参考点都在远处，则从相对类似的输入生成更夸张的铰接。
50.图4是根据本公开的实施例的图形用户界面(gui)400的正视图。gui 400呈现在控制器410的显示屏412上，在图4中控制器是手持棒416。在该实施例中，显示屏412包括触摸屏414。gui 400通过检测用户在屏414上的触摸来接收用户输入。用户触摸该屏以指示用户想要将摄像机(诸如内窥镜220的摄像机230)指向何处。gui 400将该触摸输入发送到处理器(下面更全面地描述)，该处理器生成弯折第一远侧段(诸如段232)以将摄像机轴指向用户触摸的方向的指令。在该特定实例中，用户可以用他或她的左手握持棒416，并且用左手
的拇指触摸屏414，使右手自由握持并且推进内窥镜。用户可以通过用他或她的拇指轻敲屏414来使内窥镜摄像机(诸如摄像机230)转向(如图4所示)，并且然后可以通过用他或她的右手向前推动内窥镜来推进内窥镜420(或者通过向后拉动来移除内窥镜420)。
51.控制器410被示为棒416，并且内窥镜420可移除地直接连接到棒416，用于将控制信号从棒传递到内窥镜以及将视频信号从内窥镜传递到棒。在其它实施例中，控制器410可以具有其它形式或结构。例如，控制器410可以是视频喉镜、桌面显示屏、平板电脑、膝上型电脑、手持式光标器或其它形式因数。
52.在实施例中，gui 400包括响应于来自用户的轻敲、触摸或接近手势的触摸屏。例如，用户可以输入触摸手势(诸如轻敲、双击、轻击并保持、滑动、加亮或触划)以识别屏上图像内的目标点或方向。该手势识别用户期望使内窥镜转向的位置，并且控制器将其转换成真实世界的操转向方向和用于操作转向系统以在该方向上移动内窥镜的远侧可转向段的对应指令。用户可以在触摸屏414上以期望的方向触划以使内窥镜的远端重新定向。摄像机的期望方向或移动可以从触摸屏414上的触划移动的方向和长度来解释。在实施例中，可以附加地或替代地通过用户从菜单中选择、选择软键、按压按钮、操作操纵杆等来提供转向输入。在实施例中，用户可以圈起或以其它方式加亮显示图像中远端应朝向其转向的部分。
53.具有内窥镜420的控制器410作为两部分式内窥镜操作，其中控制器410用作内窥镜420的手柄、显示器和用户输入。在实施例中，控制器410是可重复使用的，并且内窥镜420是单独使用和一次性的，以防止患者或护理人员之间的交叉污染。控制器410本身不需要与患者接触，并且它可以被擦拭和清洁，并且准备与新的无菌内窥镜420一起用于下一个患者。
54.在实施例中，内窥镜420(例如，内窥镜220，见图2)自动地响应于检测到的运动主动地铰接第一段和第二段(例如，段232、234，见图2，或者替代地仅铰接第二段234)，而无需来自用户的转向输入。用户提供两个输入，即摄像机轴ca的方向(用户可以通过轻敲图4中的屏414来输入该方向)，以及内窥镜向近侧或向远侧的平移。用户不需要提供附加的输入来使段232、234沿用户希望的方向转向。相反，内窥镜220将自动转向以试图使其运动与摄像机轴对准。这种自动转向使用户免于聚焦在屏414(图4中)显示的解剖结构上以及用户想要去的地方，而不必确定如何手动操纵内窥镜以在该方向上移动。
55.转向控制系统可以使用计算机视觉技术来识别摄像机方向的变化和/或预测期望的用户导航方向。图5a至c是根据本公开的实施例的用于运动对准的光流技术的示意图。该图给出了用于将运动与摄像机轴对准的示例性方法。图5a至c示出了显示在控制器510的显示屏512上的来自内窥镜摄像机的视图，在这种情况下控制器是视频喉镜518。显示屏512示出了来自患者腔内的内窥镜摄像机的视场530v。在图5a中，视场530v沿患者的气管指向，并且该视野包括连续的气管环514a。
56.发散的箭头pf表示当内窥镜向前移动到气管中时穿过屏的像素流。当内窥镜向前移动时，视野中的各个对象将沿这些箭头移动。因此，箭头pf指示当内窥镜被那些对象推进(如上所述，继续)时图像中的对象移动的方向。特别地，内窥镜的运动轴朝向这些对象看起来发散的点。该点也可以被称为消失点vp，该消失点vp是箭头pf发散的点。当图像中的对象看起来沿箭头pf移动时，内窥镜朝向点vp移动。
57.在图5a中，消失点vp在视场530v的中心附近。这指示运动轴和摄像机轴之间的对
准良好。即，摄像机的视场指向消失点，该消失点是内窥镜移动的预期方向。
58.在图5b中，消失点vp偏移到摄像机视场530v的右侧。当摄像机转向左侧(在图5的方向上)，而内窥镜继续在其先前所指向的方向上移动时，可以产生该视图。对象流(沿箭头pf)现在变得更平行，而不是从视野的中心发散。
59.在图5c中，消失点vp不可见。当摄像机进一步向左转向(在图5a至c的方向上)时，可以产生该视图。箭头pf变得更加平行，而不是发散。该视图指示运动轴和摄像机轴没有对准。
60.像素流、消失点或像素发散的分析可以用于主动控制内窥镜以改善运动和摄像机对准。像素组可以被识别为图像中的对象，并且像素流可以指对象到摄像机/显示器的不同像素的移动。在实施例中，内窥镜控制器执行自动分析以生成指示内窥镜的摄像机轴和运动轴之间的对准程度的对准度量。控制器生成转向信号以铰接内窥镜的第一铰接段和/或第二铰接段，从而改善对准度量。
61.在实施例中，可以使用诸如像素亮度、像素速度和像素深度的像素特性来跟踪运动。例如，像素亮度可以用于估计与摄像机的接近度(亮度指示接近度-即，较亮的像素与较不亮的像素相比更可能较接近于摄像机，较不亮的像素可能更远离摄像机)，并且运动期间像素亮度的改变可以用于跟踪摄像机方向的局部变化。
62.在实施例中，对准度量是对象(在视场中)与视场的中心的偏差。控制器识别视场的中心附近的对象(诸如声带、支气管通道、肿瘤或其它解剖结构)并且跟踪视场内的对象。如果对象保持在中心附近，则内窥镜可能在其指向的方向上移动。如果对象偏离中心，则内窥镜可能不再在该方向上移动，并且控制器铰接内窥镜以进行补偿。以这种方式，摄像机轴可以通过主动转向锁定到特定的解剖特征上。在实施例中，控制器识别图像数据中的通道壁(组织)，并且自动使摄像机轴转向，以使其位于通道的中间(指向壁之间，而不是直接在壁上)，并且指向沿通道向下的向前运动方向。
63.在实施例中，对准度量是在视场内移动的像素的分散(发散)程度。
64.在实施例中，对准度量是视场中光流线的会聚百分比。
65.在实施例中，对准度量是视场中的点到视场的中心的接近度。该接近度是内窥镜是否朝向该点移动的指示符。在实施例中，该点是消失点(在视场中移动的像素的)，并且消失点与中心的接近度指示内窥镜是否在摄像机所指向的方向上移动。在另一实施例中，该点是视场内的可能目标(诸如解剖特征)，并且目标与中心的接近度指示内窥镜是否朝向目标移动。解剖目标也可以用在负反馈环中，以计算误差和调节-例如，如果目标移动离开视图中心，则系统沿相反方向使内窥镜转向。
66.在实施例中，对准度量是内窥镜的远端的方向与内窥镜的运动之间的一致或差异的量。这两个信号-方向和加速度-可以从方向传感器获得。如果内窥镜在摄像机指向的位置移动，则方向和加速度信号将对准。
67.在实施例中，控制器使用内窥镜的局部和整体方向信息，以在内窥镜的运动和患者通道内的导航期间将摄像机轴保持在期望的方向。局部方向可以至少部分地从由摄像机捕获的图像数据中提取。局部方向可以包括识别解剖特征的存在和位置以及确定摄像机相对于解剖特征的位置和方向。整体信息可以从来自方向传感器的运动信号中提取，并且可以包括内窥镜相对于重力的方向和由患者运动或用户操纵导致的内窥镜运动。在组合中，
局部和整体信息可以用于提供转向控制指令以使第一铰接段和/或第二铰接段转向。
68.图6示出了包括手柄或把手640和屏614的控制器610的透视图。在实施例中，控制器610是具有摄像机650并且联接到喉镜窥视片652的喉镜。控制器610连接到内窥镜620，该内窥镜穿过气管内导管642(具有可充气套囊644)传送。内窥镜620在其近端620p处连接到控制器610。在其相对的远端620d处，内窥镜包括两个铰接段632、634和摄像机630。在一个示例性使用情况中，控制器610和内窥镜620在患者插管程序期间使用。内窥镜的近端620p连接到控制器，并且来自摄像机630的图像显示在屏614上。利用一只手(诸如左手)，用户轻敲屏614以使内窥镜摄像机630转向，并且利用另一只手(诸如右手)，用户将内窥镜620向前推入患者腔中。当内窥镜就位时(对于插管，内窥镜穿过患者的声带进入气管)，近端620p与控制器610断开，并且气管内导管642经过内窥镜。一旦近端620p从气管内导管642出现，内窥镜可以重新连接到控制器610。然后，气管内导管642经过内窥镜进入气管，并且然后，内窥镜可以从患者体内抽出，穿过导管642将其收回。
69.在实施例中，所公开的内窥镜转向技术可以用作唤醒插管的一部分，其中用户面向患者且患者可以笔直坐着。内窥镜620本质上可以从第一方向(其中患者的胸部在用户的屏上是向下的)(在开始时，当内窥镜620被传送入患者的鼻子中时)“翻转”到第二相反方向(其中患者的胸部在用户的屏上是向上的)(在内窥镜620已经穿过鼻通道之后)。通过允许用户将摄像机定向到所捕获图像的特定特征，通过由控制器610在后台执行并且无需用户输入的自动转向来保持摄像机轴。
70.内窥镜远端处的每个铰接段由转向系统操纵，该转向系统操作联接到该段的致动器以弯折或拉直该段。转向系统可以包括基于电输入改变形状的一个或多个记忆金属部件(例如记忆线、镍钛诺线)、压电致动器(诸如来自纽约维克多的new scale technologies的squiggle马达)、可缩回护套(可缩回以释放预先形成的弯曲部件，诸如当从护套中释放时恢复其弯曲形状的弹簧钢)、机械控制线(拉线)、液压致动器、伺服马达或用于弯折、旋转或转动内窥镜的远端处的远端或部件的其它装置。
71.复杂的运动模式可以由在内窥镜的远端处联接到两个独立的铰接段的致动器来实现。例如，当两个段沿不同方向(诸如一个向上弯曲而另一个向下弯曲)致动时，可产生“s”形状。内窥镜包括壳体，该壳体是柔性的以允许在患者腔内操纵内窥镜。
72.此外，因为段的铰接可以改变远端的旋转方向，所以内窥镜的远侧弯折和移动是独立于内窥镜近端的方向、位置或移动而完成的。因此，相对于转向依赖于扭转力传递的实施方案，内窥镜的结构可以具有较小的扭转刚度。在实施例中，内窥镜是具有低扭转刚度(低到扭转旋转不会从近端平移到远端)的挤压结构。在实施例中，内窥镜是非编织结构，诸如挤压聚合物。在实施例中，内窥镜是没有扭转加强件的挤压结构，诸如编织线或编织结构。
73.图7示出了包括内窥镜720和控制器710的框图。它们之间的连接可以是有线的(在这种情况下，它们各自具有电连接器)或无线的(在这种情况下，它们各自包括无线收发器)。内窥镜720包括摄像机730和在内窥镜远端处的方向传感器756。方向传感器可以是惯性测量单元(iniu)、加速计、陀螺仪或其它合适的传感器。内窥镜720还包括光源762和致动器760，该致动器联接到远侧可转向段以使它们弯折或变直，如本文所述。
74.控制器710包括处理器766或芯片(诸如芯片、处理芯片、处理板、芯片组、微处理器
或类似装置)、硬件存储器768、显示屏712(诸如触摸屏)和转向控制系统770，该转向控制系统可以包括用于操作致动器的马达或其它驱动器。控制器710还可以包括一些其它类型的用户输入(按钮、开关)和电源(诸如板上可拆卸的和/或可充电电池)。
75.控制器710还可以包括向内窥镜的一个或多个部件提供电力的电源(例如，集成的或可拆卸的电池)以及便于与其它装置进行有线或无线通信的通信电路。在一个实施例中，通信电路可以包括收发器，所述收发器便于与远程医疗装置或全屏监测器进行握手通信。通信电路可以实时地将接收到的图像提供给附加的监视器。
76.图8是示出根据实施例的用于计算机辅助内窥镜转向的方法800的流程图。该方法包括接收用户输入以移动内窥镜的观察轴(801)，并且响应于用户输入，铰接内窥镜(诸如第一远侧铰接段)以移动观察轴(802)。该方法还包括接收指示内窥镜沿运动轴的移动的运动信号(803)，诸如来自方向传感器的运动信号，并且将运动轴与观察轴进行动态比较(804)。在实施例中，将运动轴与观察轴进行比较包括生成指示两个轴之间的对准程度的对准度量。该方法还包括生成控制第一铰接段和第二铰接段的铰接的控制信号，以减小运动轴和观察轴之间的差异(805)。控制信号包括用于铰接第一段和第二段以改善对准度量的指令。这些步骤可以由作为内窥镜的控制器的一部分的处理器或芯片来执行。
77.图9是示出根据实施例的用于计算机辅助内窥镜转向的方法(900)的流程图。该方法包括通过图形用户界面接收用户输入以移动内窥镜的视场(901)，以及铰接内窥镜的第一铰接段以在由用户输入指示的方向上移动视场(902)。此后，该方法包括接收指示内窥镜向前运动的运动信号(903)，并且在没有来自用户的用户转向输入的情况下在内窥镜向前运动期间主动地使第二铰接段转向(904)。主动转向由控制器完成，该控制器基于运动方向和视场方向的比较生成转向信号以使第二铰接段转向，如上所述。当用户在患者腔内向前推动和推进内窥镜时，控制器自动使第一铰接段和/或第二铰接段转向以使运动方向与观察方向对准。该主动转向在没有来自用户的任何进一步转向输入的情况下完成；此时，用户可以简单地向前推进内窥镜，并且控制器将自动地使第一铰接段和/或第二铰接段转向。这种自动转向，无需来自用户的转向输入，使用户能够聚焦于来自内窥镜摄像机的视图和内窥镜向前的移动，而不必同时工作来手动使内窥镜的铰接部分转向。
78.基于这种方法，用户的输入被限制为指向摄像机且推进内窥镜，而不弯折铰接段以导航使它们穿过患者的解剖结构。通过将摄像机指向用户想要去的地方，然后向前推进内窥镜，控制器将自动弯折第一铰接段和第二铰接段以使运动轴与用户想要去的方向对准。控制器弯折这些段相当于摄像机后面的虚拟万向节，在摄像机后面旋转内窥镜以保持内窥镜在摄像机指向的方向上移动。以这种方式，提示用户提供更直观的输入，该输入通常指示期望的摄像机方向，同时控制内窥镜向前运动。用户例如通过触摸屏提供粗略转向引导，并且控制器基于粗略引导生成用于精细或更精确转向控制的指令。此外，基于用户的转向输入或锁定到特定解剖特征上的转向，控制器可以预测或估计将来的转向指令。例如，基于患者中远端的绝对或相对位置和/或图像中识别的特征，可以预测通道内的期望方向。用户意图的这种预测或解释可以用于保持摄像机视场的期望方向，例如，在通道的中心或保持解剖特征在通道的中心。用户在内窥镜近端处的向前转向运动可以基于他们的喜好因用户而异。然而，控制器通过基于摄像机轴的期望方向自动转向来校正这些变化，并且保持期望的方向，这校正了内窥镜近端的操纵方式的用户变化。给定其中仅局部信息与用户相关
并且来自方向传感器的整体信息对用户隐藏的图像，该算法将寻找特定特征或潜在目的地。根据用户触摸坐标、手势的速度和幅度可以指示用户正在瞄准哪个潜在目标，例如使用过滤或长短期记忆(lstm网络)。对于用户的拇指停留在屏上的情况，将从时间序列中解析出手势。
79.此外，除了说明由用户操纵的内窥镜的移动之外，本技术还在内窥镜的操作期间为患者移动提供校正或调节。在某些程序期间，患者可以独立地移动或由护理人员重新定位，例如，患者可以坐起、翻身等。这些患者移动反映在来自方向传感器的运动信号中，方向传感器可以提供内窥镜相对于重力的方向或绝对方向。可以相对于期望的摄像机轴分析绝对方向的变化，使得控制器自动调节摄像机的位置以说明患者的移动，从而使摄像机轴返回到其期望的方向。在一个实例中，使用定位在患者背部的内窥镜，其中患者的前侧对应于绝对向上位置，后侧对应于重力向下位置。在该方向上，摄像机也被定向在护理人员的重力方向和绝对方向上。在该患者被翻转以定位在患者的侧面或胃上的情况下，控制器可以通过图形用户界面重新定向图像和/或指示相对于重力的方向的这些变化，以示出摄像机的参考系从原始方向旋转，并且可以将转向命令从摄像机轴的参考系转换成内窥镜的参考系。以这种方式，以用户熟悉的方式呈现解剖结构。在实施例中，用户可以在重力方向和患者方向之间切换。如果在旋转期间内窥镜在患者体内，则方向信号和摄像机传送可以被协调以指示患者正在被重新定位。如果在引入内窥镜时患者已经处于非仰卧位置，则图像可以被重新定向。
80.处理器(例如，处理器766，见图7)可以包括一个或多个特定用途集成电路(asic)、一个或多个通用处理器、一个或多个控制器、fpga、gpu、tpu、一个或多个可编程电路或其任何组合。例如，处理器还可以包括或涉及用于显示屏的控制电路。存储器可以包括易失性存储器，诸如随机存取存储器(ram)，和/或非易失性存储器，诸如只读存储器(rom)。由内窥镜摄像机和/或喉镜摄像机(如果存在)捕获的图像数据可以存储在存储器中，和/或可以直接提供给处理器。此外，可以存储和收集每个患者程序的图像数据用于以后的检查。存储器(例如，硬件存储器768，见图7)可以包括所存储的指令、代码、逻辑和/或算法，其可以由处理器读取和实行以执行本文所公开的技术。
81.尽管本技术是在气管内插管的背景下讨论的，但是应理解，所公开的技术也可以用于其它类型的气道管理或临床手术。例如，所公开的技术可以与气道内的其它装置的放置、从气道去除分泌物、关节镜手术、经过声带的支气管可视化(支气管镜镜检)、管交换、肺活检、鼻或经鼻气管插管等结合使用。在某些实施例中，所公开的可视化仪器可以用于解剖结构(诸如咽、喉、气管、支气管、胃、食管、上气道和下气道、耳鼻喉、声带)的可视化，或肿瘤、肿块或组织的活检。所公开的可视化仪器还可以用于可视化组织的抽吸、药物递送、消融或其它治疗，或者与可视化组织的抽吸、药物递送、消融或其它治疗结合使用，并且还可以与内窥镜、探条、导引器、镜或探针结合使用。
82.虽然本公开可以容许各种修改和替代形式，但是在附图中以实例的方式示出了特定实施例，并且在此对其进行了详细描述。然而，应理解，本文提供的实施例不意图限于所公开的特定形式。相反，各种实施例可以覆盖落入由所附权利要求书限定的本公开的精神和范围内的所有修改、等同物和替代物。