用于可转向内窥镜的图形用户界面的制作方法

用于可转向内窥镜的图形用户界面
1.相关申请的交叉引用
2.本技术要求2020年10月31日提交的美国临时申请62/928854的优先权和权益，该美国临时申请的公开内容全文以引用方式并入而用于所有目的。


背景技术：

3.本公开整体涉及医疗装置，并且更具体地涉及具有图形定向指示符(例如，显示的定向指示符)的可转向导引器，诸如柔性内窥镜，以及涉及相关方法和系统。
4.医疗内窥镜是长的柔性仪器，其可以在多种情形下，于医疗规程期间引入患者的腔中，以促进腔内的可视化和/或医疗规程。例如，一种类型的镜是在其远侧端部具有相机的内窥镜。内窥镜可以插入患者的口腔、咽喉或其他腔中以帮助可视化解剖结构，或促进诸如活检或消融等规程。内窥镜可以包括可转向远侧尖端，可转向远侧尖端可被主动控制以在所需方向上弯折或转动远侧尖端，从而获得所需视图或导航穿过解剖结构。然而，可能难以将这些可转向镜操控到患者解剖结构内的所需位置和定向中。


技术实现要素：

5.下面概括了范围与原始要求保护的主题相称的某些实施方案。这些实施方案不旨在限制本公开的范围。实际上，本公开可以涵盖可以与下面阐述的实施方案类似或不同的多种形式。
6.在一个实施方案中，内窥镜系统包括具有可转向远侧端部的内窥镜，该可转向远侧端部具有相机和定向传感器。内窥镜系统也包括与内窥镜通信的手持式控制器。手持式控制器包括显示屏和硬件存储器。硬件存储器存储指令，该指令用于：在显示屏上，显示来自相机的视图以及表示内窥镜的可转向远侧端部的定向的图形定向指示符；检测内窥镜的可转向远侧端部的旋转移动；维持显示屏上所显示的来自相机的视图的旋转定向；以及修改图形定向指示符以表示可转向远侧端部的所检测到的旋转移动。
7.在另一实施方案中，内窥镜系统包括具有可转向远侧端部的内窥镜，可转向远侧端部具有相机和定向传感器。内窥镜系统也包括控制器，该控制器与内窥镜通信并且包括显示屏。内窥镜系统也包括呈现在显示屏上的用户界面(ui)。该ui包括：窗口，该窗口显示来自相机的视图；定向图标，该定向图标在视觉上表示可转向远侧端部的第一定向；和触摸界面，该触摸界面用于接收来自用户的触摸输入。控制器包括硬件存储器，该硬件存储器存储指令，该指令用于：检测内窥镜的可转向远侧端部的第二定向的改变，以及修改定向图标以在视觉上表示第二定向。
8.在另一实施方案中，用于操作内窥镜系统的ui的方法包括以下步骤：在触摸屏显示器上，显示来自内窥镜的视图和图形定向指示符，内窥镜包括具有相机的可转向远侧端部；经由触摸屏显示器，接收用户输入以将内窥镜的远侧端部转向；响应于该用户输入，将内窥镜转向到远侧端部的改变的定向；以及修改图形定向指示符，以在视觉上表示远侧端部的改变的定向。
9.一个方面或实施方案中的特征可以按任何适当的组合作为任何其他方面或实施方案中的特征来应用。例如，系统、喉镜、手柄、控制器、内窥镜或方法特征中的任一个可以作为系统、喉镜、控制器、内窥镜或方法特征中的任何一个或多个来应用。
附图说明
10.通过阅读以下详细描述并参考附图，所公开的技术的优点可以变得显而易见，在附图中：
11.图1是根据本公开的实施方案的用于内窥镜系统的用户界面(ui)的正视图。
12.图2是根据本公开的实施方案的包括图1的ui的内窥镜系统的一系列视图。
13.图3是根据本公开的实施方案的内窥镜系统和ui的一系列视图。
14.图4是根据本公开的实施方案的用于内窥镜系统的ui的正视图。
15.图5是根据本公开的实施方案的包括图4的ui的内窥镜系统的一系列视图。
16.图6是根据本公开的实施方案的用于内窥镜系统的ui的正视图。
17.图7是根据本公开的实施方案的内窥镜系统和ui的一系列视图。
18.图8是根据本公开的实施方案的内窥镜系统的框图。
19.图9是与用于内窥镜系统的ui结合使用的方法的流程图。
具体实施方式
20.如本文所提供的医疗镜或内窥镜是薄的细长柔性仪器，其可以插入体腔中而用于探索、成像、活检或其他临床治疗，包括导管、窄管状仪器或者其他类型的镜或探头。可以将内窥镜导航到体腔(诸如患者的气道、胃肠道、口腔或鼻腔或者其他腔体或开口)中，并且由用户经由以下方式来转向：将远侧端部推进到所需位置，以及在某些实施方案中，内窥镜的仿生运动。内窥镜的形状可以是管状的。
21.将长的柔性医疗装置推进到患者腔内通常经由从该装置的近侧部分(患者腔外部)所传递的力，该力导致远侧尖端在患者腔内的推进。例如，医生或其他护理人员握住在患者腔外部的医疗装置的近侧部分(诸如，手柄)向下或向前推动，并且所得运动被传递到远侧尖端，从而致使尖端在腔内向前移动。类似地，护理人员在近侧部分所施加的拉力可能导致远侧尖端的缩回，或者在相反方向上将其从患者腔中移出来。然而，因为患者腔不是规则形状或规则大小的，所以内窥镜移动穿过一条曲折的路径，并且来自近侧端部的推动或拉动运动中的传递力可能不会导致远侧尖端处的可预测运动。此外，给内窥镜导航而穿过一条弯曲的通道，这可能涉及远侧端部的多次旋转或转动，并且用户可能难以跟踪远侧尖端在导航期间和导航之后的改变的定向。随后，用户可能在错误方向上无意中弯折或转动内窥镜。例如，用户可以打算将内窥镜转向到用户右侧，但是因为内窥镜从其默认位置开始旋转，这个命令的结果是要内窥镜弯折到用户左侧。因此，用户可能难以预料在医疗规程期间内窥镜如何对转向指令做出响应。
22.本文提供了一种用于可转向内窥镜的图形用户界面(ui)，其中一个或多个图形定向指示符指示了内窥镜的当前定向或关节运动。根据一个实施方案，内窥镜系统包括：内窥镜，该内窥镜具有可转向远侧端部和相机；和控制棒，该控制棒具有显示屏和用户输入件(诸如触摸屏)。显示屏显示来自相机的视图，以及示出内窥镜已经如何被转动或旋转的图
形指示符，以帮助用户在医疗规程期间操纵内窥镜。
23.图1和图2示出根据一个实施方案的内窥镜系统100。该系统包括内窥镜12以及具有显示屏16的控制器14。内窥镜12包括承载了相机和定向传感器的可转向远侧端部24。控制器14被联接到内窥镜12，以向可转向内窥镜12提供电力和/或控制指令，以及接收来自相机和定向传感器的数据。在此实施方案中，控制器14被实施为视频喉镜。
24.用户界面(ui)18，例如图形ui(gui)呈现在显示屏16上。ui 18包括来自内窥镜的视图20(诸如，来自内窥镜相机的视频馈送或静止图像)、触摸屏界面和三个图形定向指示符30、32、34。内窥镜视图20以圆形形状呈现，在圆形轮廓22内部。在所示的示例中，视图指向用户的声带和气管26。图2包括ui 18在五个视图a、b、c、d和e中的五种不同呈现方式。该图也示出连接到喉镜14的内窥镜12，诸如通过将内窥镜12的近侧端部连接到喉镜屏幕16背面上的端口。内窥镜的相对远侧端部24插入患者体内。远侧端部24能够主动转向并且包括相机和定向传感器，如下所述。
25.应当理解，所公开的技术可以支持用于可盲转向型导引器的定向的可视化和导航，即，不包括相机或相机未被激活的细长柔性仪器。
26.三个定向指示符30、32、34在图1中的ui 18的特写视图中示出。定向指示符30是滚动指示符，其图形地描绘了内窥镜12的远侧端部24的当前滚动定向。在图1的实施方案中，滚动指示符30包括由两个标记30a、30b表示的地平线指示符，这两个标记在圆形轮廓22上或附近180度隔开放置。标记30a、30b示出为小的实心正方形，但是可以是其他形状和尺寸。例如，在另一实施方案中，地平线指示符是虚线，其从标记30a到标记30b，在视图20上示出。当标记30a、30b在屏幕上是水平时，远侧端部24处于其默认或静止位置，意味着其尚未被主动转向以旋转。
27.当内窥镜的远侧端部24在患者腔内旋转时，滚动指示符30移动。这种滚动移动在图2的视图a和视图d中示出。在视图a和视图d中，远侧端部24已经相较于其默认位置顺时针旋转约20度。为了指示这种旋转，标记30a、30b已经围绕图像视图20成比例地移动了约20度。值得注意的是，在图2中，图像视图20本身尚未旋转。在此实施方案中，内窥镜系统包括图像校正或调整特征，其对图像进行反旋转以使图像竖立(其中患者的后侧方向朝患者胸部，在屏幕16上维持在“向上”方向上)，即使当内窥镜被主动转向和旋转时也是如此。这种类型的图像调整可以通过基于内窥镜远侧端部处的定向传感器所检测到的旋转量而成比例地对图像进行反旋转来实现，如申请人在2019年3月1日提交的美国临时申请62/812678以及公开为美国专利公开20200275824的美国专利申请16/802242中更全面描述，这些专利的全部内容据此以引用方式并入。
28.再次参考图2，在图像视图20中的图像保持稳定的同时，用户可以将内窥镜主动转向，诸如旋转远侧端部24。在这种情况下，用户可能失去了对已经提供给内窥镜的转向输入的跟踪，并且可能难以记清当前是如何在患者腔内旋转或定位内窥镜。滚动指示符30为用户提供内窥镜的当前旋转定向的可见图形表示，使得用户可以容易地跟踪该定向。
29.在图1和图2中，滚动指示符30也包括工作通道指示符30w。工作通道指示符被示出为覆盖在图像20上的透明阴影区。该指示符示出内窥镜12上的工作通道的旋转位置。工作通道可以是在内窥镜中纵向形成的开放内腔，以允许工具或流体的通过，诸如活检工具、雾化导管、盐水以及待从体内排出的流体。工作通道可以偏离于内窥镜的中心轴线而形成，在
这种情况下，当内窥镜旋转时它将旋转地移动。在ui 18上，指示符30w在视觉上表示工作通道当前所位于之处，使得用户可以预料：当其从工作通道之中出来时，工具、流体或其他仪器何处将进入图像20。如果工作通道不与需要进入的解剖区域对准(对于特定临床规程而言)，则用户可以将内窥镜转向以将工作通道移动到所需位置。
30.第二定向指示符32是俯仰/偏航指示符，其指示内窥镜已经弯曲、弯折或转动的量和方向。在所示的实施方案中，俯仰/偏航指示符32由围绕图像20的轮廓22所形成的括弧线32a、32b、32c和32d来描绘。当内窥镜向左或向右转动(偏航)或向上或向下(俯仰)转动时，括弧线生长和收缩，如图2的视图b、c、d和e所示。在视图b中，远侧端部24已经转动到右侧，并且括弧32a和32d已经生长得更大，而括弧32b和32c已经变得更小，以表明内窥镜已经转动到右侧。在内窥镜的转动方向上，生长的线(32a,32d)在端部上也具有箭头。在视图b中，内窥镜已经转动到其整个运动范围的路线的右侧部分。在视图c中，内窥镜已经一路转动到其运动范围的极限，并且因此线32a、32d已经一路来到图像视图20周围，并且线32b、32c被完全移除或仅被示出为小虚线或小标记。随着这些变化，偏航/俯仰指示符32向用户显示内窥镜已经转向哪个方向，以及在其运动范围内有多远。然后，用户可以通过查看ui 18了解内窥镜如何转动或弯折以及它还能再转动多少。
31.俯仰在图2的视图e中指示。在此视图中，图像视图20的底侧上的线32c、32d已经生长，并且顶部上的线32a、32b已经收缩，使得这些线向用户显示内窥镜向上弯折。线32c、32d具有在该相同方向上向上指向屏幕顶部的箭头，以进一步重复内窥镜转动的方向。
32.第三定向指示符34是内窥镜12的远侧端部24的图形表示。例如，此指示符34可以是表示内窥镜尖端末端的卡通图像或图标。如图2的视图a-e所示，图标与内窥镜的远侧端部24协调地弯曲和转动。此指示符34提供了另一种方式将内窥镜的当前定向在屏幕16上进行视觉表示。
33.图2中的视图a、b、c、d和e示出基于内窥镜12的主动移动而处于各种状态的ui 18。在视图a中，内窥镜已经顺时针旋转约20度，如滚动指示符30(标记30a、30b和工作通道指示符30w)的顺时针旋转所示。在视图b中，内窥镜被滚动回中位，并且中途向右转动，如指示符32(括弧线)和指示符34(尖端图标)所示。视图b中的拇指指纹示出用户输入的示例，以将内窥镜转向而将其转动到右侧；在这种情况下，用户向右轻击或拖曳/轻扫拇指，以指导内窥镜向右弯折。在视图c中，用户进一步向右轻击或拖曳/轻扫(如拇指指纹所示)，以指导内窥镜继续向右弯折。在此示例中，在视图c中，内窥镜达到其向右运动范围的极限。在视图d中，内窥镜向右滚动(顺时针)。在一个实施方案中，内窥镜的旋转移动通过用户手动扭转内窥镜来实现。在视图e中，基于用户输入，内窥镜上仰，以向上移动视图(诸如，如视图e中的拇指指纹所示向上移动拇指)。尽管这些视图被示出为快照，但是指示符30、32、34是动态的并且随着远侧端部24的位置而实时改变。这些指示符可以在离散配置之间移动，或者可以连续地改变形状、颜色或形式，或者可以是动画的。
34.定向指示符可以如下呈现：在来自内窥镜相机的临床视图内，在显示屏上的临床视图之外，或者将屏幕的临床视图和其他区域重叠。图3示出根据一个实施方案的另一内窥镜系统300。在此实施方案中，内窥镜312连接到具有显示屏316的视频喉镜314。图形用户界面(ui)318呈现在显示屏上。ui 318包括两个定向指示符330、336。第一定向指示符330包括滚动指示符，其指示了内窥镜312的远侧端部324的旋转位置。滚动指示符包括两个三角形
地平线指示符330a、330b和工作通道指示符330w。在此实施方案中，工作通道指示符330w与相机视图320的圆形轮廓322重叠，从而穿过圆形轮廓。工作通道指示符330w被示出为大致垂直于圆形轮廓的两条线，一部分在圆形相机视图320的内部，一部分在其外部。指示符330a、330b、330w与内窥镜312的远侧端部324定向同步地围绕圆322移动。例如，在图3的视图a中，内窥镜已经顺时针旋转约45度，并且指示符330a、330b和330w已经围绕该圆旋转了对应的量。
35.第二图形指示符336包括重力指示符，其指示了远侧尖端324相对于重力的定向。重力指示符可以各种样式或形状呈现。在此实施方案中，其被示出为引针或标记，其尖端向下指向屏幕316的底部。该引针位于具有指示水平地平线的线或平面的圆内。当内窥镜尖端上仰或下俯时，该引针的视图改变。如图3中的视图c所示，重力标记倾斜以指示内窥镜尖端324已经上仰。当尖端324上仰时，引针的平面也向上倾斜。当内窥镜为中位(未上仰或下俯)时，重力指示符是水平的，如视图a和视图b所示。
36.ui 318也包括在相机视图320上方的状态指示符或图标340。在所示的实施方案中，状态指示符340是肺图标。ui的此区域可用于指示正在执行什么类型的规程或其他类型的状态信息，诸如相对于声带的距离或相对于用户定义的路标的距离。本文公开的ui实施方案可以显示在与内窥镜通信的控制器上。控制器可以是具有屏幕的手持式装置，诸如视频喉镜、棒、定标器、平板电脑或其他类型的显示屏。图4和图5示出控制器被实施为手持式棒的实施方案。内窥镜系统400包括内窥镜412，内窥镜连接到具有显示屏416的手持式棒413。ui 418呈现在屏幕416上。在此实施方案中，ui418包括滚动指示符430(包括180度间隔开并且其间具有虚线型地平线的两个地平线标记430a、430b，以及工作通道指示符430w)。如图5的视图a所示，滚动指示符430在ui 418上旋转以指示内窥镜412的远侧端部424的旋转的程度和方向。如上所述，当内窥镜旋转时，在一个实施方案中，在屏幕416上调整来自内窥镜相机的视图，以保持重力方向向下指向屏幕416的底部。因此，在视图a中，滚动指示符430旋转，但图像420不会旋转。
37.ui 418也包括俯仰/偏航指示符432，在这种情况下被实施为十字线或气泡440。气泡440示出内窥镜412的偏航移动方向(向左或向右)或俯仰移动方向(向上或向下)。在视图b中，用户将内窥镜向右转向(如拇指指纹向右轻击触摸屏所示)，并且气泡440也在屏幕上的相机观察窗口420内向右移动。在视图c中，用户将内窥镜转向以上仰，并且气泡440向上移动。在一个实施方案中，气泡440在窗口420内移动的距离对应于内窥镜已经转动的量。在一个实施方案中，当内窥镜达到其运动极限时，气泡440达到圆形轮廓422。这描绘于图5的视图d中，其中内窥镜已经上仰(向上弯折)到其最大程度，并且气泡440与圆422的顶部边缘接触。在一个实施方案中，当达到内窥镜的运动极限时，ui 418也提供了另外的极限指示符，诸如光线442。当内窥镜达到其运动极限时，光线442出现在圆形视图420周围，并且然后当内窥镜远离相应极限而在另一方向上往回移动时，光线442消失。当达到运动极限时，控制器414也可以提供触觉响应，诸如提供来自触觉发生器的短脉冲、嗡嗡声或振动。触觉反馈可以与信号的大小成比例，反馈越大，与内窥镜的移动正处于或超过某运动范围的关联性越高。
38.如图4和图5所示，ui 418也包括重力指示符436，其指示了相对于内窥镜定向的重力方向。当内窥镜与重力持平(未上仰或下俯)时，重力指示符436示出在尖头引针下方的水
平线。当内窥镜尖端上仰(如视图c)时，重力指示符也上仰，使得视图向上移动超过尖头引针。当内窥镜尖端达到其向上运动极限时(如在视图d中)，重力指示符已经一路移动到顶部，超过尖头引针，以指示：相对于内窥镜，重力方向直接就在视图420下方。这仅是指示相对于尖端的重力方向的一种方式，并且可以使用其他重力指示符。
39.在图4和图5中，控制器是手持式棒413，而不是视频喉镜(在其他图中示出)。内窥镜412直接连接到棒413，诸如通过将内窥镜412的近侧端部插入棒413上的端口415中，用于将控制信号从棒传送到内窥镜以及将来自内窥镜的视频信号传送到棒。在一个实施方案中，内窥镜412能够从棒413上移除。内窥镜412可以是仅一次性使用的并且在使用之后丢弃(或回收)，并且控制器(诸如棒413)可以是可重复使用的。在其他实施方案中，控制器可以具有其他形式或结构。例如，控制器可以是视频喉镜、台式显示屏、平板电脑、笔记本电脑、定标器或其他形式因素。具有内窥镜的控制器作为双组件内窥镜进行操作，其中控制器用作内窥镜的手柄、显示器和用户输入件。在一个实施方案中，控制器是可重复使用的，而内窥镜是一次性使用的和用后即丢弃的，以防止患者或护理人员之间的交叉污染。控制器本身不需要与患者接触，并且可以进行擦拭和清洁以与新的无菌内窥镜一起准备好用于下一患者。
40.图6和图7示出控制器被实施为视频喉镜的实施方案。在此实施方案中，两个图像视图同时显示在显示屏上，一个来自视频喉镜的相机，并且一个来自内窥镜的相机。如图所示，内窥镜系统600包括内窥镜612，内窥镜连接到具有显示屏616的视频喉镜614。显示屏呈现ui 618，其显示来自视频喉镜相机的第一视图644和来自内窥镜相机的第二视图620。这两个图像视图在ui上同时显示，诸如其中一个图像与另一图像重叠。在一个实施方案中，视频喉镜图像644示出在第一轮廓形状(诸如矩形角或轮廓)内，并且内窥镜图像620示出在第二不同轮廓形状(诸如圆形角或轮廓622)内，以帮助区分两个图像。在图6中，内窥镜612的远侧端部624在来自视频喉镜相机的第一图像视图644中可见。
41.ui 618包括滚动指示符630和俯仰/偏航指示符632。滚动指示符630可以位于圆622上，以对应于内窥镜的工作通道的位置。如图7的视图a、b、c和d所示，滚动指示符630旋转以指示远侧端部624的滚动，并且俯仰/偏航指示线632围绕轮廓622移动以指示远侧端部624的左偏航/右偏航或上仰/下俯。在视图a中，用户使用右手将内窥镜扭转或旋转到左侧(逆时针)，并且滚动指示符630沿圆622移动对应的量。用户可以看到远侧端部624在视频喉镜图像644内的移动。在视图b中，用户指导内窥镜向左偏航，诸如通过用左手拇指在左侧方向上轻击屏幕616。偏航/俯仰指示线632围绕圆而朝左侧移动，以指示内窥镜的位置的变化。视频喉镜图像644示出向左弯曲的远侧端部624。在视图c中，用户指导内窥镜上仰，诸如通过向上轻击屏幕。偏航/俯仰指示线632向上移动对应的量，并且视频喉镜图像644示出向上弯曲的远侧端部624。在视图d中，用户推进内窥镜穿过患者的声带并进入气管626，并且指导内窥镜下俯，如拇指轻击屏幕和偏航/俯仰指示符632所示。内窥镜图像620现在示出患者的气管壁的视图。
42.在示例性使用情况下，内窥镜系统600用于给患者插管。用户用一只手(诸如左手)握住视频喉镜614并且轻击屏幕616以将内窥镜612转向，并且用户用另一只手(诸如右手)将内窥镜612往前推动到患者腔中。当内窥镜处于适当位置时(用于插管，内窥镜穿过患者的声带进入气管，如视图d所示)，内窥镜612的近侧端部与喉镜614断开，并且气管内导管经
过了内窥镜。一旦近侧端部从气管内导管中出来，就可以将内窥镜612重新连接到喉镜614。然后将气管内导管沿着内窥镜传递到气管中，并且然后可从患者体内抽出内窥镜612，从而通过导管将其回缩回来并且将气管内导管留在适当位置。
43.内窥镜包括远侧端部处的一个或多个可转向区段，以主动弯折、转动或弯曲内窥镜的远侧端部。在一个实施方案中，可转向区段可以三维弯折和弯曲(不仅仅在单个平面中，诸如向上/向下或向右/向左)，从而在所有方向上弯曲，直到其运动范围的极限。例如，在一个实施方案中，每个区段可以在任何方向上弯折至多90度，使其能够在半球内移动，该半球的半径等于区段长度。每个区段由其自身的致动系统来操纵，包括一个或多个致动器(诸如，套管型拉线或下文所述的其他致动器)，该致动系统移动以将该区段弯折成某一弯曲形状或将其从该弯曲形状中拉直。在一个实施方案中，内窥镜包括在内窥镜的远侧端部处的两个可转向区段。两个可转向区段彼此联接，并且每个区段可以独立于另一区段而进行关节运动。
44.内窥镜的远侧端部处的每个关节运动区段由转向系统来操纵，该转向系统操作联接到该区段的致动器以弯折或拉直该区段。转向系统可以包括基于电输入而改变形状的一个或多个记忆金属部件(例如，记忆导丝、镍钛诺导丝)、压电致动器(诸如squiggle电机，来自new scale technologies,victor ny)、可回缩型护套(可回缩以释放预成形的弯曲部件，诸如弹簧钢，当从护套中释放时恢复其弯曲形状)、机械控制线(拉线)、液压致动器、伺服电机，或者用于弯折、旋转或转动内窥镜的远侧端部或远侧端部处的部件的其他装置。
45.在一个实施方案中，相机位于内窥镜的最远侧区段的远侧端部或末端，以给相机提供进入患者解剖结构中的清晰前视图。在一个实施方案中，定向传感器也位于远侧端部处，刚好在相机的近侧。在一个实施方案中，定向传感器邻近相机。在一个实施方案中，定向传感器安装在相机后面的柔性电路上。在一个实施方案中，定向传感器安装在与相机相同的柔性电路上，但是定向传感器和相机不必在共享柔性电路上进行通信。在一个实施方案中，定向传感器在每个维度上具有1mm-2mm之间的大小。
46.定向传感器是感测内窥镜的远侧端部的定向(诸如相对于重力的定向)和/或移动(加速度)的电子部件。为了实现这一点，定向传感器包含一个传感器或多个传感器的组合，诸如加速度计、磁力计和陀螺仪。定向传感器可以是惯性测量单元(imu)。定向传感器检测内窥镜的远侧尖端的静态定向和动态移动，并且提供内窥镜的定向和/或内窥镜的运动的改变指示信号。定向传感器将该信号发送到控制器。定向传感器位于内窥镜的管状壳体内部。在一个实施方案中，定向传感器位于非常靠近内窥镜的远侧端部的末端之处，诸如相机后面，以使得定向传感器能够捕获远侧尖端和相机的全部移动范围的大部分范围。在一个实施方案中，定向传感器放置在第一可转向部分的远侧端部，远离该可转向部分的近侧端部，以将定向传感器远离移动支点放置。
47.图8示出内窥镜系统800的框图，该系统包括内窥镜812和控制器814。它们之间的连接可以是有线的(在这种情况下，它们各自具有电连接器)或无线的(在这种情况下，它们各自包括无线收发器)。内窥镜812包括处于内窥镜远侧端部的相机和定向传感器。定向传感器可以是惯性测量单元(imu)、加速度计、陀螺仪或其他合适的传感器。内窥镜812也包括光源和致动器，该致动器联接到远侧端部可转向区段，以弯折或拉直它们，如本文所述。
48.控制器814包括处理器或芯片(诸如芯片、处理芯片、处理板、芯片组、微处理器或
类似装置)、硬件存储器、显示屏(诸如触摸屏)和转向控制系统，其可以包括用于操作致动器的电机或其他驱动器。控制器814也可以包括一些其他类型的用户输入件(按钮、开关)和电源(诸如板载可移除和/或可再充电电池)。
49.控制器814也可以包括电源(例如，一体式或可移除电池)，该电源为内窥镜的一个或多个部件以及通信电路系统提供电力，以促进与其他装置的有线或无线通信。在一个实施方案中，通信电路系统可以包括收发器，该收发器促进与远程医疗装置或全屏监测器进行握手通信。通信电路系统可以将接收到的图像实时提供给另外的监测器。
50.处理器可以包括一个或多个专用集成电路(asic)、一个或多个通用处理器、一个或多个控制器、fpga、gpu、tpu、一个或多个可编程电路或它们的任何组合。例如，处理器也可包括或指代用于显示屏的控制电路系统。存储器可以包括：易失性存储器，诸如随机存取存储器(ram)；和/或非易失性存储器，诸如只读存储器(rom)。图像数据可以存储在存储器中，以及/或者可以直接提供给处理器。此外，可以存储和收集针对每个患者规程的图像数据以供稍后查看。存储器可以包括可以由处理器读取和执行以执行本文公开的技术的存储的指令、代码、逻辑和/或算法。
51.图9的流程图示出用于操作内窥镜系统的ui的方法900。该方法包括：在901，显示来自内窥镜的视图和图形定向指示符。在一个实施方案中，内窥镜包括具有相机的可转向远侧端部，并且显示器设置在触摸屏显示器上。该方法也包括：在902，经由触摸屏显示器，接收用户输入以将内窥镜的远侧端部转向。响应于用户输入，该方法包括：在903，将内窥镜转向到远侧端部的改变的定向。该方法包括：在904，修改图形定向指示符以在视觉上表示远侧端部的改变的定向。在一个实施方案中，图形定向指示符包括滚动标记、俯仰标记或偏航标记中的一项或多项，并且修改其包括：使标记围绕或沿着相机视图移动，以表示内窥镜的远侧端部的改变的定向。
52.在一个实施方案中，ui在触摸屏上实施，该触摸屏响应于来自用户的轻击、触摸或接近手势。ui检测用户的触摸并将此触摸输入发送到处理器，处理器生成指令，以操作该转向系统从而弯折、转动或移动内窥镜。例如，用户可以输入触摸手势(诸如轻击、双击、轻击并长按、滑动或轻扫)，以识别屏幕上的图像内的目标点或方向。此手势识别出了用户希望将内窥镜转向到何处，并且控制器将这转换为真实世界转向方向和对应指令，用于操作该转向系统以使内窥镜的远侧端部可转向区段在该方向上移动。用户可以在所需方向上轻扫触摸屏，以重新定向内窥镜的远侧端部。可以从触摸屏上的轻扫移动的方向和长度来解释相机的所需方向或移动。在一个示例中，内窥镜的远侧端部的移动方向与用户输入的移动方向相同。向右轻扫或滑动将内窥镜转向到右侧，从而将内窥镜相机右转向时，将朝右侧的解剖区域带入视图中。因此，在此类实施方案中，左轻扫则左转向，上轻扫则上转向，并且下轻扫则下转向。在另一示例中，内窥镜的远侧端部的移动方向与用户输入的移动方向相反。该转向的操作方式类似于地图或数字纸转向，并且向右轻扫或滑动将整个图像拖曳到右侧，并且当内窥镜相机左转向时，将左侧的解剖区域带入视图中。在此实施方案中，左轻扫则右转向，上轻扫则下转向，并且下轻扫则上转向。
53.在一个实施方案中，转向输入可以附加地或替代地经由用户从菜单中的选择、软键的选择、按钮的按下、操纵杆的操作等来提供。在一个实施方案中，用户用左手握住控制器并且用左手的拇指接触屏幕，从而使右手腾出来握住、扭转和推进内窥镜。用户可以通过
用他或她的拇指轻击屏幕来将内窥镜相机转向，并且然后可以通过用他或她的右手向前推动(或往回拉动)来推进内窥镜。
54.对用户输入的转向响应可以将内窥镜的远侧端部的转向速度与用户输入的速度相关。因此，相对于较慢的轻扫运动，快速轻扫运动导致内窥镜的远侧端部移动更快。用户可以通过如下方式来转向：选择(轻击、轻扫到)来自内窥镜的显示视图的一部分而作为转向目的地。针对该选择过程的转向速度与所选图像部分相对于内窥镜远侧端部的距离相关。例如，相较于转向到更近的位点，转向到相对于远侧端部更远的位点导致更快的转向。
55.尽管本技术是在气管内插管的背景下讨论的，但是应当理解，所公开的技术也可以用于其他类型的气道管理规程或临床规程。例如，所公开的技术可以与以下项结合使用：气道内的其他装置的放置、移除气道中的分泌物、关节镜手术、经过声带的支气管可视化(支气管镜检查)、换管、肺活检、鼻或鼻气管插管等。在某些实施方案中，所公开的可视化仪器可以用于可视化解剖结构(诸如咽、喉、气管、支气管、胃、食道、上下气道、耳鼻喉、声带)，或者肿瘤、肿块或组织的活检。所公开的可视化仪器也可以用于抽吸、药物递送、消融或其他可视化组织治疗或与抽吸、药物递送、消融或其他可视化组织治疗结合使用，并且也可以与内窥镜、探条、导引器、镜或探头结合使用。
56.描述和附图示出各种图标、图形指示符、线条、轮廓、阴影、标记和视觉指示符，以表示内窥镜的状态或位置。这些不同类型的图形指示符可以混合和匹配成各种组合、分组和式样。结合一个指示符所示出的阴影或线条式样可以与不同指示符一起使用，等等。可以进行各种组合以提供所需的指示符或动画。
57.虽然本公开可以容许各种修改和替代形式，但是附图已经以示例的方式示出了特定实施方案，并且已经在此对其进行了详细描述。然而，应当理解，本文提供的实施方案并非旨在限于所公开的特定形式。相反，各种实施方案可以囊括属于如以下所附权利要求所限定的本公开的精神和范围内的所有修改、等效物和替代物。