用于控制外科手术系统的用户界面的制作方法

用于控制外科手术系统的用户界面
1.相关申请
2.本技术要求2020年1月6日提交的标题为“function switch for use in conjunction with head motion to control a surgical system”的第62/957,341号美国临时专利申请和2020年10月23日提交的标题为“function switch for use in conjunction with head motion to control a surgical system”的第63/104,531号美国临时专利申请的优先权的利益，这两个美国临时专利申请的内容据此通过引用以其整体并入。
3.公开技术的领域
4.所公开的技术总体上涉及外科手术系统，并且特别涉及用于在外科手术过程期间启用和控制外科手术系统的系统功能的方法和系统。
5.公开技术的背景
6.用于外科手术应用的头戴式显示器(hmd)系统允许一种舒适和直观的方法，其通过使用头部姿势来控制许多系统方面(即便不是大多数系统方面)。为了避免由于自发或无意的头部移动而无意地控制系统功能，头部姿势可以通过脚踏开关命令来启用。除了启用一个或更多个头部姿势之外，脚踏开关命令还可以允许用户选择已启用的系统功能。
7.当前用于选择和启用系统功能的解决方案基于具有多种控制方式(例如按钮、踏板、操纵杆等)的脚踏开关。每种控制方式启用不同的功能。标准脚踏开关可以包括两个或更多个踏板，每个踏板具有两个按压选项(即用前脚掌按压或用脚后跟按压)、六个离散的按钮和一个操纵杆。由于用户的眼睛聚焦在外科手术视野(field)，所以用户必须记住脚踏开关布局。用户经常赤脚操作，以促进摸索脚踏开关以识别各种控制方式。
8.一些用于简化脚踏开关和减少所需要的控制方式的数量的解决方案采用多种系统模式。然后根据当前系统模式改变各种控制方式的配置。这减少了所需要的控制方式的数量，因为并非所有系统功能都需要在特定的系统模式下启用。因此，单个控制方式可以在不同的系统模式下启用不同的功能。
9.附加的解决方案包括使用不同的头部姿势来控制由单个控制方式启用的不同功能。例如，单个按钮可以实现通过上下头部姿势控制聚焦，并通过左右头部姿势控制变焦(zoom)。
10.用于简化脚踏开关的其他解决方案包括允许用户使用控制方式的组合来启用功能。例如，一个按钮可以被配置为启用功能#1，第二按钮可以被配置为启用功能#2，而同时按压这两个按钮可以被配置为启用功能#3。
11.此外，当前的解决方案包括经由hmd显示脚踏开关和当前按压的按钮(或踏板等)的布局。这使得用户能够在开始头部姿势之前看到正在按压哪个控制方式，并且如果控制方式被错误地识别，则调整控制方式的选择。
12.本公开技术的概述
13.所公开的技术的目的是提供一种用于启用和控制外科手术系统的功能的新颖的方法和系统。
14.根据实施例，提供了一种用于启用和控制外科手术系统的功能的用户界面，其包括：脚操作式功能开关，其被配置为由用户的脚切换到多个离散状态中的任何一个；头部跟踪器，其被配置为跟踪用户的头部运动；以及处理器，其耦合到脚操作式功能开关和头部跟踪器，并被配置为：获得包括多个离散状态中的至少一个的多个序列与外科手术系统的多个相应系统功能之间的关联，从功能开关接收多个离散状态中的至少一个的指示，基于接收的指示和关联识别系统功能，接收由头部跟踪器跟踪的头部运动，并且应用头部运动来控制外科手术系统的所识别的系统功能。
15.在一些实施例中，用户界面还包括从至少一个接收的指示确定执行的序列。
16.在一些实施例中，脚操作式功能开关提供与用户脚的单点接触(single point of contact)，允许在多个离散状态之间切换，同时经由单点接触保持与用户脚的连续接触。
17.在一些实施例中，脚操作式功能开关具有旋转自由度和倾斜自由度中的至少一个。
18.在一些实施例中，脚操作式功能开关包括从由以下项组成的组中选择的部件：踏板、脚托(footrest)、操纵杆、保持在窝(socket)内的球、惯性测量单元、微动开关(micro-switch)和光电开关。
19.在一些实施例中，用户界面还包括hmd，其中处理器还配置为经由hmd显示所识别的系统功能。
20.在一些实施例中，处理器还被配置为从功能开关连续地接收多个离散状态中的至少一个的更新的指示，基于更新的指示连续地确定执行的序列，以及基于确定的执行的序列连续地识别系统功能，直到从头部跟踪器接收到头部运动。
21.在一些实施例中，在接收到头部运动时，则处理器还被配置为停止确定执行的序列和识别系统功能，并开始应用头部运动来控制所识别的系统功能。
22.在一些实施例中，至少一个处理器还配置为在应用头部运动来控制所识别的系统功能时忽略随后从功能开关接收的指示。
23.在一些实施例中，至少一个处理器还被配置为确定用户的头部是静止的，并作为响应停用(deactivate)功能开关。
24.在一些实施例中，至少一个处理器还被配置为在以下项中的至少一项之后停止应用头部运动来控制所识别的系统功能：经过预定义的时间阈值和功能开关的停用。
25.根据另一个实施例，提供了一种用于启用和控制外科手术系统的功能的方法，其包括：获得多个序列与外科手术系统的多个相应系统功能之间的关联，序列包括脚操作式功能开关的多个离散状态中的至少一个，其中脚操作式功能开关被配置为由用户的脚切换到多个离散状态中的任何一个；从功能开关接收多个离散状态中的至少一个的指示；基于所执行的序列和关联识别系统功能；接收由头部跟踪器跟踪的头部运动；以及应用头部运动来控制外科手术系统的所识别的系统功能。
26.在一些实施例中，该方法还包括根据接收的指示确定执行的序列。
27.在一些实施例中，根据来自功能开关的离散状态的多个指示来确定执行的序列。
28.在一些实施例中，应用头部运动来控制所识别的系统功能表现在显示的图像中。
29.在一些实施例中，应用头部运动来控制所识别的系统功能表现在由外科手术系统的摄像机获取的图像中。
30.在一些实施例中，多个序列中的至少一个通过从由以下项组成的组中选择的特征来表征：多个离散状态之一、多个离散状态之一的预定义的持续时间、多个离散状态的子集、多个离散状态的有序子集以及多个离散状态中的一个或更多个的重复。
31.在一些实施例中，该方法还包括从功能开关连续接收多个离散状态中的至少一个的更新的指示，基于更新的指示连续确定执行的序列，以及基于确定的执行的序列连续识别系统功能，直到从头部跟踪器接收到头部运动。
32.在一些实施例中，该方法还包括在从头部跟踪器接收到头部运动之后停止连续确定执行的序列和连续识别系统功能，并开始应用头部运动来控制所识别的系统功能。
33.在一些实施例中，该方法还包括在应用头部运动来控制所识别的系统功能时忽略随后从功能开关接收的指示。
34.在一些实施例中，该方法还包括确定用户的头部是静止的，并作为响应停用功能开关。
35.在一些实施例中，该方法还包括在以下项中的至少一项之后停止应用头部运动来控制所识别的系统功能：经过预定义的时间阈值和功能开关的停用。
36.根据另一个实施例，提供了一种用于启用和控制外科手术系统的功能的用户界面，其包括：功能开关，其被配置为感测用户的至少一个下半身部位的下半身运动；头部跟踪器，其被配置为跟踪用户的头部运动；以及处理器，其耦合到功能开关和头部跟踪器，并被配置为：获得多个预定义的下半身运动序列与外科手术系统的多个相应系统功能之间的关联，从功能开关接收感测的下半身运动，根据用户的至少一个下半身部位的感测的下半身运动确定下半身运动序列，基于所确定的下半身运动序列识别多个预定义的下半身运动序列中的一个，基于所识别的多个预定义的下半身运动序列中的一个和关联来识别系统功能，接收由头部跟踪器跟踪的头部运动，并应用头部运动来控制外科手术系统的所识别的系统功能。
37.在一些实施例中，用户的至少一个下半身部位是以下项中的一项或更多项：用户的脚趾、脚、腿、膝盖、臀部和腰部。
38.在一些实施例中，至少一个处理器还被配置为显示所识别的系统功能。
39.在一些实施例中，用户界面还包括头戴式显示器(hmd)系统，其中经由hmd显示所识别的系统功能。
40.在一些实施例中，头部跟踪器与hmd集成。
41.在一些实施例中，用户界面还包括摄像机，其中应用头部运动来控制所识别的系统功能表现在由摄像机获取的图像中。
42.在一些实施例中，功能开关还被配置为感测沿着至少一个自由度的下半身运动。
43.在一些实施例中，所识别的多个预定义的下半身运动序列中的一个包括一个或更多个下半身运动的累积。
44.在一些实施例中，处理器还被配置为基于感测的下半身运动连续更新所识别的系统功能，直到处理器接收到头部运动，并且在接收到头部运动时，暂停更新所识别的系统功能并开始应用头部运动来控制所识别的系统功能。
45.在一些实施例中，至少一个处理器还被配置为在应用头部运动来控制外科手术系统的所识别的系统功能时忽略随后感测的下半身运动。
46.在一些实施例中，至少一个处理器还被配置为在确定以下项中的至少一项之后停止应用头部运动来控制外科手术系统的所识别的系统功能：在预定义的时间阈值内头部静止，以及来自功能开关的停用指示。
47.根据另一个实施例，提供了一种用于启用和控制外科手术系统的功能的方法，其包括以下过程：获得多个预定义的下半身运动序列和外科手术系统的多个相应系统功能之间的关联；从功能开关获得用户的至少一个下半身部位的感测的下半身运动；根据用户的至少一个下半身部位的感测的下半身运动确定下半身运动序列；基于所确定的下半身运动序列识别多个预定义的下半身运动序列中的一个；基于所识别的多个预定义的下半身运动序列中的一个和关联来识别系统功能；从头部跟踪器接收头部运动；以及应用头部运动来控制外科手术系统的所识别的系统功能。
48.在一些实施例中，下半身运动是以下项中的至少一项：倾斜、旋转、抬起、下降、转动、摆动运动、推动、拉动、扭动、拖动、轻敲、按压和滑动运动。
49.在一些实施例中，至少一个下半身部位是以下项中的一项或更多项：用户的脚趾、脚、腿、膝盖、臀部和腰部。
50.在一些实施例中，头部跟踪器选自由以下项组成的组：惯性测量单元、摄像机、声学传感器、触觉传感器和电磁传感器，并且其中头部跟踪器是以下项中的任何一项：由用户佩戴的可佩戴头部跟踪器和位于用户的可跟踪范围内的非可佩戴头部跟踪器。
51.在一些实施例中，该方法还包括显示所识别的系统功能。
52.在一些实施例中，经由用户佩戴的头戴式显示器(hmd)显示所识别的系统功能。
53.在一些实施例中，应用头部运动来控制所识别的系统功能表现在经由hmd显示的图像中。
54.在一些实施例中，应用头部运动来控制所识别的系统功能表现在由外科手术系统的摄像机系统获取的图像中。
55.在一些实施例中，由功能开关沿着至少一个自由度感测所感测的下半身运动。
56.在一些实施例中，所确定的多个预定义的下半身运动序列中的一个包括多个感测的下半身运动的累积。
57.在一些实施例中，该方法还包括基于感测的下半身运动连续更新所识别的系统功能，直到接收到头部运动，并且在接收到头部运动时，暂停更新所识别的系统功能并开始应用头部运动来控制所识别的系统功能。
58.在一些实施例中，该方法还包括在应用头部运动来控制外科手术系统的所识别的系统功能时忽略随后感测的下半身运动。
59.在一些实施例中，该方法还包括确定用户的头部在第一预定义的时间阈值内的静止状态，并作为响应停用功能开关。
60.在一些实施例中，该方法还包括在以下项中的至少一项之后停止应用头部运动来控制外科手术系统的所识别的系统功能：经过第二预定义的时间阈值和功能开关的停用。
61.附图简述
62.结合附图，从下面的详细描述中将更充分地理解和领会所公开的技术，在附图中：
63.图1a-图1d合在一起是根据所公开的技术的实施例构造和可操作的用于启用和控制外科手术系统的功能的示例性用户界面的示意图；
64.图2a-图2g与图1a-图1d合在一起示出了根据所公开技术的另一个实施例构造和可操作的用于启用和控制外科手术系统的功能的另一个示例性用户界面；
65.图2h-图2k与图1a-图1d合在一起示出了根据所公开技术的另一个实施例构造和可操作的用于启用和控制外科手术系统的功能的另一个示例性用户界面；
66.图3a-图3d与图1a-图1d合在一起示出了根据所公开技术的另一个实施例构造和可操作的用于控制外科手术系统的示例性功能开关；
67.图4a-图4d与图1a-图1d合在一起示出了根据所公开技术的另一个实施例构造和可操作的用于经由三个不同的功能滑块来启用和控制外科手术系统的功能的另一个示例性用户界面；
68.图4e-图4g与图1a-图1d和图4a-图4d合在一起示出了根据所公开技术的另一个实施例构造和可操作的用于与图4a的滑块接合(interface)的示例性技术；
69.图4h-图4j与图1a-图1d和图4a-图4d合在一起示出了根据所公开技术的另一个实施例构造和可操作的用于与图4b的滑块接合的示例性技术；
70.图4k与图1a-图1d和图4a-图4d合在一起示出了根据所公开技术的另一个实施例构造和可操作的用于与图4c的滑块接合的示例性技术；
71.图5a-图5i与图1a-图1d合在一起示出了根据所公开技术的另一个实施例构造和可操作的用于结合一个或更多个头部运动使用功能开关来导航菜单的技术；
72.图6是根据所公开技术的另一个实施例构造和可操作的用于启用外科手术系统的多个控制功能的方法的示意图；和
73.图7是根据所公开技术的另一个实施例构造和可操作的用于启用和控制外科手术系统的功能的方法的示意图。
具体实施方式
74.所公开的技术通过提供包括用于控制外科手术系统的功能开关的用户界面来克服现有技术的缺点。功能开关通过减少启用各种系统功能所需要的控制方式的数量来简化用户界面。功能开关允许用户经由相对简单的用户界面从广泛的系统功能中选择，使用户不必记住复杂的设备布局。功能开关可以以多种方式实现，并且可以与其他用户输入手段例如头部运动(例如姿势)等结合使用以控制外科手术系统。在一个实施例中，经由脚操作功能开关，允许外科医生仅使用几个简单的脚运动从多个系统功能中选择。外科医生可以在穿鞋时操作功能开关，因为功能开关的简化用户界面没有可能需要利用裸露脚趾进行识别的多个按钮。在其他实施例中，功能开关是以下项中的任何一项：可佩戴设备、配置有可移动椅子的设备、触摸板或其组合。
75.功能开关所呈现的用户输入界面为外科医生提供了更直观的用户体验。本文所述的功能开关可以在与外科医生物理(即机械)接触或不与外科医生物理(即机械)接触的情况下实现。在一些实施例中，功能开关被实现为提供与外科医生的单点界面(即物理接触)的脚操作式设备，例如具有单个踏板、操纵杆、球窝、可旋转和可倾斜的脚托等，避免需要多个按钮来控制多个功能。单个机械接合部件在至少一个自由度的运动范围内是可操纵的，取代了常规外科手术脚踏开关典型的多个按钮和/或操纵杆。因此，代替导航多个按钮和开关，外科医生使用脚通过一个或更多个旋转、倾斜、按压等来操纵单个接合部件。
76.在一些实施例中，单个接合部件可以通过用户的脚切换到多个离散状态中的任何一个。每个离散状态可以启用头部姿势(例如，头部运动)以控制不同的功能。附加地或可替代地，不同的离散状态序列可以启用不同的功能，然后可通过头部姿势来控制这些功能。外科医生可以通过以预定顺序将单个接合部件操纵到各种状态来执行离散状态的序列。在一些实施例中，离散状态的序列仅包括单个状态。在一些实施例中，序列包括多个状态。在一些实施例中，离散状态的序列包括在特定时间段内将单个接合部件保持在一个或更多个特定状态(例如，短按压后接长按压)。
77.功能开关可以包括一个或更多个传感器，例如用于确定任何给定时间点的当前状态的微动开关和/或光电开关。功能开关可以使用常规的有线或无线手段连续地向处理器传送当前状态的指示。处理器通过参考将多个序列(每个序列包括至少一个离散状态)与多个相应的系统功能相关联的库基于接收的指示(例如一个或更多个指示)来识别启用哪个系统功能。处理器可以基于接收的指示确定序列，并将该序列与存储在库中的多个预定义的离散状态的序列相匹配。在一些实施例中，当前状态的指示由功能开关传输识别号码。在一些实施例中，枚举不同状态，并且功能开关向处理器传输一个或更多个号码以指示当前状态。在一些实施例中，功能开关传输两个或更多个号码以指示当前状态。例如，第一号码表示与功能开关耦合的脚托的倾斜状态(第一自由度)，而第二号码表示脚托的旋转状态。基于这两个号码，处理器确定脚托的当前状态，例如，对于第一状态，向上倾斜并向左旋转，而对于第二状态，向上倾斜并向右旋转。
78.在其他实施例中，功能开关被实现为感测下半身运动的一个传感器或多个传感器，而不使用可操纵的单个接合部件。外科医生的身体运动可以是脚、脚趾、腿、膝盖、臀部或腰部中的任何一个的运动，并且可以通过各种装置来感测，例如通过感测可见和/或红外波长的摄像机(例如，对用户的脚和/或腿成像的摄像机)、可佩戴惯性测量单元(“imu”)(例如，附接到用户的脚或腿的imu，或者附接到用户所坐的椅子的imu)、感测外科医生的脚的运动(例如，轻敲、拖动、按压、抬起)的触摸板等来感测。
79.功能开关感测外科医生连续的下半身运动，并使用常规的有线或无线通信将感测的运动提供给处理器。处理器分析感测的运动以确定外科手术系统的相应系统功能。处理器例如经由头部姿势启用对该功能的控制。例如，处理器将脚的连续顺时针旋转(第一移动)与第一系统功能相关联，并将连续逆时针旋转(第二移动)与第二系统功能相关联。类似地，处理器将脚的向前10度倾斜(例如通过从地板上抬起脚后跟)(第三移动)与第三系统功能相关联，并将向前20度倾斜(第四移动)与第四系统功能相关联。处理器将不同的运动与不同的系统功能相关联，允许外科医生使用自然、直观的运动从多个系统功能中进行选择。这使外科医生不必在常规脚踏板的不同按钮和操纵杆之间进行搜索和摸索，这些按钮和操纵杆通常不在外科医生的可见范围内。附加地或可替代地，不同的运动序列可以启用用于控制不同功能的头部姿势。
80.如本文使用的术语“运动序列”被理解为由感测设备感测为位置和取向随时间的顺序进展的自然身体移动。运动序列可以是单个移动(例如转动脚)，或者可以是多个移动(例如转动脚和抬起脚后跟)。功能开关感测外科医生连续的下半身运动，该下半身运动被提供给处理器进行分析。处理器将感测到的运动序列与预定义的运动序列的库进行比较，以确定匹配并识别相应的系统功能。
81.在一些实施例中，功能开关与配置有头戴式显示器(hmd)的头部跟踪器结合使用，用于控制外科手术系统的参数(例如功能)。外科医生使用功能开关来选择要控制哪个系统功能(例如，启用对其的控制)，并利用由头部跟踪器检测的头部运动来实现实际控制。虽然随后的描述和图示总体上涉及实现为脚踏开关的功能开关和与hmd集成的头部跟踪器，但这只是示例性实现，其并非旨在将本发明限于该特定实施例。应注意的是，功能开关可以以任何数量的方式(例如配置为检测佩戴者的下半身运动的可佩戴设备、操纵杆、杠杆、球窝机构、触摸板等)来实现。可替代地，功能开关可以利用转椅来实现。坐在椅子上的用户可以通过用身体旋转椅子和/或用脚轻敲椅子的腿来选择控制功能。在一些实施例中，可以提供头部跟踪器以在没有hmd的情况下跟踪外科医生的头部运动。重要的是，功能开关是以免手动(hand-free)的方式操作的，解放外科医生的手来执行外科手术。
82.现在参考图1a-图1d，其合在一起示出了根据所公开技术的实施例构造和可操作的用于启用和控制外科手术系统的功能的示例性用户界面，该外科手术系统通常标记为100。尽管本文的大部分描述总体上涉及图1a中所示的显微镜系统，但该图示仅出于示例性目的而给出，并不旨在将本发明限于该实现的特定特征。本发明可以类似地用于非显微镜外科手术系统(例如面罩引导外科手术(vgs)系统)。在vgs手术中，hmd增强了外科医生对患者的视野，并允许外科医生看到解剖特征和外科手术工具，就像患者的身体是部分透明的一样。这些手术可以可选地完全在没有外科手术视野(surgical field)的放大图像的情况下并且因此在没有摄像机头(camera head)单元的情况下执行。
83.参考图1a，系统100包括与hmd 103集成的头部跟踪器102、功能开关104、臂106、容纳计算机118(未示出)并支撑屏幕108的手推车116、摄像机头110和摄像机头定位器111。外科医生120经由功能开关104和头部跟踪器102控制系统100的参数和设置，解放他的手用于外科手术。虽然图1a所示的实施例示出了与hmd 103集成的头部跟踪器102，但这不是必需的，并且不旨在限制本发明。应当理解，头部跟踪器102可以以本领域中已知的任何合适的方式来实现，例如具有一个或更多个光学、惯性、机械或声学(例如超声波)位置和/或运动检测器，该位置和/或运动检测器可以独立于被提供以向外科医生120呈现信息的显示器而操作。类似地，虽然功能开关104被示出为脚使能开关，但这也不是必需的，并且不旨在限制本发明，如下文将描述的。
84.摄像机头110容纳摄像机系统112和照明系统114。摄像机系统112可以包括至少两个高分辨率摄像机(未示出)。臂106将计算机118连接到摄像机头定位器111和摄像机头110。计算机118经由集成在手推车116和臂106内的一根或更多根导线和/或电缆(未示出)电气耦合到摄像机头定位器111(可选)、摄像机头110、摄像机系统112和照明系统114。
85.计算机118控制摄像机头110的位置和取向。臂106可以是机械臂，在这种情况下，计算机118经由摄像机头定位器111控制摄像机头110，该摄像机头定位器111包括在x坐标、y坐标和z坐标中的多个电机以及可选地包括用于控制倾斜的一个或更多个电机。可替代地，臂106是机器人，并且计算机118通过控制臂106来控制摄像机头110的位置和取向。计算机118附加地控制照明系统114和摄像机系统112的操作参数，其细节在下面提供。
86.头部跟踪器102、hmd 103、功能开关104和计算机118各自设置有一个或更多个发射器和/或接收器(未示出)，用于在它们之间通信耦合。发射器和接收器可以与任何合适的有线和/或无线通信手段和协议兼容，该手段和协议例如为电气电缆或光纤电缆(未示出)、
wifi、蓝牙、紫蜂(zigbee)、短程、中程、远程和微波rf、无线光学手段(例如激光、激光雷达、红外)、声学手段、超声波手段等。
87.参考图1b，示出了图1a的计算机118的示意框图。图1b旨在作为示例性实现，并不将本发明限于任何特定的硬件或软件配置。例如，在适用的情况下，软件模块可以替换硬件模块，反之亦然。计算机118包括至少一个处理器118a、至少一个收发器118b、电源118c、至少一个存储器118d、至少一个模数a/d转换器118e、至少一个数模d/a转换器118f，以及以下项中的一项或更多项：机械臂控制器118g、摄像机系统控制器118h、照明系统控制器118i、头部跟踪器控制器118j、功能开关控制器118k、图像处理器118l、眼睛跟踪器控制器118m、声学分析器118n和至少一个总线118o。至少一个处理器118a可以包括中央处理单元(cpu)、图形处理单元(gpu)、加速处理单元(apu)等中的任何一个。至少一个处理器118a、收发器118b、电源118c、存储器118d、a/d转换器118e、d/a转换器118f、机械臂控制器118g、摄像机系统控制器118h、照明系统控制器118i、头部跟踪器控制器118j、功能开关控制器118k、图像处理器118l、眼睛跟踪器控制器118m、声学分析器118n经由至少一个总线118o耦合。
88.尽管计算机118被示为单个单元，但这仅出于概念目的。计算机118可以被实现为以与系统100协调的方式操作的多个分布式单元。例如，至少一个处理器118a、收发器118b、电源118c和存储器118d中的每一个可以分别包括可以分布在系统100的部件之中的多个处理单元、存储器、电源和收发器。例如，摄像机头110、头部跟踪器102、功能开关104、远程服务器(未示出)等中的任何一个可以各自设置有以协调的方式操作以控制系统100的处理器、存储器和收发器。
89.参考图1c，示出了诸如图1a的功能开关104的通用功能开关的示意框图。图1c是通用功能开关的示例性实现，并且不旨在将本发明限于特定实施例，也不旨在将本发明限于所示的特定模块。应当理解，可以使用本领域中已知的任何合适的感测部件，并且本发明不限于本文列出的特定感测部件。类似地，软件模块可以替换硬件模块，反之亦然。功能开关104包括用于感测运动和/或用于允许确定离散状态的传感器单元104a，如上所述。因此，传感器单元104a可以将运动感测为施加的压力、旋转、倾斜、推动、拉动、滑动、拖动、扭动等中的任何一个。附加地或可替代地，传感器单元104a可以感测一个离散状态或多个离散状态。传感器单元104a包括以下项中的一项或更多项：压力传感器104b、光学传感器104c(例如摄像机)、声学传感器104d(例如超声波)、触摸传感器104e(例如诸如可以与触摸板集成)、微动开关104f、光电开关104h和惯性测量单元(imu)104g。压力传感器104b可以耦合到一个或更多个机械部件(未示出)，例如弹簧、杠杆、铰链等，其响应由用户的脚、脚趾、脚后跟、腿、膝盖或臀部施加的垂直、水平、对角线或旋转压力。光学传感器104c可操作以捕获(例如用户的下半身的)一个或更多个图像。声学传感器104d可操作以经由超声波感测距离。触摸传感器104e可操作以检测物理接触(例如，经由电容的改变)。微动开关104f可操作以检测离散状态。例如，光电开关104h可操作以通过经由光束中断的致动来检测离散状态。imu 104g可操作以执行平移运动和旋转运动的实时空间跟踪，并且包括一个或更多个微机电系统(mems)，例如3d加速度计104i、罗盘(磁力计)104j和3d陀螺仪104k。功能开关104附加地包括发射器104l。传感器单元104a和发射器104l经由总线104m电气耦合。在一些实施例中，功能开关104包括一个或更多个处理器(未示出)。
90.功能开关104分别经由发射器104k和收发器118b向计算机118的处理器118a(图
1b)提供由传感器单元104a感测的数据。在一些实施例中，功能开关104感测连续运动(例如，下半身运动)。例如，功能开关可以利用向处理器118a提供视频数据以进行分析的摄像机来实现。作为另一个示例，功能开关104利用向处理器118a提供作为加速度和角速度的直接运动数据的imu来实现。在一些实施例中，功能开关104感测脚操作式设备的离散状态，该脚操作式设备提供单个可操纵的机械接合部件。例如，对于实现为具有脚托的脚操作式设备的功能开关，该脚托提供与外科医生的单点接触，如果外科医生向前按压脚托，则功能开关将报告第一状态，而如果外科医生向右旋转脚托，则功能开关将报告第二状态，以此类推。如果功能开关处于休息状态(resting state)，则功能开关将报告休息或中立(neutral)状态。在该示例的可替代的实现中，功能开关可以报告旋转状态和倾斜状态，而处理器将确定组合状态(例如旋转和未倾斜、倾斜和未旋转、未倾斜和未旋转等)。
91.多个可用的系统功能存储在存储器118d中。在基于运动的实现中，与多个系统功能相关联地存储多个预定义的下半身运动序列。在离散状态实现中，与多个系统功能相关联地存储多个序列，每个序列包括功能开关104的至少一个离散状态。当从功能开关104接收到外科医生120的下半身运动的指示(作为下半身运动或作为离散状态)时，处理器118a访问存储在存储器118d中的关联以识别相应的系统功能。
92.参考图1d，示出了图1a的头部跟踪器102的示意框图。头部跟踪器102可以是如本领域中已知的任何头部跟踪器。图1d示出了头部跟踪器102的示例性实现。图1d不旨在将本发明限于所示的特定部件，而头部跟踪器102可以包括比图1d所示的附加的或更少的部件。类似地，在适用的情况下，软件模块可以替换硬件部件，反之亦然。头部跟踪器102可以基于集成在hmd 103内的跟踪单元(具有或不具有附加的跟踪单元)、或者基于一个或更多个独立跟踪单元、或者其组合来实现。在一些实施例中，头部跟踪器102被实现为独立系统，并且包括用于分析跟踪数据的处理器(未示出)。在其他实施例中，头部跟踪器102向计算机118的处理器118a报告任何检测的跟踪数据。在一些实施例中，例如，当与hmd 103集成时，头部跟踪器102被实现为可佩戴设备。在一些实施例中，头部跟踪器102被实现为一个或更多个外部传感器，例如跟踪外科医生的头部的摄像机或其他外部传感器。在一些实施例中，头部跟踪器102被使用可佩戴传感器和外部传感器的组合来实现。
93.头部跟踪器102包括至少一个传感器单元102a(其用于感测用户头部的位置、取向和/或运动中的任何一个)以及发射器102j。传感器单元102a和发射器102j经由总线102k耦合。传感器单元102a包括光学传感器102c、声学传感器102d和惯性测量单元(imu)102f中的一个或更多个。光学传感器102c可以包括捕获诸如反射标记或led的标记的一个或更多个摄像机。imu 102f包括一个或更多个微机电系统(mems)，例如用于感测运动的3d加速度计102g、罗盘(磁力计)102h和陀螺仪102i。头部跟踪器102分别经由发射器102j和收发器118b向计算机118的处理器118a(图1b)提供由至少一个传感器102a感测的位置和取向数据和/或运动数据。
94.计算机118的处理器118a从功能开关104接收数据，并应用该数据以确定用于控制系统100的功能。处理器118a附加地从头部跟踪器102接收跟踪数据，并随后应用头部运动(例如，姿势)以控制系统100的确定功能。例如，外科医生120可以通过用脚操作功能开关104来选择启用聚焦功能，并继续使用由头部跟踪器102跟踪的头部运动来调整摄像机系统112的聚焦设置。在一些实施例中，控制该功能的结果表现在例如经由hmd 103显示给外科
医生的图像中。例如，当外科医生使用头部运动调整摄像机系统112的聚焦设置功能时，外科医生经由hmd 103在由摄像机系统112获取的实时视频中看到聚焦调整的结果。作为另一个示例，当外科医生使用头部运动来调整其他系统功能(例如摄像机系统112的xy位置、照明设置、图像处理设置、在手术前图像和患者文件内滚动、操作菜单或改变叠加在实时视频流上的覆盖物(overlay))时，控制这些功能的结果表现为显示给外科医生的图像中的改变。在这些实施例中的一些实施例中，控制该功能的结果表现在来自摄像机系统的实时视频(例如，由摄像机获取的视频和/或从摄像机系统中的其他传感器(例如ioct扫描头部)生成的视频)中。在一些实施例中，控制该系统功能的结果也可以在没有摄像机系统的手术或系统中(例如在vgs手术或vgs系统中)表现在呈现给外科医生的视频中。
95.计算机118的处理器118a向hmd 103提供由摄像机系统112捕获的图像的实时视频流，以供外科医生120查看。在一些实施例中，处理器118a包括用于实时处理实时视频流的gpu。在一些实施例中，处理器118a包括用于实时处理实时视频流的嵌入式硬件、现场可编程门阵列(fpgu)、专用集成电路(asic)等。附加地或可替代地，处理器118a从存储器118d检索一个或更多个图像(例如手术前图像、数据文件、指导信息等)以经由hmd 103显示。在一些实现中，可以从远程服务器(例如基于云的服务器)流式传输或下载图像。
96.在一些实施例中，处理器118a可以渲染预先获取的成像数据并向hmd 103提供所渲染的图像的实时流(live stream)。例如，在vgs手术中，通过从ct或mri影像(imagery)进行分割而生成的身体部位的模型可以存储在存储器中并在hmd 103上实时地渲染，以供外科医生120使用常规技术查看。在其他实施例中，从诸如内窥镜的外部设备获取被传输到hmd 103的图像。系统100可以在手术的一个阶段用于vgs(没有摄像机系统112)，并且在稍后阶段用于显微外科手术(具有摄像机系统112)。计算机118的处理器118a基于当前系统模式以及经由用户界面从外科医生接收的一个或更多个输入来确定将哪些图像流式传输给外科医生120及其格式(大小、聚焦、变焦、取向设置等)。
97.外科医生120在对患者122执行外科手术时佩戴hmd 103以查看外科手术视野124的放大视频。摄像机系统112获取与对患者122执行的外科手术相对应的外科手术视野124的图像流。计算机118接收并处理由摄像机系统112获取的图像流，并经由收发器将处理的图像传输到hmd 103以供外科医生120查看。此外，外科医生120操作功能开关104以启用对多个功能之一的控制，这些功能可用于控制系统100的系统设置和参数(例如摄像机设置、照明设置和显示设置)。在一些实施例中，由外科医生120经由功能开关104启用的功能经由hmd 103指示，例如通过显示与实时图像叠加的覆盖物，呈现启用的功能的名称。在经由功能开关104启用功能之后，外科医生120通过执行不需要使用手的动作(例如经由可由头部跟踪器102检测的头部运动)来控制启用的功能的参数。
98.根据本文描述的任何实施例，功能开关104向处理器118a传输数据以启用可用的系统功能中的一个或更多个。因此，数据可以包括连续感测的外科医生120的下半身运动和/或关于由外科医生120的脚操作的功能开关的当前状态的连续指示。
99.例如，当功能开关104利用具有可通过一个或更多个微动开关检测的多个离散状态的可旋转和可倾斜的脚托实现时，使脚托向前倾斜触发传感器单元104a的第一微动开关，以经由发射器104k和收发器118b向计算机118的处理器118a报告向前倾斜状态。处理器118a确定功能开关104的向前倾斜状态对应于ioct功能，并相应地启用该功能。一旦启用，
外科医生120就使用由头部跟踪器102跟踪的头部运动来控制ioct控制功能的各个方面(例如通过操纵外科手术视野中由ioct图像扫描的区域)。类似地，使脚托向后倾斜触发传感器单元104a的另一个微动开关，以向处理器118a报告向后倾斜状态。处理器118a确定功能开关的向后倾斜状态对应于poct功能，该poct功能因此被启用。一旦启用，外科医生120就使用由头部跟踪器102跟踪的头部运动来控制poct功能的各个方面。通过使用倾斜、旋转、按压、推动、轻敲运动等的组合(例如序列)经由单点界面操纵功能开关104，外科医生120可以启用用于控制系统100的多种功能。
100.作为另一个示例，当使用用于检测脚托的运动的传感器(诸如imu)来实现功能开关104时，顺时针转动脚托使得传感器104a经由发射器104k和收发器118b将顺时针运动数据传输到处理器118a。处理器118a分析数据以识别顺时针转动，并将其与存储在存储器118d中的预定义的运动序列的库相匹配。处理器118a确定顺时针转动对应于变焦控制功能，并相应地启用该变焦控制功能。一旦启用，外科医生120就使用由头部跟踪器102跟踪的头部姿势来控制变焦功能的各个方面。类似地，逆时针转动脚托使得传感器104a将逆时针运动数据传输到处理器118a。处理器118a分析数据以识别逆时针转动，并将其与预定义的运动序列的库相匹配。处理器118a确定逆时针转动对应于照明控制功能，并启用照明。一旦启用，外科医生120就使用由头部跟踪器102跟踪的头部运动来控制照明的各个方面。
101.应当理解，这些只是不限制本发明的示例性实现，本发明可以经由本文描述的任何实施例来实现。例如，虽然功能开关104被示为位于地板上的具有可移动脚托的脚启用设备，但其他实现也是可能的(例如经由可佩戴设备、安装在椅子上的设备、触摸板等)。
102.在一些实施例中，功能开关104经由针对外科医生120的单点界面感测运动。例如，设置有功能开关104的脚托元件可以包括枢轴，该枢轴可以向前和向后倾斜，以及顺时针和逆时针旋转，允许外科医生在不从脚托上抬起脚的情况下从多个功能中进行选择，并且消除对许多按钮的需要。因此，功能开关104操作更简单，并且允许外科医生120在外科手术期间穿鞋。
103.在一些实施例中，可以使用多于一种控制方式。在一些实施例中，如本文所述，大多数系统功能通过头部运动和功能开关控制，但是一些系统功能可以由单独的控制方式直接控制。例如，单独的操纵杆可以控制摄像机的xy电机，而其他功能是使用头部运动和功能开关来控制的。作为另一个示例，一个或更多个专用按钮可以设置有功能开关，例如用于保存实时视频的快照的按钮和用于在两个系统模式之间切换的按钮。专用按钮可以被实现为物理按钮或虚拟按钮(例如，当功能开关利用可佩戴跟踪器或利用触摸板来实现时)。
104.现在参考图2a-图2g，图2a-图2g与图1a-图1d合在一起示出了根据所公开技术的另一个实施例构造和可操作的另一个示例性用户界面(通常标记为200)，其用于启用和控制外科手术系统的功能。用户界面200可以包括可选的输出界面(在本文称为功能滑块202)，用于诸如经由hmd103向外科医生120显示控制选项。用户界面200附加地包括经由功能开关204的输入界面，该功能开关204对应于功能开关104(图1a和图1c)。如上所述，功能开关204被配置以感测外科医生120的下半身运动，或者感测由于被外科医生120操纵而导致的离散状态。在所示的示例性实施例中，外科医生120用他的脚206操纵功能开关204，然而，这并不旨在进行限制。功能滑块202经由hmd 103向外科医生120显示用于控制系统100的各种系统功能，例如用于控制照明设置的“照明”208、用于控制聚焦的“聚焦”210和用于
控制与系统100一起设置的摄像机的变焦的“变焦”212。
105.外科医生120操纵功能开关204，例如通过用脚旋转与其一起设置的脚托，以调用一个或更多个可选功能滑块，每个功能滑块呈现多个控制功能。外科医生120可以在不执行专用调用动作的情况下调用滑块，即仅通过利用脚206的顺时针或逆时针旋转来旋转功能开关204。可替代地，外科医生120可以利用专用动作(例如利用脚206倾斜和释放功能开关204)来调用功能滑块。处理器118a从功能开关204接收外科医生120已经开始功能启用过程的指示。当呈现功能滑块时，开始功能启用过程相当于调用功能滑块。处理器118a经由hmd 103显示功能滑块。在一些实施例中，响应于超过阈值的移动来调用功能滑块，以防止微小移动调用功能滑块。可选地，如果无意调用了功能滑块，则处理器118a重置功能启用过程，并且如果在预定义的时间段(例如2秒)内没有由头部跟踪器或功能开关检测到动作，则从显示器移除功能滑块。在一些实施例中，外科医生120通过快速移动和释放脚托来调用功能滑块。作为响应，处理器118a显示调用的功能滑块并突出显示默认功能。在一些实施例中，外科医生120通过将脚托直接移动(即，倾斜、或按压、或倾斜并按压)到所期望的状态来调用功能滑块，在这种情况下，在调用滑块时突出显示适当的功能。
106.在调用功能滑块202之后，外科医生120可以操纵功能开关204的脚托以舒适地滚动(scroll through)功能滑块202中显示的系统功能的列表并突出显示要控制的功能(例如，如果所期望的功能尚未突出显示)。一旦功能已经被突出显示，则外科医生120可以使用由头部跟踪器102(图1d)跟踪的头部运动来控制突出显示的功能。在图2a-图2c的示例性实施例中，示出了呈现三个系统功能的单个功能滑块202：照明208，聚焦210和变焦212。在功能滑块202上突出显示的选择的功能对应于当外科医生120利用脚206操纵功能开关204的脚托时该功能开关204的脚托的取向。在图2a-图2c中，为了清楚起见，示出了一条线，以指示脚托随着外科医生120的脚旋转。应当理解，根据该实施例，在其他附图中，即使在没有示出线的情况下，脚托也随着外科医生120的脚移动。
107.应当注意，本文描述的滑块减轻了外科医生记住选择不同功能所需要的各种运动的需要。当用户还不熟悉系统时或当功能布局是用户可配置的时，这可能是有利的。现在描述利用脚来操纵功能开关204以控制系统100的示例性实现。在下面给出的示例中，应当理解，外科医生120的脚运动由功能开关104的传感器104a(图1c)检测并提供给计算机118的处理器118a(图1b)，如上所述。处理器118a分析检测的脚运动以确定用于启用的功能，并向外科医生120显示相应的功能滑块202，该功能滑块202呈现所选择的功能并协助外科医生调整选择。
108.尽管下面的描述涉及具有感测运动的传感器的脚踏开关，但应当理解，可以利用感测离散状态的脚踏开关来实现类似的用户界面。在这种情况下，当外科医生利用脚移动功能开关的脚托时，功能开关报告当前状态的指示。该指示可以涉及一个或更多个自由度，例如结合倾斜状态的旋转状态，或者例如用于每个离散状态的单独标志(flag)。此外，虽然下面的描述描述了通过旋转脚来导航功能滑块，但功能开关可以被配置为允许使用除了旋转之外的任何合适的运动(例如倾斜或按压等)来导航功能滑块。功能开关可以允许外科医生根据个人偏好配置启用不同功能(feature)的运动。类似地，虽然功能滑块以水平取向示出，但滑块可以以任何合适的方式取向(例如竖直地取向，作为刻度盘)，并且可以根据外科医生120的偏好来设置。
109.参考图2a，功能滑块202被调用并经由hmd 103显示给外科医生120。当外科医生120保持脚206笔直时，计算机118的处理器118a从功能开关204接收关于笔直取向的指示，并确定该位置对应于功能滑块202的中间呈现的默认功能“聚焦”210(例如，默认功能是聚焦功能，其由功能滑块中的“聚焦”210表示)。计算机118的处理器118a利用指示性箭头突出显示“聚焦”210。
110.参照图2b，外科医生120以逆时针旋转向左转动脚206。处理器118a从功能开关204接收作为一个离散状态(或多个离散状态，例如左旋转状态和零倾斜状态)或作为运动的逆时针旋转的指示。处理器118a确定逆时针旋转(或状态)对应于功能滑块202左侧呈现的“照明”功能208，并利用指示性箭头突出显示该功能208。
111.参考图2c，外科医生120以顺时针旋转向右转动脚206。处理器118a接收向右旋转的指示，作为感测的运动或作为离散状态的指示。处理器118a确定相应的功能是在功能滑块202的右侧呈现的“变焦”212，并相应地利用指示性箭头将该显示突出显示。
112.参考图2d，计算机118的处理器118a显示覆盖在由外科医生120经由hmd 103查看的图像214上的功能滑块202。外科医生120可以使用直观、自然的运动来导航在功能滑块202上呈现的选项，以突出显示和启用系统100的不同控制功能，同时查看经由摄像机系统112获取的实时图像流214。
113.可替代地，参考图2e-图2g，在一些实施例中，功能滑块202仅显示当前选择的功能而不是所有可用选项。转到图2e，当功能开关204上的脚206的取向是向前笔直时，计算机118的处理器118a经由hmd 103仅显示“聚焦”210。转到图2f，当功能开关204上的脚206的取向是向左时，计算机118的处理器118a经由hmd 103仅显示“照明”208。转到图2g，当功能开关204上的脚206的取向是向右时，计算机118的处理器118a经由hmd 103仅显示“变焦”212。
114.功能开关204可以与除基于hmd的系统以外的系统一起使用。例如，功能滑块202可以显示在常规的非可佩戴显示器上。应当注意，功能开关当与跟踪用户头部运动的系统(例如图1a的系统100)结合使用时特别有益于用户的手被占用的应用(例如在外科手术中是特别有益的)。在这样的应用中，系统功能可以经由跟踪的头部运动来控制，从而解放外科医生的手。头部跟踪可以由与诸如hmd 103的hmd集成的头部跟踪器102来实现。可替代地，可以在没有hmd的情况下实现头部跟踪，例如，通过使用捕获外科医生120的头部运动的摄像机实现头部跟踪器102，或者作为头部可佩戴跟踪设备(例如，没有显示器)等。
115.在一些实施例中，显示给外科医生120的功能可以被组织在包括所有系统功能的长列表(例如单个功能滑块)中，或者可替代地可以被组织在几个单独的列表(例如多个功能滑块)中，并且外科医生120可以使用同一功能开关204容易地调用所期望的功能滑块。此外，默认功能滑块可以基于当前系统模式列出最相关的系统功能(即，默认滑块中列出的功能可以根据当前系统模式改变)。当使用单独的滑块时，单次轻敲可以用于调用默认滑块(例如，当功能开关利用可佩戴跟踪器或触摸板实现时)，两次轻敲可以用于调用辅助滑块，以及通常任意数量的轻敲可以用于调用任意数量的滑块。可替代地，滑块可以通过在不同的方向上倾斜脚(例如，通过可旋转的脚托或通过跟踪)和/或在不同的时间段内倾斜脚来调用(例如，短的倾斜(而不保持脚托倾斜)用于调用一个滑块，以及长的倾斜(而不保持)用于调用第二滑块)。
116.现在参考图2h-图2k，图2h-图2k与图1a-图1d合在一起示出了根据所公开技术的
另一个实施例构造和可操作的用于启用和控制外科手术系统的功能的另一个示例性用户界面。图2h-图2k的用户界面基本上类似于上面关于图2a-图2c描述的用户界面，其中显著的差别在于多个功能滑块，即顶部功能滑块220和底部功能滑块222被覆盖在由外科医生120经由hmd 103查看的实时图像上(即，与单个功能滑块相对照)。仅出于示例性目的示出了两个功能滑块，并且可以类似地呈现三个或更多个功能滑块。
117.在一些实施例中，可以在不突出显示单个默认功能的情况下调用滑块。例如，外科医生可以通过轻微的脚移动来调用滑块，然后将功能开关返回到休息状态，以突出显示两个功能。随后，外科医生可以操作脚托，直到单个功能被突出显示(例如，被选择)和启用，并经由头部姿势继续控制选择的功能。在一些实施例中，可以在突出显示单个默认功能的情况下调用滑块。例如，外科医生可以倾斜功能开关而不释放以突出显示单个功能。随后，外科医生可以经由头部姿势立即继续控制所选择的功能。滑块的显示当然是可选的。处理器基于运动序列(或离散状态)确定启用的功能，而不考虑滑块的显示。
118.外科医生120操纵功能开关204以调用和操作经由hmd 103显示的功能滑块220和222。一旦调用功能滑块220和222，在任何给定时刻，突出显示两个功能，每个滑块一个功能。外科医生120可以通过在功能开关204上旋转脚206来滚动功能。外科医生120可以利用脚206的前部向前按压(向前倾斜)以仅使顶部功能滑块220的功能被突出显示，或者利用脚206的脚后跟按压(向后倾斜，图2j)以仅使底部功能滑块222的功能被突出显示。如上所述，计算机118的处理器118a接收指示外科医生120的运动的信号(即，作为连续运动或离散状态)，并相应地在hmd 103上突出显示一个功能(或多个功能)。一旦只有一个功能被突出显示，外科医生就可以开始使用头部运动来控制突出显示的功能。
119.计算机118的处理器118a将功能滑块220(顶部)与功能开关204的前部的取向相关联，例如可以由脚206的前部操纵。计算机118的处理器118a将功能滑块222(底部)与功能开关204的后部的取向相关联，例如可以由脚206的脚后跟操纵。对于图2h-图2j中的每一个，脚206从顶部视角示出以指示旋转，并从侧面视角示出以指示倾斜。参考图2h-图2j，示出了脚206的用于控制功能滑块220和222的动作序列。在图2h中，一旦功能滑块被调用，外科医生120就将脚206取向为向前笔直且平坦(无倾斜)。计算机118的处理器118a从功能开关204接收指示向前笔直且平坦位置的信号。处理器118a将默认功能(顶部功能滑块220的“聚焦”224)的显示突出显示，该默认功能与脚206的前部的向前笔直取向相对应。类似地，处理器118a将底部滑块222的默认功能“摇摄(pan)”226的显示突出显示，该默认功能“摇摄(pan)”226与脚206的脚后跟的笔直取向相对应。
120.在图2i中，外科医生120在顺时针方向上旋转脚206。处理器118a从功能开关204接收指示顺时针旋转的信号。作为响应，处理器118a突出显示除默认功能以外的功能。例如，处理器118a将顶部功能滑块220上的“变焦”228的显示突出显示，该“变焦”228位于“聚焦”224的右侧并且对应于功能开关204上脚206的向右取向。类似地，处理器118a将底部功能滑块222上的“切换”230的显示突出显示，该“切换”230位于“摇摄”226的左侧并且对应于脚206的后部的向左取向。如果外科医生120进一步顺时针旋转脚206(即，脚206的尖部向右旋转，并且脚206的后跟向左旋转)，则功能开关204向处理器118a提供该运动的指示，其突出显示两个其他功能的显示，例如，在顶部滑块220上的“变焦”228的右侧的“z电机”，以及在底部功能滑块222上的“切换”230的左侧的“app”。
121.为了选择在底部功能滑块222上突出显示的功能，外科医生120利用脚206的脚后跟按压。处理器118a从功能开关204接收指示脚后跟按压的信号，并且只使相应的功能被突出显示。类似地，为了选择在顶部功能滑块220上突出显示的功能，外科医生120利用脚206的前部按压。处理器118a从功能开关204接收指示前脚按压的信号，并且只使相应的功能被突出显示。参考图2j，向下按压脚206的脚后跟选择先前在滑块222上突出显示的功能滑块222的app功能232。
122.参考图2k，功能滑块220(顶部)和222(底部)被示出覆盖在经由hmd 103显示的实时图像234上。顶部功能滑块220从左到右呈现五个控制选项：xy(即xy电机)，illum(即照明)，聚焦，变焦，和z电机。底部功能滑块222从左到右呈现五个附加的控制选项：app 232(即应用操作)，切换(即切换系统模式)，摇摄，菜单，和透明(即打开hmd快门)。为了说明的目的，功能滑块220和222的大小已经被夸大了。在图2k的示例中，已经激活了称为poct的应用。该应用允许用户查看手术前oct扫描以及指示视网膜上与扫描位置相对应的位置的线。这通过在pip中显示的b扫描236和指示b扫描236的对应位置的线238来说明，其覆盖在实时图像234上。选择“app”允许用户通过利用头部运动调整线238的相应位置来滚动各种oct b扫描。poct是当启用“app”功能232(示出为突出显示)时可以使用头部运动来控制的一个应用的示例。当选择“app”232时，可以类似地控制其他应用，例如教学app、复曲面对齐(toric alignment)app、手术中oct app和许多其他应用。
123.返回参考图1a-图1d，可替代地或除了显示功能滑块(例如，滑块202、220或222)和经由hmd 103或独立显示器突出显示当前功能之外，处理器118a可以向外科医生120提供附加反馈，例如振动电机(未示出)的振动，该振动电机例如为配置有功能开关的脚托的压电电机。作为另一个示例，处理器118a可以经由扬声器(未示出)发出声音或宣布所选择的功能的名称。当外科医生120在滚动的同时改变所选择的功能时，处理器118a可以发出哔哔声。功能开关104可以允许连续滚动或离散滚动。在后一种情况下，功能开关104可以设置有触觉凸块(例如，实际或虚拟凸块，例如，利用振动电机实现的虚拟凸块)，使得外科医生120在旋转或倾斜脚托时感觉到离散的角度步长(angular step)。当外科医生120在各种功能之间旋转时(例如，其中每旋转5度定位“凸块”)，可旋转的脚托可以生成触觉反馈。在一些实施例中，如果不同的外科医生更喜欢相邻功能之间的不同的角度差(或者当例如通过在触摸板上沿着直线移动脚来执行滚动时更喜欢不同的距离)，则可以重新配置步长大小以及附加反馈。附加反馈可以协助外科医生120在将他的眼睛保持在外科手术视野上的同时滚动不同的选项，而不必将他的注视转移到经由hmd 103显示的功能滑块。起初，一些外科医生可能更喜欢显示可用的功能。然而，一旦外科医生习惯于本文描述的系统100提供的各种选项，每次显示所有选项就可能是不必要的，并且甚至是分散注意力的。学习曲线对于每个用户可能不同，并且可以允许定制。在一些实施例中，功能滑块总是被显示，即使它只是为了在背景中看到功能切换而不注视于它。然而，在学会依赖附加反馈之后，用户可以选择禁用功能滑块的显示。
124.在一些实施例中，处理器118a不向外科医生120显示功能滑块。例如，在图2a-图2g中，功能开关204可以一直向左或向右旋转并且一直向前或向后倾斜，因此附加的反馈不是必要的。是否显示功能滑块可以是用户可配置的。在一些实施例中，当功能滑块未被显示时，由系统提供另一个指示，该另一个指示指示功能启用的过程已经开始。这可以被提供用
于用户感知，例如，如果用户意外地开始了该过程。该指示可以经由hmd或通过任何其他手段来提供。
125.外科医生120可以利用由头部跟踪器102跟踪的一个或更多个头部运动(例如，姿势)来控制启用的功能。在头部移动时的过程中，或者在头部移动停止后的预定时间段内，可以考虑头部运动。这是为了允许头部运动的小停顿，例如，为了评估功能是否需要进一步调整。
126.以下是功能及其经由头部运动实现的控制的几个示例：
127.●
聚焦：
128.o上下头部运动：聚焦(focus in)和失焦(focus out)。
129.o向左头部运动：切换自动聚焦(打开/关闭)。
130.o向右头部运动：打开自动聚焦菜单。
131.●
变焦：
132.o上下头部运动：放大(zoom in)和缩小(zoom out)。
133.o向左头部运动：切换自动变焦(打开/关闭)。
134.o向右头部运动：打开自动变焦菜单。
135.●
照明：
136.o上下头部运动：增加/减少照明。
137.o向左头部运动：切换调暗照明(打开调暗/关闭调暗)。
138.o向右头部运动：切换照明(打开/关闭)。
139.●
xy电机：
140.o上下头部运动：移动y。
141.o左右头部运动：移动x。
142.●
z电机：
143.o上下头部运动：移动z。
144.●
机器人臂：
145.o替代xy电机和z电机，各种头部运动可以控制6-dof机器人臂(例如，在神经外科手术系统中的机器人臂)
146.o对头部运动的几种类型的约束(enslavement)可能是预定义的，例如：
147.■
仅改变摄像机头单元与外科手术视野的距离，而不改变查看方向。
148.■
改变摄像机头单元的查看方向，使得摄像机的fov中心锁定到外科手术视野中的一点。
149.■
不改变距离和/或查看方向的xy运动。
150.■
使摄像机头单元的位置和取向都从属(slave)于头部运动。
151.o以上的每一种类型(以及可选的其他类型)可以被认为是唯一的功能。
152.●
摇摄：
153.o类似于xy电机，但是在整个帧内滚动roi(即当放大整个帧以放大显示的图像时)。
154.在一些实施例中，外科医生120可以控制作为可通过执行头部运动来控制的功能的菜单。处理器118a经由hmd 103显示菜单。外科医生120通过执行由头部跟踪器102检测并
由功能开关104启用的头部运动来导航菜单。在这些实施例中，外科医生120通过执行头部运动在菜单内滚动，这有别于利用脚(或椅子等)在功能滑块内滚动。如下列出用于操作功能开关的许多可能实施例中的两个实施例的菜单的示例性动作列表：
155.●
可旋转脚托的实施例中的菜单操作
156.o启用菜单：利用脚后跟按压。
157.o操作菜单：头部动作。
158.o激活菜单项：取消按压(停止按压)脚后跟。
159.●
在可佩戴跟踪器(例如，可佩戴在脚、腿、膝盖、脚踝、臀部、腰部等上)的实施例中的菜单操作
160.o启用菜单：抬起脚后跟。
161.o操作菜单：头部动作。
162.o激活菜单项：使脚后跟休息/用脚后跟轻敲。
163.下面是包括用于眼睛外科手术应用的子菜单项的示例性菜单。应当注意，其他菜单可以被实现，以用于眼睛外科手术或用于其他领域(例如神经外科手术等)。
164.●
系统模式菜单
165.o前(anterior)；
166.o后广角镜头；
167.o后平面镜头。
168.●
图像增强菜单(“过滤器”)
169.o icg增强；
170.o bbg增强；
171.o锐化。
172.●
应用菜单
173.o复曲面对齐；
174.o预规划；
175.o手术前oct；
176.o ioct；
177.o内窥镜；
178.o教学。
179.经由hmd 103显示的菜单项可以动态地改变，并且可以例如依赖于手术的类型、手术的阶段、系统模式、用户偏好和可用的app(例如由外科医生120许可的app)。例如，一旦外科医生120激活app，菜单就可以包括用于控制app属性的附加菜单项(具有子菜单)。外科医生120首先通过在上面的app菜单中选择app来激活该app。外科医生120可以经由专用app菜单来终止app，该专用app菜单是在一激活app时就添加的。在另一个示例中，如果超声乳化玻璃体切除设备连接到系统100并被激活，则可以添加菜单项(具有子菜单)以允许用户控制超声乳化玻璃体切除设置和度量的显示，并且还可能控制一些设置。在另一个示例中，在白内障手术中，一旦中断超声乳化设备度量流式传输，就可以自动添加专用指导覆盖菜单项。
180.在一些实施例中，外科医生120经由功能开关104直接滚动和操作菜单，而不执行
头部运动。在这些实施例中，一旦调用菜单，外科医生120就使用功能开关104在各种菜单项和子菜单内滚动。
181.如下文关于图1a-图1d所述，选择、启用和控制功能的过程可以在任何点终止。注意，当显示滑块时，终止功能滑块相当于终止选择、启用和控制功能的过程。当没有显示滑块时，过程将以如下相同的方式终止：
182.●
通过定时器终止功能滑块
183.o在意外地调用了滑块时，如果在预定的时间段(例如0.5秒)内(持续时间是可配置的)，功能开关104没有检测到滚动，或者头部跟踪器102没有识别到控制头部运动，则滑块将自动消失。
184.●
在开始滚动后通过定时器终止功能滑块
185.o在外科医生120开始在功能滑块的功能内滚动之后改变他的或她的主意，并且不想利用头部运动来控制任何功能时，如果功能开关104和头部跟踪器102中的任何一个在预定时间段(例如1秒)内没有识别到滚动或控制头部运动，则滑块将消失。
186.●
通过定时器，通过释放，或例如通过轻敲或倾斜，终止头部运动
187.o在一些实施例中，在完成头部运动以控制功能时，外科医生120可以主动地终止动作，例如(例如，当功能开关104被实现为触摸板或利用跟踪器实现时)通过轻敲脚，或者(例如，当功能开关被利用脚托实现时，如下面所述的图3a-图3d所示)通过倾斜或释放功能开关104的脚托。例如，当通过释放脚托(即，未旋转和未倾斜)来启用功能时，外科医生120可以通过脚在功能开关104上的向前倾斜和释放动作来终止功能的启用。外科医生120可以通过执行功能开关104的脚托的向前倾斜和释放来启用聚焦功能。类似地，外科医生120可以通过执行功能开关104的脚托的顺时针旋转和释放来启用变焦功能。可替代地，一旦开始头部运动并且该头部运动被头部跟踪器102跟踪，外科医生120就可以释放脚托而不影响启用。在这两种情况下，可以利用功能开关104的脚托的向前倾斜和释放来终止启用。
188.o可替代地，在一些实施例中，可以利用定时器来实现终止，例如，如果功能开关104和头部跟踪器102中的任一者在预定时间段(例如2秒)内没有识别到脚或头部运动，则终止该过程，并且不再经由hmd 103显示所选择的功能。
189.o可替代地，在一些实施例中，在功能开关104的可旋转脚托的一个实现中，启用功能可能需要外科医生120在启用的持续时间内连续按压或旋转脚托。释放功能开关104的脚托终止启用。
190.在一些实施例中，所选择的功能组包括不需要外科医生120执行任何头部运动的快速激活。快速访问功能的数量可以变化，并且可以由外科医生120配置。以下是可能需要快速访问的功能的几个示例：
191.●
切换到最近模式
192.o这允许在前模式和后广角镜头模式之间快速切换，或者在前模式和后平面镜头模式之间快速切换。
193.●
应用操作(“app”功能)
194.o app功能允许特殊的应用能力。
195.o例如，当在预规划app处于激活时而被使用时，选择app功能会暂时冻结实时图像，并在冻结的图像上显示预规划覆盖。这种能力不需要任何头部运动。
196.o应当注意，当与其他app一起使用时，相同的“app”功能也可用于启用头部运动，例如：
197.■
使得头部运动能够在手术前图像内滚动(例如，包括poct应用，其中线覆盖在实时图像上)。
198.■
通过头部运动启用系统模式之间的切换(进一步参见下面的图5i)。
199.●
快照
200.o用于将实时图像的快照保存在存储器118d。
201.●
存储在存储器118d的视频记录(开始/停止)。
202.●
书签
203.o用于在存储器118d处保存指向外科手术期间特定时刻的指针以供将来参考(在这种情况下，系统可以提示用户命名书签，例如使用语音文本转换)。
204.例如，可以通过以下动作之一来实现快速访问功能：
205.●
倾斜和/或旋转功能开关104的脚托以突出显示功能，并释放脚托以激活突出显示的功能。
206.●
功能开关104的脚托的特殊轻敲。
207.●
例如利用设置有功能开关104的触摸板(未示出)触摸虚拟按钮。
208.●
触摸与功能开关104相邻的物理按钮(未示出)。
209.例如，当使用转盘实现时，外科医生120可以通过执行以下动作来实现快速访问：
210.●
利用脚后跟倾斜然后在逆时针方向上旋转功能开关104的脚托，访问应用按钮。
211.●
利用脚后跟倾斜然后在顺时针方向上旋转功能开关104的脚托，访问切换到最近模式功能。
212.在外科手术的特定阶段期间，外科医生120可能希望连续地将头部运动专用于单个功能，而不需要如上所述经由功能开关104选择该功能。例如，在神经外科手术中，外科医生120可能希望使用由头部跟踪器102检测的头部运动来控制保持摄像机头110的机器人臂106。在另一个示例中，在视网膜手术期间，外科医生120可能希望使用头部运动来控制摇摄动作(改变显示的roi)或xy电机。作为另一个示例，外科医生120可以连续地控制聚焦功能。为了做到这一点，外科医生可以指示系统100“锁定”指定功能(例如，锁定该功能的启用)。例如，可以通过在执行头部运动以控制功能的同时两次轻敲功能开关104上的脚来实现锁定(例如，两次轻敲锁定功能，而单次轻敲解锁该功能)。外科医生120可以在头部运动正在进行时经由功能开关104通过执行脚托的快速倾斜和释放或者如果脚托已经倾斜则释放脚托来锁定功能。为了解锁该功能，外科医生120可以执行附加的快速倾斜和释放。在一些实施例中，一旦功能被选择并且外科医生120已经开始执行头部运动，则默认锁定功能。外科医生120通过执行预定义的运动(例如轻敲或倾斜和释放)来解锁(或终止)功能启用。
213.在一些实施例中，系统100可以被配置为在头部运动正在进行时忽略来自功能开关104的一些或所有输入。这对于避免在外科医生120控制所选择的功能时意外地切换到新功能可能是有用的。在一些情况下，外科医生120可以通过操作功能开关104同时执行由头部跟踪器102跟踪的头部运动来控制系统100，例如：
214.●
如上所述，为了锁定功能，例如当头部运动正在进行时通过脚在功能开关104上两次轻敲或倾斜。
215.●
为了经由头部运动终止控制，例如当头部运动正在进行时通过在功能开关104上轻敲或倾斜(应当注意，在头部停止移动之后的预定时间段内，还可以认为头部运动正在进行)。
216.现在参考图3a-图3d，图3a-图3d与图1a-图1d合在一起示出了根据所公开的技术的另一个实施例构造和可操作的用于控制外科手术系统的功能开关的示例性实现，该功能开关通常标记为304。功能开关304感测沿着两个自由度的运动，即倾斜(向上和向下)和旋转(向右和向左)。功能开关304包括脚托306、平台308和一个或更多个枢轴310。功能开关304附加地可以包括弹簧、杠杆、铰链等的组合。脚托306经由枢轴310机械地耦合到平台308，该枢轴310允许脚托306相对于平台308倾斜和旋转。
217.在一些实施例中，脚托306可相对于功能开关304移动。可替代地，脚托306可相对于地板移动，并且功能开关与脚托一起移动。功能开关304可以包括传感器，该传感器检测由外科医生120在脚托306上的连续倾斜和旋转运动。可替代地，当外科医生120操纵脚托306时，功能开关304感测多个离散状态。功能开关304可以感测给定时刻的多个状态，例如向后倾斜与向右旋转。脚托306的表面可以用橡胶覆盖，以防止当外科医生120在脚托306上旋转脚时滑移，使得脚托306随着脚旋转。附加地或可替代地，脚托306可以在侧面上具有可调整的止动件(stopper)，以适应脚的宽度。
218.一个或更多个传感器(例如，图1c的传感器104a)检测脚托306的倾斜和旋转角度。在连续运动(即，基于运动的)实现中，传感器跟踪脚托的连续运动(例如旋转或倾斜)，并且功能开关304将连续运动传输到处理器118a。例如，外科医生120的脚施加在脚托306上的两次倾斜和释放运动被感测为连续运动并被提供给处理器118a。在离散实现中，传感器感测脚托306的离散状态。因此，上述连续的两次倾斜和释放运动被感测为四个离散状态的序列：倾斜、休息、倾斜、休息。应当注意，本实施例中的“序列”可以仅包括单个状态。附加地或可替代地，序列可以由状态的持续时间来定义(例如长的按压或倾斜相对于短的按压或倾斜)。在一些实施例中，当在预定时间段内没有报告其他状态，或者没有报告或接收到运动时，处理器118a确定休息状态。
219.外科医生120将他的脚搁置在脚托306上。枢轴310允许外科医生120操纵脚托306相对于平台308的位置和取向以控制系统100。功能开关304的休息(默认)状态允许外科医生120舒适地休息他的脚。脚托306响应于脚后跟在脚托的后部306b处施加的压力或由外科医生120的前脚在脚托的前部306a处施加的压力而倾斜。当不施加倾斜力时，脚托将返回到默认状态，而当不施加旋转力时，脚托将返回到默认的未旋转状态。这可以例如利用一个或更多个弹簧(未示出)来实现。默认状态可能是倾斜的，所以使脚长时间段内休息会更舒适，同时仍然允许利用脚后跟进一步倾斜(按压)。轴可以布置成使得旋转围绕脚后跟(图3a-图3b)，或者可替代地围绕脚的中心(图3c-图3d)。感测倾斜和旋转可以以本领域中已知的任何方式(例如通过使用微动开关和/或编码器(例如用于感测离散状态)，或者可替代地例如使用imu(例如用于跟踪连续运动))实现。
220.在一些实施例中，每个用户可以根据个人偏好配置功能开关的旋转和/或倾斜(即，在滑块中的两个相邻功能之间进行切换和/或在滑块之间进行切换所需要的旋转和/或倾斜的量可以是用户可配置的)。在一些实施例中，桥架(bridge)(未示出)被添加到图3a-图3d的实施例中，因此用户可以将脚搁置在桥架上而不引起任何倾斜。在一些实施例
中，可旋转的脚托可以允许附加的倾斜选项。例如，除了向后和向前倾斜之外，脚托还可以允许侧向倾斜(未示出)。
221.现在参考图4a-图4d，图4a-图4d与图1a-图1d合在一起示出了根据所公开技术的另一个实施例构造和可操作的用于经由三个不同的功能滑块400、420和430来启用和控制外科手术系统的功能的另一个示例性用户界面。应当注意，滑块400、420和430中的任何一个完全是可选的，并且外科医生可以在滑块被禁用(即，未显示)的情况下经由功能开关与系统100接合，例如当外科医生已经记住了用于启用不同功能的不同运动时，滑块可以被禁用。图4a-图4c中的每一个示出了功能滑块400、420和430中的一个，其可以通过利用脚406操纵对应于功能开关104的功能开关404而被单独调用。外科医生120利用脚406施加在功能开关404上的倾斜确定经由hmd 103呈现功能滑块400、420和430中的哪一个。参考图4a，外科医生120通过利用脚406移动功能开关404的脚托(例如向前倾斜并返回到原始位置(即向前按压和释放，而不保持脚托被按压))来调用默认功能滑块400(滑块1)。当外科医生120相对于默认状态保持功能开关404(即，未倾斜)时，处理器118a经由hmd 103向外科医生120显示第一功能滑块400。功能滑块400将照明、聚焦和变焦功能呈现给外科医生120。参考图4b，当外科医生120利用前脚向前按压脚406，并且功能开关404相对于地板向前倾斜时，处理器118a显示第二功能滑块420。功能滑块420向外科医生120呈现xy、摇摄和z电机功能。参考图4c，当外科医生120利用脚后跟向后按压来按压脚406，并且功能开关404相对于地板向后倾斜时，处理器118a经由hmd 103显示第三功能滑块430。功能滑块430向外科医生120呈现切换、菜单和app功能。为了清楚起见，图4a-图4c中所示的向下按压时倾斜的大小被夸大了。默认(休息)状态被示出为水平，但默认状态可能是倾斜的，所以使脚长时间段内休息会更舒适。
222.下面的功能列表旨在作为多个滑块上的功能的示例性分组，即分别是图4a-图4c的功能滑块400、410和430。应当注意，附加的滑块、功能和实现是可能的。外科医生120利用功能开关404的快速向前倾斜(而不保持)来调用默认滑块(即功能滑块400)以选择聚焦(默认选项)，或者向左旋转或向右旋转(保持或不保持，取决于如下面进一步描述的实现)来分别选择变焦或照明：
223.o聚焦(中心)
224.o变焦(左)
225.o照明(右)
226.在外科医生120使用上述实现中的任何实现调用滑块之后，外科医生120可以通过旋转功能开关404的脚托来改变所选择的功能。在一些实施例中，一旦外科医生120开始由头部跟踪器102跟踪的头部运动，所选择的功能就不可以改变，直到过程终止并且外科医生120再次调用滑块。
227.外科医生120可以通过向前倾斜功能开关404并保持该位置(在下文中示出)来调用第二功能滑块420(图4b)。可替代地，外科医生120可以通过向前倾斜脚托两次而不保持(未示出)来调用第二功能滑块420。第二功能滑块420被调用，其中中心功能(摇摄)被选择为默认。旋转(向左或向右旋转)功能开关414的脚托(保持或不保持，如下所述)分别选择左或右功能：
228.o摇摄(中心)
229.o xy电机(左)
230.o z电机(右)
231.外科医生120可以通过利用脚406向后倾斜功能开关404并保持该位置(在下文中示出)来调用第三功能滑块430(图4c)。可替代地，外科医生120通过向后倾斜功能开关404的脚托而不保持(未示出)来调用第三功能滑块430。外科医生120通过在功能开关404上分别向左或向右旋转脚406的脚后跟(保持或无保持，如下所述)来选择功能滑块430上显示的左或右功能：
232.o菜单(中心)
233.o切换(左)
234.o app(右)
235.在一些实施例中，外科医生120可以通过按压功能开关404一次以调用第一功能滑块400、按压功能开关404两次以调用第二功能滑块420、以及按压功能开关404三次以调用第三功能滑块430来调用功能滑块400、420和430。可替代地，为了调用第一功能滑块400，外科医生120可以按压功能开关404的脚托然后在第一预定时间段之后释放功能开关404的脚托。为了调用第二功能滑块420，外科医生120可以按压功能开关404的脚托然后在第二(更长)预定时间段之后释放功能开关404的脚托。为了调用第三功能滑块430，外科医生120可以按压功能开关404的脚托然后在第三预定时间段之后释放功能开关404的脚托。一旦功能滑块400、420和430中的一个已经被调用，外科医生120就可以旋转功能开关404的脚托以导航显示在调用的滑块上的选项。
236.一旦外科医生120已经调用功能滑块400、420和430中的一个，已经选择了单个功能，并且已经开始执行由头部跟踪器102跟踪的头部运动，就有方法来实现所调用的滑块的显示。在一个实现中，处理器118a继续在hmd 103上显示调用的滑块，并以区分开始头部运动之前和之后的方式突出显示由外科医生120当前控制的功能。在另一个实现中，处理器118a从hmd 103的显示器隐藏调用的滑块，并且仅在hmd 103上显示被控制的功能。
237.参考图4d，示出了使用通过头部跟踪器102跟踪的相应头部运动经由功能滑块400与外科手术系统100接合的方法。示出了用于控制功能滑块400的两个头部运动：440(抬头)和442(低头)。为了清楚起见，头部动作被夸大了。头部跟踪器102可以与hmd 103集成。在可替代的实现中，头部跟踪器102可以由位于手术室(operating theater)中的摄像机来实现。处理器118a在hmd 103上突出显示功能滑块400的所选择的功能(例如，“聚焦”)的显示，以指示其被启用。外科医生120通过执行头部运动440(抬头)和442(低头)来控制所选择的功能。当外科医生120将头部保持在静态或静止位置达预定时间段(例如1秒)时，处理器118a禁用“聚焦”功能，并且功能滑块400消失。可替代地，一旦外科医生120已经开始执行头部运动，外科医生120就可以通过倾斜功能开关404的脚托(而不保持)来终止动作。作为响应，处理器118a从显示器隐藏滑块。
238.现在参考图4e-图4g，图4e-图4g与图1a-图1d和图4a-图4d合在一起示出了根据所公开的技术的另一个实施例构造和可操作的用于与图4a的功能滑块400接合的示例性技术。为了在功能滑块400上启用“聚焦”功能，选项#1：外科医生120向下按压脚406并释放功能开关404，而不旋转(图4e)。可替代地，外科医生120执行任何小的瞬时移动以调用默认滑块。在外科医生120的头部静止预定时间段之后，可以自动终止启用。选项#2：外科医生120
向下按压脚406并释放功能开关404，而不旋转脚406，以锁定“聚焦”功能的启用。外科医生120向下按压脚406并释放以终止“聚焦”功能的启用。根据选项#3的终止可以通过上述任何动作(例如，以先到者为准)实现。
239.参考图4f，为了根据选项#1启用“照明”功能，外科医生120在功能开关404上向左旋转脚406并释放，而不倾斜。处理器118a利用定时器终止“照明”功能的启用。可替代地，外科医生120可以通过向下按压脚406并释放功能开关404来终止启用。为了根据选项#2启用“照明”功能，外科医生120在功能开关404上向左旋转脚406，而不倾斜功能开关404。为了终止“照明”的启用，外科医生120将脚406旋转回功能开关404上的中心。
240.参考图4g，为了启用“变焦”功能，选项#1，外科医生向右旋转脚406并释放功能开关404，而不倾斜功能开关404。处理器118a可以利用定时器终止“变焦”功能的启用。可替代地，外科医生可以通过向下按压脚406并释放功能开关404来终止“变焦”功能的启用。为了根据选项#2启用“变焦”功能，外科医生120在功能开关404上向右旋转脚406，而不倾斜功能开关404。外科医生120将脚406旋转回功能开关404上的中心，以终止“变焦”的启用。
241.现在参考图4h-图4j，图4h-图4j与图1a-图1d和图4a-图4d合在一起示出了根据所公开的技术的另一个实施例构造和可操作的用于与图4b的功能滑块420接合的示例性技术。为了启用“摇摄”功能(图4h)，外科医生120向前按压功能开关404，而不旋转。为了启用xy电机(图4i)，外科医生120利用脚406向前按压功能开关404，并向左旋转。为了启用“z电机”功能(图4j)，外科医生120利用脚406向前按压功能开关404并向右旋转。在这三种情况下，外科医生120通过释放功能开关404的脚托(即，将功能开关404返回到中立位置、未旋转和未倾斜)来终止功能的启用。可替代地(未示出)，外科医生120可以通过向前两次倾斜功能开关404的脚托(而不保持)来调用第二功能滑块420，保持脚托未旋转以选择“摇摄”，或者旋转脚托以选择“xy”或“z”并释放。在这些示例中，外科医生120可以通过向前倾斜并释放来终止功能的启用。可替代地，外科医生120可以通过功能开关404的长向前倾斜和释放来调用第二功能滑块420(即，与用于调用第一功能滑块400的短向前倾斜和释放相对照)。
242.参考图4k，图4k与图1a-图1d和图4a-图4d合在一起示出了根据所公开的技术的另一个实施例构造和可操作的用于与图4c的功能滑块430接合的示例性技术。当外科医生120在功能开关404上按压脚406的脚后跟时，处理器118a在选择了“菜单”选项的情况下在hmd 103上显示功能滑块430(滑块3)。外科医生120可以通过在功能开关404上旋转脚406而在功能之间切换。“切换”模式允许外科医生120在当前模式和先前使用的模式(例如，“前”、“平面、广角镜头”、“其他”)之间切换。在“切换”功能被突出显示之后，外科医生120释放功能开关404以切换。
[0243]“菜单”模式调用主菜单。外科医生120利用由头部跟踪器102跟踪的头部运动导航菜单，并利用脚406释放功能开关404以激活菜单项。“app”功能允许外科医生120操作工作app。外科医生120使用脚406的脚后跟保持功能开关404被按压，以启用头部运动从而操作app(或在适用时快速访问app，如上所述)。外科医生120利用脚406释放功能开关404以停止启用。可替代地(未示出)，外科医生120可以通过向后倾斜功能开关404的脚托而不保持(即返回到未倾斜状态)来调用第三功能滑块430，保持脚托未旋转以选择“菜单”，或者旋转脚托以选择“切换”或“app”并释放。在这些示例中，功能开关404的向前倾斜和释放可以用于激活菜单项或用于终止启用。类似地，当在功能开关404上释放旋转时，快速访问功能(即，
当适用时，切换或app)被激活。
[0244]
在另一个实施例(未示出)中，当使用多个滑块时，只要外科医生120按压(倾斜)功能开关404的脚托，处理器118a就可以继续切换各种滑块的显示。例如，处理器118a显示第一功能滑块400，并且在预定时间段之后，处理器118a替换功能滑块400，并替代地显示第二功能滑块420。在附加的预定时间段之后，处理器118a通过显示第三功能滑块430来取代第二功能滑块420的显示，从而取代第二功能滑块420，以循环的方式以此类推。在滑块之间的切换之间的预定时间段可以是可配置的。外科医生120通过释放功能开关404的脚托来选择当前显示的滑块。外科医生120可以通过利用脚406旋转功能开关404的脚托来在所选择的滑块中显示的功能之间导航。在该实施例中，脚托仅向前倾斜，并且脚托的默认(休息)位置略微倾斜，其中脚后跟舒适地处于较低位置。
[0245]
现在参考图5a-图5i，图5a-图5i与图1a-图1d合在一起示出了根据所公开技术的另一个实施例构造和可操作的用于结合一个或更多个头部运动使用功能开关来导航菜单的技术。菜单510包括三个菜单项：显示在左侧并垂直布置(从顶部到底部)的“模式”518、“过滤器”520和“app”522。图5a示出了突出显示的“模式”菜单项518，以及“模式”518的三个子菜单项：显示在顶部、水平布置(从左到右)的“前”512、“广角镜头”514和“平面镜头”516。图5d示出了突出显示的“过滤器”菜单项520，以及“过滤器”520的两个子菜单项：显示在顶部、水平布置的“icg”528和“bbg”530。过滤器520可以包括附加的子菜单项(例如，“更多
……”
)。图5e示出了突出显示的“app”菜单项522，以及“app”522的四个子菜单项：显示在顶部、水平布置的“复曲面对齐”534、“poct”536、“ioct”538和“教学”540。app 522可以包括附加的子菜单项(例如，“更多
……”
)。
[0246]
外科医生120经由代表功能开关104的功能开关504利用他的脚506调用菜单510。处理器118a接收由功能开关104感测的脚运动，并作为响应向外科医生120显示菜单510。以下描述中的显示器可以是hmd 103，或者可替代地，可以是独立显示器(例如屏幕108)。一旦已经调用了菜单510，外科医生120就通过移动他的头部来导航菜单510，从示出头部的左右转动的俯视图524和示出头部的上下倾斜的侧面视图(profile view)526示出头部的移动。
[0247]
参考图5a，在经由功能开关504选择调用菜单510之后，如上面关于图4k所述，外科医生120利用由头部跟踪器102跟踪的一个或更多个头部运动来导航所显示的菜单510。处理器118a从头部跟踪器102接收跟踪的头部运动，并相应地修改菜单510的显示(例如通过突出显示某些菜单项以指示它们的选择和激活)。
[0248]
为了在菜单项之间导航：垂直布置在显示器左侧的“模式”518、“过滤器”520和“app”522，外科医生120相应地上下倾斜头部。头部运动由头部跟踪器102感测并提供给处理器118a，处理器118a修改显示以反映由外科医生120的头部运动选择的菜单项。显示给外科医生120的菜单项可以根据当前系统模式、手术类型、app激活、用户偏好等而变化。为了导航水平布置在顶部的子菜单项，外科医生120左右转动他的头部。图5a示出了外科医生120的头部被定向在中立位置，且“模式”518被选择(突出显示)。
[0249]
转向图5b，外科医生120保持中立位置526(无倾斜)以保持在主菜单510上的“模式”518。在将头部保持在中立位置(526)的同时，外科医生120将头部转向右侧(524)以选择子菜单上的“前”功能512(示出为突出显示)。向右倾斜的头部运动被头部跟踪器102跟踪，并被传输到处理器118a，处理器118a通过突出显示“前”512来相应地修改显示，以指示它已
经被选择。
[0250]
转向图5c，外科医生120保持中立、无倾斜位置(526)，以保持在主菜单510上的“模式”518。在保持头部处于中立、无倾斜位置(526)的同时，外科医生120将他的头部进一步转向右侧(524)以选择位于子菜单中“前”512的右侧的“广角镜头”功能514。头部跟踪器102感测进一步向右的头部转动524，并将感测的运动提供给处理器118a。处理器118a通过突出显示“广角镜头”514来修改显示，以指示它已经被选择。
[0251]
转向图5d，外科医生120直面向前524(无转动)，然而他向下倾斜头部(526)，以从主菜单510中选择第二选项“过滤器”520。处理器118a从头部跟踪器102接收跟踪的头部运动，并显示与“过滤器”520菜单相对应的子菜单，其水平布置在顶部。子菜单选项是：“icg”528和“bbg”530。
[0252]
转向图5e，外科医生120直面向前524(无转动)，并进一步向下倾斜头部(526)，以从主菜单510中选择第三选项“app”522。处理器118a从头部跟踪器102接收跟踪的向下倾斜头部运动，突出显示“app”522的显示以指示其经由头部运动的选择。处理器118a显示对应于“app”522的子菜单，该子菜单在顶部水平布置。子菜单选项有：“复曲面对齐”534、“poct”536、“ioct”538和“教学”540。
[0253]
转到图5f，外科医生120保持头部526的向下倾斜以从主菜单510中选择“app”522，并将头部向右旋转524以从子菜单中选择“poct”536，该“poct”536位于“复曲面对齐”534的右侧。处理器118a从头部跟踪器102接收跟踪的向右转动，并突出显示“poct”536的显示以指示其经由头部运动的选择。为了激活poct模式，外科医生120通过将脚506的脚后跟抬离功能开关504来释放功能开关504。处理器118a接收由功能开关感测到的下半身运动，并激活poct模式。在一些实施例中，处理器118a仅在由头部运动和脚运动两者激活之后突出显示“poct”536的显示。
[0254]
转到图5g，示出了在外科医生120已经如上所述通过利用脚506释放功能开关504而经由菜单510激活“poct”536之后经由hmd 103的显示。处理器118a显示带有b扫描图像546的实时图像544，该b扫描图像546使用光学相干断层扫描(oct)获得，以“画中画”(pip)的形式覆盖在左上角。处理器118a显示线548，以指示实时图像544上与b扫描图像546相对应的区域。
[0255]
转到图5h，外科医生120通过利用脚506的脚后跟按压功能开关504，同时利用脚506的脚后跟向右旋转功能开关504(在右手侧示出的脚运动)来启用功能滑块550的“app”功能552。处理器118a在实时图像544的顶部中心显示功能滑块550，并且在脚506被向下按压并向右旋转功能开关504时保持功能滑块550的“app”552(最右侧的选项)被启用。当通过利用脚506向下按压并转动功能开关504来启用“app”时，外科医生120使用头部运动(例如，上下运动)滚动b扫描图像546的库以调整实时图像544上的线548的位置。头部跟踪器102跟踪头部运动并将头部运动提供给处理器118a。处理器118a调整线548的位置以对应于头部526的相对上下倾斜角度，例如，如果头部526向上倾斜，则处理器118a将在实时图像544上的线548向上移动成比例的距离。类似地，如果头部526向下倾斜，则处理器118a将在实时图像544上的线548向下移动成比例的距离。处理器118a更新以pip形式覆盖在实时图像544上显示的b扫描图像546，以对应于实时图像544上的线548的当前位置。
[0256]
转到图5i，示出了用于在侧屏幕(side-screen)和透明系统模式之间进行操纵的
技术。外科医生120通过利用脚506的脚后跟向下按压并向右旋转功能开关504来启用功能滑块550的“app”552。功能开关504将感测的运动提供给处理器118a。外科医生120通过向右或向左转动头部524超过预定义角度来切换系统模式。头部跟踪器102跟踪头部运动并将所跟踪的头部运动提供给处理器118a。只要头部与中心区域对齐，处理器118a就保持系统模式不变。在图5i的示例中，中心区域中的系统模式是“后广角镜头”554，其中poct app被激活，如关于图5h所述。
[0257]
当在该系统模式中选择“app”552时外科医生120上下倾斜头部(526)时，外科医生120可以在手术前oct b扫描内滚动，如关于图5h所述。当外科医生120将头部从中心转向左侧时，处理器118a从头部跟踪器102接收感测的运动，并将系统模式切换到位于“后广角镜头”554左侧的透明模式556。处理器118a打开hmd 103的快门并关闭hmd 103的电子显示器，从而允许外科医生120直接查看手术室。当外科医生120将他的头部从中心转向右侧时，处理器118a从头部跟踪器102接收感测的运动，并将系统模式切换到位于“后广角镜头”554右侧的内容模式558。在该模式中，处理器118a显示包括由外科医生120预选择的文档、笔记和图像的“侧屏幕”。当外科医生120在该系统模式中上下倾斜头部时，处理器118a允许外科医生120在侧屏幕中显示的内容内滚动。当外科医生120利用脚506释放功能开关504时，处理器118a将系统模式恢复到原始系统模式。在这种情况下，与中心区域相关联的系统模式是“后广角镜头”，而与外科医生120的头部的取向无关。
[0258]
可替代地，在一些实施例中，外科医生120不需要保持功能开关504的脚托向后按压并旋转以保持“app”启用。更确切地，外科医生120通过快速按压和旋转功能开关504的脚托、随后释放(即返回到休息位置)来启用“app”功能。在这种情况下，终止“app”功能例如通过向前按压(倾斜)并释放功能开关504的脚托来完成。
[0259]
在上述示例性实现中，功能开关504被实现为放置在地板上并具有可移动脚托的脚启用设备，然而，这并不旨在限制本发明，并且附加的实现是可能的。各种类型的实现可以被归类为本地化实现与可佩戴实现。
[0260]
在一个实施例中，用于功能开关的可佩戴解决方案可以基于脚可佩戴或腿可佩戴的无线imu，用于跟踪和识别用户脚或腿的预定义运动模式(例如轻敲、拖动、旋转和滑动运动)。这种类型的实现对于外科医生在外科手术期间倾向于移动的外科手术可能更好。然而，这种类型的解决方案也可能需要当外科医生离开外科手术视野时禁用功能开关的方法，以便避免无意地激活或启用功能。可替代地，外科医生可以在走开时移除可佩戴设备。本地化的解决方案(即，不是可佩戴的但物理上位于外科手术视野附近的解决方案)可以适合于其中外科医生倾向于静止地站立或坐在外科手术视野旁边的手术。例如，在眼睛外科手术中，外科医生通常是坐着的，并且每次手术的持续时间相对较短(特别是在某些类型的手术中，如白内障外科手术)，许多手术是连续进行的，并且每次手术后外科医生可能离开外科手术视野。在这种情况下，如果功能开关不是可佩戴的，并且使用摄像机、触摸传感器、电磁传感器、声学传感器等中的一个或更多个来实现，则这可能是优选的。然而，在一些神经外科手术(头部或脊柱)中，外科医生可能在患者周围移动，并且手术可能相对较长。因此，对于这些情况，可佩戴设备可能是更好的解决方案。
[0261]
在一些实施例中，使用由与脚托集成的窝保持的球来实现功能开关。该窝包括一个或更多个传感器以检测球的旋转。例如，传感器可以检测关于前向轴和侧轴的旋转。球可
能从脚托上突出一些，以允许容易和舒适的操纵。球可以朝向脚托的前面定位，并由外科医生的前脚掌操纵。可替代地，球可以定位在中间并由整个脚操纵，或者球可以朝向脚托的后部定位并由外科医生的脚后跟操纵。
[0262]
在一些实施例中，使用单个操纵杆实现功能开关，该操纵杆可在多个方向(左-右、向前-向后、对角线)以及向下移动(例如按压)。
[0263]
在一些实施例中，功能开关被实现为触摸板。用户可以例如通过轻敲触摸板来调用各种功能滑块(例如，一次轻敲以调用默认滑块，两次轻敲以调用辅助滑块，以此类推)。可替代地，施加不同的压力(即，重压、中等压力、柔和压力)可以调用不同的滑块，每个滑块对应于不同的轻敲压力。用户可以例如通过将他的脚在触摸板上拖动、通过旋转他的脚(例如围绕脚后跟旋转)或通过滑动脚(即，取决于滑动方向，每个滑动运动在滑块中的两个相邻功能之间切换)来在滑块中的功能内滚动。如在可旋转脚托的示例中，在一些实施例中，要求用户保持他的脚位置以便保持功能启用。在这种情况下，在开始头部运动之后移动脚终止启用。在其他实施例中，一旦开始头部运动，用户就自由地将脚移动回舒适的休息位置。在这种情况下，可以使用定时器或例如通过轻敲脚来实现启用终止。除了调用滑块和在滑块内滚动以选择功能之外，还可以提供一个或更多个通过轻敲激活的虚拟按钮。为了在用于调用滑块的轻敲和用于虚拟按钮的轻敲之间进行区分，前者可以在没有从触摸板完全抬起脚的情况下执行(例如，利用脚后跟轻敲或利用前脚轻敲)，而后者可以通过抬起脚并在预定义的位置(例如拐角)轻敲触摸板来执行。该系统可以被配置为识别各种类型的轻敲以允许虚拟按钮的这种实现。虚拟按钮可以用于快速访问动作，例如在系统模式之间切换、保存实时视频的快照等。
[0264]
在一些实施例中，通过使用跟踪器来实现功能切换。跟踪器可以容易地配置为支持各种用户偏好，例如跟踪器安装在何处(即，可佩戴在脚上或大腿上，在椅子上安装，或者可替代地固定跟踪器，例如跟踪脚的摄像机)，使用什么运动来调用滑块和在各种系统功能之间滚动，以及如何开始和结束选择和启用过程。跟踪器可以通过各种技术(例如基于无线mems的imu，其能够识别相对旋转和平移、轻敲、滑动和其他姿势)来实现。它可以实现为小型可佩戴解决方案(例如在脚上或在大腿上)，但也可以实现为安装在椅子上的解决方案(例如当椅子是可旋转的时)。可佩戴的imu解决方案可能需要一种用于在离开外科手术部位时禁用跟踪的机制，以便不会生成无意的命令。例如，这样的机制可以基于诸如基于rfid的接近感测(例如，基于附接到外科手术台或外科医生椅子或靠近外科手术台或外科医生椅子的附加部件)。可替代地，这样的机制可以基于感测外科医生何时没有戴上hmd，或者是否外科医生戴上hmd但处于收起(stow)位置。在这些情况下，imu信号可以被忽略。也可以使用其他跟踪技术，例如需要可佩戴部件的电磁(em)跟踪、光学跟踪(例如，捕获脚移动的摄像机)等等。
[0265]
在一些实施例中，提供了基于脚的跟踪器。基于脚的跟踪器可以是基于无线可佩戴跟踪器部件的可佩戴跟踪技术(例如惯性或em跟踪)，或者其他跟踪技术(例如通过摄像机跟踪脚)。
[0266]
在一些实施例中，提供了安装在大腿上的跟踪器。这可以利用imu实现，因为对于基于光学的跟踪器来说，由于无菌覆盖物，膝盖区域极有可能是不可见的，并且靠近可能为金属的外科手术台抑制了em跟踪器的使用。脚可以保持搁置在地板上(具有最小的移动)，
通过移动膝盖(有效地通过旋转臀部)来实现选择。
[0267]
在一些实施例中，提供了安装在椅子上的跟踪器。跟踪器可以实现为安装在椅子上的解决方案(例如当椅子是可旋转的时)。这可能适合于坐着进行手术的外科医生，其中前臂搁置在外科手术台上，这样当椅子轻微旋转时，手就不会移动。它不适合使用椅子来支撑手臂的外科医生或站立进行手术的外科医生。开始功能滑块的轻敲可以通过轻敲椅子的腿来实现。
[0268]
当使用跟踪实现时，外科医生120可以通过执行预定义的运动——例如通过在功能开关104上轻敲脚，例如，单次轻敲、双次轻敲等，或者通过使脚倾斜(即，抬起脚后跟或前脚)——来调用上文描述的任何滑块。可替代地，可以通过轻敲和倾斜的组合来调用功能滑块，例如，快速向前倾斜或轻敲以调用滑块，其中中心功能(例如，聚焦)被选择；向左或向右旋转以调用滑块，其中第一偏离中心的功能(左或右)被选择并保持脚旋转；和向左或向右快速旋转，而不保持脚旋转。
[0269]
外科医生120可以通过执行以下运动在功能滑块的功能列表内滚动。应当注意，此列表仅旨在是示例性的。外科医生可以执行旋转运动，即通过旋转他的脚；围绕前脚旋转脚，在不移动脚的情况下从臀部旋转腿(即通过移动膝盖，例如当使用膝盖可佩戴的跟踪器时移动膝盖)，旋转可旋转的椅子(例如通过跟踪椅子而不是腿或脚)。可替代地，外科医生可以执行垂直运动，即使用脚后跟或前脚进行上下运动。可替代地，外科医生可以利用脚执行滑动运动。可替代地，外科医生可以执行水平移动，即通过侧向或前后拖动脚。外科医生120可以在滚动时接收附加反馈(例如听觉或机械反馈)。例如，当在滚动时所选择的功能改变时，用户可能感觉到由振动电机生成的振动。
[0270]
一旦功能已经被启用，则为了经由头部运动来控制该功能，在一个实施例中，可要求被跟踪的脚(或腿或椅子)保持静止。在另一个实施例中，一旦头部运动开始，脚(或腿或椅子)就可以自由地运动。原则上，还可以以与跟踪实现相类似的方式实现关于可旋转脚托和触摸板所描述的所有各种实施例。
[0271]
在一些实施例中，系统100包括扬声器，该扬声器宣布当前滑块和/或当前选择的功能，以便允许外科医生继续聚焦于感兴趣的区域，而不必将其注视转移到显示器的外围区域。滑块和选择的功能可以经由hmd显示器和扬声器两者来指示，或者仅经由hmd显示器来指示，或者仅经由扬声器来指示。
[0272]
现在参考图6，其是根据所公开技术的另一个实施例构造和可操作的用于启用外科手术系统的多个控制功能的方法的示意图。
[0273]
在过程600中，获得至少一个下半身部位的多个预定义的下半身运动序列与外科手术系统的多个相应系统功能之间的关联。参考图1a-图1d，多个预定义的下半身运动序列(例如旋转、倾斜等)与用于控制外科手术系统100的多个系统功能之间的关联存储在存储器118d中，处理器118a可以在存储器118d中访问该关联。在一些实施例中，该关联是将某些系统功能映射到某些用户运动序列的查找表。在一些实施例中，预定义的下半身运动序列中的一个或更多个是多个下半身运动的累积。在一些实施例中，预定义的下半身运动序列中的一个或更多个是单个下半身运动。
[0274]
在过程602中，接收用户的至少一个下半身部位的感测的下半身运动。参考图1a-图1d，计算机118的处理器118a从功能开关104接收由功能开关104的传感器104a感测的外
科医生120的运动。外科医生120的下半身部位的运动可以是以下项中的任何一项：倾斜、旋转、抬起、下降、转动、摆动运动、推动、拉动、扭动、拖动、轻敲、按压和滑动运动等。在一些实施例中，由功能开关104检测的下半身运动是不需要外科医生120记住大量按钮或操纵杆设置的自然身体运动。在一些实施例中，被感测的外科医生120的下半身部位是以下项中的任何一项：外科医生120的脚趾、脚、腿、膝盖、臀部或腰部。在一些实施例中，功能开关104感测外科医生120沿着至少一个自由度(例如，轴)的下半身运动。
[0275]
在一些实施例中，处理器向用户指示功能启用的过程开始(或被调用)和/或正在进行中。该指示可以包括关于所选择的功能的信息(如下面在步骤608中所述)或者仅包括启用过程正在进行中的指示。
[0276]
在过程604中，根据用户的至少一个下半身部位的感测的运动确定下半身运动序列。参考图1a-图1d结合图2a-图2k，功能开关204感测脚206的一个或更多个运动。计算机118的处理器118a接收感测的运动并确定一个或更多个旋转运动序列(图2a-图2c)和一个或更多个倾斜运动序列(图2j)。处理器118a可以使用本领域中已知的任何合适的技术，例如应用一个或更多个阈值、过滤器、深度学习算法等来根据感测的运动确定运动序列。
[0277]
在过程606中，基于感测的下半身运动序列识别多个预定义的下半身运动序列中的一个。参考图1a-图1d结合图2k，计算机118的处理器118a访问存储在存储器118d中的关联，并从过程604中确定的运动序列中识别预定义的旋转和倾斜运动。
[0278]
在过程608中，基于所识别的多个预定义的下半身运动序列中的一个运动序列和关联来识别系统功能。在一些实施例中，所识别的系统功能被指示给用户，并且可以响应于随后感测的下半身运动而连续更新。在一些实施例中，利用诸如触觉指示或声音的非视觉手段向用户指示所识别的功能。参考图1a-图1d结合图2a-图2k，当外科医生120利用脚旋转功能开关204以在功能滑块220和222上显示的控制选项中导航时，处理器118a识别所选择的控制选项。处理器118a例如通过突出显示菜单选项、使用触觉或声音指示等来指示所选择的选项。例如，参考图2d-图2g，当外科医生120向右旋转脚206时，处理器118a识别并突出显示位于右侧的“变焦”212。如果外科医生120将脚206重新取向为笔直，则处理器118a识别并突出显示位于中心的“照明”208。如果外科医生120向左旋转脚206，则处理器118a识别并突出显示位于左侧的“聚焦”210。作为另一个示例，参考图4h-图4j，当外科医生120在功能开关406上向左转动脚406时，处理器118a突出显示位于左侧的“xy”系统功能(图4i)。当外科医生120在功能开关404上向右转动脚406时，处理器118a突出显示位于右侧的“z电机”系统功能。在一些实施例中，处理器118a使用非视觉手段——诸如经由振动电机或通过经由扬声器(未示出)宣布系统功能——来指示所识别的系统功能。处理器118a基于从功能开关204接收的感测的运动连续地更新和指示所选择的系统功能，直到确定头部运动。
[0279]
在一些实施例中，该指示仅指示何时在功能(或功能组)之间切换。例如，当外科医生知道功能布局时，响应于在脚托上旋转或倾斜脚，振动或哔哔声向外科医生指示何时已经切换了所选择的功能。例如，当两个功能(或“滑块”)之间的旋转或倾斜的量是可配置的时，以及当“滑块”中有三个以上的功能或有三个以上的“滑块”时，可以使用该配置。
[0280]
在过程610中，随着继续感测到下半身运动，连续更新所识别的系统功能，直到感测到头部运动。参考图1a-图1d结合图5a-图5i，当外科医生120继续利用脚506操纵功能开关504时，并且在移动头部之前(即外科医生120的头部是静止的)，功能开关504连续将感测
的下半身运动提供给处理器118a。处理器118a继续执行过程604至608并更新所识别的系统功能，并且可选地显示滑块550上的功能和/或突出显示所识别的系统功能，或者通过触觉或声音指示所识别的系统功能，直到感测到头部运动(例如，右左转动524，或上下倾斜526)。
[0281]
在过程612中，接收头部运动。参考图1a-图1d连同图5a-图5i，头部跟踪器102检测外科医生120的头部运动(例如，右左转动524，或上下倾斜526)，并将所跟踪的头部运动提供给处理器118a。头部跟踪器102可以是惯性测量单元、摄像机、声学传感器、触觉传感器、电磁传感器等的任何组合。在一些实施例中，头部跟踪器102是可佩戴设备，并且可以与hmd 103集成。在一些实施例中，头部跟踪器102是位于外科医生120的可跟踪范围内的非可佩戴设备，例如位于外科医生120上方用于检测预定义的方向上的运动(例如侧向转动和上下倾斜)的摄像机。
[0282]
在过程614中，应用头部运动来控制最近更新的系统功能。参考图1a-图1d结合图5f，在通过在功能开关504上操纵脚506来调用菜单510(图5a)之后，外科医生120将他的头部转向右侧(524)并将他的头部向下倾斜(526)。向右和向下的头部运动524和526被头部跟踪器102跟踪，并被提供给计算机118的处理器118a。处理器118a根据跟踪的头部运动确定两个头部运动(向下倾斜和向右转动)。处理器118a从菜单510中选择项以对应于头部运动。
[0283]
在一些实施例中，应用头部运动来控制系统功能表现在经由hmd 103显示的图像中。系统功能的控制表现在向外科医生显示的图像中(例如，通过选择哪个poct图像要以覆盖显示，通过显示菜单和符号覆盖(线、箭头等))。在一些实施例中，控制功能的结果表现在来自摄像机系统的实时视频(例如，由摄像机获取的视频和/或从摄像机系统中的其他传感器(例如扫描头部的ioct)生成的视频)中。在一些实施例中，控制系统功能的结果也在没有摄像机系统的手术中或系统中(例如在vgs手术或vgs系统中)表现在呈现给外科医生的视频中。
[0284]
作为另一个示例，转向图5g-图5h，外科医生120通过利用脚506按压功能开关504来激活“poct”536。一旦激活，外科医生120就使用由头部跟踪器102提供给处理器118a的头部运动来控制覆盖在实时图像544上的b扫描图像546的显示。处理器118a应用头部运动来调整实时图像544上的线548的位置，并更新以pip显示的相应的b扫描图像546。例如，如果头部向上倾斜(526)，则处理器118a以成比例的方式向上移动线548，并显示对应于线548的更新位置的b扫描图像546。类似地，如果头部向下倾斜，则处理器118a以成比例的方式向下移动线548，并更新b扫描图像546以对应于线548的下部位置。
[0285]
在一些实施例中，系统功能的更新在已经接收到头部运动并将其应用于控制系统功能之后暂停。
[0286]
在一些实施例中，在头部运动被应用来控制外科手术系统的识别的系统功能的同时，随后感测的下半身运动被忽略。
[0287]
在一些实施例中，处理器118a响应于确定外科医生的头部在预定义时间阈值内处于静止状态而停用功能开关104，从而允许外科医生120选择并激活用于经由功能开关104控制外科手术系统的新系统功能。
[0288]
在一些实施例中，在以下中的至少一项之后：经过预定义的时间阈值和功能开关104的停用，处理器118a停止应用经由头部跟踪器102识别的头部运动来控制外科手术系统
100的识别的系统功能。
[0289]
现在参考图7，图7是根据所公开技术的另一个实施例构造和可操作的用于启用和控制外科手术系统的功能的方法的示意图。
[0290]
在过程700中，获得在多个序列和外科手术系统的多个相应的系统功能之间的关联。序列包括关于脚操作式功能开关的多个离散状态中的至少一个，该脚操作式功能开关被配置为由用户的脚切换到离散状态中的任何一个。序列可以由离散状态之一、离散状态之一的预定义的持续时间、离散状态的子集、离散状态的有序子集以及离散状态中的一个或更多个的重复来表征。参考图1a-图1d，处理器118a接收多个预定义的序列和用于控制系统100的多个相应功能之间的关联，并将该关联存储在存储器118d中。每个序列包括配置为由外科医生120的脚切换的功能开关104的多个离散状态中的至少一个。
[0291]
在过程702中，接收多个离散状态中的至少一个的指示。参考图1a-图1d，外科医生120通过利用脚按压来改变功能开关104的状态。功能开关104的传感器104a感测压力并经由发射器104k和收发器118b向处理器118a通知当前状态。
[0292]
在过程704中，根据接收的指示确定执行的序列。在一些实施例中，根据从功能开关接收的多个离散状态的多个指示来确定执行的序列。参考图1a-图1d，处理器118a在预定义的时间帧(例如2秒)内从功能开关接收两个连续脚按压的指示。处理器118a根据接收的指示确定两次按压的序列。
[0293]
在过程706中，基于执行的序列和关联来识别系统功能。通过将执行的序列与预定义的序列进行比较，并找到匹配的预定义的序列来识别系统功能。参考图1a-图1d连同图4a-图4c，处理器118a查询存储在存储器118d中的与过程706的执行序列的关联。处理器118a将执行的序列与存储在存储器118d中的关联的预定义的序列进行比较。处理器118a找到与执行的序列匹配的预定义的序列，并识别显示第二功能滑块420的相应系统功能。
[0294]
在过程708中，连续地接收多个离散状态中的至少一个的更新的指示，并且基于更新的指示连续地确定执行的序列。参考图1a-图1d和图4e-图4g，外科医生120通过连续旋转脚406来连续地改变功能开关404的状态。例如，外科医生120在功能开关404上保持脚406笔直(图4e)，在功能开关404上向左转动脚406(图4f)，并且在功能开关404上向右转动脚406(图4g)。随着脚406被转动并且状态被改变，功能开关204向处理器118a连续地发送更新的指示。处理器118a通过查询存储在存储器118d中的关联以获得匹配来连续地更新当前状态。在找到匹配时，处理器118a例如通过突出显示图4e中的“聚焦”(其对应于功能开关404的笔直状态)、突出显示图4f中的“照明”(其对应于功能开关404的向左状态)、以及突出显示图4g中的“变焦”(其对应于功能开关404的向右状态)来连续地更新功能滑块400的显示。
[0295]
在过程710中，接收头部运动。在一些实施例中，在接收到头部运动之后，停止连续地确定所执行的序列和连续地识别系统功能。参考图1a-图1d和图4a-图4d，外科医生120的头部运动442由头部跟踪器102的传感器102a检测，并经由发射器102j和收发器118b传输到处理器118a。
[0296]
在一些实施例中，在接收到头部运动之后，处理器118a停止基于功能开关404的更新状态连续地识别系统功能。因此，即使外科医生120继续在功能开关404上旋转脚406，这些指示也将被忽略。
[0297]
在过程712中，应用头部运动来控制外科手术系统的识别的系统功能。在一些实施
例中，仅在接收到头部运动之后开始应用头部运动，并且停止连续更新。在一些实施例中，当正在应用头部运动来控制系统功能时，忽略随后接收的指示。参考图1a-图1d和图5h，处理器118a应用外科医生120的上下头部运动526，以移动覆盖在实时图像544上的线548的显示。此外，处理器118a更新在左上角的pip中显示的poct图像546以对应于线548的当前位置。在一些实施例中，当外科医生120利用头部运动操纵线548的位置时，处理器118a忽略在功能开关504上的脚运动的随后指示。
[0298]
在过程714中，显示所识别的系统功能。应用头部运动来控制识别的系统功能表现在显示的图像中。参考图1a-图1d和图5f-图5h，在从用于app 522菜单项的子菜单中选择poct 536之后，处理器118a突出显示poct 536(图5f)，并显示线548和覆盖在实时图像544上的相应poct图像546。随着外科医生120移动头部526，处理器118a通过移动线548和改变在pip中显示的相应poct图像546来修改显示。
[0299]
在一些实施例中，应用头部运动来控制系统功能表现在经由hmd 103显示的图像中。系统功能的控制表现在向外科医生显示的图像中(例如，通过选择哪个poct图像要以覆盖显示，通过显示菜单和符号覆盖(线、箭头等))。在一些实施例中，控制功能的结果表现在来自摄像机系统的实时视频(例如，由摄像机获取的视频和/或从摄像机系统中的其他传感器(例如扫描头部的ioct)生成的视频)中。在一些实施例中，控制系统功能的结果也在没有摄像机系统的手术中或系统中(例如在vgs手术或vgs系统中)表现在呈现给外科医生的视频中。
[0300]
在过程716中，确定用户头部的静止状态，并作为响应停用功能开关。参考图1a-图1d和图5i，处理器118a确定外科医生120的头部在预定时间段内静止，并停用功能开关104。
[0301]
在过程718中，在以下中的至少一个之后：经过预定义的时间阈值和功能开关的停用，停止应用头部运动来控制所识别的系统功能。参考图1a-图1d和图5i，在经过预定义的时间阈值(其中没有检测到头部运动)和/或功能开关104被停用之后，处理器118a停止应用随后检测的头部运动来操纵线548和改变与实时图像544一起显示的poct图像546。
[0302]
本领域中的技术人员将认识到，所公开的技术不被限制于上文已经特别示出和描述的内容。更确切地，所公开的技术的范围仅由所附的权利要求限定。