基于语音命令的外科系统控制的制作方法

1.本公开一般涉及外科辅助技术。特别地，提出了用于处理来自手术环境的声音信号的控制器、控制器系统、外科系统、方法、和计算机程序产品。该声音信号潜在地包括来自手术环境内一个或多个语音源的一个或多个语音命令。


背景技术：

2.在外科手术中，外科医生定期得到各种外科系统的辅助，例如电动外科器械、机械臂、显示器、和计算机。由于各种约束，例如必须保持无菌状态或在握持外科设备时，外科医生使用诸如按钮、键盘或鼠标之类的手动操作的输入设备与这种辅助系统进行交互的能力受到限制。
3.操作辅助系统的备选方法是发出由麦克风接收的语音命令。在这方面，us 10,028,794 b2描述了使用语音命令来控制一个或多个外科器械。
4.在手术环境中，语音命令可以由如电动器械或其他手术人员的附加的声音源来可理解地渲染。其他手术人员甚至可能发出不旨在操作辅助外科系统的话语，这可能被错误地解释为由外科医生发出的语音命令。这种错误的解释可导致辅助外科系统的错误操作。这可能导致较小的问题，例如必须重复命令或更慢地发出命令，但也可能导致较大的问题，例如辅助外科系统执行错误的命令，这可能导致患者受伤。


技术实现要素：

5.需要一种用于外科系统的语音控制操作的技术，该技术解决上述或其他问题中的一个或多个。
6.根据第一方面，提供了一种用于外科系统的控制器。该控制器被配置为从跟踪系统接收位置信号，其中该位置信号指示在手术环境内由跟踪系统跟踪的手持式外科设备的位置。控制器还被配置为从指向手术环境的多个麦克风接收声音信号，其中声音信号潜在地包括来自手术环境内的一个或多个语音源的一个或多个语音命令。控制器还被配置为取决于位置信号来处理声音信号。
7.跟踪系统可以是光学跟踪系统、电磁跟踪系统或适合于外科跟踪(例如，在外科导航的上下文中)的任何其他跟踪系统。
8.由控制器控制的外科系统可以是所跟踪的手持式外科设备、外科导航系统(包括，例如，跟踪系统)、或能够提供外科辅助的任何其他系统。
9.控制器可以被配置为将声音信号在时间上相对于彼此移动。该移动可以基于位置信号来执行。然后，控制器还可以被配置为叠加移动的声音信号以生成叠加信号，使得从与手持式外科设备的位置相关的焦点位置接收的声音信号相长干涉。
10.焦点位置可以与所跟踪的手持式外科设备的位置具有预定的空间关系。预定的空间关系可以取决于以下中的至少一个：所跟踪的手持式外科设备的取向、手持式外科设备的操作模式、以及与操作员相关联的简档数据。预定的空间关系可以由焦点位置和所跟踪
的手持式外科设备的位置之间的空间中的矢量来描述，包括零矢量或空矢量。通常可以将预定的关系限定为从所跟踪的手持式外科设备的位置延伸到操作手持式外科设备的人的头部的估计位置。
11.控制器可以被配置为如果叠加信号包括满足至少一个检测条件的语音命令，确定存在源自手持式外科设备的操作员的语音命令。至少一个检测条件可以基于阈值。例如，至少一个条件可以基于针对强度和信噪比中的至少一个的阈值。
12.控制器可以被配置为基于从多个麦克风接收的声音信号，确定包括在声音信号中的每一个中的语音命令的语音源的位置。控制器还可以被配置为基于评估语音源的所确定的位置与来自跟踪系统的位置信号之间的关系的比较条件，确定语音命令源自手持式外科设备的操作员。比较条件可以考虑以下中的至少一个：所跟踪的手持式外科设备的确定的取向、手持式外科设备的操作模式、以及与操作员相关联的简档数据。
13.控制器可以被配置为针对声音信号中的每一个声音信号确定触发时刻，在触发时刻，声音信号的强度超过预定的触发阈值。控制器还可以被配置为基于触发时刻之间的时间关系确定语音源的位置。备选地，或附加地，控制器可以被配置为将声音信号在时间上相对于彼此移动，以相对于每个声音信号中包括的语音命令在时间上对准声音信号，以及基于声音信号的时间上对准的时间移动，确定语音源的位置。
14.控制器可以被配置为生成针对至少一个声音信号的消除信号，其中消除信号指示声音信号中包括的干扰信号。另外，控制器可以被配置为使用消除信号从至少一个声音信号中至少部分地消除干扰信号。控制器还可以被配置为考虑从包括手持式设备的类型和手持式设备的一个或多个操作参数的参数集中选出的至少一个参数，生成消除信号。消除信号可以包括预先记录的声音信号。
15.根据第二方面，提供了一种控制器系统。该控制器系统包括如本文所述的控制器和校准设备，该校准设备包括可由跟踪系统跟踪的跟踪器和被配置为发出可由多个麦克风检测到的声音的扬声器。
16.校准设备可以包括手持式外科设备。在一些变型中，手持式外科工具被适当地装备以构成校准设备。
17.跟踪系统可以与第一坐标系相关联，多个麦克风可以与第二坐标系相关联。控制器可以访问跟踪器相对于扬声器的第一空间关系。跟踪系统可以被配置为确定跟踪器相对于第一坐标系的第二空间关系以及确定扬声器相对于第二坐标系的第三空间关系。跟踪系统还可以被配置为基于第一空间关系、第二空间关系和第三空间关系，确定第一坐标系相对于第二坐标系的第四空间关系。
18.控制器系统还可以被配置为确定针对校准设备的多个位置的第二间关系和第三空间关系。控制器可以被配置为基于多个所确定的第二空间关系和第三空间关系，确定第一坐标系相对于第二坐标系的第四空间关系。控制器可以被配置为在操作员移动校准设备时，基于多个所确定的第二空间关系和第三空间关系，连续地确定第一坐标系相对于第二坐标系的多个第四空间关系。
19.根据第三方面，提供了一种外科系统。该外科系统包括如本文所述的控制器或控制器系统、跟踪系统、和多个麦克风。
20.根据第四方面，提供了一种用于操作外科系统的方法。该方法包括从跟踪系统接
收位置信号，其中该位置信号指示在手术环境内由跟踪系统跟踪的手持式外科设备的位置。该方法还包括从指向手术环境的多个麦克风接收声音信号，其中该声音信号潜在地包括从所述手术环境内的一个或多个语音源接收的一个或多个语音命令。该方法还包括取决于位置信号来处理声音信号。
21.根据第五方面，提供了一种计算机程序产品。该计算机程序产品包括指令，指令当在至少一个处理器上执行时，使得至少一个处理器执行本文所述的方法。
22.该计算机程序产品可以存储在计算机可读介质上。该计算机程序产品可以存储在非暂时性计算机可读介质上。
附图说明
23.结合以下附图中的实施例，本发明的另外的细节、优点和方面将变得显而易见，其中：
24.图1示出可由语音命令控制的外科系统的第一实施例；
25.图2示出用于操作外科系统的方法的流程图；
26.图3示出在两个麦克风处接收的从声音源发出的声音的传播路径的近似图；
27.图4示出包括三个麦克风的麦克风阵列的示例；
28.图5示出由所跟踪的手持式外科设备的非操作员发出的语音命令引起的声音信号；
29.图6示出由所跟踪的手持式外科设备的操作员发出的语音命令引起的声音信号；
30.图7示出在三个麦克风处接收的语音命令的声音信号；
31.图8示出相对于彼此移动后的图7的声音信号；
32.图9示出发出命令的操作员和非操作员，其中外科设备周围的接近阈值用于验证从操作员发出的语音命令；
33.图10示出包括语音命令的声音信号，其中不执行波束成形；
34.图11示出包括语音指令的声音信号，其中执行波束成形；
35.图12示出涉及消除来自麦克风的声音信号中的干扰信号的声音信号；
36.图13a示出校准设备的第一实施例的透视图；
37.图13b示出校准设备的第二实施例的透视图；以及
38.图14示出外科系统的第二实施例的透视图。
具体实施例
39.在以下示例实施例的描述中，相同的附图标记用于表示相同或相似的组件。
40.图1示出外科系统1，包括：控制器10、跟踪系统12和包括多个麦克风15(例如，两个麦克风15a、15b)的麦克风阵列14。图1所示的跟踪系统12是光学跟踪系统12。然而，可以使用适合于外科跟踪的任何其他跟踪技术(例如，电磁跟踪系统)。
41.控制器10可以包括以下中的至少一个：计算机芯片、扩展卡、独立设备、以及允许信号处理的电路。这样，控制器10可以由计算机、云计算资源或计算机网络来实现。控制器10还可以由操作不同的实体的控制器来实现，该不同的实体例如是跟踪系统12、麦克风阵列14、外科导航系统(其可以包括跟踪系统12)、管理患者数据(例如，外科手术期间实时显
示患者图像数据)的计算机等。
42.控制器10被配置为从跟踪系统12接收位置信号并且从多个麦克风15接收声音信号。为此，控制器10包括接口16、18，控制器10可以通过接口16、18分别接收位置信号和声音信号。图1所示的接口16、18包括电线。然而，接口16、18还可以包括至少一个空中接口。控制器10可以被配置用于仅经由接口16、18接收数据。备选地，控制器10可以被配置为接收和发送数据，例如，使得控制器10可以向跟踪系统12和/或麦克风阵列14发送控制信号。
43.跟踪系统12包括被配置为接收来自外科手术环境20的光的相机13。相机13可以被配置为接收诸如红外光、可见光或紫外光之类的选定光谱中的光。相机13被配置为基于从手术环境20接收的光来生成图像数据。在一些变型中，相机13被实现为立体相机以生成三维图像数据。
44.跟踪系统12被配置为基于图像数据确定可跟踪对象的位置，在本文中也称为跟踪器。此外，跟踪系统12可以被配置为确定可跟踪对象的取向。确定对象位置可以包括访问可跟踪对象的几何属性。可跟踪对象可以包括反射和/或发射光并且彼此具有预定的几何关系的标记或跟踪元件。基于在图像数据中确定的可跟踪对象的大小和形状以及已知的几何属性，跟踪系统12可以确定可跟踪对象的位置和/或取向。
45.图1示出操作员22，例如外科医生，操作员22握持手持式外科设备24。以可由跟踪系统12跟踪的设备跟踪器26的形式，将可跟踪对象附接到外科设备24。图1中所示的设备跟踪器26包括三个光学跟踪元件30。光学跟踪元件30可以，例如，发射光或反射由跟踪系统12的光源(未示出)发射的光。该光可以是可见光或者红外光。
46.跟踪元件30以跟踪系统12已知的相对于外科设备24的几何配置来布置。基于跟踪器设备26的图像和已知的几何配置，跟踪系统12可以确定设备跟踪器26和外科设备24的位置和取向。
47.设备跟踪器26可以包括任何其他类型、数量和配置的跟踪元件。例如，在电磁跟踪系统的情况下，跟踪器可以包括一个或多个线圈作为跟踪元件。电磁跟踪系统还可以包括磁场发生器，该磁场发生器生成可由一个或多个线圈检测的磁场，以及定位器，该定位器与一个或多个线圈电连接并且被配置用于确定跟踪器的取向和位置中的至少一个(并且因此，用于跟踪外科设备24)。
48.设备跟踪器26可以是外科设备24的组成部分或可拆卸地附接到外科设备24。外科设备24甚至不需要专用的设备跟踪器26以便可由跟踪系统12跟踪。相反，跟踪系统12可以被配置为例如基于外科设备24的形状、标记或颜色来跟踪外科设备24本身。
49.图1所示的麦克风阵列14包括两个麦克风15a、15b。如下面更加详细描述的，麦克风阵列14可以包括多于两个的麦克风。两个麦克风15a、15b指向手术环境20，并且因此(至少)接收从手术环境20中的声音源发出的声音。两个麦克风15a、15b在空间上以间隔配置来布置。因此，位于手术环境20中的声音源与第一麦克风15a具有第一距离，而与第二麦克风15b通常具有不同的第二距离。由声音源发出的声音必须传播第一距离到第一麦克风15a，并且传播第二距离到第二麦克风，这导致第一传播时间和第二传播时间。由于不同的传播时间，在两个麦克风15a、15b处接收到的声音信号可以在时间上相对于彼此偏移。如稍后在下文中描述，当出于验证或控制目的处理声音信号时，可以使用或修改这些时间上的偏移。
50.图2示出用于操作诸如手持式外科设备24、外科导航或成像系统等的外科系统的
方法的流程图解100。下面将假设的是图1的控制器10执行本文所述的方法方面。为此，控制器10可以包括处理器和存储计算机程序产品的非暂时性计算机可读介质。该计算机程序产品可以包括指令，该指令当在处理器上执行时，使处理器执行本文所述的方法方面中的任意一项。
51.图2所示的方法包括：在步骤102中，从跟踪系统12接收位置信号。该位置信号指示在手术环境20内由跟踪系统12跟踪的手持式外科设备24的位置。位置信号还可以指示手持式外科设备24的取向。
52.该方法还包括：在步骤104中，从指向手术环境20的多个麦克风15接收声音信号。应当理解的是，声音信号潜在地包括来自手术环境20内的一个或多个语音源的一个或多个语音命令，所述语音源包括操作员22和其他外科人员。控制器10可以被配置为连续地接收声音信号。备选地，控制器10可以被配置为一旦触发被激活，接收声音信号。该触发可以是用于声音信号中的至少一个的声音强度阈值，或者是手动激活的触发，例如，操作员22开始操作外科设备24。
53.该方法还包括：在步骤106中，根据位置信号处理声音信号。根据位置信号处理声音信号的步骤106可以包括各种方法。根据第一种方法，控制器10基本上被配置为通过比较从声音信号和跟踪系统12确定的位置来确认或验证所发出的命令。根据第二种方法，控制器10基本上被配置为朝向外科设备24及其操作员22中的一个执行波束成形。当然，根据位置信号处理声音信号的步骤106还可以包括本文未更详细描述的其他方法。
54.根据第一种方法，取决于位置信号来处理声音信号的步骤106包括：基于从多个麦克风15接收的声音信号，确定包括在声音信号中的每一个中的语音命令的位置。然后，基于评估所确定的语音命令的位置与来自跟踪系统12的位置信号之间的关系的比较条件，可以进一步确定或验证语音命令实际上源自手持式外科设备24的操作员22。
55.确定包括在声音信号中的每一个中的语音命令的位置可以基于针对声音的飞行时间的不同持续时间，这是麦克风15被间隔开布置的结果。
56.图3示出从声音源28(例如操作员22或手术环境20中的另一人)发出并在两个麦克风15a，15b处接收的声音的传播路径的近似图。在该近似图中，假设从声音源28发出的声音以相同的入射角θ(tetha)到达两个麦克风15a、15b。对于两个麦克风15a、15b之间的小距离d以及声音源28和麦克风阵列14之间的大距离，该近似是特别合理的。在这种假设下，可以使用以下等式确定从声音源到不同麦克风15a、15b的距离之间的路径差δx
57.δx＝d
·
cos(θ).
ꢀꢀꢀ
等式(1)
58.借助空气中的声速v
sound
，可以使用以下等式计算到达麦克风15a的声音和到达麦克风15b的声音之间的时间偏移δt
[0059][0060]
因此，基于针对从在两个麦克风15a、15b处接收的声音所确定的时间偏移δt，可以从以下等式确定入射角θ：
[0061][0062]
由于围绕穿过两个麦克风15a、15b的轴线a
‑
a的麦克风阵列14的旋转对称性，声音
源的方向由以入射角θ的打开角度围绕轴线a
‑
a的圆锥体来描述。注意，圆锥体的形状是上述近似的结果。考虑到声音源声音源28与麦克风15a、15b之间的有限距离的更加精确的计算将导致双曲面。
[0063]
消除由旋转对称性引起的歧义的一种方法是限定与圆锥体相交的平面。这样的平面可以是在平均成年人的高度(即发出语音命令的高度)处的水平面。在这种情况下，麦克风阵列14可以被布置在平均成年人的高度处(或被定制为操作员22的高度)，其中穿过麦克风15a、15b两者的轴线a
‑
a是水平取向的。由于在这种情况下，例如，由操作员22发出的语音命令沿基本上水平的线传播到麦克风15a、15b，因此可以基于由等式(3)获得的入射角θ来明确确定语音命令的方向。
[0064]
从上文可以看出，根据等式(3)只能确定朝向声音源28的方向，而不能确定声音源28在空间中的位置。声音源28的位置可以通过使用布置在平面中(而不在一条线上)的三个或更多个麦克风15来确定。当使用三个麦克风15a、15b、15c(例如，参见图4)时，可以针对三对麦克风，即15a和15b、15b和15c、以及15a和15c执行上述计算。这些计算导致三个圆锥体(或更精确地说：三个双曲面)，它们相交于空间中的一个点，该点是声音源28的位置。可以通过使用多于三个的麦克风来提高计算的准确性。每个附加的麦克风都会增加可以被计算的圆锥体或双曲面的数量。可以将声音源28的位置确定为至少一些所确定的圆锥体或双曲面的交点的平均值或加权平均值。
[0065]
如上所述，可以使用不同的麦克风15的声音信号之间的时间偏移来确定声音源28的方向或甚至位置。可以使用不同的技术来确定这些时间偏移，这将使用图4所示的麦克风阵列14的示例(非限制性的)来描述。
[0066]
图4中的麦克风阵列14包括三个麦克风15a、15b、15c，三个麦克风15a、15b、15c中的每一个生成指示接收到的声音的声音信号。如上所述，可以使用大于一个的任何其他数量的麦克风。麦克风15a、15b、15c通常指向握持外科设备24的操作员22和未握持外科设备24的非操作员32。如图4中的箭头所示，由操作员22和非操作员32发出的声音传播不同的距离，从而导致为了使声音到达麦克风15a、15b、15c中的每一个而需要不同的时间跨度。
[0067]
图5和图6中示出由麦克风15a、15b、15c生成的声音信号的示例，其中图5示出由非操作员32发出的语音命令引起的声音信号，图6示出由操作员22发出的语音命令引起的声音信号。声音信号a)、b)和c)分别由麦克风15a、15b、15c生成。如图5和图6所示，由于麦克风15a、15b、15c之间的空间距离，针对每个语音命令的声音信号在时间上相对于彼此移动。另外，由于操作员22和非操作员32相对于麦克风15a、15b、15c的空间关系不同，因此声音信号的移动也不同。
[0068]
一种用于确定声音信号之间的时间移动的技术是限定预定的触发阈值。触发阈值可以包括针对声音强度的阈值和针对信噪比的阈值中的至少一个。图5和图6示出针对声音强度的预定的触发阈值34。当声音信号超过触发阈值时，声音信号中的时间点被标记为触发时刻t
a1
、t
a2
、t
a3
、t
b1
、t
b2
、t
b3
。声音信号之间的时间偏移可以根据触发时刻t
a1
、t
a2
、t
a3
、t
b1
、t
b2
、t
b3
之间的时间差来计算。使用触发时刻确定时间偏移需要较少的处理，因此是资源高效的。
[0069]
另一种用于确定时间偏移的技术是将声音信号在时间上相对于彼此移动，以便关于每个声音信号中包括的语音命令在时间上对准声音信号。图7和8示出在麦克风15a、15b、
15c处接收的语音命令(例如，由操作员22发出)。图7示出接收到的声音信号，图8示出移动后的声音信号。
[0070]
如图7所示，尽管声音信号的时间偏移，但是声音信号的形状是相似的，因为它们是由相同的语音命令引起的。控制器10可以被配置为识别需要对准的声音信号的相似形状。该识别可以包括对声音信号施加傅立叶分析。
[0071]
图8示出与麦克风15a(图8的a)的声音信号对准的麦克风15b(图8的b)和15c(图8的c)的声音信号。对准所需的时间偏移是可用于确定语音命令的位置的时间偏移。
[0072]
如上所述，控制器10可以通过使用触发时刻或通过对准声音信号来确定语音命令源的位置。另外，如步骤102中所限定，控制器被配置为从跟踪系统12接收位置信号，其中该位置信号指示手持式外科设备24的位置。因此，控制器10接收关于两个位置的信息：语音命令源的位置和指示手持式外科设备24的位置。
[0073]
基于该信息，控制器10可以基于评估所确定的语音命令源的位置和来自跟踪系统12的位置信号之间的关系的比较条件，来确定语音命令源自手持式外科设备24的操作员22。
[0074]
该比较条件可以包括在外科设备24或操作员22周围限定接近阈值。图9示出操作员22和非操作员32发出命令，其中，在外科设备24周围的接近阈值用于验证所发出的语音命令。当操作员22(作为示例性语音源)发出语音命令时，控制器10被配置为基于从麦克风15a、15b、15c接收的声音信号来确定该语音命令的语音源的位置。可以通过上述两种技术中的任意一种技术来执行该确定。控制器10还被配置为确定语音源的位置与外科设备24的位置之间的距离。控制器10可以限定或可以访问预定的距离36。在本示例中，预定的距离36可以是1米。备选地，预定的距离36可以更大(例如，2米)或更小(例如，50cm)。
[0075]
在所确定的距离小于预定的距离36(例如，小于1m)的情况下，控制器10确定由作为语音源的操作员22发出了语音命令。因此，控制器10可以肯定地确认语音命令，并将语音命令或由其衍生的控制信号转发给该命令打算用于的外科系统1，例如，外科设备24。
[0076]
当非操作员32作为另一示例性语音源发出语音命令时，控制器10确定该语音源的位置与外科设备24的位置之间的距离超过预定的距离36(例如，小于1米)。因此，该命令可以作为操作员22未发出的语音命令而被忽略。结果，避免了由于非操作员32的话语而导致的外科系统1的语音控制操作，并且提高了外科手术的安全性和效率。
[0077]
当然，比较条件不限于接近阈值。比较条件可以考虑以下中的至少一个：外科设备24的所确定的取向、外科设备24的操作模式、以及与操作员22相关联的简档数据。简档数据可以包括身高或操作员22的单独设置。
[0078]
比较条件不必一定与外科设备24的位置相关。外科设备24被握持在操作员22的手中，因此与语音命令的位置，即操作员22的头部(即嘴)间隔开。比较条件可以通过向外科设备24的位置添加空间偏移(例如矢量)来考虑，该空间偏移将外科设备24的位置朝向操作员22的嘴平移例如50cm。所添加的偏移还可以取决于外科设备24的取向和外科设备24是否在正在操作中的至少一个。空间偏移增加了针对确定语音命令是否源自手持式外科设备24的操作员22的准确性。
[0079]
如图2所示方法的步骤106所限定，上述方法是一种取决于位置信号来处理声音信号的方法。另一种取决于位置信号来处理声音信号的方法是执行波束成形。
[0080]
执行波束成形的常见方法是将在多个麦克风15a、15b、15c处接收到的声音信号在时间上相对于彼此移动，然后将叠加移动的声音信号以生成叠加信号，使得从声音源接收的声音信号相长干涉。
[0081]
通常，为了正确执行波束成形，需要知道声音源的位置。基于声音源的位置，可以以入射角的形式计算从麦克风阵列14朝向声音源的方向。这些入射角允许计算必须被应用于麦克风中的每一个的时间偏移(例如，基于等式(2))。一旦每个麦克风15的声音信号已经移动，则可以叠加声音信号。所得到的叠加声音信号对声音源发出的声音进行相长干涉。
[0082]
波束成形的原理可以应用于如下图1的控制器10。控制器10可以被配置为基于来自跟踪系统12的位置信号，将声音信号在时间上相对于彼此移动，然后叠加移动的声音信号以生成叠加信号，使得从与手持式外科设备24的位置相关(例如，与手持式外科设备24的位置对应或相对于手持式外科设备24的位置移动)的焦点位置接收的声音信号相长干涉。该焦点位置可以是外科设备24本身的位置。由于发出命令的操作员22也是握持外科设备24的人，因此将麦克风阵列14的接收集中朝向外科设备24改善了叠加声音信号中操作员22的语音命令的信号质量。
[0083]
通过限定与所跟踪的手持式设备24的位置具有预定的空间关系的焦点位置，可以进一步提高质量。预定的空间关系可以基于以下中的至少一个：所跟踪的手持式外科设备24的取向、手持式外科设备24的操作模式、以及与操作员相关联的简档数据。该简档数据可以包括操作员22的身高。预定的空间关系可以包括向外科设备24的位置添加空间偏移(例如，以具有特定长度，例如40cm至80cm的矢量的形式)，这将外科设备24的位置朝向操作员22的头部(即嘴)平移。空间偏移减小了焦点位置与操作员22的嘴之间的距离，这改善了(潜在地)包括操作员22的语音命令的声音信号的相长干涉。当然，仍然必须检查操作员22的任何话语是否实际上包括语音命令。
[0084]
将朝向操作员22的麦克风阵列14的接收进行波束成形还导致不是源自操作员22的声音信号至少部分地相消干涉，这降低了不是源自操作员22的声音的声音强度。
[0085]
图10和11示出波束成形对声音信号叠加的影响，其中声音信号包括由非操作器32(发出圆形语音命令a)和操作器22(发出矩形语音命令b)发出的潜在的语音命令a、b(即，基于其内容仍将必须被确认为语音命令的话语)。在没有限制的情况下，下面假设相应的话语实际上包括用于控制外科系统的语音命令a和b。图10示出包括语音命令的声音信号，其中不执行波束成形。图11示出包括语音命令的声音信号，其中执行波束成形。
[0086]
更具体地，图10的a和b示出两个麦克风15(例如图3所示的麦克风15a、15b)的声音信号。由于不执行波束成形，所以语音命令a、b在时间上相对于彼此随机偏移。
[0087]
图11的a和b示出在时间上移动后的作为波束成形过程的一部分的相同声音信号。由于麦克风阵列14的接收集中朝向操作员22，因此两个声音信号中的语音命令b在时间上对准。
[0088]
图10的c和图11的c示出从对应的声音信号a)和b)生成的叠加的声音信号。在没有波束成形的情况下，则命令a和b两者在叠加的声音信号中随机地干涉，这导致针对命令a和b两者的近似均匀的声音强度。然而，在执行波束成形时，在叠加的声音信号中，针对命令b的声音信号相长干涉，其中命令a随机地干涉。因此，命令b的声音强度大于命令a的声音强度。(该方法的另一优点是，相长干涉可以导致命令b的改善的信噪比。)
[0089]
声音强度和信噪比中的至少一个的差异可用于区分从非操作员32的位置发出的命令b与从操作员22的位置发出的命令a。当声音强度超过预定的阈值时，可以将命令识别为由操作员22发出。图10的d和图11的d示出这种阈值38。在没有波束成形的情况下，命令a和b两者的叠加的声音信号都超过阈值38，这不允许确定操作员22发出了哪个命令。另一方面，在有波束成形的情况下，命令a的叠加的声音信号表现出更大的相消干涉，从而阻止了声音信号超过阈值38。另一方面，命令b的叠加的声音信号基于相长干涉，因此其强度超过阈值38。因此，可以将命令b确认为实际上由操作员22发出的命令。因此，控制器10能够经由波束成形来提高命令的清晰度，并且还允许识别由操作员22发出的命令。
[0090]
如上所述，控制器10被配置为执行声音处理，该声音处理可以包括波束成形中的一个或多个，并且基于比较条件来确定语音命令源自手持式外科设备24的操作员。独立于这两种方法中的任意一种，控制器10可以被配置为实施其他方法。
[0091]
例如，控制器10可以被配置为生成针对至少一个声音信号的消除信号，其中消除信号指示声音信号中包括的干扰信号。这样的控制器10还被配置为使用消除信号从至少一个声音信号中至少部分地消除干扰信号。干扰信号可以是在手术环境中发出的任何声音，其不是操作员22发出的命令的部分。干扰信号可以是由外科设备24、冷却风扇、荧光灯、自来水、和外科手术期间使用的其他设备生成的噪声。
[0092]
控制器10可以被配置为生成与干扰信号相同或至少相似的消除信号。控制器可以被配置为通过从麦克风的声音信号中的至少一个减去消除信号来消除干扰信号。消除信号可以包括预先记录的声音信号。可以基于参数集中的至少一个参数来生成消除信号。控制器10可以被配置为接收指示参数集中的至少一个参数的数据。操作参数集可以包括外科设备24的器械型号、操作频率、操作强度、和操作模式中的至少一个。
[0093]
图12的a
‑
c示出涉及消除来自麦克风15的声音信号40中的干扰信号的声音信号40、42、44。图12的a示出当外科设备24正在操作时，从语音命令生成的麦克风15的声音信号40。外科设备24可以是，例如，电钻或电锯。特别地，这种外科设备24以可变或固定的操作频率发出声音。
[0094]
在外科设备24的操作期间，控制器10接收外科设备24的一个或多个参数(例如，钻机类型和操作频率)。如图10的b所示，控制器10被配置为基于一个或多个操作参数生成消除信号42。消除信号42可以包括正弦波和/或预先记录的声音信号的叠加。
[0095]
控制器10被配置为使用消除信号42从声音信号中至少部分地消除干扰信号。通过消除来自声音信号40的干扰信号，控制器10生成噪声消除后的信号44，其中至少部分地去除了干扰信号。结果，噪声消除后的信号44中的任何语音命令具有较小的被误解的机率，这提高了外科手术的安全性和效率。
[0096]
图12的a
‑
c示出从单个声音信号40中消除干扰信号42的过程。控制器10还可以被配置为从多于一个的声音信号中消除干扰信号42。控制器10可以被配置为从例如麦克风阵列14的所有声音信号中消除干扰信号42。备选地，控制器10可以被配置为从由多个这样的声音信号生成的叠加的声音信号中消除干扰信号42。如上所述，可以使用波束成形来生成叠加的声音信号。
[0097]
如本文所述，处理声音信号需要与发出命令的操作员22(通常是外科医生)相关的位置信号。为了获得这样的位置信号，通常将要求操作员22穿戴允许获得位置信号的定位
设备。然而，本文所述的声音处理具体地使用从跟踪系统12获得的位置信号。因此，该位置信号用于两种不同的应用中：跟踪外科器械24和处理声音信号。由于本文所述的声音处理使用了无论如何将由跟踪系统12确定的位置信号，因此不必对操作员22提供任何附加的定位设备。
[0098]
如上所述，控制器10被配置为从跟踪系统12和多个麦克风15接收信号。跟踪系统12和多个麦克风15基于空间数据(例如，波束成形和跟踪)进行操作，这需要某种形式的坐标，有时还需要坐标变换。反过来，此类变换可以需要在专用坐标系之间进行配准或校准。例如，跟踪系统12可以与第一坐标系相关联，并且多个麦克风15可以与第二坐标系相关联。
[0099]
跟踪系统12和多个麦克风15可以具有共同的坐标系，这意味着第一坐标系和第二坐标系重合。为此，跟踪系统12和多个麦克风15可以例如在单个单元内集成，其中跟踪系统12和多个麦克风15相对于彼此具有固定的空间关系。在这种情况下，可以在外科系统1的制造期间执行坐标校准。
[0100]
备选地，跟踪系统12和多个麦克风15可以分离地设置，以例如允许定制跟踪系统12和多个麦克风15的位置。结果，第一坐标系和第二坐标系可以不重合。在这种情况下，因此，控制器10可以被配置为执行配准或校准，其中确定第一坐标系和第二坐标系之间的空间关系或变换。为此，需要校准设备，该校准设备可由跟踪系统12和多个麦克风15两者检测。
[0101]
图13a示出校准设备46的第一实施例的透视图。校准设备46包括可由跟踪系统12跟踪的跟踪器48和被配置为发出可由多个麦克风15检测到的声音的扬声器50。
[0102]
图13a所示的跟踪器48包括三个光学跟踪元件52。光学跟踪元件52可以被配置为反射或发射可被跟踪系统12检测到的光。然而，跟踪器48可以包括如上文针对设备跟踪器26所述的适合于跟踪的任何其他类型、数量和形式的跟踪元件52。例如，在电磁跟踪系统中，跟踪器可以包括一个、两个或多个线圈形式的跟踪元件。
[0103]
扬声器50可以被配置为例如通过开关手动控制，和/或由控制器10例如经由无线连接或电线远程控制。在跟踪器48是具有电动光源的有源跟踪器的情况下，跟踪器48还可以被配置为手动控制，或者备选地由控制器10远程控制。
[0104]
跟踪器48具有跟踪中心54，以及扬声器50具有跟踪中心56。跟踪中心54、56是空间中的点，其可以用于限定跟踪器48和扬声器50在任意坐标系中的位置。图13a所示的跟踪中心54、56是间隔开的。在这种情况下，跟踪器48和扬声器50之间的第一空间关系包括在校准期间需要考虑的(数学的)平移58。
[0105]
图13b示出具有跟踪器48和扬声器50的校准设备46的第二实施例的透视图。跟踪器48包括光源形式的三个跟踪元件52，但是可以包括如上文针对设备跟踪器26所述的适合于跟踪的任何其他数量和形式的跟踪元件52。校准设备46的第一和第二实施例与第一实施例的本质区别在于跟踪器48和扬声器50的跟踪中心54、56重合。因此，跟踪器48和扬声器50之间的第一空间关系不包括在校准期间需要考虑的平移。
[0106]
图14示出外科系统1的第二实施例的透视图。外科系统1的第二实施例与第一实施例的本质区别在于：外科系统1包括控制器系统60而不仅包括控制器10。控制器系统60包括如本文所述的控制器10和如本文所述的校准设备46。
[0107]
跟踪系统12与第一坐标系62相关联。多个麦克风15与第二坐标系64相关联。对于
图14所示的跟踪系统12，第一坐标系62例如被布置在跟踪系统12的相机13的图像平面的几何中心。对于图14所示的多个麦克风15，第二坐标系64例如被放置在多个麦克风15的几何中心。然而，可以选择在空间中与跟踪系统12和多个麦克风15固定地相关的任何其他点，以分别布置两个坐标系62、64中的任意一个。
[0108]
在校准或配准期间，需要限定外科系统1的不同元件之间的空间关系。用于限定空间关系的数学方法是变换，例如变换矩阵。在下文中，将使用表达“t”将空间关系描述为这样的变换。
[0109]
控制器10可以访问跟踪器48相对于扬声器50的第一空间关系。对于图14所示的校准设备46，跟踪器48和扬声器50的跟踪中心重合。因此，第一空间关系可以由单位矩阵限定的变换t1来描述。当使用其中跟踪中心54、56不重合的校准设备46时，可以限定变换t1，其将跟踪中心54、56中的一个变换到另一个跟踪中心56、54上。例如，对于图13a所示的校准设备46，变换t1可以由数学平移58(即，从跟踪中心54、56中的一个到另一个跟踪中心56、54的矢量)来限定。对于以下描述的校准过程，可以将校准设备46放置在手术环境20内的随机或预定的位置处。
[0110]
控制器10被配置为确定跟踪器48相对于第一坐标系62的第二空间关系。第二空间关系可以被限定为变换t2，并且可以通过以下来获得：基于跟踪器48已知的几何属性确定跟踪器48相对于第一坐标系62的距离和取向并计算将跟踪器48的跟踪中心54平移到第一坐标系62的原点上的特定变换t2。
[0111]
控制器10被配置为确定扬声器50相对于第二坐标系64的第三空间关系。第三空间关系可以由变换t3限定，并且可以通过以下来获得：经由如上所述的声学定位技术(例如，经由触发时刻或在时间上相对移动声音信号)确定扬声器50相对于第二坐标系64的位置。可选地，可以基于由跟踪系统12确定的跟踪器48的取向来计算扬声器50的取向。该计算需要扬声器50相对于跟踪器48的取向是已知的。
[0112]
控制器10还被配置为基于第一空间关系、第二空间关系和第三空间关系来确定第一坐标系62相对于第二坐标系64的第四空间关系。第四空间关系可由变换t4来限定。
[0113]
如在图14中可见，变换t1、t2、t3、t4形成变换的闭环。因此，变换t4可以使用以下等式从变换t1、t2、t3的线性组合获得：
[0114]
t4＝t2 t1‑
t3ꢀꢀꢀ
等式(4)
[0115]
注意，等式(4)中的每一个变换t1、t2、t3、t4的代数符号取决于其中限定了变换t1、t2、t3、t4中的每一个的方向。等式(4)中的代数符号对应于图14中限定的变换，并且在不同限定时可以改变。
[0116]
通过将变换t4(或其逆变换t4‑1)应用于对象在两个坐标系64、62中的一个中的坐标，变换t4(或其逆变换t4‑1)可以用于计算对象在两个坐标系62、64中的另一个中的坐标。
[0117]
声音信号是由被分配了第二坐标系64的多个麦克风15生成，而位置信号由被分配了第一坐标系62的跟踪系统12生成。使用从上述校准过程获得的变换t4允许控制器10取决于位置信号来处理声音信号。
[0118]
用于确定第四空间关系的对准过程可以执行一次。备选地，控制器10可以被配置为确定校准设备46的多个位置的第二空间关系、第三空间关系和第四空间关系。这可以通过将校准设备46定位在随机或预定的位置并指示控制器10执行确定第二空间关系、第三空
间关系和第四空间关系来实现。然后，控制器10可以指示用户重新定位校准设备46，于是，再次确定第二空间关系、第三空间关系和第四空间关系。
[0119]
备选地，控制器10可以被配置为当用户在手术环境20中正移动校准设备46时连续地确定第二空间关系、第三空间关系和第四空间关系。
[0120]
控制器10可以被配置为通过对针对校准设备46的多个位置获得的多个第四空间关系进行平均来确定第四空间关系的最终结果。
[0121]
图13a、13b、14所示的校准设备46是与外科设备24或设备跟踪器26分离地设置的设备。备选地，外科设备24或设备跟踪器26可以包括扬声器50，该扬声器50可以与设备跟踪器26组合使用作为校准设备46。扬声器50可以附接到外科设备24和/或设备跟踪器26。扬声器可以集成在外科设备24或设备跟踪器26中。备选地，外科设备24、设备跟踪器26和扬声器50可以整体地形成为单个单元。
[0122]
关于附图中示出的示例性实施例描述的特征可以容易地组合以得到不同的实施例。因此，显然本公开可以以多种方式变化。这样的变化不应被认为是脱离了所附权利要求限定的本发明的范围。