手术室视频分析系统和方法与流程

1.本发明涉及用于在手术室中使用的视频分析系统和方法的领域。


背景技术：

2.越来越多的不同技术正被用于手术室中，以辅助医疗专业人员并改善患者护理和治疗效果。然而，集成这些技术是困难的，因为不同的工具、设备和系统可能不兼容或需要不同的输入和输出，这在试图最大化手术室环境的有效性时提出了挑战。此外，许多工具、装置和设备也会生成数据。这些数据通常是特定于设备和制造商的，进一步阻碍了集成。例如，对于使用机器人手术器械执行部分手术的手术，机器人手术器械需要知晓手术室手术台的精确位置和/或患者相对于手术台的精确位置。位置数据可由手术室手术台输出，但该位置数据是以被配置为移动手术台的步进电机变化的形式输出。该位置数据几乎不会提供益处，并且不能被例如机器人手术器械使用，除非它在使用前已经过校准并定位在手术室内。这是一个耗时的过程，并且由于如下事实而使机器人手术器械更加不受欢迎：手术室可能进行许多不同的手术过程，每个手术过程需要不同的设备，因此在每次使用前都需要对机器人手术器械进行重新定位和校准。


技术实现要素：

3.根据本公开的第一方面，提供了一种监测手术室内的对象的方法。该方法包括：接收由至少一个图像捕获装置所捕获的第一图像数据；确定第一图像数据的至少一个子集，该第一图像数据的至少一个子集与手术室内的感兴趣区域有关；以及根据第一图像数据确定手术室内的感兴趣区域在第一图像数据的子集内是否至少部分地被遮挡。在确定感兴趣区域至少部分地被遮挡时，该方法还包括：接收由至少一个图像捕获装置所捕获的第二图像数据；确定第二图像数据的至少一个子集，该第二图像数据的至少一个子集与感兴趣区域有关；以及输出第二图像数据的至少一个子集，与在第一图像数据的至少一个子集内相比，感兴趣区域在第二图像数据的至少一个子集内较少地被遮挡。
4.因此，提供了一种方法，该方法使得能够克服手术室内遮挡图像捕获装置的视野的遮挡。
5.感兴趣区域可以是或者可以包含一个或多个对象，并且该方法可以包括鉴别一个或多个对象中的至少一个。确定手术室内的感兴趣区域是否至少部分地被遮挡可以包括确定一个或多个对象中的至少一个是否至少部分地被遮挡。这可以通过获得感兴趣区域或一个或多个对象的模型(例如3d体积表征)来进行。然后可以使该模型变形，例如，将定义3d体积表征的矢量投影到第一图像数据的平面。然后可以将在第一图像数据中鉴别的对象与变形的模型进行比较以生成两者之间的关系评分。如果该评分低于阈值，则可以确定感兴趣区域至少部分地被遮挡。
6.可选地，在确定感兴趣区域至少部分地被遮挡时，该方法还包括如下步骤：将第一图像数据的至少一个子集与第二图像数据的至少一个子集进行比较以确定该感兴趣区域
是否在第一图像数据的至少一个子集中较少地被遮挡，或者该感兴趣区域是否在第二图像数据的至少一个子集中较少地被遮挡。这可以通过如下来实现：以与上述针对第一图像数据相同的方式从第二图像数据的至少一个子集生成关系评分，然后将第一图像数据的关系评分或第二图像数据的关系评分进行比较。
7.如果确定感兴趣区域在第二图像数据的至少一个子集中较少地被遮挡，则输出第二图像数据的至少一个子集；而如果确定感兴趣区域在第一图像数据的至少一个子集中较少地被遮挡，则输出第一图像数据的至少一个子集。以这种方式，如果多个图像捕获装置的视野部分地被遮挡，则可以确定最优选的图像捕获装置，即视野被遮挡最少的装置。
8.可选地，所述至少一个图像捕获装置包括第一图像捕获装置，并且其中第一图像数据和第二图像数据都由第一图像捕获装置捕获，第一图像数据由位于第一位置的第一图像捕获装置捕获，第二图像数据由位于不同的第二位置的第一图像捕获装置捕获。在第一图像数据和第二图像数据都由第一图像捕获装置捕获的情况下，该方法还可以包括将第一图像捕获装置从第一位置迭代地移动到第二位置，直到感兴趣区域在第二图像数据的至少一个子集内比在第一图像数据的至少一个子集内充分较少地被遮挡。以这种方式移动图像捕获装置，使得：即使当仅使用单个图像捕获装置时或当使用多个图像捕获装置但他们都不具有可以接受的未遮挡视野时，图像捕获装置在其已移动到第二位置之后的视野也能够克服遮挡。
9.可以生成从第一位置到第二位置的移动轨迹，并且可以基于第一图像数据来确定对遮挡对象的三维位置的至少一个估计。遮挡对象是从第一位置遮挡感兴趣区域的对象。可以基于感兴趣区域的定位、第一位置的定位和遮挡对象的三维位置，使用查找表来生成移动轨迹。可以从查找表中确定给出未被遮挡视野的候选位置，并且可以例如使用查找表基于第一位置和候选位置来确定轨迹。
10.该过程可以是迭代的。图像捕获装置可以沿着从第一位置到第二位置的移动轨迹朝向候选位置移动一段距离。可以比较在第一位置和第二位置之间的评分，评分表示感兴趣区域被遮挡的量。例如，可以在第一位置和第二位置计算上面讨论的关系评分，并且如果它们指示感兴趣区域从第二位置较少地被遮挡，则下一次迭代可以继续沿着移动轨迹移动图像捕获装置。如果评分指示，在移动到第二位置之后，感兴趣区域比从第一个位置更多地被遮挡，则可以为该方法的下一次迭代计算替代轨迹。
11.可选地，将第一图像捕获装置移动到第二位置使得感兴趣区域在第二图像数据的至少一个子集内比在第一图像数据的至少一个子集中地被遮挡的步骤包括：基于第一图像数据确定感兴趣区域所占的体积；基于第一图像数据确定遮挡对象的三维位置；基于感兴趣区域的三维位置和遮挡对象的三维位置确定第二位置，来自第一图像捕获装置的从第二位置的感兴趣区域的视场将不会被遮挡或将以比来自第一图像捕获装置的从第一位置的感兴趣区域的视野以较小的程度被遮挡；以及至少将第一图像捕获装置从第一位置移动到第二位置。该过程可以迭代地执行。通过确定遮挡图像捕获装置的视野的对象的位置、大小和形状，那么可以确定可以实现未被遮挡的视野的位置。这使得能够选择将图像捕获装置移动到的合适的定位，而不必依赖机会或反复试验，从而减少相机将获得未被遮挡的视野的时间，同时还可以使因移动手术室中的图像捕获装置而引起的任何分心或风险最小化。
12.移动第一图像捕获装置可以包括对第一图像捕获装置进行平移、旋转或枢转中的
一个或多个。
13.在一个替代方案中，本公开的第一方面的至少一个图像捕获装置包括第一图像捕获装置和第二图像捕获装置，其中第一图像数据由第一图像捕获装置捕获且第二图像数据由第二捕获装置捕获。使用两个(或更多)图像捕获装置意味着如果一个图像捕获装置的视野被遮挡，那么可以替代地使用具有较少地被遮挡视野的第二图像捕获装置。
14.可选地，该方法包括：基于第一图像数据确定感兴趣区域的体积；基于第一图像数据确定遮挡对象的三维位置；以及基于感兴趣区域的体积、遮挡对象的三维位置以及至少两个图像捕获装置的已知位置确定来自除第一图像捕获装置之外的至少两个图像捕获装置中的一个或多个的感兴趣区域的图像数据是否将比来自第一图像捕获装置的与感兴趣区域相关的第一图像数据的子集较少地被遮挡。在确定来自除第一图像捕获装置之外的至少两个图像捕获装置中的一个或多个的感兴趣区域的图像数据将比与来自第一图像捕获装置的感兴趣区域相关的第一图像数据的子集较少地被遮挡后，将该图像捕获装置确定为第二图像捕获装置。以这种方式，可以确定第二图像捕获装置为与第一图像捕获装置相比具有较少地被遮挡视野的图像捕获装置。这确保不需要时间和精力来手动检查来自不同图像捕获装置的视野以找到具有较少地被遮挡视野的视野，而是可以进行自动确定。
15.第一图像捕获装置与第二图像捕获装置优选地定位于不同的位置，使得它们具有不同的视场。使具有不同视场的图像捕获装置处于不同位置，增加了如下可能性：如果其中一个图像捕获装置的视野被遮挡，那么其他的(多个)图像捕获装置将具有较少地被遮挡视野。
16.可选地，第一图像捕获装置为第一类型，第二图像捕获装置为第二类型，使得它们产生不同类型的图像数据。
17.产生不同类型的图像数据的不同类型的图像捕获装置被不同的对象遮挡。虽然对象对一个图像捕获装置可能是不透明的(例如，在一种波长的光下)，但它对另一个图像捕获装置可能是透明的(例如，在第二波长的光下)。因此，使用不同类型的图像捕获装置增加了如下可能性：如果其中一个图像捕获装置的视野被遮挡，那么其他的(多个)图像捕获装置将具有较少地被遮挡视野。
18.可选地，第一图像捕获装置为可见波长相机，第二图像捕获装置为红外波长相机。例如，图像捕获装置的这种组合可以有助于定位被单下面的患者。
19.可选地，所述方法还包括将第一图像数据和第二图像数据组合以生成合成图像数据并输出该合成图像数据的步骤。合成图像数据与感兴趣区域相关，其中感兴趣区域在合成图像数据中比在第一图像数据或第二图像数据中较少地被遮挡。
20.将第一图像数据与第二图像数据组合(例如将两组图像数据叠加)以生成合成图像数据并输出该合成图像数据可以提供感兴趣区域的更完整的视野，并且可以有助于克服遮挡。尤其是当有多个对象遮挡感兴趣区域，或者有大的对象遮挡感兴趣区域时的这种情况，使得第一图像数据和第二图像数据都不涉及感兴趣区域的未被遮挡的视野，而是两者都具有感兴趣区域的被遮挡的不同部分。
21.可选地，所述方法还包括由第二图像捕获装置捕获第二图像数据的步骤。
22.可选地，所述方法还包括由第一图像捕获装置捕获第一图像数据的步骤。
23.可选地，使用图像识别技术来鉴别感兴趣区域和遮挡对象中的任一个或两者。图
像识别技术的使用可以允许所述方法由计算机或计算机系统自动实施。
24.可选地，图像数据包括以下中的一个或多个：可见光谱数据；热或红外数据；深度或飞行时间数据，例如雷达数据、激光雷达数据和超声数据；以及立体图像数据。
25.相对于手术室，感兴趣区域可以不是静态的。特别地，感兴趣区域可以对应于以下中的一个或多个：对象；对象周围的体积；人；以及人的一部分。通过具有非静态感兴趣区域，可以在整个手术过程中跟踪手术室周围的对象，并且可以确保：尽管有这种移动，但图像捕获装置仍会收集合适的图像捕获数据。
26.可替代地，感兴趣区域可以是相对于手术室的静态区域。使感兴趣区域为静态可以降低监测移动的感兴趣区域所需的处理能力，并且还可以考虑感兴趣区域的静态位置来定位图像捕获装置，从而使它们对感兴趣区域的视野最大化。
27.所述方法可以包括对多个感兴趣区域执行所述步骤。
28.根据本公开的第二方面，提供了一种用于监测手术室内对象的系统。该系统包括：第一图像捕获装置，其被配置为捕获第一图像数据；以及一个或多个计算设备，其被配置为执行本公开第一方面的方法。
29.可选地，所述系统还包括被配置为捕获第二图像数据的第二图像捕获装置。使用两个(或更多个)图像捕获装置意味着如果一个图像捕获装置的视野被遮挡，则可以替代地使用具有较少地被遮挡视野的第二图像捕获装置。
30.第一图像捕获装置和第二图像捕获装置优选地定位于不同的位置。使具有不同视场的图像捕获装置处于不同位置，增加了如下可能性：如果其中一个图像捕获装置的视野被遮挡，那么其他的(多个)图像捕获装置将具有较少地被遮挡视野。
31.可选地，第一图像捕获装置为第一类型，第二图像捕获装置为第二类型，第二类型与第一类型不同。
32.产生不同类型的图像数据的不同类型的图像捕获装置可能会被不同对象遮挡。虽然对象对一个图像捕获装置可能是不透明的(例如，在一种波长的光下)，但它对另一个图像捕获装置可能是透明的(例如，在第二波长的光下)。因此，使用不同类型的图像捕获装置增加了如下可能性：如果其中一个图像捕获装置的视野被遮挡，那么其他的(多个)图像捕获装置将具有较少地被遮挡的视野。
33.可选地，第一图像捕获装置和第二图像捕获装置是选自以下的类型：可见光谱相机、热或红外相机、深度或飞行时间相机、雷达、激光雷达、超声设备和立体成像相机。
34.根据本公开的第三方面，提供了一种计算机程序。当在一个或多个计算设备上运行该计算机程序时，该计算机程序被配置为使一个或多个计算设备执行本公开的第一方面的方法。
35.根据本公开的第四方面，提供了一种非暂时性存储器，在该非暂时性存储器上存储有第三方面的计算机程序。
36.根据本公开的第五方面，提供了一种监测手术室内对象的方法。所述方法包括：接收由至少一个图像捕获装置所捕获的图像数据；从图像数据鉴别第一对象；从图像数据鉴别第二对象；确定第一对象和第二对象之间的交互状态；以及输出交互状态。
37.使用图像捕获装置来鉴别不同的对象提供了一种多功能系统，该系统可以很容易地适用于监测手术室内的不同对象，几乎不需要针对不同场景进行修改。例如，由于图像捕
获装置使用对象的视觉外观，而不需要为不同的对象手动输入不同的参数，所以系统可以轻松地处理各种不同的对象。
38.可选地，所述方法还包括：基于图像数据确定第一对象所占据的体积；以及基于图像数据确定第二对象所占据的体积。至少部分地基于第一对象所占据的体积和第二对象所占据的体积来确定交互状态。
39.确定体积可用于确定交互状态，因为它允许执行更大范围的空间计算，包括确定一个对象是否将适配在另一个对象内、确定对象是否会碰撞等。
40.交互状态可以包括关于第一对象和第二对象是否兼容的信息。基于视觉信息确定对象是否兼容意味着可以避免例如由于不兼容的对象一起使用而导致的潜在的问题和损害。如果基于第一对象所占据的体积和第二对象所占据的体积，第一对象不能适配在第二对象内或周围，则可以确定第一对象和第二对象不兼容。如果一个对象与另一个对象一起使用并且两者不适配，则以这种方式使用体积信息可以防止代价高昂的碰撞和其他问题。
41.所述方法还可以包括从图像数据确定第一对象的速度；以及从图像数据确定第二对象的速度。在这种情况下，确定第一对象和第二对象之间的交互状态包括基于第一对象的速度、第二对象的速度、第一对象所占据的体积以及第二对象所占据的体积，确定第一对象和第二对象是否将发生碰撞。
42.确定速度和预测碰撞可以避免代价高昂且具有潜在危险性的碰撞。使用来自图像捕获装置的视觉信息意味着这可以针对可由图像捕获装置看到的任何对象来完成，并且不需要执行校准或其他复杂且耗时的步骤，从而大大增加了所述方法的多功能性。
43.输出交互状态可以包括如果确定第一对象和第二对象将发生碰撞，则输出警报。输出警报可以使得能够防止碰撞。
44.输出交互状态可以，可替代地或另外地，包括输出被配置为调整第一对象和第二对象中的任一个或两者的速度的命令，以防止第一对象和第二对象发生碰撞。以这种方式，可以防止通过机械臂等控制的物体发生碰撞。使用图像数据意味着还可以防止机械臂等与它原本不会觉察到的对象(例如人)发生碰撞。事实上，它允许检测和避开对象，包括之前未校准的对象等，从而大大增加了系统的多功能性。调整第一对象或第二对象中的任一个或两者的速度可以包括使第一对象或第二对象中的任一个或两者停止移动。使第一对象或第二对象中的任一个或两者停止以停止移动是防止碰撞的有效方法。
45.优选地，基于第一对象的速度、第二对象的速度、第一对象所占据的体积以及第二对象所占据的体积，在将要发生碰撞之前的预定时间输出交互状态。例如，在可能发生碰撞之前的预定时间输出交互状态(该交互状态可包括用于防止碰撞的警报(例如命令))意味着当此类碰撞不太可能发生时，不必在预测碰撞发生之前很久使对象停止，因为对象中的一个很可能会在没有干预的情况下在碰撞之前改变其速度。
46.第一对象的体积可以是以下中的一个：平行六面体，例如长方体；球体；以及圆柱体。第二对象的体积可以是以下中的一个：平行六面体，例如长方体；球体；以及圆柱体。
47.使用诸如长方体的平行六面体、球体或圆柱体来代表第一对象和第二对象中的任一个或两者的体积可以降低与确定对象的精确(通常非常不规则)体积相关联的计算能力，而不会大大降低所述方法的准确性。
48.可以使用图像识别技术来鉴别第一对象。可以使用图像识别技术来鉴别第二对
象。图像识别技术的使用可以允许所述方法由计算机或计算机系统自动实施。
49.所述方法优选地还包括由一个或多个图像捕获装置捕获图像数据的步骤。
50.图像数据优选地包括以下中的一个或多个：可见光谱数据；热或红外数据；深度或飞行时间数据，例如雷达数据、激光雷达数据和超声数据；以及立体图像数据。
51.根据本公开的第六方面，提供了一种用于监测手术室手术台上的患者的系统。该系统包括：一个或多个图像捕获装置，其被配置为捕获图像数据；以及一个或多个计算设备，其被配置为执行第五方面的方法。
52.可选地，所述一个或多个图像捕获装置是以下中的一个或多个：可见光谱相机、热或红外相机、深度或飞行时间相机、雷达、激光雷达、超声设备和立体成像相机。
53.根据本公开的第七方面，提供了一种计算机程序。当在一个或多个计算设备上运行该计算机程序时，该计算机程序被配置为使一个或多个计算设备执行本公开的第五方面的方法。
54.根据本公开的第八方面，提供了一种非暂时性存储器，在该非暂时性存储器上存储有第七方面的计算机程序。
55.根据本公开的第九方面，提供了一种监测手术室手术台上的患者的方法。该方法包括：接收由至少一个图像捕获装置捕获的图像数据；以及根据图像数据确定患者相对于手术台的位置。
56.使用图像数据确定患者位置意味着所述方法不需要任何特定的手术台，因此可以很容易地用于各种情况。此外，所述方法可以用于现有的手术台，甚至可以用于未来的手术台。此外，由于所述系统远离手术台，因此不会损害患者的治疗效果或手术台作为手术台的有效性。
57.可选地，根据图像数据确定患者相对于手术台的位置包括：从图像数据确定患者的位置；确定手术台的位置；以及基于患者的位置和手术台的位置确定患者相对于手术台的位置。确定患者和手术台的位置允许确定患者的准确位置，并且意味着不需要知晓手术台和患者相对于其他对象的位置。例如，当确定了手术台的位置时，该位置是否在不同手术过程之间移动等并不重要。
58.确定手术台位置的步骤可以基于图像数据。基于图像数据确定手术台的位置意味着所使用的手术台的类型无关紧要，并且所述方法可以很容易地用于现有或未来的手术台。特别地，不需要校准或有关手术台的其他信息。优选地使用图像识别技术来确定手术台的位置。图像识别技术的使用可以允许该方法由计算机或计算机系统自动实施。
59.可替代地或另外地，确定手术台位置的步骤包括：接收手术台的位置信息；以及从接收到的位置信息确定手术台的位置。从手术台接收位置信息意味着所述方法可以集成和利用许多可以提供此类信息的现有手术台，降低从图像数据确定手术台的位置所需的计算能力。
60.确定患者相对于手术台的位置的步骤可以包括确定患者相对于手术台的第一位置和确定患者相对于手术台的第二位置，与第一位置相比，第二位置在较晚的时间确定。所述方法还包括通过比较第一位置和第二位置来确定患者是否已经在手术台上移动。确定第一位置和第二位置允许监测患者的位置，并且确定患者是否已经移动。这可以有助于防止发生可能对患者治疗效果有害的不期望事件，例如患者从手术台上滑动、滑行或跌落。
61.可选地，该方法还包括如果确定患者已经在手术台上移动，则输出警报。在这种情况下输出警报意味着可以纠正问题并采取适当的措施来确保患者的治疗效果不会受到影响。如果患者已在手术台上移动了至少一阈值量，则可以输出警报。如果患者已经移动了至少一阈值量则输出警报确保了所述方法不会输出不必要数量的警报，并且仅在必要时输出警报，例如以防止患者从手术台上滑动、滑行或跌落。
62.可选地，如果患者已经移出手术台上的预定义区域，则输出警报。患者移出手术台上的预定义区域，例如中心区域，可以指示患者可能正在从手术台上滑动、滑行或跌落。因此，如果检测到这种情况则输出警报可以防止这些不利事件的发生。
63.可选地，确定患者在手术台上的位置包括基于图像数据确定患者的多个子位置，所述患者的子位置为患者的身体的部位的位置。确定患者的身体的不同部位的位置可以只允许监测感兴趣的部位，也意味着可以确定并监测患者的姿势、姿态或位置。
64.基于患者的多个子位置，如果确定患者未处于可接受的位置和/或如果确定患者处于不可接受的位置，则可以输出警报。可接受和不可接受的位置(例如姿态或姿势)可能对患者的治疗效果有害，例如引起褥疮或瘀伤，并且在手术期间由于例如患者在被单或其他对象下面或者仅仅是因为医疗技术人员的注意力在手术上而可能不会被医疗技术人员注意到。因此，使用图像数据检测患者的位置、姿态或姿势可以改善患者治疗效果。
65.如果患者未处于可接受的位置和/或如果确定患者处于不可接受的位置持续至少一阈值时间段，则可以输出警报。如果患者未处于可接受的位置和/或如果确定患者处于不可接受的位置持续至少一阈值时间段则输出警报确保了所述方法不会输出不必要数量的警报，并且仅必要时输出警报。可以针对不同的位置设定不同的阈值时间段。这再次进一步减少了不必要的警报输出的数量，同时还通过使得能够快速纠正非常糟糕的情况确保了患者的治疗效果不会受到损害。
66.与患者的身体的子位置相对应的患者的身体的部位可以包括以下中的一个或多个：头；臂；手；腿；脚；躯干；以及腹部。鉴别患者的这些部位的子位置允许有效地确定和监测患者的位置、姿态或姿势。
67.优选地，确定患者在手术台上的位置包括确定患者在被单下面的位置。确定患者在被单下面的位置意味着即使患者的部位被覆盖，所述方法仍然有效，而且当患者被覆盖因此医疗专业人员可能较少意识到患者的位置时，这意味着所述方法特别有用。
68.可以至少部分地从由热成像和/或红外相机所捕获的图像数据来确定患者在被单下面的位置。使用热相机和/或红外相机可以有效地确定在患者被单下面的位置，因为许多被单不会遮挡患者的身体发出的红外光，而它们可以阻挡人眼可以看到的可见光。
69.可选地，确定患者在被单下面的位置的步骤包括确定被单在手术台上方的表面并基于该表面确定患者在被单下面的位置。由于覆盖在患者上的被单经常会被患者的身体扭曲，因此可以基于被单的表面来确定患者的位置，特别地通过确定被单的表面的三维形状来确定患者的位置。可以从该表面推断出患者的位置。
70.可选地，至少部分地从使用雷达、激光雷达、超声设备、超声和飞行时间成像中的一个或多个所捕获的图像数据来确定被单在手术台上方的表面。
71.可以使用图像识别技术来鉴别患者的位置。图像识别技术的使用可以允许所述方法由计算机或计算机系统自动实施。
72.所述方法还可以包括由一个或多个图像捕获装置捕获图像数据的步骤。可选地，图像数据包括以下中的一个或多个：可见光谱数据、热或红外数据、深度或飞行时间数据、雷达数据、激光雷达数据、超声数据和立体图像数据。
73.根据本公开的第十方面，提供了一种用于监测手术室手术台上的患者的系统。该系统包括：一个或多个图像捕获装置，其被配置为捕获图像数据；以及一个或多个计算设备，其被配置为执行第九方面的方法。
74.可选地，所述一个或多个图像捕获装置是以下中的一个或多个：可见光谱相机、热或红外相机、深度或飞行时间相机、雷达、激光雷达、超声设备和立体成像相机。
75.根据本公开的第十一方面，提供了一种计算机程序。当在一个或多个计算设备上运行该计算机程序时，该计算机程序被配置为使一个或多个计算设备执行第九方面的方法。
76.根据本公开的第十二方面，提供了一种非暂时性存储器，在该非暂时性存储器上存储有第十一方面的计算机程序。
77.根据本公开的第十三方面，提供了一种监测手术室内的对象的方法。该方法包括：接收由至少一个图像捕获装置所捕获的图像数据；从图像数据鉴别对象；接收定义正在执行的手术过程并包括要执行的一个或多个步骤的手术过程数据，要执行的一个或多个步骤具有与每个步骤相关联的一个或多个对象；确定要执行的当前步骤；确定所鉴别的对象是否是与要执行的当前步骤相关联的一个或多个对象之一；以及如果所鉴别的对象不是与要执行的当前步骤相关联的一个或多个对象之一，则输出警报。
78.此类方法可以避免执行不正确的步骤或使用不正确的对象的事件，有助于防止医疗专业人员的错误并改善患者的治疗效果。使用图像数据来实现这种作用使得系统可高度适用各种情况。
79.可选地，与每个步骤相关联的一个或多个对象还具有与每个步骤相关联的状态。在这种情况下，所述方法还包括：基于图像数据确定对象的当前状态；以及如果对象的当前状态与要执行的当前步骤相关联的状态不匹配，则输出警报。这可以确保，不仅使用了正确的对象，而且处于正确的状态。例如，可以防止意外使用非无菌手术工具和类似事件。同样，使用图像数据使得能够检测范围广泛的对象的多种不同状态，并且所述系统可以容易地适用于不同的对象和不同的手术过程。
80.所述方法还可以包括：基于图像数据确定对象的位置；并且其中基于对象的位置进一步确定对象的当前状态。使用对象的位置可以提供关于状态的信息和背景。例如，一个托盘上可能有无菌的、未使用的手术工具，而另一个托盘可能用于未消毒的、使用过的手术工具，因此可以相应地确定手术工具的状态。
81.可选地，与当前步骤关联的状态是初始状态，初始状态是针对与每个步骤关联的一个或多个对象中的每一个对象而预先设置的。在这种方式中，所述方法可以在手术过程开始时检查每个对象的状态，并且可以预先设置每个对象在手术过程启动时应该处于的状态，并且可以进行验证。
82.当前状态可以是以下中的一个：“无菌”状态；“使用中”状态；“使用过”状态；“打开”状态；“关闭”状态；“移动”状态；“静止”状态；“闲置”状态；“锁定”状态；“解锁”状态；以及“暂停”状态。
83.当前状态可以存储在存储器中，对当前状态的任何改变(例如，从“无菌”到“使用过”的转换)也可以存储在存储器中，其中时间戳与状态或状态改变相关联。可以为在手术过程中使用的每个对象生成包含该信息的记录，从而允许在以后复查关于手术过程的信息。可以将该记录存储为患者的电子病历和/或特定手术的病例医疗方案的一部分。
84.可选地，所述方法还包括确定执行所述手术过程的医疗专业人员并确定该医疗专业人员是否正使用所述对象。如果医疗专业人员正在使用所鉴别的对象并且如果所鉴别的对象不是与要执行的当前步骤相关联的一个或多个对象之一，则输出警报。因此，所述方法可以防止医疗专业人员使用不正确的对象。
85.优选地使用图像识别技术来鉴别对象。图像识别技术的使用可以允许所述方法由计算机或计算机系统自动实施。
86.可选地，所述方法还包括由一个或多个图像捕获装置捕获图像数据的步骤。
87.图像数据可以包括以下中的一个或多个：可见光谱数据；热或红外数据；深度或飞行时间数据，例如雷达数据、激光雷达数据和超声数据；以及立体图像数据。
88.根据本公开的第十四方面，提供了一种用于监测手术室内的对象的系统。该系统包括：一个或多个图像捕获装置，其被配置为捕获图像数据；以一个或多个计算设备，其被配置为执行第十三方面的方法。
89.可选地，所述一个或多个图像捕获装置是以下中的一个或多个：可见光谱相机、热或红外相机、深度或飞行时间相机、雷达、激光雷达、超声设备和立体成像相机。
90.根据本公开的第十五方面，提供了一种计算机程序。当在一个或多个计算设备上运行该计算机程序时，该计算机程序被配置为使一个或多个计算设备执行第十三方面的方法。
91.根据本公开的第十六方面，提供了一种非暂时性存储器，在该非暂时性存储器上存储有第十五方面的计算机程序。
92.根据本公开的第十七方面，提供了一种监测手术室内的对象的方法。该方法包括：接收由至少一个图像捕获装置在第一时间所捕获的第一图像数据；从第一图像数据鉴别对象；接收由至少一个图像捕获装置在第二时间所捕获的第二图像数据，第二时间晚于第一时间；以及确定从第一图像数据所鉴别的对象是否可以从第二图像数据鉴别出来。
93.使用图像数据提供了一种灵活的方法，该方法可以跟踪广泛范围的对象并确定它们是否在整个手术过程中在不同时间出现。特别地，可以使用可以从图像数据检测到的任何类型的对象。
94.可选地，当确定不能从第二图像数据鉴别出所述对象时，所述方法还包括确定所述对象在第二时间在手术室内不存在或不可见。
95.确定所述对象在第二时间不存在可以提供指示所述对象被使用、或丢失或以其他方式下落不明的信息。例如，这可以确保使用所有需要的对象(例如，确保没有忘记插入支架)，并且确保没有异物留在患者体内。
96.可选地，第二图像数据由至少一个图像捕获装置的第一组捕获，并且其中所述方法还包括：当确定不能从第二图像数据鉴别出所述对象时，接收第三图像数据，该第三图像数据由至少一个图像捕获装置的第二组捕获，至少一个图像捕获装置的第二组包括不在至少一个图像捕获装置的第一组中的至少一个图像捕获装置；确定是否可以从第三图像数据
鉴别出所述对象；以及在确定不能从第三图像数据鉴别出所述对象时，确定对象在第二时间不存在于手术室内。通过以这种方式利用不同的图像捕获装置，即使对象移动到不同的位置并且被其他对象或人遮挡，也可以在手术室中有效地跟踪该对象。
97.可选地，所述方法还包括由至少一个图像捕获装置的第二组捕获第三图像数据的步骤。
98.可选地，第二图像数据由至少一个图像捕获装置中的第一图像捕获装置从第一位置捕获，并且其中所述方法还包括：在确定不能从第二图像数据鉴别出所述对象时，将第一图像捕获装置移动到第二位置，使得第一图像捕获装置在第二位置的视场不同于第一图像捕获装置在第一位置的视场；接收第四图像数据，第四图像数据由第一图像捕获装置在第二位置所捕获；确定是否可以从第四图像数据鉴别出所述对象；以及在确定不能从第四图像数据鉴别出所述对象时，确定所述对象在第二时间不存在于手术室内。通过以这种方式移动不同的图像捕获装置，即使对象移动到不同的位置并且被其他对象或人遮挡，也可以在手术室中有效地跟踪该对象。
99.可选地，所述方法还包括由第一图像捕获装置捕获第四图像数据的步骤。
100.可选地，所述方法还包括以下步骤：当确定所述对象在第二时间不存在于手术室内时，输出警报。此类警报可以警告医师对象没有放置以及可能缺失或放错位置。以这种方式提醒医师可以防止例如手术工具或其他对象在手术期间留在患者体内。
101.第一时间优选地是手术过程的开始，而在第二时间优选地是手术过程的结束。在手术过程开始和结束时检查对象是否存在意味着可以对所使用的所有对象进行说明，并且如果缺失任何对象，则可以警告医师。以这种方式提醒医师可以防止例如手术工具或其他对象在手术期间留在患者体内。
102.所述对象可以是手术工具。
103.可以使用图像识别技术来鉴别对象。图像识别技术的使用可以允许所述方法由计算机或计算机系统自动实施。
104.所述方法优选地还包括由至少一个图像捕获装置捕获第一图像数据的步骤。
105.所述方法优选地还包括由至少一个图像捕获装置捕获第二图像数据的步骤。
106.可选地，图像数据包括以下中的一个或多个：可见光谱数据、热或红外数据、深度或飞行时间数据、雷达数据、激光雷达数据、超声数据和立体图像数据。
107.根据本公开的第十八方面，提供了一种用于监测手术室内的对象的系统。该系统包括：一个或多个图像捕获装置，器被配置为捕获图像数据；以及一个或多个计算设备，其被配置为执行第十七方面的方法。
108.可选地，一个或多个图像捕获装置是以下中的一个或多个：可见光谱相机、热或红外相机、深度或飞行时间相机、雷达、激光雷达、超声设备和立体成像相机。
109.根据本公开的第十九方面，提供了一种计算机程序。当在一个或多个计算设备上运行该计算机程序时，该计算机程序被配置为使一个或多个计算设备执行第十七方面的方法。
110.根据本公开的第二十方面，提供了一种非暂时性存储器，在该其非暂时性存储器存储有第十九方面的计算机程序。
111.应当理解，关于本公开的一个方面描述的特征也可以同等地应用于本公开的所有
其他方面。
附图说明
112.将仅通过示例并参考附图进一步描述本公开，其中：
113.图1例示了根据本公开的各方面的系统；
114.图2例示了根据本公开的第一方面的方法；
115.图3例示了根据本公开的第一方面的方法；
116.图4例示了根据本公开的第五方面的方法；
117.图5例示了根据本公开的第九方面的方法；
118.图6例示了根据本公开的第九方面的方法；
119.图7例示了根据本公开的第十三方面的方法；
120.图8例示了根据本公开的第十三方面的方法；
121.图9例示了根据本公开的第十三方面的方法；
122.图10例示了根据本公开的第十七方面的方法；
123.图11例示了根据本公开的第十七方面的方法；以及
124.图12例示了根据本公开的第十七方面的方法。
具体实施方式
125.将参照图1描述根据本公开的各方面的系统。
126.图1例示了手术室100，在该手术室100中实施根据本公开的各方面的系统。手术室100包括支撑患者117的手术台101。在图1所示的示例中，正在使用机器人手术器械103对患者117进行胸外科手术，但应当理解，本发明不限于这种类型的外科手术。机器人手术器械103通过由外科医生109操作的外科医生控制台105来控制。
127.除了具有手术台101和机器人手术器械103之外，手术室100还包括许多件其他设备107。在此示例中，手术室还包括其上具有外科手术工具的第一手术台107a、视觉推车107b、麻醉师推车107c、其上具有其他外科手术工具的第二手术台107d、护士工作站107e和腹腔镜塔107f。
128.除了具有外科医生109之外，许多其他医疗专业人员位于手术室100中。在此示例中，第一助手111a和第二助手111c在场，麻醉师111b在场，护士111d在场，并且外科技师111e在场。
129.应该注意的是，上面列出并在图1中的手术室100内例示的设备和医疗专业人员是示例性的并且不限制本发明。例如，所需的设备和医疗专业人员将由，例如，正在进行的手术确定。
130.还提供了被配置为捕获手术室100内的图像数据的图像捕获装置113。在图1中，提供了三个这样的图像捕获装置113：图像捕获装置a；图像捕获装置b；和图像捕获装置c。提供这些图像捕获装置以使得它们能够捕获图像数据。图像数据代表手术室内的视场。然而，应该注意的是，图像捕获装置本身不必位于手术室内。例如，它们可以设置在不遮挡图像捕获装置的视野的墙壁后面(例如，在可见光谱中工作的相机设置在玻璃墙后面)。
131.三个图像捕获装置113各自在手术室100内具有不同的视场。图像捕获装置a的视
场由锥形115a示出，图像捕获装置b的视场由锥形115b示出，并且图像捕获装置c的视场由椭圆115c示出。应该理解的是，图像捕获装置a和图像捕获装置b位于手术室的侧面，向内查看；而图像捕获装置c位于手术台101上方，向下查看。
132.可以看出，图像捕获装置113的每一个的视场115都覆盖了外科医生109使用机器人手术器械103对患者117进行手术所在的区域。这是感兴趣区域的示例并且根据本公开的各方面，图像捕获装置113被配置为使得它们的视场115包括该感兴趣区域。通常，如图1所示，感兴趣区域将是正在进行手术的区域，但其他区域、体积和对象也可以是“感兴趣区域”。
133.图像捕获装置113被定位成使得它们可能具有感兴趣区域的未被遮挡的视场，并且如果一个图像捕获装置113的视场被遮挡则多个图像捕获装置113可以有助于进行补偿。例如，如图1所示，如果图像捕获装置a被麻醉师推车107c遮挡，则图像捕获装置b和图像捕获装置c将仍提供感兴趣区域的未被遮挡的视野。
134.图像捕获装置的数量和位置以及类型可以根据本公开的使用情况而变化。例如，虽然图1中示出了具有特定位置的三个图像捕获装置113，但是本公开的其他实施例可以具有更少(例如，一个或两个)或更多(例如，四个、五个、十个等)的图像捕获装置。此外，这些图像捕获装置的位置可以与图1中所示的图像捕获装置113的位置不同。
135.图像捕获装置也可以是静态的或可移动的。在图像捕获装置是可移动的情况下，可以在手术之间(例如，可以在手推车等上移动它们)或在手术期间(例如，它们可以附接于可操纵臂)移动图像捕获装置。可移动的图像捕获装置对于适应可能需要不同视场(例如，对于不同感兴趣区域)的不同类型的手术可能是有利的。在手术期间，可移动的图像捕获装置可以通过使得改变图像捕获装置的视场来有利地帮助克服图像捕获装置的视场中的遮挡。
136.可以使用捕获不同类型的图像数据的多个不同类型的图像捕获装置。可以由图像捕获装置捕获的不同类型的图像数据的非穷举列表包括可见光谱数据、热或红外数据、深度或飞行时间数据、雷达数据、激光雷达数据和立体图像数据。为了捕获这些类型的数据，图像捕获装置可以是可见光谱相机、热或红外相机、深度或飞行时间相机、雷达、激光雷达或立体成像相机。也可以使用除了本文列出的那些之外的其他类型的图像数据和图像捕获装置。
137.可以在不同位置提供不同图像类型的图像捕获装置。例如，在图1中，图像捕获装置a可以是位于第一位置的可见光谱相机，而图像捕获装置b可以是位于第二位置的红外相机。在一些情况下，图像捕获装置可以捕获多种类型的图像数据。这可能是因为图像捕获装置包括不同类型的多个子图像捕获装置(它们连接或以其他方式接合在一起，使得它们作为一个单元)，或者因为传感器或其他图像捕获模块对多于一种类型的图像数据灵敏或被配置为捕获多于一种类型的图像数据。例如，图像捕获装置可以被配置为捕获可见光谱图像数据和红外图像数据两者，或被配置为捕获可见光谱图像数据和飞行时间图像数据两者。
138.本公开的各方面提供了可以使用本文描述的(例如图1中所示的)系统来实施的多个不同的方法。
139.本公开的一个方面提供了一种监测手术室内的对象的方法，并且特别地涉及一种
克服图像捕获装置的遮挡的方法。
140.图2中示出了方法200的流程图。方法200开始于步骤201，在步骤201接收第一图像数据。第一图像数据是由至少一个图像捕获装置捕获的图像数据。图像数据可以由单个图像捕获装置或多个图像捕获装置捕获。
141.在步骤203，确定第一图像数据的至少一个子集。第一图像数据的至少一个子集(其因此可以包括所有所捕获的图像数据或所捕获的图像数据的仅一些)与手术室内的感兴趣区域有关。感兴趣区域可以由医疗专业人员鉴别，并随后使用图像识别技术确定。可替代地，可以根据外科手术的类型或根据预定义列表自动鉴别感兴趣区域；例如，该列表可包括手术工具；患者身体部位；以及医疗设备。
142.感兴趣区域可以是静态的感兴趣区域，或者可以不是静态的感兴趣区域。也就是说，感兴趣区域可以在整个外科手术中移动。例如，感兴趣区域可以是对象(例如一台设备或手术工具)或人，或在该对象或人的周围的体积，并且感兴趣区域可以随着对象或人移动。作为另一示例，感兴趣区域可以是其中将执行外科手术的区域，例如患者的躯干区域。
143.在步骤205，确定手术室内的感兴趣区域在第一图像数据的子集内是否至少部分地被遮挡。这是基于第一图像数据完成的，即，根据第一图像数据确定感兴趣区域是否被遮挡。例如，如果在获得感兴趣区域的未被遮挡视野之后，检测到另一个对象已经移动到感兴趣区域的前面，从而将其遮挡，则可以确定感兴趣区域被遮挡。在另一种情况下，如果不能在图像数据内鉴别到某些对象，则可以确定感兴趣区域被遮挡。例如，如果已知套管针应位于感兴趣区域内，但是在第一图像数据的子集中不能鉴别到该套管针，则可以确定感兴趣区域被遮挡。也可以使用其他技术确定感兴趣区域被遮挡。
144.例如，确定手术室内的感兴趣区域是否至少部分地被遮挡可以通过获得感兴趣区域的模型或感兴趣区域中的对象的模型(例如3d体积表征体)来完成。然后可以使该模型变形。例如，将定义对象或感兴趣区域的3d体积表征体的矢量投影到第一图像数据的平面。然后可以将在第一图像数据中鉴别到的对象和变形了的模型进行比较以生成两者之间的关系评分。如果该评分低于阈值，则可以确定感兴趣区域至少部分地被遮挡。
145.在确定感兴趣区域至少部分地被遮挡后，该方法进行到步骤207。在步骤207，接收由至少一个图像捕获装置所捕获的第二图像数据。然后，在步骤209，确定第二图像数据的至少一个子集(其可以包括所有所捕获的图像数据或所捕获的图像数据的仅一些)，该第二图像数据的至少一个子集与感兴趣区域有关。在步骤211，输出第二图像数据的至少一个子集；第二图像数据的至少一个子集与感兴趣区域相关，并且与在第一图像数据的至少一个子集内相比，感兴趣区域在第二图像数据的至少一个子集内较少地被遮挡。
146.在步骤207接收的第二图像数据可以是如下的一些组合：由与捕获第一图像数据的图像捕获装置处于不同位置的不同图像捕获装置捕获的、与第一图像数据相同类型的图像数据；由与捕获第一图像数据的图像捕获装置处于不同位置的同一图像捕获装置捕获的、与第一图像数据相同类型的图像数据(例如，图像捕获装置在捕获第一图像数据和第二图像数据之间移动)；以及由与捕获第一图像数据时处于相同或不同位置的同一或不同图像捕获装置捕获的、与第一图像数据不同类型的图像数据。
147.在一些情况下，将在步骤203确定的第一图像数据的子集与在步骤209确定的第二图像数据的子集进行比较。这种方法在图3中示出。
148.图3的第一步骤与图2中所示的第一步骤相同。具体地，与在图2中执行步骤201至209一样，在图3的方法中再次执行步骤201至209，因此不再重复对这些步骤的讨论。
149.在图3的方法中，在步骤209之后，在步骤301，将第一图像数据的至少一个子集与第二图像数据的至少一个子集进行比较。这样做是为了确定感兴趣区域是否在第一图像数据的至少一个子集中较少被遮挡或者感兴趣区域是否在第二图像数据的至少一个子集中较少被遮挡。
150.如果确定感兴趣区域在第二图像数据的至少一个子集内较少被遮挡，则执行如在图2的方法中的步骤211，并且输出第二图像数据的至少一个子集。然而，如果确定感兴趣区域在第一图像数据的至少一个子集内较少被遮挡，则执行步骤311而不是步骤211，并且输出第一图像数据的至少一个子集。以这种方式，可以确保输出与感兴趣区域的最佳视野对应的图像数据，并且尽可能消除对图像捕获装置的任何遮挡。应当注意，虽然该方法是关于两个图像数据集来描述的，但是这些原理可以应用于任何数量的图像数据集。例如，可以接收三个、四个、五个、十个或其他数量的图像数据集，可以确定与感兴趣区域相关的每个图像数据集的子集，并且可以对图像数据的所有这些子集进行比较以确定感兴趣区域最少被遮挡的那个子集，从而可以输出图像数据的该子集。
151.在第一图像数据和第二图像数据之间进行比较以确定感兴趣区域更多被遮挡的那个图像数据可以通过如下来实现：以与上述第一图像数据相同的方式从第二图像数据的至少一个子集生成关系评分，然后比较第一图像数据或第二图像数据的关系评分。
152.在图2和图3两者的方法中使用的第一图像数据和第二图像数据可以由同一图像捕获装置、但是从不同的位置捕获。在这种情况下，该方法包括将至少一个图像捕获装置移动到新位置的步骤，使得来自至少一个图像捕获装置的感兴趣区域的场不再被遮挡或以较低的程度被遮挡。在这种情况下，该方法还可以包括确定新位置，以便它提供比原始视场较少被遮挡的视场。在这种情况下，该方法可以包括以下步骤：基于第一图像数据确定感兴趣区域所占据的体积，基于第一图像数据确定遮挡对象的三维位置；确定感兴趣区域的视场将不会被遮挡或将较小程度被遮挡的第二位置；以及将至少一个图像捕获装置从第一位置移动到第二位置。
153.移动图像捕获装置可以包括图像捕获装置的平移(例如，通过在轮子上移动)或图像捕获装置的旋转或枢转，以及其他运动。在一些情况下，图像捕获装置可以附接至关节臂(例如机械臂)，该关节臂可以移动以提供图像捕获装置的期望平移和/或旋转。
154.图像捕获装置的移动可以沿着移动轨迹，该移动轨迹是从第一位置到第二位置的轨迹。基于感兴趣区域的位置、第一位置的位置和遮挡对象的三维位置，可以使用查找表来生成移动轨迹。可以从查找表确定给出未被遮挡视野的候选位置，并且可以例如使用查找表基于第一位置和候选位置来确定轨迹。
155.例如，转向图1，图像捕获装置位于第一位置a，由图像捕获装置a表示。感兴趣区域以患者117为中心，因此图像捕获装置从位置a具有的该感兴趣区域的视野被麻醉师推车107c和麻醉师111b遮挡。因此将麻醉师推车107c和麻醉师111b鉴别为遮挡对象，并且基于由图像捕获装置从位置a所捕获的图像数据来确定或至少估计它们的位置。基于该信息，以及位置a和感兴趣区域的位置，查阅查找表。该过程将图1中由图像捕获装置b表示的位置b鉴别为将具有未被遮挡视野的候选位置，并确定从位置a到位置b的轨迹。
156.在此示例中，该过程是迭代的，但应该理解这不是必要的。当迭代时，该过程包括将图像捕获装置沿着从第一位置到第二位置的移动轨迹朝向候选位置移动。然后比较第一位置和第二位置之间的评分，该评分表示感兴趣区域被遮挡的量。例如，可以计算在第一位置和第二位置处的上面讨论的关系评分，并且如果它们表明感兴趣区域在第二位置较少被遮挡，则下一次迭代可以继续沿着移动轨迹移动图像捕获装置。如果评分表明，在移动到第二位置之后，感兴趣区域比在第一个位置时被遮挡地更多，则可以为该方法的下一次迭代计算替选轨迹。
157.继续上面参考图1讨论的示例，其中确定从位置a到位置b的轨迹，当图像捕获装置接近位置b时，可以确定患者117周围的感兴趣区域被护士111d和护士工作站107e遮挡。因此，可以确定新的轨迹，例如将在图1中由图像捕获装置c表示的位置c作为候选位置。然后可以沿着这个新轨迹移动图像捕获装置。该过程继续，直到实现感兴趣区域的可接受视野。
158.可替代地或另外地，除了包括移动图像捕获装置以克服遮挡之外，可以使用捕获不同图像数据的多个图像捕获装置。这可以是来自不同位置的相同类型的图像数据、来自相同位置的不同类型的图像数据或来自不同位置的不同类型的图像数据。
159.例如，在这种情况下，当应用于图2或图3的方法时，第一图像数据可以由第一图像捕获装置捕获，并且第二图像数据可以由第二图像捕获装置捕获。在这种情况下，至少一个图像捕获装置是至少两个图像捕获装置。可以基于第一图像数据确定第二图像设备。例如，可以基于第一图像数据确定感兴趣区域的体积，也可以基于遮挡第一图像捕获装置的图像的遮挡对象的三维位置确定感兴趣区域的体积。然后可以基于感兴趣区域的体积、遮挡对象的三维位置以及图像捕获装置的已知位置确定来自至少两个图像捕获装置(除了第一图像捕获装置之外)中的一个或多个的感兴趣区域的图像数据是否将较少被遮挡。在确定来自其他图像捕获装置中的一个的感兴趣区域的图像数据将比来自第一捕获装置的与感兴趣区域相关的第一图像数据的子集较少被遮挡后，则可以将图像数据将较少被遮挡的那个图像捕获装置确定为第二图像捕获装置。
160.作为示例，考虑图1中所示的麻醉师推车107c和麻醉师111b。它们可能会遮挡图像捕获装置a的以患者117为中心的感兴趣区域的视场。如果图像捕获装置a为第一图像捕获装置，则可以确定图像捕获装置b将不会具有被麻醉师推车107c和麻醉师111b遮挡的视场，从而可以将图像捕获装置b确定为第二图像捕获装置。因此，可以输出来自图像捕获装置b的图像数据，而不是输出来自图像捕获装置a的图像数据。
161.在该示例中，第一图像捕获装置与第二图像捕获装置位于不同的位置，使得它们具有不同的视场。与第一图像捕获装置相比，这可以使得第二图像捕获装置能够捕获与感兴趣区域相关的未被遮挡的或较少被遮挡的图像数据。然而，另外地或可替代地，第一图像捕获装置和第二图像捕获装置可以是被配置为产生不同类型的图像数据的不同类型的图像捕获装置。这可意味着第一图像捕获装置和第二图像捕获装置可以在相同位置(因此具有相同的视场)，但是由第一图像捕获装置生成的图像数据可能会被遮挡，而由第二图像捕获装置生成的图像数据可以不被遮挡。当遮挡对象对某种形式的光或电磁辐射是透明的，但对另一种形式的光或电磁辐射不透明时，情况尤其如此。例如，不同波长的电磁辐射可以穿过不同的材料而不会受阻挡。在一些实施方式中，第一图像捕获装置可以是可见光谱相机，而第二图像捕获装置可以是红外相机。因此，虽然一种类型的图像捕获装置的视野可能
被遮挡对象遮挡，但不同类型的图像捕获装置即使具有相同的视场也可以不被遮挡。应当注意，虽然第一图像捕获装置和第二图像捕获装置被描述为单独的设备，但它们可以彼此集成以形成单个单元。
162.在移动图像捕获装置以克服遮挡的情况下和/或使用多个图像捕获装置来克服遮挡的情况下，可以组合从不同位置和/或不同图像捕获装置所捕获的图像数据。在这种情况下，所述方法还包括组合第一图像数据和第二图像数据以生成合成图像数据并输出合成图像数据的步骤。合成图像数据与感兴趣区域相关，其中感兴趣区域在合成图像数据中比在第一图像数据或第二图像数据中较少被遮挡。
163.图像数据的组合可以通过多种方式实现。例如，如果不同类型的图像数据由不同类型的图像捕获装置但从基本相同的位置捕获，则可以去除第一图像数据集合或第二图像数据集合中的一个中与遮挡对象对象相关的图像数据，并替换为来自其他图像捕获装置的未被遮挡的等效图像数据。例如，如果一个图像捕获装置是可见光谱相机而另一个是红外相机，如果对象遮挡可见光谱相机而不是红外相机的视野(例如阻挡可见光但不阻挡红外线的被单)，则来自红外相机的图像数据可用于替换来自可见光谱相机的图像数据中被遮挡的部分。
164.在进行图像数据组合的两个图像捕获装置的位置不同的情况下，则可能需要对一些或全部图像数据进行变换或投影之后才能进行组合。例如，基于第一图像数据，可以创建感兴趣区域中的对象的三维表征，然后可以将其投影到第二图像数据的平面中，并然后用于替换第二图像数据的被遮挡的部分。为了以这种方式投影数据，可以对图像数据进行内插或外推，从而可以克服可用图像数据中的间隙。诸如机器学习的人工智能技术可以用于此目的，并且可以从一个或多个角度利用已鉴别对象的参考图像来辅助投影图像并填充图像数据中的任何缺失部分。
165.在一些情况下，可以使用感兴趣区域中的对象的三维模型来克服数据中的缺失部分。继续上面示例，在从第一图像数据鉴别出感兴趣区域中的对象后，可以得到三维模型，并将其投影到第二图像数据的平面中。这可以有助于从其他形式的数中据提供可见光谱图像数据。例如，如果使用红外图像数据鉴别对象，则可以将该对象的3d模型映射到该对象，以便可以将其视为使用可见光谱图像捕获装置捕获的对象。因此，合成图像数据可以包括第一图像数据、第二图像数据和计算机生成数据的两个部分。
166.本文描述的本公开的另一方面提供了监测手术室内的对象的另一种方法。参照图4描述了该方法。
167.方法400开始于步骤401，在步骤401接收由至少一个图像捕获装置所捕获的图像数据。图像捕获装置和图像数据可以是本文讨论的任何类型。
168.在步骤403，从图像数据鉴别第一对象，并且在步骤405，从图像数据鉴别第二对象。使用本领域技术人员已知类型的图像识别技术从图像数据鉴别第一对象和第二对象。
169.随后，在步骤405，确定第一对象和第二对象之间的交互状态。交互状态可以包括兼容性状态(例如兼容、不兼容)、相对位置状态(例如对象之间的距离、潜在碰撞风险)、以及当前交互(例如耦接、连接、非耦接、非连接)等。
170.一旦已经在步骤407确定了交互状态，则在步骤409输出交互状态。这可以包括输出到计算机程序的另一部分以供后续使用、输出到另一装置以及输出以供医疗专业人员观
察。
171.交互状态可以基于第一对象和第二对象的体积。在这种情况下，所述方法还可以包括：基于图像数据确定第一对象所占据的体积，以及基于图像数据确定第二对象所占据的体积。这可以有助于提供关于对象是否兼容的信息。在一些情况下，如果所述对象不能彼此适配或围绕彼此，则可以将它们确定为不兼容。例如，如果第一对象不能在第二对象内适配或围绕第二对象，则可以确定第一对象与第二对象不兼容。此类方法的一个示例用例是，如果第一对象是套管针，而第二对象是腹腔镜。所述方法将确定套管针的尺寸是否适合腹腔镜。如果确定腹腔镜在套管针内将不适配，则将确定腹腔镜与套管针不兼容，并且可以向外科医生输出警报。另一示例性情况是基于手术台是否可以在机器人手术器械的限定区域内适配，来确定诸如机器人手术器械的大件设备是否与手术台兼容。
172.在一些情况下，交互状态可以是即将发生或不发生碰撞的状态。也就是说，确定交互状态可以包括确定第一对象和第二对象是否将发生碰撞。这可以通过从图像数据确定第一对象的速度并从图像数据确定第二对象的速度来完成。可以相对于外部参考系(例如，手术室)或相对于彼此来确定速度。在这种情况下，输出交互状态可以包括：如果确定第一对象和第二对象将发生碰撞，则输出警报。该警报可以是听觉和/或视觉警告的形式，例如屏幕上的消息、警告灯和口头警告。
173.可替代地或另外地，输出交互状态可以包括输出被配置为调整第一对象和第二对象中的任一个或两者的速度以防止第一对象和第二对象发生碰撞的命令。例如，如果第一对象和第二对象中的任一个或两者由计算机控制，则可以向计算机发送命令，当计算机执行该命令时，使计算机调整第一对象和/或第二对象的速度。例如，可以将速度调整为零，即可以使第一对象和/或第二对象停止移动。
174.可以在预测发生碰撞之前的预定时间输出交互状态，特别是上面讨论的警报或调整速度命令。在预测发生碰撞之前的时间可以基于第一对象和第二对象所确定的速度。例如，如果确定第一对象的速度为0m/s，确定第二对象沿第一对象的方向的速度为0.1m/s，并且对象之间的距离为0.5m，可以确定5秒后对象将发生碰撞。预定时间可以是碰撞前1秒、碰撞前2秒、碰撞前5秒或其他时间。如果输出交互状态是使医疗专业人员能够采取行动的警告，则优选地，预定时间更长(例如，10秒)以给医疗专业人员足够的时间来做出反应以防止碰撞。如果输出交互状态是给计算机的防止碰撞的命令，则预定时间可以更短(例如，1秒或更短)，因为计算机不需要那么多时间来执行命令。
175.在确定是否将发生碰撞时，可以考虑每个对象所占据的体积。当基于当前速度预测每个对象所占据的体积将重叠时，可以认为碰撞即将发生。体积可以是与对象的大小和形状精确匹配的复合体积，或者它可以是包含对象的简单和/或规则体积。后者可需要较少的计算能力即可实现。在一些情况下，体积可以是平行六面体(例如长方体)、球体或圆柱体中的一个。可以基于所捕获的图像数据将适当的形状自动分配给所鉴别的对象。
176.如同关于第一对象和第二对象的位置、速度和体积信息中的一些或全部，其他数据也可以用于确定是否将发生碰撞。特别地，可以从第一对象和第二对象中的任一个或两者(或从控制它们的装置或计算机)接收关于对象的轨迹或未来移动路径的信息。例如，可以提供关于对象将沿某个方向移动多远、它将移动多长时间、对象的路径和/或对象的最终位置的信息。可以将此信息与从图像数据中导出的信息相结合，以进一步细化确定是否将
发生碰撞。例如，虽然两个对象可能具有将导致碰撞的相对速度，但来自每个对象的信息可能表明对象将在碰撞之前停止移动，因此可能将不会发生碰撞。
177.本文描述的本公开的另一方面提供了一种监测手术室手术台上的患者的方法。参照图5描述了该方法。
178.在图5中所示的方法500的步骤501中，接收由至少一个图像捕获装置所捕获的图像数据。图像捕获装置和图像数据可以是本文讨论的任何类型。
179.在步骤503中，确定患者相对于手术台的位置。特别地，这可以是患者在手术台上的位置。基于图像数据确定该位置。例如，可以使用图像识别技术在图像数据中定位患者并且随后确定他们的位置。可以使用图像识别技术类似地确定手术台的位置，然后可以确定患者在手术台上的相对位置。可替代地，可以基于从手术台或某个其他源接收到的手术台的位置数据来确定手术台的位置。然后可以基于患者位置(基于图像数据确定)和手术台位置(基于接收到的位置数据确定)来确定患者相对于手术台的位置。确定的位置可以是三维位置。
180.应当注意的是，可以相对于某个外部坐标系(例如相对于手术室)确定患者和手术台的位置并进行比较以生成相对位置，或者可以相对于彼此直接确定它们。例如，可以基于手术台确定原点(例如，可以鉴别手术台的左上角并将其用作原点)，然后可以相对于该原点确定患者的位置。
181.患者相对于手术台的位置可用于确定患者是否移动。这可以有助于确保患者保持在正确的位置以使得机器人手术器械能够正常操作，或者例如在手术台不是水平的情况下确保患者不会在手术台上滑动或滑行。
182.此类方法的示例在图6中示出。方法600开始于步骤501，这与图5中示出的方法500中相同。然后该方法进行到步骤505，其中确定患者相对于手术台的第一位置，然后进行到步骤507，其中确定患者相对于手术台的第二位置。在确定第一位置之后的时间确定第二位置。例如，可以在1秒后、5秒后、30秒后、1分钟后或某个其他时间段后确定第二位置。记录第一位置和第二位置之间的时间差可以是固定值和/或预定值。同样，第一位置和第二位置特别地可以是患者在手术台上的位置。
183.一旦已经确定了第一位置和第二位置，则所述方法进行到步骤509，在此对第一位置和第二位置进行比较以确定患者是否已经在手术台上移动。如果第一位置和第二位置不同，则可以确定患者已经移动，而如果第一位置和第二位置相同，则可以确定患者尚未移动。
184.可以使用阈值差来确定患者是否已经移动。例如，虽然两个位置可能不完全相同，但差异可能足够小(即低于阈值)，以至于差异被认为是微不足道，则确定患者还未移动。阈值可以是相对值(例如，患者的身高或体长的某个百分比，其可以从图像数据或其他方式的输入来确定)或绝对值(例如，给定的厘米数)。不同的阈值可用于不同的移动方向(即，较大的阈值可用于沿手术台长度的移动，而较小的阈值可用于跨手术台宽度的移动)以及用于不同的患者和不同类型的手术或手术过程。
185.可替代地或另外地，如果患者已经移出手术台上的预定义区域，则可以确定患者已经在手术台上移动。例如，如果确定第二位置是此预定义区域之外的位置，则可以确定患者已经移动，而如果第二位置是预定义区域内的位置，则可以确定患者没有移动。预定义区
域可以是认为对于患者所在而言安全的区域。例如，预定义区域可以是认为患者不会处于从手术台滑动、滑行或跌落风险的中心区域。此类位置例如可以是距手术台边缘5cm或更远的手术台区域。不同的预定义区域可用于不同的患者和不同类型的手术或手术过程。
186.在一些情况下，可以使用阈值和预定义区域两者。例如，如果第二位置与第一位置相差阈值量或者第二位置位于预定义区域之外的位置，则可以确定患者已经移动。在其他情况下，如果第二位置与第一位置相差阈值量并且第二位置位于预定义区域之外的位置，则可以确定患者已经移动。
187.如果确定患者已经移动，则所述方法可以进行到步骤511。在步骤511，输出警报。警报可以是听觉和/或视觉警告的形式，例如屏幕上的消息、警告灯和口头警告。例如，警报可以被配置用于提醒医疗专业人员他们需要注意患者的位置。另外地或可替代地，警报可以是计算机命令的形式，该计算机命令被配置为使一台设备执行特定动作，例如使手术台调整其位置(例如使自身水平)。
188.第一位置和第二位置可以代表多种不同的事物。例如，位置可以是单个点或多个离散点。这些点可以是基于图像数据或另一个参考点确定的估计质心，例如头顶或特定面部特征(例如眼睛)的点。可替代地，位置可以是面积或体积，例如，患者所占据的面积或体积，其也可以从图像数据确定。患者所占据的体积可以由患者适配的长方体，例如最小的这种长方体，表征。
189.第一位置和第二位置也可以对应于患者身体的一个或多个部位的位置。例如，第一位置和第二位置可以各自包括基于图像数据确定的多个子位置。这些子位置可以是患者身体部位的三维位置。例如，此类部位可以是头、躯干、腹部、臂、腿、脚、手等。身体的这些部位的位置可以是在先前段落中描述的任何类型的位置。
190.根据所确定的患者身体部位的子位置，可以确定患者的位置。例如，可以确定患者是处于仰卧位还是俯卧位，以及臂、腿和头的位置。可以确定患者的位置是否是可接受的位置。例如，一些位置可能会增加并发症或患者不适的风险，特别是如果长时间保持该位置。
191.如果确定患者未处于可接受的位置，或者如果确定患者处于不可接受的位置，则输出警报。这可以通过如下来确定：将患者的位置与可接受的位置列表进行比较，并且如果所确定的患者位置与可接受的位置列表上的位置不匹配则确定患者未处于可接受的位置。类似地，这可以通过如下来确定：将患者的位置与不可接受的位置列表进行比较，并且如果所确定的患者的位置与不可接受的位置列表上的位置匹配则确定患者处于不可接受的位置。在任何一种情况下，都可以输出警报。该警报可以是听觉和/或视觉警告的形式，例如屏幕上的消息、警告灯和口头警告。
192.如上所指出，如果患者长时间保持在此类位置，则未处于可接受的位置或处于不可接受的位置可能是不期望的。因此，如果保持该位置至少一阈值时间段，即，如果患者未处于可接受的位置或处于不可接受的位置持续阈值时间段，则可以输出警报。对于不同患者或患者组的阈值时间段可以不同(例如，某些类别的患者可能因处于不可接受的位置而更容易出现罹患某些并发症的风险，因此这些患者的阈值时间段可以更短)，并且阈值时间段也可以随位置而变化。例如，一些位置可能被认为比其他位置更不可接受、更差或更危险，因此对于这些位置的阈值时间段可以更短。
193.在一些情况下，患者的身体可能会被被单或其他物品完全或部分覆盖。在这种情
况下，可以确定在被单或其他物品下方的患者的位置。这可以使用图像识别技术和/或由至少一个图像捕获装置所捕获的深度信息、飞行时间信息、雷达、激光雷达、超声和立体信息基于由被单或其他物品形成的三维形状来完成。另外或可替代地，可以使用热成像或红外图像数据来确定所述位置。在使用相对较少的计算能力来确定患者位置时，特别地对于薄被单，这可以是有效的。此类技术可以应用于本文描述的监测在手术台上的患者位置的任何方法，例如图5和图6的那些方法。
194.本文描述的本公开的另一方面提供了一种监测手术室内的对象的方法。参照图7描述了此类方法。
195.方法700开始于步骤701，在该步骤701接收由至少一个图像捕获装置所捕获的图像数据。图像捕获装置和图像数据可以是本文讨论的任何类型。
196.然后所述方法进行到步骤703，该步骤703包括从图像数据鉴别对象。使用本领域技术人员熟知的图像识别技术来鉴别对象。
197.步骤705包括接收手术过程数据。手术过程数据定义了正在执行的手术过程(例如，手术操作或手术类型，例如搭桥手术)并且包括要执行的一个或多个步骤。也就是说，手术过程数据包括关于在手术过程期间执行的不同步骤的信息。手术过程数据还包括关于与每个步骤相关联的一个或多个对象的信息。例如，手术过程数据可以包括每个步骤所需的手术工具的列表。应当注意，虽然在图7中步骤705被示为在步骤701和703之后，但实际上可以在步骤701和/或703之前或与步骤701和/或703同时执行步骤705。
198.在步骤709，确定要执行的当前步骤。也就是说，确定当前正在执行手术过程的哪个步骤。这可以基于图像数据(例如，可以识别某些对象和对象状态)或基于一些其他输入来完成。例如，医疗专业人员可以将当前步骤输入计算机。
199.在步骤711，所述方法确定在步骤703所鉴别的对象是否是与要执行的当前步骤相关联的一个或多个对象之一。例如，所述方法确定在步骤703所鉴别的手术工具是否是手术过程的当前步骤所需的手术工具之一。这可以例如通过将所鉴别的对象和与每个步骤相关联的对象列表进行比较来完成。
200.如果确定所鉴别的对象不是与要执行的当前步骤相关联的一个或多个对象之一，则在步骤713输出警报。该警报可以是听觉和/或视觉警告的形式，例如屏幕上的消息、警告灯和口头警告。这可以确保不会无意地使用可能导致患者出现并发症的不正确的对象(例如不正确的手术工具)。
201.另一方面，如果所鉴别的对象是与要执行的当前步骤相关联的一个或多个对象之一，则所述方法结束于步骤715。
202.在一些情况下，不仅要确定是否存在不正确的对象，还要确定医疗专业人员是否正在使用该不正确的对象。在图8中示出了此类方法。
203.方法800始于步骤701至711，这些步骤与上面参照图7的方法700所描述的那些步骤相同。类似地，如果在步骤711确定所鉴别的对象与要执行的当前步骤相关联，则所述方法再次结束于步骤715。
204.然而，与图7的方法700不同，在方法800中，如果确定所鉴别的对象不是与要执行的当前步骤相关联的对象，则所述方法进行到步骤801。在该步骤，例如基于图像数据确定医疗专业人员。注意，可以在步骤701至711中的任何一个之前或与步骤701至711中的任何
一个同时执行该步骤。
205.然后，在步骤803，确定医疗专业人员是否正在使用所述对象。如果确定医疗专业人员没有使用所鉴别的对象，则方法结束于步骤805，而如果确定医疗专业人员正在使用所鉴别的对象，则方法在步骤807输出警报。警报可以是听觉和/或视觉警告的形式，例如屏幕上的信息、警告灯和口头警告。因此，如果所鉴别的对象正被医疗专业人员使用并且不是与正在执行的当前步骤相关联的对象，则在方法800中输出警报。
206.在一些情况下，除了确定所鉴别的对象是否正被医师使用之外或可替代地，可以使用对象的状态来确定是否输出警报。图9示出了此类情况的示例。
207.图9所示的方法900的步骤701至711与在方法700和800中执行的那些步骤相同。方法900还包括步骤901，在该步骤901，基于图像数据确定所鉴别的对象的当前状态。该步骤在图9中被例示为在步骤703和705之间，但应当理解，可以在步骤701至711中的任何一个之前、之后或与步骤701至711中的任何一个同时执行该步骤。
208.对象的状态可以是对象的初始状态(例如，对象在手术过程开始时所处的状态)。可以预设与手术过程相关联的每个对象的初始状态。例如，手术工具的初始状态可以是“无菌”状态，表明该手术工具是无菌的。可以是初始状态或其他状态的可能状态的示例包括“无菌”状态、“使用中”状态、“使用过”状态、“打开”状态、“关闭”状态、“移动”状态、“静止”状态、“闲置”状态、“锁定”状态、“解锁”状态和“暂停”状态。
209.在步骤711，如果确定所鉴别的对象不是与要执行的当前步骤相关联的一个或多个对象之一，则在步骤713输出警报。该警报可以是听觉和/或或视觉警告的形式，例如屏幕上的消息、警告灯和口头警告。另一方面，如果该对象不是与当前步骤相关联的对象之一，则所述方法进行到步骤903。
210.在步骤903，确定对象的当前状态是否和与要执行的当前步骤相关联的状态匹配。如果对象的当前状态确实和与要执行的当前步骤相关联的状态匹配，则方法结束于步骤905。如果对象的当前状态和与要执行的当前步骤相关联的状态不匹配，则在步骤907输出警报。该警报可以是听觉和/或视觉警告的形式，例如屏幕上的消息、警灯和口头警告。
211.此类方法的示例性应用是确保外科医生在医疗手术过程中使用无菌手术工具。例如，手术过程的第一步可以是使用手术刀在患者体内产生切口。因此，手术刀将是与此步骤相关联的对象。重要的是手术刀是无菌的，因此与该步骤相关的对象的状态应该是“无菌”状态，这可以根据图像数据确定。如果在步骤703鉴别到手术刀并且如果在步骤901所确定的状态是“无菌”状态，则在步骤903将确定手术刀的当前状态和与手术过程的该步骤相关联的状态匹配。然而，如果该状态是不同的状态，例如如果确定手术刀处于“使用过”状态，则在步骤903将确定手术刀的当前状态和与该步骤相关联的状态不匹配。在这种情况下，会输出警报以警告外科医生他们将要使用非无菌手术刀。
212.在图7至图9中的任何一个的方法中，当前状态可以存储在存储器中，对当前状态的任何改变(例如，从“无菌”到“使用过”的转换)也可以存储在存储器中，其中时间戳与状态或状态的变化相关联。可以为在手术过程中使用的每个对象生成包含该信息的记录，从而允许在以后复查关于手术过程的信息。可以将该记录存储为患者的电子病历和/或特定手术的病例医疗方案的一部分。
213.本文描述的本公开的另一方面提供了一种监测手术室内的对象的方法。参照图10
描述了此类方法。
214.方法1000开始于步骤1001，在步骤1001接收第一图像数据。第一图像数据由至少一个图像捕获装置在第一时间捕获。图像捕获装置和图像数据可以是本文讨论的任何类型。
215.在步骤1003，从第一图像数据鉴别对象。使用图像识别技术鉴别对象。
216.在步骤1005，接收第二图像数据。第二图像数据由至少一个捕获装置在第一时间之后的第二时间捕获。也就是说，第二图像数据是在第一图像数据之后捕获的图像数据，因此对应于更晚的时间点。
217.然后，在步骤1007，确定是否可以从第二图像数据鉴别到所述对象。与步骤1003一样，这可以使用图像识别技术来完成。如果可以鉴别到所述对象，则确定该对象在第二时间出现，并且所述方法结束于步骤1009。然而，如果不能鉴别到所述对象，则在步骤1011，确定所述对象在第二时间在手术室内不存在或至少不可见，因此在步骤1013输出警报。该警报可以是听觉和/或视觉警告的形式，例如屏幕上的消息、警告灯和口头警告。
218.第一时间可以是手术过程的启动或开始，第二时间可以是手术过程的结束。在这种情况下，方法1000的一种特定用途是确保在手术过程结束时没有缺失手术工具。这对于确保在手术结束时没有手术工具或其他物品留在患者体内特别有用，手术工具或其他物品留在患者体内可能会导致患者出现并发症并且可能需要进一步手术才能移除。
219.然而，在一些情况下，对象可能存在于手术室中，但由于遮挡而阻挡了图像捕获装置的视野，因此对于至少一个图像捕获装置不可见。这种情况可以通过方法1100和1200来克服。
220.首先，参照图11描述方法1100。与图10的方法1000一样，方法1100开始于步骤1001至1007。与方法1000一样，当在步骤1007确定可以在第二图像数据中鉴别到所述对象时，则在步骤1009确定所述对象存在于手术室内。然而，如果确定在第二图像数据内不能鉴别到所述对象，则所述方法进行到步骤1101。
221.在步骤1101，接收第三图像数据。第三图像数据至少部分对应于来自与第二图像数据不同的源的图像数据。也就是说，第二图像数据由至少一个图像捕获装置的第一组捕获，而第三图像数据由至少一个图像捕获装置的第二组捕获，其中第二组包括不在第一组中的至少一个图像捕获装置。例如，可以从图1中的图像捕获装置a接收第二图像数据，而可以从图像捕获装置b接收第三图像数据。优选地，第二组的不在第一组中的至少一个图像捕获装置与第一组的图像捕获装置处于不同的位置，从而具有不同的手术室视场，或者捕获不同类型的图像数据。
222.然后所述方法进行到步骤1103，在该步骤1103中确定是否可以在第三图像数据中鉴别到所述对象。如果可以鉴别到所述对象，则在步骤1105确定所述对象存在于手术室中，而如果无法鉴别到所述对象，则在步骤1107确定所述对象不存在于手术室中。在这种情况下，与方法1000一样，可以在步骤1013输出警报。该警报可以是听觉和/或视觉警告的形式，例如屏幕上的消息、警告灯和口头警告。
223.此外可以与方法1100一起执行或替代方法1100执行的另一种方法是在图12中描述的方法1200。与图10的方法1000一样，方法1100开始于步骤1001至1007，但在步骤1005接收的第二图像数据是由第一图像捕获装置从第一位置捕获的。与方法1000一样，当在步骤
1007确定可以在第二图像数据中鉴别到所述对象时，则在步骤1009确定所述对象存在于手术室内。然而，如果确定在第二图像数据中不能鉴别到所述对象，则方法进行到步骤1201。
224.在步骤1201，将第一图像捕获装置移动到第二位置。特别地，移动第一图像捕获装置使得第一图像捕获装置的视场改变。也就是说，第一图像捕获装置在经步骤1201移动后的视场与第一图像捕获装置在步骤1201移动之前的视场不同。然后，在步骤1203，接收第四图像数据。第四图像数据由第一图像捕获装置从第二位置捕获。
225.一旦接收到第四图像数据，则在步骤1205确定是否可以从第四图像数据鉴别到所述对象。如果可以，则在步骤1207确定所述对象存在于手术室中。如果不能，则在步骤1209确定所述对象不存在于手术室中。在这种情况下，可以在步骤1013输出警报。该警报可以是听觉和/或视觉警告的形式，例如屏幕上的消息、警告灯和口头警告。
226.除非另有说明，否则本文对位置、方向(例如上下)和速度的引用可以相对于手术室的坐标系或相对于手术室内的另一个对象。当使用手术室的坐标系时，被描述为具有零速度的对象相对于手术室的墙壁、地板和天花板将是静止的。该坐标系的原点可以选择为任何方便的点，因此对“位置”的引用应解释为对手术室内相对于手术室的墙壁、地板和天花板的位置的引用，但不应被解释为对测量位置所针对的原点的限制。技术人员在实施本文所述的发明时可以根据具体情况选择适当的原点。例如，原点可以取为手术室地板上的一个点，或手术室的中心点(可能位于手术室地板或墙壁以外的位置，例如，在半空中)。在每种情况下，除非另有说明，否则位置可以是对象在手术室内的三维位置或对象相对于手术室中的某些表面(例如地板或手术台)或相对于图像数据的二维位置(例如，图像本身的二维位置)。
227.在整个说明书中，除非另有说明，否则可以使用技术人员已知的图像识别技术来执行从图像数据鉴别对象。例如，检测边缘和纹理的卷积运算用于将原始图像处理成一组掩码和区域。可选地，基于图集的表示树用于确定帧内的对象。该表示树显示了关于一个对象“应该”相对于另一个对象位于哪里的相关性信息，并允许算法例如以增加的置信度更好地鉴别对象。例如，相关性信息可以将在手术台上的患者或在托盘上的手术工具联系起来。
228.此类图像识别技术可以包括使用人工智能技术，例如机器学习，特别是深度学习和神经网络。图像识别技术可以包括用于从图像对对象进行识别和鉴别、分类、检测和标记的各种技术。图像鉴别可能需要使用训练集来训练神经网络，该训练集可以包括要被识别的对象的图像。可以对此类神经网络进行不断更新和重新训练。应当理解，可以使用本领域已知的广泛的适当算法和技术来执行本文描述的方法，因此所述方法在这方面不受限制。
229.除非另有说明，否则本文所指的图像数据可以包括单个图像或视频帧形式的图像数据，或者可以是一系列连续或不连续的图像或视频帧。这些图像数据可以单个或单独进行分析，也可以一起分析。此外，本文的方法虽然被描述为一系列离散的步骤，但可以在连续的图像数据流(例如以视频的形式)上连续执行。也就是说，所述方法可以连续地分析视频(例如，它们可以分析每个视频帧，或视频帧的子集(例如每十帧))并且对视频(例如，在每个选择的帧上)连续地执行所述方法。
230.除非另有说明，否则在本文描述的方法中执行的对象鉴别可以包括对全部对象，对象的部分，各台设备，表面例如墙壁、地板或手术台的部分或区域，人，人的各部位，手术工具和对象，器官等的鉴别。这是一个非穷举列表。
231.鉴别可以是将对象分类为某一类对象(例如，可以将对象分类为人，或者分类为人的类别，例如外科医生或患者)，或者还可以包括将对象具体鉴别为唯一实体(例如，可以将人鉴别为个人，例如joe blogs)。在设备和对象的情况下，这些可以基于序列号或其他鉴别标签或特征(例如，视觉标记，如qr码)来鉴别。在人的情况下，这些可以基于生物统计特性(例如面部或视网膜)来鉴别，或者可以基于与他们相关联的标签或标记来鉴别，例如在一件服装上的标记(例如qr码)。
232.在一些情况下，由于法律或监管要求，优选地避免捕获个人或鉴别数据，从而保护个人的隐私和机密。在这种情况下，可以将图像数据的某些部分(例如面部)排除在分析之外。这可以确保不收集或处理个人信息。这可以是默认情况，但该选项可供个人选择以加入个人鉴别。这可以是有利的，以便能够将在手术过程期间捕获的信息关联到个体或系统的个性化设置。例如，外科医生可能偏好图像捕获装置的特定布置，因此在鉴别外科医生时，系统可以自动配置图像捕获装置的这种布置。在另一种情况下，可以记录和保存图像数据，例如视频，并将其与患者关联，以供他们的医生或其他医师在以后复查。然而，在其他情况下，可以不对在本文的方法中所采集和使用的图像数据进行保存或存储，仅将其保留所述方法要求对其进行相关处理所需的时间。这可以防止个人数据被意外或故意丢失或滥用。
233.本文描述的方法可以在单个计算设备上(在一个或多个处理器上)执行，或者在分布式系统中的多个计算设备上执行。此类分布式系统可以通过局域网或广域网连接。所述方法还可以利用云计算服务来执行所述方法的一个或多个步骤。
234.编号条款
235.现在将在以下带编号的条款和从属条款中描述本发明的各方面：
236.条款1.一种监测手术室内的对象的方法，所述方法包括：
237.接收由至少一个图像捕获装置所捕获的第一图像数据；
238.确定所述第一图像数据的至少一个子集，所述第一图像数据的所述至少一个子集与所述手术室内的感兴趣区域有关；
239.基于所述第一图像数据确定所述手术室内的所述感兴趣区域是否在所述第一图像数据的所述子集中至少部分地被遮挡；
240.其中，
241.在确定所述感兴趣区域至少部分地被遮挡时：
242.接收由所述至少一个图像捕获装置所捕获的第二图像数据；
243.确定所述第二图像数据的至少一个子集，所述第二图像数据的所述至少一个子集与所述感兴趣区域有关；以及
244.输出所述第二图像数据的所述至少一个子集，与在所述第一图像数据的所述至少一个子集内相比，在所述第二图像数据的所述至少一个子集内的所述感兴趣区域较少地被遮挡。
245.条款2.根据条款1所述的方法，其中，在确定所述感兴趣区域至少部分地被遮挡时，所述方法还包括以下步骤：
246.将所述第一图像数据的所述至少一个子集与所述第二图像数据的所述至少一个子集进行比较，以确定所述感兴趣区域是否在所述第一图像数据的所述至少一个子集中较少地被遮挡，或者所述感兴趣区域是否在所述第二图像数据的所述至少一个子集中较少地
被遮挡；
247.其中，如果确定所述感兴趣区域在所述第二图像数据的所述至少一个子集中较少地被遮挡，则执行输出所述第二图像数据的所述至少一个子集的步骤；以及
248.其中，所述方法还包括如果确定所述感兴趣区域在所述第一图像数据的所述至少一个子集中较少地被遮挡，则输出所述第一图像数据的所述至少一个子集的步骤。
249.条款3.根据条款1或2所述的方法，其中，所述至少一个图像捕获装置包括第一图像捕获装置，并且其中所述第一图像数据和所述第二图像数据两者都由所述第一图像捕获装置捕获，所述第一图像数据由位于第一位置的所述第一图像捕获装置捕获，第二图像数据由位于不同的第二位置的所述第一图像捕获装置捕获，其中所述方法还包括从第一位置到第二位置迭代地移动所述第一图像捕获装置，直到所述感兴趣区域在所述第二图像数据的所述至少一个子集内比在所述第一图像数据的所述至少一个子集内足够较少地被遮挡。
250.条款4.根据条款3所述的方法，将所述第一图像捕获装置移动到所述第二位置以使得所述感兴趣区域在所述第二图像数据的所述至少一个子集内比在所述第一图像数据的所述至少一个子集内足够较少地被遮挡的步骤包括：
251.基于所述第一图像数据确定所述感兴趣区域所占据的体积；
252.基于所述第一图像数据确定遮挡对象的三维位置；
253.基于所述感兴趣区域的三维位置和遮挡对象的三维位置确定第二位置，来自所述第一图像捕获装置的从所述第二位置的所述感兴趣区域的视场将不被遮挡或将比来自所述第一图像捕获装置的从所述第一位置的所述感兴趣区域的视场较少程度地被遮挡；以及
254.将所述第一图像捕获装置从所述第一位置移动到所述第二位置。
255.条款5.根据条款3或4所述的方法，其中，移动所述第一图像捕获装置包括所述第一图像捕获装置的平移、旋转或枢转中的一个或多个。
256.条款6.根据条款1或2所述的方法，其中，所述至少一个图像捕获装置包括第一图像捕获装置和第二图像捕获装置，并且其中所述第一图像数据由所述第一图像捕获装置捕获并且所述第二图像数据由所述第二捕获装置捕获。
257.条款7.根据条款6所述的方法，其中，所述方法包括：
258.基于所述第一图像数据确定所述感兴趣区域的体积；
259.基于所述第一图像数据确定遮挡对象的三维位置；
260.基于所述感兴趣区域的所述体积、所述遮挡对象的所述三维位置以及至少两个图像捕获装置的已知位置，确定来自除所述第一图像捕获装置之外的至少两个图像捕获装置中的一个或多个的所述感兴趣区域的图像数据是否比来自所述第一图像捕获装置的与所述感兴趣区域相关的所述第一图像数据的所述子集较少地被遮挡；以及
261.在确定来自除所述第一图像捕获装置之外的至少两个图像捕获装置中的一个或多个的所述感兴趣区域的所述图像数据比来自所述第一图像捕获装置的与所述感兴趣区域相关的所述第一图像数据的所述子集较少地被遮挡时，将所述图像捕获装置确定为所述第二图像捕获装置。
262.条款8.根据条款6或7中任一项所述的方法，其中，所述第一图像捕获装置和所述第二图像捕获装置位于不同位置，使得它们具有不同的视场。
263.条款9.根据条款6至8中任一项所述的方法，其中，所述第一图像捕获装置为第一
类型并且所述第二图像捕获装置为第二类型，使得它们产生不同类型的图像数据。
264.条款10.根据条款9所述的方法，其中，所述第一图像捕获装置是可见波长相机，并且所述第二图像捕获装置是红外波长相机。
265.条款11.根据条款6至10中任一项所述的方法，还包括由所述第二图像捕获装置捕获所述第二图像数据的步骤。
266.条款12.根据前述条款中任一项所述的方法，还包括以下步骤：
267.将所述第一图像数据和所述第二图像数据组合以生成合成图像数据，所述合成图像数据与所述感兴趣区域有关，所述感兴趣区域在所述合成图像数据中比在所述第一图像数据或所述第二图像数据中的任何一个中较少地被遮挡；以及
268.输出所述合成图像数据。
269.条款13.根据前述条款中任一项所述的方法，还包括由所述第一图像捕获装置捕获所述第一图像数据的步骤。
270.条款14.根据前述条款中任一项所述的方法，其中，使用图像识别技术来鉴别所述感兴趣区域和所述遮挡对象对象中的一个或两者。
271.条款15.根据前述条款中任一项所述的方法，其中，所述图像数据包括以下中的一个或多个：可见光谱数据；热或红外数据；深度或飞行时间数据，例如雷达数据、激光雷达数据和超声数据；以及立体图像数据。
272.条款16.根据前述条款中任一项所述的方法，其中，所述感兴趣区域相对于所述手术室不是静态的。
273.条款17.根据前述条款中任一项所述的方法，其中，所述感兴趣区域对应于以下中的一个或多个：对象、对象周围的体积、人和人的部位。
274.条款18.根据条款1至15中任一项所述的方法，其中，所述感兴趣区域是相对于所述手术室的静态区域。
275.条款19.根据前述条款中任一项所述的方法，应用于多个感兴趣区域。
276.条款20.一种用于监测手术室内的对象的系统，包括：
277.第一图像捕获装置，其被配置为捕获第一图像数据；以及
278.一个或多个计算装置，其被配置为执行根据条款1至19中任一项所述的方法。
279.条款21.根据条款20所述的系统，所述系统还包括第二图像捕获装置，其被配置为捕获第二图像数据。
280.条款22.根据条款21所述的系统，其中，所述第一图像捕获装置和所述第二图像捕获装置位于不同位置。
281.条款23.根据条款21或22所述的系统，其中，所述第一图像捕获装置为第一类型并且所述第二图像捕获装置为第二类型，所述第二类型不同于所述第一类型。
282.条款24.根据条款20至23中任一项所述的系统，其中，所述第一图像捕获装置和所述第二图像捕获装置为选自以下中的类型：可见光谱相机、热或红外相机、深度或飞行时间相机、雷达、激光雷达、超声设备和立体成像相机。
283.条款25.一种计算机程序，当在一个或多个计算设备上运行所述计算机程序时，所述计算机程序被配置为使所述一个或多个计算设备执行根据条款1至19中任一项所述的方法。
284.条款26.一种非暂时性存储器，在所述非暂时性存储器中存储有根据条款25所述的计算机程序。
285.条款27.一种监测手术室内的对象的方法，所述方法包括：
286.接收由至少一个图像捕获装置所捕获的图像数据；
287.从所述图像数据鉴别第一对象；
288.从所述图像数据鉴别第二对象；
289.确定所述第一对象和所述第二对象之间的交互状态；以及
290.输出所述交互状态。
291.条款28.根据条款27所述的方法，其中，所述方法还包括：
292.基于所述图像数据确定所述第一对象所占据的体积；以及
293.基于所述图像数据确定所述第二对象所占据的体积；
294.其中，至少部分地基于所述第一对象所占据的所述体积和所述第二对象所占据的所述体积确定所述交互状态。
295.条款29.根据条款27或28所述的方法，其中，所述交互状态包括关于所述第一对象和所述第二对象是否兼容的信息。
296.条款30.根据条款29所述的方法，其中，基于所述第一对象所占据的所述体积和所述第二对象所占据的所述体积，如果所述第一对象不能适配在所述第二对象内或周围，则确定所述第一对象和所述第二对象不兼容。
297.条款31.根据条款27至30中任一项所述的方法，其中，所述方法还包括：
298.从所述图像数据确定所述第一对象的速度；以及
299.从所述图像数据确定所述第二对象的速度；
300.其中，确定所述第一对象和所述第二对象之间的交互状态包括基于所述第一对象的所述速度、所述第二对象的所述速度、所述第一对象所占据的所述体积和所述第二对象所占据的所述体积，确定所述第一对象和所述第二对象是否将发生碰撞。
301.条款32.根据条款31所述的方法，其中，输出所述交互状态包括如果确定所述第一对象和所述第二对象将发生碰撞，则输出警报。
302.条款33.根据条款31或32所述的方法，其中，输出所述交互状态包括输出命令，所述命令被配置为调整所述第一对象和所述第二对象中的任一个或两者的速度以防止所述第一对象与所述第二对象碰撞。
303.条款34.根据条款33所述的方法，其中，调整所述第一对象或所述第二对象中的任一个或两者的速度包括使所述第一对象或所述第二对象中的任一个或两者停止移动。
304.条款35.根据条款33至34中任一项所述的方法，其中，基于所述第一对象的所述速度、所述第二对象的所述速度、所述第一对象所占据的所述体积和所述第二对象所占据的所述体积，在碰撞将发生之前的预定时间输出所述交互状态。
305.条款36.根据条款28至35中任一项所述的方法，其中，所述第一对象的所述体积是以下中的一个：平行六面体，例如长方体；球体；以及圆柱体。
306.条款37.根据条款28至36中任一项所述的方法，其中，所述第二对象的体积是以下中的一个：平行六面体，例如长方体；球体；以及圆柱体。
307.条款38.根据条款27至37中任一项所述的方法，其中，使用图像识别技术鉴别所述
第一对象。
308.条款39.根据条款27至38中任一项所述的方法，其中，使用图像识别技术鉴别所述第二对象。
309.条款40.根据条款27至39中任一项所述的方法，还包括由一个或多个图像捕获装置捕获所述图像数据的步骤。
310.条款41.根据条款27至40中任一项所述的方法，其中，所述图像数据包括以下中的一个或多个：可见光谱数据；热或红外数据；深度或飞行时间数据，例如雷达数据、激光雷达数据和超声数据；以及立体图像数据。
311.条款42.一种用于监测手术台上的患者的系统，包括：
312.一个或多个图像捕获装置，其被配置为捕获图像数据；以及
313.一个或多个计算设备，其被配置为执行根据条款27至41中任一项所述的方法。
314.条款43.根据条款42所述的系统，其中，所述一个或多个图像捕获装置是以下中的一个或多个：可见光谱相机、热或红外相机、深度或飞行时间相机、雷达、激光雷达、超声设备和立体成像相机。
315.条款44.一种计算机程序，当在一个或多个计算设备上运行所述计算机程序时，所述计算机程序被配置为使所述一个或多个计算设备执行根据条款27至41中任一项所述的方法。
316.条款45.一种非暂时性存储器，在所述非暂时性存储器上存储有根据条款44所述的计算机程序。
317.条款46.一种监测手术室手术台上的患者的方法，所述方法包括：
318.接收由至少一个图像捕获装置所捕获的图像数据；以及
319.根据所述图像数据确定所述患者相对于所述手术台的位置。
320.条款47.根据条款46所述的方法，其中，根据所述图像数据确定所述患者相对于所述手术台的位置包括：
321.从所述图像数据确定所述患者的位置；
322.确定所述手术台的位置；以及
323.基于所述患者的所述位置和所述手术台的所述位置确定所述患者相对于所述手术台的所述位置。
324.条款48.根据条款47所述的方法，其中，基于所述图像数据确定所述手术台的所述位置。
325.条款49.根据条款48所述的方法，其中，使用图像识别技术确定所述手术台的操作位置。
326.条款50.根据条款47所述的方法，其中，确定所述手术台的位置包括：
327.接收手术台的位置信息；以及
328.从所接收到的位置信息确定所述手术台的所述位置。
329.条款51.根据条款46至50中任一项所述的方法，其中，确定所述患者相对于所述手术台的位置包括：
330.确定所述患者相对于所述手术台的第一位置；以及
331.确定所述患者相对于所述手术台的第二位置，所述第二位置在比所述第一位置较
晚的时间确定；
332.其中，所述方法还包括通过将所述第一位置和所述第二位置进行比较来确定所述患者是否已经在所述手术台上移动。
333.条款52.根据条款51所述的方法，其中，所述方法还包括如果确定所述患者已经在所述手术台上移动，则输出警报。
334.条款53.根据条款52所述的方法，其中，如果所述患者已在所述手术台上移动了至少一阈值量，则输出所述警报。
335.条款54.根据条款52或53所述的方法，其中，如果所述患者已经移出所述手术台上的预定义区域，则输出所述警报。
336.条款55.根据条款46至54中任一项所述的方法，其中，确定所述患者在所述手术台上的位置包括基于所述图像数据确定所述患者的多个子位置，所述患者的所述子位置是所述患者的身体的各部位的位置。
337.条款56.根据条款55所述的方法，其中，基于所述患者的所述多个子位置，如果确定所述患者未处于可接受的位置和/或如果确定所述患者处于不可接受的位置，则输出警报。
338.条款57.根据条款56所述的方法，其中，如果所述患者未处于可接受的位置和/或如果确定所述患者处于不可接受的位置持续至少一阈值时间段，则输出所述警报。
339.条款58.根据条款57所述的方法，其中，针对不同位置设定不同的阈值时间段。
340.条款59.根据条款55至58中任一项所述的方法，其中，与所述患者的身体的所述子位置对应的所述患者的身体的所述部位可以包括以下中的一个或多个：头；臂；手；腿；脚；躯干；以及腹部。
341.条款60.根据条款46至59中任一项所述的方法，其中，确定所述患者在所述手术台上的位置包括确定患者在被单下面的所述位置。
342.条款61.根据条款60所述的方法，其中，至少部分地从由热成像和/或红外相机所捕获的图像数据来确定所述患者在被单下面的所述位置。
343.条款62.根据条款60或61所述的方法，其中，确定所述患者在被单下面的所述位置包括：
344.确定所述被单在所述手术台上方的表面；以及
345.基于所述表面确定所述患者在所述被单下面的所述位置。
346.条款63.根据条款62所述的方法，其中，至少部分地从使用以下中的一个或多个所捕获的图像数据确定所述被单在所述手术台上方的所述表面：雷达、激光雷达、超声设备、超声和飞行时间成像。
347.条款64.根据条款46至63中任一项所述的方法，其中，使用图像识别技术鉴别所述患者位置。
348.条款65.根据条款46至64中任一项所述的方法，还包括由一个或多个图像捕获装置捕获图像数据的步骤。
349.条款66.根据条款46至65中任一项所述的方法，其中，所述图像数据包括以下中的一个或多个：可见光谱数据、热或红外数据、深度或飞行时间数据、雷达数据、激光雷达数据、超声数据和立体图像数据。
350.条款67.一种用于监测手术台上的患者的系统，包括：
351.一个或多个图像捕获装置，其被配置为捕获图像数据；以及
352.一个或多个计算设备，其被配置为执行根据条款46至66中任一项所述的方法。
353.条款68.根据条款67所述的系统，其中，所述一个或多个图像捕获装置是以下中的一个或多个：可见光谱相机、热或红外相机、深度或飞行时间相机、雷达、激光雷达、超声设备和立体成像相机。
354.条款69.一种计算机程序，当在一个或多个计算设备上运行所述计算机程序时，所述计算机程序被配置为使所述一个或多个计算设备执行根据条款46至66中任一项所述的方法。
355.条款70.一种非暂时性存储器，在所述非暂时性存储器上存储有根据条款69所述的计算机程序。
356.条款71.一种监测手术室内的对象的方法，所述方法包括：
357.接收由至少一图像捕获装置所捕获的图像数据；
358.从所述图像数据鉴别对象；
359.接收手术过程数据，所述手术过程数据定义了正在执行的手术过程并且包括要执行的一个或多个步骤，要执行的所述一个或多个步骤具有与每个步骤相关联的一个或多个对象；
360.确定要执行的当前步骤；
361.确定所鉴别的对象是否是与要执行的所述当前步骤相关联的所述一个或多个对象之一；以及
362.如果所鉴别的对象不是与要执行的所述当前步骤相关联的所述一个或多个对象之一，则输出警报。
363.条款72.根据条款71所述的方法，其中，与每个步骤相关联的所述一个或多个对象还具有与每个步骤相关联的状态，并且其中所述方法还包括：
364.基于所述图像数据确定所述对象的当前状态；以及
365.如果所述对象的所述当前状态和与要执行的所述当前步骤关联的所述状态不匹配，则输出警报。
366.条款73.根据条款72所述的方法，其中，所述方法还包括基于所述图像数据确定所述对象的位置；并且其中基于所述对象的所述位置进一步确定所述对象的所述当前状态。
367.条款74.根据条款72或73所述的方法，其中，与所述当前步骤相关联的所述状态是初始状态，针对与每个步骤相关联的所述一个或多个对象中的每一个预设定所述初始状态。
368.条款75.根据条款72至74中任一项所述的方法，其中，所述当前状态是以下中的一个：“无菌”状态；“使用中”状态；“使用过”状态；“打开”状态；“关闭”状态；“移动”状态；“静止”状态；“闲置”状态；“锁定”状态；“解锁”状态；以及“暂停”状态。
369.条款76.根据条款71至75中任一项所述的方法，其中，所述方法还包括：
370.确定执行所述手术过程的医疗专业人员；以及
371.确定所述医疗专业人员是否正在使用所述对象；
372.其中，如果所述医疗专业人员正在使用所鉴别的对象并且如果所鉴别的对象不是
与要执行的所述当前步骤相关联的所述一个或多个对象之一，则输出警报。
373.条款77.根据条款71至76中任一项所述的方法，其中，使用图像识别技术鉴别所述对象。
374.条款78.根据条款71至77中任一项所述的方法，还包括由一个或多个图像捕获装置捕获所述图像数据的步骤。
375.条款79.根据条款71至78中任一项所述的方法，其中，所述图像数据包括以下中的一个或多个：可见光谱数据；热或红外数据；深度或飞行时间数据，例如雷达数据、激光雷达数据和超声数据；以及立体图像数据。
376.条款80.一种用于监测手术室内的对象的系统，包括：
377.一个或多个图像捕获装置，其被配置为捕获图像数据；以及
378.一个或多个计算设备，其被配置为执行根据条款71至79中任一项所述的方法。
379.条款81.根据条款80所述的系统，其中，所述一个或多个图像捕获装置是以下中的一个或多个：可见光谱相机、热或红外相机、深度或飞行时间相机、雷达、激光雷达、超声设备和立体成像相机。
380.条款82.一种计算机程序，当在一个或多个计算设备上运行所述计算机程序时，所述计算机程序被配置为使所述一个或多个计算设备执行根据条款71至79中任一项所述的方法。
381.条款83.一种非暂时性存储器，在所述非暂时性存储器中存储有根据条款82所述的计算机程序。
382.条款84.一种监测手术室内的对象的方法，所述方法包括：
383.接收由至少一个图像捕获装置在第一时间捕获的第一图像数据；
384.从所述第一图像数据鉴别对象；
385.接收由至少一个图像捕获装置在第二时间捕获的第二图像数据，所述第二时间晚于所述第一时间；以及
386.确定从所述第一图像数据所鉴别的对象是否可以从所述第二图像数据鉴别到。
387.条款85.根据条款84所述的方法，其中，在确定不能从所述第二图像数据鉴别到所述对象时，所述方法还包括确定所述对象在第二时间不存在于所述手术室内。
388.条款86.根据条款84或85中任一项所述的方法，其中，所述第二图像数据由所述至少一个图像捕获装置的第一组捕获，并且其中在确定不能从所述第二图像数据鉴别到所述对象时，所述方法还包括：
389.接收第三图像数据，所述第三图像数据由所述至少一个图像捕获装置的第二组所捕获，至少一个图像捕获装置的所述第二组包括不在至少一个图像捕获装置的所述第一组中的至少一个图像捕获装置；
390.确定是否可以从所述第三图像数据鉴别到所述对象；以及
391.在确定不能从所述第三图像数据鉴别到所述对象时，确定所述对象在第二时间不存在于所述手术室内。
392.条款87.根据条款86所述的方法，还包括由所述至少一个图像捕获装置的所述第二组捕获所述第三图像数据的步骤。
393.条款88.根据条款84至87中任一项所述的方法，其中，所述第二图像数据由所述至
少一个图像捕获装置中的第一图像捕获装置从第一位置捕获，并且其中在确定不能从所述第二图像数据中鉴别到所述对象时，所述方法还包括：
394.将所述第一图像捕获装置移动至第二位置，以使得所述第一图像捕获装置在所述第二位置的视场不同于所述第一图像捕获装置在所述第一位置的视场；
395.接收第四图像数据，所述第四图像数据由所述第一图像捕获装置在所述第二位置捕获；
396.确定是否可以从所述第四图像数据鉴别到所述对象；以及
397.在确定不能从所述第四图像数据鉴别到所述对象时，确定所述对象在第二时间不存在于所述手术室内。
398.条款89.根据条款88所述的方法，还包括由所述第一图像捕获装置捕获所述第四图像数据的步骤。
399.条款90.根据条款85至89中任一项所述的方法，还包括以下步骤：当确定所述对象在第二时间不存在于所述手术室内时，输出警报。
400.条款91.根据条款84至90中任一项所述的方法，其中，所述第一时间是手术过程的开始，并且所述第二时间是手术过程的结束。
401.条款92.根据条款84至91中任一项所述的方法，其中，所述对象是手术工具。
402.条款93.根据条款84至92中任一项所述的方法，其中，使用图像识别技术鉴别所述对象。
403.条款94.根据条款84至93中任一项所述的方法，还包括由所述至少一个图像捕获装置捕获所述第一图像数据的步骤。
404.条款95.根据条款84至94中任一项所述的方法，还包括由所述至少一个图像捕获装置捕获所述第二图像数据的步骤。
405.条款96.根据条款84至95中任一项所述的方法，其中，所述图像数据包括以下中的一个或多个：可见光谱数据、热或红外数据、深度或飞行时间数据、雷达数据、激光雷达数据、超声数据和立体图像数据。
406.条款97.一种用于监测手术室内的对象的系统，包括：
407.一个或多个图像捕获装置，其被配置为捕获图像数据；以及
408.一个或多个计算设备，其被配置为执行根据条款84至96中任一项所述的方法。
409.条款98.根据条款97所述的系统，其中，所述一个或多个图像捕获装置是以下中的一个或多个：可见光谱相机、热或红外相机、深度或飞行时间相机、雷达、激光雷达、超声设备和立体成像相机。
410.条款99.一种计算机程序，当在一个或多个计算设备上运行所述计算机程序时，所述计算机程序被配置为使所述一个或多个计算设备执行根据条款84至96中任一项所述的方法。
411.条款100.一种非暂时性存储器，在所述非暂时性存储器上存储有根据条款99所述的计算机程序。