1.本公开涉及一种计算机辅助手术系统、一种手术控制设备和一种手术控制方法。
背景技术：
：：2.本文提供的“背景”描述是为了总体上呈现本公开的上下文。在本
背景技术：
：部分中描述的程度上，当前命名的发明人的工作以及在提交时可能不被认为是现有技术的描述的方面既不明确地也不隐含地被认为是针对本发明的现有技术。3.一些计算机辅助手术系统允许人类外科医生和计算机化手术设备(例如，手术机器人)在进行手术时一起工作。计算机辅助手术系统包括例如计算机辅助医用镜或摄像头系统(例如，当人类外科医生使用医用镜图像进行手术时，计算机化手术设备保持和定位医用镜(也称为医疗视觉镜)，例如，医疗内窥镜、手术显微镜或手术外镜)、主从系统(包括外科医生用来控制机器人从属设备的主设备)和开放式手术系统，其中，外科医生和计算机化手术设备在手术期间自主地执行任务。4.这种计算机辅助手术系统的一个问题是，人类外科医生做出的人类决策和计算机化手术设备做出的计算机决策之间有时存在差异。在这种情况下，很难知道为什么会出现决策差异，反过来，也很难知道人类和计算机的哪个决策是正确的。这个问题需要一个解决方案。技术实现要素：5.根据本公开，提供了一种计算机辅助手术系统，该系统包括计算机化手术设备和控制设备，其中，该控制设备包括电路，该电路被配置为：接收指示手术场景的第一区域的信息，计算机化手术设备从第一区域获得信息以做出决策；接收指示手术场景的第二区域的信息，医学专业人员从第二区域获得信息以做出决策；确定手术场景的第一区域和第二区域之间是否存在差异；并且如果在手术场景的第一区域和第二区域之间存在差异：则基于该差异执行预定过程。附图说明6.通过结合附图参考以下详细描述，将最好地理解本公开的非限制性实施例和优点。7.图1示意性示出了计算机辅助手术系统；8.图2示意性地示出了控制设备和计算机化手术设备控制器；9.图3a示意性地示出了由人类外科医生和手术机器人看到的手术场景；10.图3b示意性地示出了在调整一个或多个参数之后手术机器人看到的手术场景；11.图4示出了手术控制方法；12.图5示意性地示出了可应用本技术的计算机辅助手术系统的第一示例；13.图6示意性地示出了可应用本技术的计算机辅助手术系统的第二示例；14.图7示意性地示出了可应用本技术的计算机辅助手术系统的第三示例；15.图8示意性地示出了可应用本技术的计算机辅助手术系统的第四示例；16.图9示意性地示出了臂单元的示例；17.图10示意性地示出了主控制台的示例。18.在所有附图中，相同的附图标记表示相同或相应的部分。具体实施方式19.图1示出了使用开放式手术系统对患者106进行的手术。患者106躺在手术台105上，人类外科医生104和计算机化手术设备103一起执行手术。20.每个人类外科医生和计算机化手术设备监控手术的一个或多个参数，例如，从一个或多个患者数据收集设备收集的患者数据(例如，来自ecg监视器的心电图(ecg)数据、来自血压监视器的血压数据等，患者数据收集设备在本领域中是已知的，并且未详细示出或讨论)以及通过分析手术图像(由外科医生的眼睛或计算机化手术设备的摄像头109捕获)或手术声音(由外科医生的耳朵或计算机化手术设备的麦克风(未示出)捕获)确定的一个或多个参数。每个人类外科医生和计算机化手术设备在手术期间执行相应的任务(例如，一些任务由外科医生专门执行，一些任务由计算机化手术设备专门执行，一些任务由外科医生和计算机化手术设备执行)，并且使用所监控的一个或多个外科参数来决定如何执行那些任务。21.外科医生和计算机化手术设备有时会做出冲突的决策。例如，基于图像分析，计算机化手术设备可以确定患者中已经发生了意外出血，并且应该采取措施来停止出血。然而，外科医生可能会决定没有意外出血，并且不需要采取任何行动。因此，需要解决这一冲突，以便做出正确的决策。本技术通过在计算机化手术设备做出决策时确定外科医生和计算机化手术设备所关注的手术场景的视觉区域中是否存在差异来帮助满足这一需求，并且如果存在差异，则控制计算机化手术设备来重新评估手术场景。计算机化手术设备根据重新评估的手术场景做出更新的决策。外科医生可以接受或拒绝这个决策。可以向外科医生提供关于为什么计算机化手术设备做出特定决策的信息，以帮助他们确定哪个决策(即人类决策或计算机决策)是正确的。22.尽管图1示出了开放式手术系统，但是本技术也适用于其他计算机辅助手术系统，其中，计算机化手术设备(例如，其在计算机辅助医用镜系统中持有医用镜或者其在主从系统中是从属设备)能够做出可能与外科医生的决策相冲突的决策。因此，计算机化手术设备是一种包括计算机的手术设备，该计算机能够使用一个或多个手术监控参数来做出关于手术的决策。作为非限制性示例，图1的计算机化手术设备103是能够基于由摄像头109捕获的图像做出决策并采取自主行动的手术机器人。23.机器人103包括控制器110和一个或多个手术工具107(例如，可移动的手术刀、夹具或机械手)。控制器110连接到用于捕获手术图像的摄像头109、用于调整摄像头109位置的可移动摄像头臂112以及可调整手术照明111，可调整手术照明照亮手术场景并具有一个或多个可调整照明参数，例如，亮度和颜色。例如，可调整手术照明包括多个相应不同颜色的发光二极管(led，未示出)。每个led的亮度是可单独调整的(通过可调整手术照明的适当控制电路(未示出))，以允许调整led输出的光的整体颜色和亮度。控制器110还连接到控制设备100。控制设备100连接到另一摄像头108，用于捕获外科医生眼睛的图像，用于注视跟踪，并且连接到保持在支架102上的电子显示器102(例如，液晶显示器)，使得外科医生104在手术期间可以看到电子显示器102。根据本技术，控制设备100比较外科医生104和机器人103关注的手术场景的视觉区域，以帮助解决外科医生和计算机决策的冲突。24.图2示出了控制设备100和控制器110的一些组件。25.控制设备100包括用于向控制器110发送电子信息和/或从控制器接收电子信息的控制接口201、用于向电子显示器102发送表示要显示的信息的电子信息的显示接口202、用于处理电子指令的处理器203、用于存储要处理的电子指令以及与电子指令相关联的输入和输出数据的存储器204、用于长期存储电子信息的存储介质205(例如，硬盘驱动器，固态驱动器等)、用于接收表示由摄像头108捕获的外科医生眼睛图像的电子信息的摄像头接口206以及用户接口214(例如，包括触摸屏、物理按钮、语音控制系统等)。例如，控制接口201、显示接口202、处理器203、存储器204、存储介质205、摄像头接口206和用户接口214中的每一个都使用适当的电路来实现。处理器203控制控制接口201、显示接口202、存储器204、存储介质205、摄像头接口206和用户接口214中的每一个的操作。26.控制器110包括用于向控制设备100发送电子信息和/或从控制设备接收电子信息的控制接口207、用于处理电子指令的处理器208、用于存储要处理的电子指令以及与电子指令相关联的输入和输出数据的存储器209、用于长期存储电子信息的存储介质210(例如，硬盘驱动器、固态驱动器等)、用于向机器人103的一个或多个手术工具107发送电子信息和/或从其接收电子信息以控制一个或多个手术工具的工具接口211、用于接收表示由摄像头109捕获的手术场景的图像的电子信息并向摄像头109和可移动摄像头臂112发送电子信息和/或从其接收电子信息以控制摄像头109的操作和可移动摄像头臂112的移动的摄像头接口212、以及用于向可调整手术照明111发送电子信息和/或从其接收电子信息以调整一个或多个手术照明参数的照明接口213。例如，控制接口207、处理器208、存储器209、存储介质210、工具接口211、摄像头接口212和照明接口213中的每一个都使用适当的电路来实现。处理器208控制控制接口107、存储器209、存储介质210、工具接口211、摄像头接口212和照明接口213中的每一个的操作。控制器110控制机器人103根据机器人103的能力做出决策并采取自主手术动作(例如，使用一个或多个手术工具107)。27.图3a示出了外科医生104和机器人103做出冲突决策的示例情况。外科医生(用他们的眼睛)和机器人103(用摄像头109)都在观察包括患者肝脏300和血管301的手术场景。外科医生和机器人正从不同的角度观察手术场景。控制设备100监控外科医生和机器人正在关注的场景区域(即，外科医生和机器人用来获得关于场景的信息(特别是视觉信息)以做出决策的场景区域)。当机器人做出决策时，控制设备接收指示该决策的信息。响应于此，比较外科医生和机器人在直到做出机器人决策的预定时间段内关注的场景区域。28.通过追踪外科医生的凝视来确定外科医生正在关注的区域。可以使用任何合适的已知凝视跟踪技术。在这个示例中，通过在由摄像头108捕获的图像中跟踪外科医生眼睛的位置来跟踪外科医生的凝视。在手术前，进行校准程序，其中，指示外科医生观察场景的多个区域中的每一个。当外科医生观察每个区域时，捕获外科医生眼睛的图像，并检测外科医生眼睛在图像中的位置(例如，使用任何合适的已知物体检测技术)。这允许确定由摄像头108捕获的图像中外科医生眼睛的位置和外科医生正在观看的场景区域之间的映射。指示该映射的信息存储在存储介质205中。在手术期间，该信息随后被控制设备100用来确定外科医生在任何给定时间正在观察的场景区域(即，外科医生的注视位置)。在图3a中，控制设备100确定在直到做出机器人决策的预定时间段期间，外科医生的凝视主要在场景的区域x、y、z和t中(例如，基于外科医生的凝视相对于场景的其他区域停留在这些区域上的时间量)。这些被确定为外科医生关注的区域。29.通过分析摄像头109捕获的图像区域来确定机器人正在关注的区域，这些区域最有可能影响机器人使用这些图像做出的决策。有各种已知的技术可以做到这一点。一个示例是非专利文献1，其允许生成人工智能(ai)注意力热图，该热图指示对图像分类卷积神经网络(cnn)的输出影响最大的捕获图像的区域。指示由摄像头109捕获的图像区域和场景区域之间的映射的信息被存储在存储介质205中。在手术期间，该信息随后被控制设备100用于在做出决策时确定机器人正在关注的场景的区域(例如，机器人做出的每个决策基于由摄像头109捕获的图像的分类)。控制设备100将区域b、g、y和x确定为在直到做出机器人决策的预定时间段期间机器人正在关注的区域(例如，基于机器人相对于场景的其他区域关注这些区域的时间量)。30.因此，控制设备100识别外科医生104关注的区域x、y、z和t与机器人103关注的区域x、y、b和g之间的差异。通过确保在由摄像头108捕获的图像中映射到外科医生的相应眼睛位置的场景区域与映射到由摄像头109捕获并由机器人用于分类和决策的图像的相应区域的场景区域相同，区域的比较是可能的。这种情况下的差异指示机器人做出的计算机决策可能不同于外科医生做出的人类决策。31.在一个实施例中，当仅由外科医生关注的场景区域与仅由机器人关注的场景区域在空间上分开超过预定阈值时，出现差异。可以基于相关手术的可接受的差异来预先选择阈值。在记录差异之前，较大的阈值允许机器人和外科医生关注的区域有较大的偏差(例如，当快速完成手术而没有不必要的中断是最重要的时，这是合适的)。在记录差异之前，较小的阈值允许机器人和外科医生关注的区域偏差较小(例如，这适用于复杂的手术，即使花费很长时间也必须正确完成)。32.在这种情况下，计算机的决策不同于人类的决策。外科医生决定手术的下一步应该是动作1(例如，进入预定外科手术的下一阶段)。然而，机器人已经决定手术的下一步应该是动作2(例如，采取行动来减轻检测到的血管301出血)。该差异可能是(1)当外科医生关注区域x、y、z和t(区域t包括血管301)时，关注区域x、y、b和g(主要包括肝脏300但不包括血管301)的机器人产生的错误的结果。或者，这种差异可能是(2)外科医生产生的错误的结果(尽管外科医生注意到了包括血管在内的区域t，但由于人为错误，他可能没有注意到出血)。33.控制设备100使得可以通过控制机器人103关注外科医生104先前关注的区域z和t而不是机器人来确定(1)和(2)中哪一个更有可能，并且基于这些区域做出更新的计算机决策。通过调整机器人在图像处理中使用的一个或多个合适的参数，控制机器人关注先前被忽略的区域z和t。例如，如果机器人使用图像分类cnn来对摄像头109捕获的图像进行分类并基于这些分类做出决策，则可以调整cnn的权重，以增加区域z和t在分类过程中的影响。34.为了提高更新的决策的准确性，控制设备100可以控制机器人103来调整机器人在做出初始决策时使用的一个或多个其他参数。例如，控制机器人，以调整可调整手术照明111的一个或多个照明参数和/或使用可移动摄像头支撑臂112调整摄像头109的位置。这有助于减少通过摄像头109观察到的手术场景的任何视觉条件的影响，当做出初始决策时，这些视觉条件可能已经阻碍机器人关注和/或基于区域z和t做出决策。35.在一个示例中，由摄像头109在区域z和t中捕获的图像中的物体识别可用于确定一个或多个照明参数的合适值。例如，由于区域t包括血管，因此可以选择一个或多个照明参数的合适值，这有助于在捕获的图像中从视觉上区分具有血管301颜色的物体和具有其他颜色的物体。这是通过将光改变成与血管301的颜色更精确匹配的颜色(例如，与血管301的红色更精确匹配的红色阴影)和/或增加光的亮度来实现的。这在图3b中示出。更高度区分的血管允许机器人更精确地确定血管301是否确实有出血。36.在一个示例中，摄像头被定位109为具有与做出初始决策时外科医生相似的视角。这也在图3b中示出，其示出了重新定位的摄像头和由重新定位的摄像头捕获的场景图像(其在透视图中类似于图3a的外科医生的场景视图)。这允许机器人从与外科医生相似的视角看到手术场景，外科医生可以更好地看到场景中与决策相关的部分(例如，机器人确定正在出血的血管301的部分)。同样，这允许机器人更准确地确定是否确实存在血管301的出血。在一个示例中，控制设备100监控外科医生104在手术室中的位置，并控制摄像头109重新定位成靠近(例如，在预定距离内)做出初始决策时外科医生的监控位置。外科医生在手术室中的位置是已知的，例如，通过在由捕获整个手术室的图像(例如，使用任何合适的已知物体检测技术)的另一摄像头(未示出)捕获的图像中识别外科医生。捕获图像中的位置被映射到手术室中的位置(例如，指示该映射的信息被存储在存储介质205中)，从而允许基于外科医生在捕获图像中的检测位置来确定他们在手术室中的位置。摄像头109然后移动到外科医生的检测位置的预定距离内的位置。这是可能的，例如，通过存储介质205存储指示手术室中的位置和确定摄像头109的位置的可移动摄像头臂112的一个或多个参数之间的映射的信息。在实施例中，摄像头109移动到离外科医生预定的距离范围内，距离范围的最小值被设置为避免外科医生与摄像头109的碰撞，距离范围的最大值被设置为使得摄像头109的视角充分接近机器人做出初始决策时外科医生的视角。37.一旦机器人103做出了更新的决策并将其提供给控制设备100，控制设备就向电子显示器102输出指示更新的决策的视觉信息，以供外科医生查看。如果更新的决策与初始决策(即动作2)相同，即使在用不同的光和/或不同的摄像头角度观察了先前被忽略的区域z和t之后，场景(2)(即外科医生错误)也更有可能。或者，如果更新的决策不同于初始决策(例如，由外科医生初始确定的动作1)，则场景(1)(即，机器人错误)更有可能。控制设备100在接收到来自外科医生的确认时，响应于更新的决策来控制机器人采取的动作(例如，如果更新的决策是动作1，则执行与前进到预定外科手术的下一阶段相关联的动作，或者如果更新的决策是动作2，则执行与减轻检测到的血管301的出血相关联的动作)。经由用户接口214从外科医生接收确认。因此，本技术允许对手术机器人103做出的计算机决策进行改进的验证。这是因为，当机器人做出计算机决策时，如果外科医生关注的手术场景的区域不同于机器人的区域，则机器人寻找额外信息，并且如果需要，在将该决策通知外科医生之前更新计算机决策。因此，计算机决策更有可能是准确的。38.在一个实施例中，指示由机器人103做出的计算机决策的信息作为消息与选项一起在电子显示器102上显示，以供外科医生(a)接受该决策(在这种情况下，机器人执行与计算机决策相关联的任何动作，例如，停止血管301的出血的动作)，或(b)拒绝该决策(在这种情况下，机器人继续执行如果没有做出计算机决策他们会执行的任何动作，例如，与预定外科手术的下一阶段相关联的动作)。外科医生经由用户接口214选择(a)或(b)。在一个示例中，用户接口214包括麦克风和语音识别软件，当检测到外科医生说“接受”时，接受计算机决策，或者当检测到外科医生说“拒绝”时，拒绝计算机决策。当显示的计算机决策是更新的计算机决策时，控制设备100可以控制电子显示器102显示指示该决策是更新的决策的信息以及指示初始决策的信息和关于如何做出更新的决策的信息。指示如何做出更新的决策的信息包括例如当做出初始决策时外科医生和机器人关注的手术场景的不同区域(例如，通过显示图3a的场景的图像(如由摄像头109捕获的)覆盖有指示当做出初始决策时外科医生和机器人中的每一个关注的区域的信息，可选地，如此指示机器人关注但外科医生不关注的区域(经由适当的突出显示等)，因此外科医生能够快速确定他们可能遗漏了什么的区域)和指示用于做出更新决策的一个或多个调整参数(例如，照明颜色和/或亮度和/或摄像头109的角度，可选地包括如图3b所示的由摄像头109捕获的替代照明和/或视角图像)的信息。39.这使得外科医生能够更好地理解机器人的决策过程，这反过来允许他们对是否接受机器人提供的更新决策做出更明智的决策。例如，在图3a中，如果机器人的更新决策是血管301的出血已经发生并且因此应该迅速缓解，则外科医生将能够从电子显示器102显示的信息中看到，机器人最初没有关注外科医生关注的区域t(包括血管301)，但是在得出更新决策时，机器人已经注意到该区域，并且进一步调整了摄像头109的照明和位置，以获得尽可能多的关于该区域的信息。因此，外科医生可以再次仔细观察区域t，并接受或拒绝来自机器人的更新决策。因此，机器人的决策过程对外科医生来说更加透明，这最终允许外科医生在接受或拒绝机器人做出的决策时做出更明智的决策。40.当从机器人103确定更新的计算机决策时，可以调整任何其他参数(代替或除了照明和/或视角参数之外)。例如，在由摄像头109捕获并由机器人用于做出初始决策的图像区域(例如，与机器人最初未关注的场景中的区域z和t相对应的图像区域)中的对抗性像素变化(或被设计成通过改变一个或多个像素的值来影响基于人工智能的图像分类过程的另一变化)可以在图像分类之前进行，以确定更新的决策。可以进行多种这样的变化，并且提供产生的最常见的分类(和相应的最常见的更新决策)，作为更新决策。这有助于减轻更新决策中噪声的影响。可调参数的另一示例是所拍摄图像的类型(例如，摄像头109可以包括能够使用不同类型的电磁辐射(例如，可见光、紫外线和红外线)捕获图像的多个图像传感器，并且在确定外科医生104和机器人103的关注区域的差异时，控制设备100控制摄像头109使用与先前使用的传感器不同的传感器来捕获图像，并且对新捕获的图像执行图像分类)。在外科医生和机器人注意区域不一致的情况下，控制设备100还可以控制机器人重新校准由摄像头109用来捕获手术场景图像的图像传感器。41.更一般地，可以用不同的相应调整参数集来做出多个候选更新决策。然后，输出最常见的候选更新决策，作为将被外科医生104接受或拒绝的更新决策。调整参数的程度(例如，调整了多少参数以及对每个参数进行了多少调整)以及因此有多少候选更新决策，可能取决于一个或多个因素，例如，外科医生104和机器人103的注意力不同的程度、做出错误决策的风险、外科医生和机器人的相应视角和/或机器人在做出决策时使用的成像类型。例如，当在机器人和外科医生的关注区域中有更大的重叠时(例如，当外科医生关注的也由机器人关注的区域的百分比超过预定量时)和/或当做出错误决策的风险较低时(例如，低于预定阈值)，可以调整更少的参数和/或对每个参数进行更少的调整，以产生更少数量的候选更新决策。相反，当在机器人和外科医生的关注区域中有较少的重叠时(例如，当外科医生关注的区域中机器人也关注的区域的百分比小于预定量时)和/或当做出错误决策的风险较高时(例如，高于预定阈值)，可以调整更多的参数和/或对每个参数进行更多的调整，以产生更高数量的候选更新决策。例如，与机器人可能做出的每个计算机决策的错误决策相关联的风险被存储(例如，作为数值，风险越高，该数值越高)在存储介质205中。调整参数以确定候选更新决策的程度，并且最终，更新的决策可以与更新的决策以及接受或拒绝更新的决策的选项一起在电子显示器102上向外科医生显示。42.尽管以上描述考虑了外科医生，但是本技术可应用于手术室中的任何人类监督者(例如，诸如麻醉师、护士等另一医学专业人员)，可以监视其对手术场景区域的注意力(例如，通过凝视跟踪)，并且其决策可能与计算机化手术设备做出的决策相冲突。43.机器人用来做出决策的图像分类使用图像的任何合适的特征来进行分类。例如，图像分类可以识别图像中的预定物体(例如，特定器官或手术工具)，或者可以利用图像颜色、地形或纹理。在图像分类过程中可以使用任何合适的已知技术。44.尽管上述示例中的计算机决策涉及是否应该采取行动(例如，停止出血或继续手术的下一个预定步骤，进行切口或不进行切口等)，但是计算机决策可以是另一种类型的决策，例如，决定特定物体是特定器官或者决定特定组织区域是正常还是异常。应当理解，本技术可以应用于任何类型的决策。45.尽管在上述示例中，使用由摄像头108捕获的图像来跟踪外科医生的凝视，但是可以使用任何其他合适的凝视跟踪技术(例如，由外科医生佩戴的头戴式装置，其使用电描记术(eog)直接跟踪眼睛运动)。类似地，电子显示器102可以是外科医生佩戴的可安装在头上的显示器(hmd)等的一部分，而不是外科医生可看到的独立装置(例如，监视器或电视)(如图1所示)。46.在一个实施例中，控制设备100确定更新的决策的置信度等级，该置信度等级指示更新的决策是正确决策的可能性，并且使得电子显示器102显示具有更新的决策的置信度等级。可以使用任何合适的方法来确定置信度等级，并且可以由机器人控制器110的处理器208作为图像分类过程的一部分来计算(在这种情况下，置信度值被提供给控制设备100，用于随后在电子显示器102上显示)。在初始决策也与置信度值相关联的情况下，控制设备100可以指示置信度值或者初始决策和更新决策，或者至少可以指示更新决策的置信度值是高于还是低于初始决策的置信度值。这为外科医生提供了进一步的信息，帮助他们决定是否接受或拒绝更新的决策。47.在一些实施例中(例如，计算机辅助医用镜系统或主从系统)，机器人仍然对手术期间的某个阶段或活动做出决策，但是该决策用于通知外科医生的动作，而不是机器人直接独立地执行动作。当使用计算机辅助手术系统时，外科医生可以通过查看手术场景的捕获图像(例如，由医用镜或手术机器人的摄像头捕获的)而不是手术场景本身来查看手术场景。在这种情况下，外科医生对捕获的图像而不是手术场景本身的凝视用来确定外科医生的注意区域(然后将其直接与同一图像上机器人的注意区域进行比较)。48.在一个示例中，机器人可以获得额外的成像模式来帮助计算机做出决策。例如，外科医生观察到的医用镜图像通常可以是易于解释的rgb图像，而从连接到机器人(未示出)的其他成像装置获得的其他模态(例如，使用不同的波长来提供超光谱成像)可能是可用的，但是对于外科医生来说不太直观。49.人类和机器人注意区域的比较允许更有效地使用场景的更直观的图像(例如，rgb图像)和不太直观的图像(例如，高光谱图像)的组合。下面的示例手术序列(其是一个实施例)说明了这一点：50.1.外科医生在机器人(例如，计算机辅助医用镜系统中的机器人或主从手术机器人)的帮助下进行手术。51.2.机器人使用如前所述的rgb图像来评估手术场景，但是还结合了一种或多种其他成像模式来帮助做出决策。52.3.同时，外科医生评估手术场景，以做出人类决策，但仅使用rgb观看模式来这样做。53.4.检测rgb图像的人类和机器人注意区域的差异。54.因此，人类和机器人的决策可能存在差异。55.5.响应于该差异，针对rgb图像和一个或多个其他成像模态中的每一个，调整机器人用于做出决策的一个或多个参数。56.6.机器人根据调整后的参数做出更新的决策。控制设备100输出指示更新的决策的信息，以显示在电子显示器102上，并且输出从机器人用于做出更新的决策的替代观看模式确定的信息(例如，一个或多个图像)。57.因此，外科医生一直被提供更直观的图像(例如，rgb图像)，并且只有当机器人做出更新的决策时才被提供不太直观的图像(例如，高光谱图像)。这改善了呈现较少直观信息和较多不太直观信息之间的平衡。58.在该示例中，机器人正在关注的场景的区域(例如，如步骤4中所确定的)也可以使用机器人使用另一模态捕获的场景的图像(例如，高光谱图像)来评估。在这种情况下，机器人和外科医生可能关注的场景区域以相同的方式定义。然而，外科医生经由rgb图像观看场景，而机器人经由不同的图像模态观看场景。59.因此，由于使用不同图像模态的机器人比使用rgb图像的外科医生更容易检测到场景中的事件，所以可能会出现注意区域的差异。60.在一个示例中，由于显示医用镜图像的监视器所施加的限制，在医用镜或主从手术期间向外科医生显示的视野比机器人可见的视野窄。例如，可以裁剪医用镜图像的边缘，以便于外科医生观察手术场景。在这种情况下，机器人可以获得外科医生不能获得的额外信息。因此，一个问题是何时改变摄像头视图，以向外科医生显示图像的其他裁剪区域。本技术通过指示当一个或多个机器人注意区域在图像的裁剪区域中时应该改变摄像头视角来缓解这个问题。下面的示例手术序列(其是一个实施例)说明了这一点：61.1.在手术过程中，机器人使用手术场景的捕获图像中的信息做出决策。该图像包括外科医生不可见的裁剪区域。62.2.当一个或多个机器人注意区域在裁剪区域中时，控制设备100使显示设备102向外科医生显示指示这一点的信息。然后，可以改变摄像头视图(例如，由外科医生或内窥镜医生手动改变，或者由机器人103在控制设备100的控制下自动改变)，以向外科医生显示机器人关注的图像的裁剪区域。因此，裁剪区域的适当部分(其中，可能已经发生了事件，但是他们的外科医生不会看到)被显示给外科医生，从而为他们提供更多的信息来做出决策。63.在一个示例中，在使用开放或主从手术系统的手术期间，外科医生可以仅使用捕获的rgb图像做出决策。没有其他信息(例如，触觉反馈等)，没有力或纹理的指示被提供给外科医生。另一方面，机器人可能能够考虑这样的信息(例如，基于由机器人的一个或多个工具包括的一个或多个加速度计(未示出)、力传感器(例如，压电装置)等输出的信息)。外科医生无法获得力信息。例如，机器人可能能够使用力信息来确定工具何时卡在体腔内的组织上(例如，工具的力传感器的输出是否超过预定阈值，或者更一般地，是否在预定范围之外，或者工具的加速度计的输出是否指示工具减速，其幅度超过预定阈值，或者更一般地，是否在预定范围之外)。如果合适的话，本技术允许外科医生知道该信息。下面的示例手术序列(其是一个实施例)说明了这一点：64.1.机器人使用如前所述的rgb图像做出决策，但是也评估指示机器人的工具的力和/或运动数据的信息。外科医生无法获得这些信息。通过例如以下方式提取该信息：65.a.使用机器人工具和组织之间相互作用的视觉评估(例如，当rgb图像包括机器人工具时，在rgb图像上使用合适的已知物体检测方法、图像分类方法等)；和/或66.b.使用机器人工具包括的一个或多个额外传感器(例如，加速度计、力传感器等)。67.使用该信息，机器人能够确定异常的力和/或运动数据(例如，力是否超过预定阈值或者机器人工具的速度是否下降到预定阈值以下)，并使用该数据做出决策(例如，暂停手术过程并警告外科医生检查可能已经卡住的工具)。68.2.当检测到人和机器人注意区域之间的差异并且该差异与异常力和/或运动数据相关时(例如，如果人的注意区域指示人不太可能注意到包括机器人工具的rgb图像的区域，其中，已经记录了异常力和/或运动数据)，控制设备100控制电子显示器102输出指示检测到异常力和/或运动的区域的信息(例如，作为重叠在rgb图像上的信息)。可以显示异常力和/或运动的指示(由机器人103的控制器110经由工具接口211接收该信息)。69.因此，本技术通过实现机器人系统的直观监控和机器人决策的改进的可解释性，改进了手术环境中的人机协作。具体而言，通过比较人和机器人的注意区域，能够实现机器人系统的直观的人监督，这可以根据验证机器人决策的需要来确定。通过视觉信息的输出(例如，覆盖有指示人和机器人的注意区域的信息的手术场景的图像、用于生成更新的机器人决策的调整后的参数等)，能够提高机器人决策的可解释性)，这是人类管理者很容易理解的。这为人类提供了机器人如何做出某个决策的信息。此外，增加了计算机辅助手术的专门培训和校准的机会。例如，人类和机器人的注意区域的差异可以用于识别机器人的决策协议或成像过程中的缺陷。70.图4示出了示出由根据实施例的控制设备100执行的方法的流程图。71.该方法开始于步骤401。72.在步骤402，控制接口201接收指示计算机化手术设备(例如，机器人103)正在关注的手术场景的第一区域(例如，区域x、y、b和/或g)的信息。例如，接收的信息是指示ai关注图的信息。73.在步骤403，摄像头接口206接收指示人类(例如，外科医生104)正在关注的手术场景的第二区域(例如，区域x、y、z和/或t)的信息。例如，接收的信息是指示用于凝视跟踪的人眼位置的信息。74.在步骤404，处理器203确定第一和第二区域中是否存在差异。75.如果没有差异，该方法在步骤406结束。76.如果存在差异，则该方法前进到步骤405，在步骤405中，基于该差异执行预定过程。预定过程包括例如控制计算机化手术设备基于差异做出更新的决策(例如，通过关注第二区域和/或调整计算机化手术设备用于确定第一区域的一个或多个参数)，改变摄像头视图(或指示应当改变摄像头视图)，以允许人类看到手术场景的图像的先前裁剪区域，或指示落在预定范围之外的手术工具的操作参数的值，如上所述。该方法然后在步骤406结束。77.图5示意性地示出了本技术适用的计算机辅助手术系统1126的示例。计算机辅助手术系统是一个主从系统，包括一个自主臂1100和一个或多个外科医生控制的臂1101。自主臂保持成像装置1102(例如，外科摄像头或医学视觉镜，例如，医学内窥镜、手术显微镜或手术外视镜)。一个或多个外科医生控制的臂1101均保持手术装置1103(例如，切割工具等)。自主臂的成像装置向外科医生可见的电子显示器1110输出手术场景的图像。当外科医生使用一个或多个外科医生控制的臂执行手术时，自主臂自主地调整成像装置的视图，以实时向外科医生提供手术场景的适当视图。78.外科医生使用主控制台1104控制一个或多个外科医生控制的臂1101。主控制台包括主控制器1105。主控制器1105包括一个或多个力传感器1106(例如，扭矩传感器)、一个或多个旋转传感器1107(例如，编码器)和一个或多个致动器1108。主控制台包括臂(未示出)，该臂包括一个或多个接头和手术部分。手术部分可以被外科医生抓住并移动，以促使臂围绕一个或多个接头运动。一个或多个力传感器1106检测由外科医生在一个或多个接头周围的臂的手术部分上提供的力。一个或多个旋转传感器检测臂的一个或多个接头的旋转角度。致动器1108围绕一个或多个接头驱动臂，以允许臂向外科医生提供触觉反馈。主控制台包括自然用户接口(nui)输入/输出，用于接收来自外科医生的输入信息并向外科医生提供输出信息。nui输入/输出包括手臂(外科医生移动该手臂，以提供输入信息，并且该手臂向外科医生提供触觉反馈，作为输出信息)。例如，nui输入/输出还可以包括语音输入、视线输入和/或手势输入。主控制台包括用于输出由成像装置1102捕获的图像的电子显示器1110。79.主控制台1104经由机器人控制系统1111与每个自主臂1100和一个或多个外科医生控制的臂1101通信。机器人控制系统通过有线或无线连接1123、1124和1125连接到主控制台1104、自主臂1100和一个或多个外科医生控制的臂1101。连接1123、1124和1125允许在主控制台、自主臂和一个或多个外科医生控制的臂之间交换有线或无线信号。80.机器人控制系统包括控制处理器1112和数据库1113。控制处理器1112处理从一个或多个力传感器1106和一个或多个旋转传感器1107接收的信号，并响应于一个或多个致动器1116驱动一个或多个外科医生控制的臂1101而输出控制信号。这样，主控制台1104的手术部分的移动导致一个或多个外科医生控制的臂的相应移动。81.控制处理器1112还响应于一个或多个致动器1116驱动自主臂1100而输出控制信号。响应于从一个或多个主控制台1104、一个或多个外科医生控制的臂1101、自主臂1100和任何其他信号源(未示出)接收的信号，控制处理器1112确定输出到自主臂的控制信号。接收到的信号是指示自主臂的适当位置的信号，用于由成像装置1102捕获具有适当视角的图像。数据库1113存储接收信号的值和自主臂的相应位置。82.例如，对于从主控制器的一个或多个力传感器1106和旋转传感器1107接收的信号值的给定组合(其又指示一个或多个外科医生控制的臂1101的相应运动)，自主臂1100的相应位置被设置成使得由成像装置1102捕获的图像不会被一个或多个外科医生控制的臂1101遮挡。83.作为另一示例，如果由自主臂的一个或多个力传感器1117(例如，扭矩传感器)输出的信号指示自主臂正在经历阻力(例如，由于自主臂路径中的障碍物)，则自主臂的相应位置被设置成使得成像装置1102从替代视图(例如，允许自主臂沿着不涉及障碍物的替代路径移动的视图)捕获图像。84.应当理解，可能存在指示自主臂的适当位置的其他类型的接收信号。85.控制处理器1112在数据库1112中查找接收信号的值，并检索指示自主臂1100的相应位置的信息。响应于自主臂的致动器1116使自主臂移动到指示位置，随后处理该信息，以产生进一步的信号。86.自主臂1100和一个或多个外科医生控制的臂1101中的每一个都包括臂单元1114。臂单元包括臂(未示出)、控制单元1115、一个或多个致动器1116和一个或多个力传感器1117(例如，扭矩传感器)。臂包括一个或多个允许臂运动的连杆和接头。控制单元1115向机器人控制系统1111发送信号并从机器人控制系统接收信号。87.响应于从机器人控制系统接收的信号，控制单元1115控制一个或多个致动器1116，以驱动臂绕一个或多个接头将其移动到适当的位置。对于一个或多个外科医生控制的臂1101，机器人控制系统基于从主控制台1104接收的信号(例如，由外科医生控制主控制台的臂)生成接收的信号。对于自主臂1100，由机器人控制系统在数据库1113中查找合适的自主臂位置信息来生成接收到的信号。88.响应于由一个或多个力传感器1117输出的关于一个或多个接头的信号，控制单元1115向机器人控制系统输出信号。例如，这允许机器人控制系统向主控制台1104发送指示一个或多个外科医生控制的臂1101经受的阻力的信号，以向外科医生提供相应的触觉反馈(例如，使得一个或多个外科医生控制的臂经受的阻力导致主控制台的致动器1108在主控制台的臂中引起相应的阻力)。作为另一示例，这允许机器人控制系统在数据库1113中查找合适的自主臂位置信息(例如，如果一个或多个力传感器1117指示障碍物在自主臂的路径中，则找到自主臂的替代位置)。89.自主臂1100的成像装置1102包括摄像头控制单元1118和成像单元1119。摄像头控制单元控制成像单元捕获图像，并控制捕获图像的各种参数，例如，变焦水平、曝光值、白平衡等。成像单元捕获手术场景的图像。成像单元包括捕获图像所需的所有组件，包括一个或多个透镜和图像传感器(未示出)。捕获图像的手术场景的视图取决于自主臂的位置。90.一个或多个外科医生控制的臂的手术装置1103包括装置控制单元1120、操纵器1121(例如，包括一个或多个马达和/或致动器)和一个或多个力传感器1122(例如，扭矩传感器)。91.装置控制单元1120响应于从机器人控制系统1111接收的信号，控制操纵器执行物理动作(例如，当手术装置1103是切割工具时的切割动作)。由机器人控制系统响应于由外科医生向nui输入/输出1109输入信息以控制手术装置而生成的从主控制台1104接收的信号生成这些信号。例如，nui输入/输出包括一个或多个按钮或杠杆，作为主控制台的臂的手术部分的一部分，可由外科医生操作，以使手术装置执行预定的动作(例如，当手术装置是切割工具时，打开或关闭电动刀片)。92.装置控制单元1120还接收来自一个或多个力传感器1122的信号。响应于接收到的信号，装置控制单元向机器人控制系统1111提供相应的信号，机器人控制系统又向主控制台1104提供相应的信号。主控制台经由nui输入/输出1109向外科医生提供触觉反馈。因此，外科医生从手术装置1103以及从一个或多个外科医生控制的臂1101接收触觉反馈。例如，当手术装置是切割工具时，触觉反馈包括按钮或杠杆，当来自一个或多个力传感器1122的信号指示切割工具上的力较大时，该按钮或杠杆操作切割工具，以给出较大的操作阻力(当切割较硬的材料(例如，骨头)时发生)，当来自一个或多个力传感器1122的信号指示切割工具上的力较小时，给出较小的操作阻力(当切割较软的材料(例如，肌肉)时发生)。nui输入/输出1109包括一个或多个合适的马达、致动器等，以响应于从机器人控制系统1111接收的信号来提供触觉反馈。93.图6示意性地示出了可应用本技术的计算机辅助手术系统1209的另一示例。计算机辅助手术系统1209是一种手术系统，其中，外科医生经由主从系统1126执行任务，并且计算机化手术设备1200自主执行任务。94.主从系统1126与图5相同，因此不再描述。然而，在替代实施例中，主从系统可以是与图5的系统不同的系统，或者可以完全省略(在这种情况下，系统1209自主工作，同时外科医生执行常规手术)。95.计算机化手术设备1200包括机器人控制系统1201和刀架臂设备1210。刀架臂设备1210包括臂单元1204和手术装置1208。臂单元包括臂(未示出)、控制单元1205、一个或多个致动器1206和一个或多个力传感器1207(例如，扭矩传感器)。臂包括一个或多个接头，以允许臂运动。刀架臂设备1210通过有线或无线连接1211向机器人控制系统1201发送信号和从机器人控制系统接收信号。机器人控制系统1201包括控制处理器1202和数据库1203。尽管显示为单独的机器人控制系统，但是机器人控制系统1201和机器人控制系统1111可以是同一个。手术装置1208具有与手术装置1103相同的部件。这些没有在图6中示出。96.响应于从机器人控制系统1201接收的控制信号，控制单元1205控制一个或多个致动器1206，以驱动臂绕一个或多个接头将其移动到适当的位置。手术装置1208的操作也由从机器人控制系统1201接收的控制信号控制。由控制处理器1202响应于从臂单元1204、手术装置1208和任何其他信号源(未示出)中的一个或多个接收的信号而生成控制信号。其他信号源可以包括捕获手术场景图像的成像装置(例如，主从系统1126的成像装置1102)。控制处理器1202接收的信号值与数据库1203中存储的信号值以及相应的臂位置和/或手术装置操作状态信息进行比较。控制处理器1202从数据库1203中检索与接收信号的值相关联的臂位置和/或手术装置操作状态信息。然后，控制处理器1202使用检索到的臂位置和/或手术装置操作状态信息，生成要传输到控制单元1205和手术装置1208的控制信号。97.例如，如果从捕获手术场景图像的成像装置接收的信号指示预定的手术场景(例如，经由神经网络图像分类过程等)，则在数据库1203中查找预定的手术场景，并且从数据库中检索与预定的手术场景相关联的臂位置信息和/或手术装置操作状态信息。作为另一示例，如果信号指示由一个或多个力传感器1207测量的关于臂单元1204的一个或多个接头的阻抗值，则在数据库1203中查找阻抗值，并且从数据库中检索与阻抗值相关联的臂位置信息和/或手术装置操作状态信息(例如，如果增加的阻力对应于臂路径中的障碍物，则允许臂的位置改变到替代位置)。在任一情况下，控制处理器1202随后向控制单元1205发送信号，以控制一个或多个致动器1206将臂的位置改变到由检索到的臂位置信息指示的位置，和/或向手术装置1208发送信号，以控制手术装置1208进入由检索到的操作状态信息指示的操作状态(例如，如果手术装置1208是切割工具，则将电动刀片转到“开”状态或“关”状态)。98.图7示意性地示出了可应用本技术的计算机辅助手术系统1300的另一示例。计算机辅助手术系统1300是计算机辅助医用镜系统，其中，自主臂1100保持成像装置1102(例如，诸如内窥镜、显微镜或外视镜等医用镜)。自主臂的成像装置向外科医生可见的电子显示器(未示出)输出手术场景的图像。当外科医生执行手术时，自主臂自主地调整成像装置的视图，以实时向外科医生提供手术场景的适当视图。自主臂1100与图5的相同，因此不再描述。然而，在这种情况下，提供自主臂，作为独立计算机辅助医用镜系统1300的一部分，而不是图5的主从系统1126的一部分。因此，自主臂1100可以用于许多不同的手术设置，包括例如腹腔镜手术(其中，医用镜是内窥镜)和开放手术。99.计算机辅助医用镜系统1300还包括用于控制自主臂1100的机器人控制系统1302。机器人控制系统1302包括控制处理器1303和数据库1304。有线或无线信号经由连接1301在机器人控制系统1302和自主臂1100之间交换。100.响应于从机器人控制系统1302接收到的控制信号，控制单元1115控制一个或多个致动器1116来驱动自主臂1100，以将其移动到适当的位置，用于由成像装置1102捕获具有适当视角的图像。由控制处理器1303响应于从臂单元1114、成像装置1102和任何其他信号源(未示出)中的一个或多个接收的信号而生成控制信号。由控制处理器1303接收的信号值与存储在数据库1304中的信号值以及相应的臂位置信息进行比较。控制处理器1303从数据库1304中检索与接收信号值相关的臂位置信息。然后，控制处理器1303使用检索到的臂位置信息生成要发送到控制单元1115的控制信号。101.例如，如果从成像装置1102接收的信号指示预定的手术场景(例如，经由神经网络图像分类过程等)，则在数据库1304中查找预定的手术场景，并且从数据库中检索与预定的手术场景相关联的臂位置信息。作为另一示例，如果信号指示由臂单元1114的一个或多个力传感器1117测量的阻抗值，则在数据库1203中查找阻抗值，并且从数据库中检索与阻抗值相关联的臂位置信息(例如，如果增加的阻力对应于臂路径中的障碍物，则允许臂的位置改变到替代位置)。在任一情况下，控制处理器1303随后向控制单元1115发送信号，以控制一个或多个致动器1116，从而将臂的位置改变为由检索到的臂位置信息指示的位置。102.图8示意性地示出了可应用本技术的计算机辅助手术系统1400的另一示例。该系统包括具有成像单元1102的一个或多个自主臂1100和具有手术装置1210的一个或多个自主臂1210。一个或多个自主臂1100和一个或多个自主臂1210与前面描述的那些相同。每个自主臂1100和1210由机器人控制系统1408控制，机器人控制系统包括控制处理器1409和数据库1410。有线或无线信号分别经由连接1411和1412在机器人控制系统1408和每个自主臂1100和1210之间传输。机器人控制系统1408执行先前描述的机器人控制系统1111和/或1302的功能，用于控制每个自主臂1100，并且执行先前描述的机器人控制系统1201的功能，用于控制每个自主臂1210。103.自主臂1100和1210完全自主地执行手术的至少一部分(例如，当系统1400是开放式手术系统时)。机器人控制系统1408基于指示手术的当前阶段和/或手术中发生的事件的输入信息，控制自主臂1100和1210在手术期间执行预定动作。例如，输入信息包括由图像捕获装置1102捕获的图像。输入信息还可以包括由麦克风(未示出)捕获的声音、基于手术器械(未示出)所包括的运动传感器对使用中的手术器械的检测和/或任何其他合适的输入信息。104.使用由基于机器学习的手术计划设备1402实现的合适的机器学习(ml)算法(例如，合适的人工神经网络)来分析输入信息。计划设备1402包括机器学习处理器1403、机器学习数据库1404和训练器1405。105.机器学习数据库1404包括指示手术阶段(例如，切开、切除器官或缝合)和/或手术事件(例如，出血或患者参数落在预定范围之外)的分类的信息和预先已知的对应于这些分类的输入信息(例如，在每个分类的手术阶段和/或手术事件期间由成像装置1102捕获的一个或多个图像)。通过向训练器1405提供指示每个分类的信息和相应的输入信息，在训练阶段填充机器学习数据库1404。训练器1405然后使用该信息来训练机器学习算法(例如，通过使用该信息来确定合适的人工神经网络参数)。机器学习算法由机器学习处理器1403实现。106.一旦被训练，先前看不见的输入信息(例如，手术场景的新捕获的图像)可以被机器学习算法分类，以确定与该输入信息相关联的手术阶段和/或手术事件。机器学习数据库还包括指示每个自主臂1100和1210响应于存储在机器学习数据库中的每个手术阶段和/或手术事件而采取的动作的动作信息(例如，控制自主臂1210在手术阶段“进行切口”的相关位置进行切口，并控制自主臂1210对手术事件“出血”进行适当的烧灼)。因此，基于机器学习的手术计划器1402能够响应于由机器学习算法输出的手术阶段和/或手术事件分类，确定要由自主臂1100和/或1210采取的相关动作。指示相关动作的信息被提供给机器人控制系统1408，机器人控制系统又向自主臂1100和/或1210提供信号，以使得执行相关动作。107.计划设备1402可以包括在具有机器人控制系统1408的控制单元1401内，从而允许计划设备1402和机器人控制系统1408之间的直接电子通信。替代地或额外地，机器人控制系统1408可以通过通信网络1405(例如，互联网)从其他装置1407接收信号。这允许基于这些其他装置1407执行的处理来远程控制自主臂1100和1210。在一个示例中，装置1407是云服务器，其具有足够的处理能力来快速实现复杂的机器学习算法，从而达到更可靠的手术阶段和/或手术事件分类。不同的机器学习算法可以由不同的相应装置1407使用存储在每个装置可访问的外部(例如，基于云的)机器学习数据库1406中的相同训练数据来实现。因此，每个装置1407不需要其自己的机器学习数据库(如计划设备1402的机器学习数据库1404)，并且训练数据可以更新并集中地对所有装置1407可用。每个装置1407仍然包括训练器(如训练器1405)和机器学习处理器(如机器学习处理器1403)，以实现其相应的机器学习算法。108.图9示出了臂单元1114的示例。臂单元1204以相同的方式配置。在该示例中，臂单元1114支撑内窥镜作为成像装置1102。然而，在另一示例中，支撑不同的成像装置1102或手术装置1103(在臂单元1114的情况下)或1208(在臂单元1204的情况下)。109.臂单元1114包括基座710和从基座720延伸的臂720。臂720包括多个活动接头721a至721f，并且在臂720的远端支撑内窥镜1102。连杆722a至722f基本上是杆状构件。多个连杆722a至722f的端部通过主动接头721a至721f、被动滑动机构724和被动接头726彼此连接。基座单元710充当支点，使得臂形从基座710延伸。110.通过驱动和控制设置在臂720的活动接头721a至721f中的致动器来控制内窥镜1102的位置和姿态。根据该示例，使内窥镜1102的远端进入作为治疗部位的患者体腔，并捕获治疗部位的图像。然而，内窥镜1102可以替代地是另一装置，例如，另一成像装置或手术装置。更一般地，保持在臂720端部的装置被称为远端单元或远端装置。111.在此处，通过如下定义如图11所示的坐标轴来描述臂单元700。此外，根据坐标轴定义垂直方向、纵向方向和水平方向。换言之，相对于安装在地板表面上的基座710的垂直方向被定义为z轴方向和垂直方向。此外，垂直于z轴的方向，即臂720从基座710延伸的方向(换言之，内窥镜1102相对于基座710定位的方向)，被定义为y轴方向和纵向方向。此外，垂直于y轴和z轴的方向被定义为x轴方向和水平方向。112.主动接头721a至721f将连杆彼此连接，以可旋转。主动接头721a至721f具有致动器，并且具有通过致动器的驱动而被驱动绕预定旋转轴旋转的每个旋转机构。当控制每个主动接头721a至721f的旋转驱动时，可以控制臂720的驱动，例如，延伸或收缩(折叠)臂单元720。113.被动滑动机构724是被动形状改变机构的一个方面，并且将连杆722c和连杆722d彼此连接，以沿着预定方向向前和向后移动。被动滑动机构724由例如用户操作，以向前和向后移动，并且在连杆722c的一端侧的主动接头721c和被动接头726之间的距离是可变的。利用该配置，可以改变臂单元720的整体形式。114.被动接头736是被动形式改变机构的一个方面，并且将连杆722d和连杆722e彼此连接，以可旋转。被动接头726由例如用户操作旋转，并且在连杆722d和连杆722e之间形成的角度是可变的。利用该配置，可以改变臂单元720的整体形式。115.在一个实施例中，臂单元1114具有六个主动接头721a至721f，并且关于臂720的驱动实现六个自由度。也就是说，被动滑动机构726和被动接头726不是要受到驱动控制的物体，而臂单元1114的驱动控制通过六个主动接头721a至721f的驱动控制来实现。116.具体而言，如图11所示，主动接头721a、721d和721f被设置成使得所连接的连杆722a和722e的每个长轴方向和所连接的内窥镜1102的捕获方向作为旋转轴方向。主动接头721b、721c和721e被设置为具有x轴方向作为旋转轴方向，x轴方向是连接的连杆722a至722c、722e和722f中的每一个与内窥镜1102的连接角度在y-z平面(由y轴和z轴限定的平面)内改变的方向。以这种方式，主动接头721a、721d和721f具有执行所谓的偏航的功能，主动接头421b、421c和421e具有执行所谓的俯仰的功能。117.由于相对于臂单元1114中的臂720的驱动实现了六个自由度，所以内窥镜1102可以在臂720的可移动范围内自由移动。图11示出了作为内窥镜723的可移动范围的示例的半球。假设半球的中心点rcm(远程运动中心)是由内窥镜1102捕获的治疗部位的捕获中心，在内窥镜1102的捕获中心固定在半球的中心点的状态下，通过在半球的球面上移动内窥镜1102，可以从各种角度捕获治疗部位。118.图10示出了主控制台1104的示例。提供了用于右手和左手的两个控制部分900r和900l。外科医生将双臂或双肘放在支撑基座50上，并且用右手和左手分别抓住手术部分1000r和1000l。在这种状态下，外科医生在观看显示手术部位的电子显示器1110的同时操作手术部分1000r和1000l。外科医生可以移动各个手术部分1000r和1000l的位置或方向，以远程操作附接到一个或多个从设备的手术器械的位置或方向，或者使用每个手术器械来执行抓握操作。119.本技术的一些实施例由以下编号的条款定义：120.(1)一种计算机辅助手术系统，包括：121.计算机化手术设备；以及122.控制设备；123.其中，控制设备包括电路，电路被配置为：124.接收指示手术场景的第一区域的信息，通过计算机化手术设备从手术场景的第一区域获得信息以做出决策；125.接收指示手术场景的第二区域的信息，通过医学专业人员从手术场景的第二区域获得信息以做出决策；126.确定手术场景的第一区域与第二区域之间是否存在差异；并且127.如果在手术场景的第一区域与第二区域之间存在差异：128.基于差异执行预定过程。129.(2)根据条款1所述的计算机辅助手术系统，其中：130.第一区域是当通过计算机化手术设备做出计算机决策时，通过计算机化手术设备从第一区域获得信息的区域；并且131.控制设备包括电路，电路被配置为：132.接收指示计算机化手术设备的计算机决策的信息；133.作为预定过程，控制计算机化手术设备以基于差异做出更新的计算机决策。134.(3)根据条款2所述的计算机辅助手术系统，其中，所更新的计算机决策基于第二区域。135.(4)根据条款2或3所述的计算机辅助手术系统，控制设备包括电路，电路被配置为控制计算机化手术设备以：136.调整由计算机化手术设备使用的一个或多个参数，以确定手术场景的第一区域；并且137.使用所调整的一个或多个参数做出所更新的计算机决策。138.(5)根据条款2至4中任一项所述的计算机辅助手术系统，控制设备包括电路，电路被配置为：139.接收指示计算机化手术设备的所更新的计算机决策的信息；140.将指示所更新的计算机决策的信息输出给医学专业人员；141.接收指示医学专业人员是否批准所更新的计算机决策的信息；142.如果医学专业人员批准所更新的计算机决策，控制计算机化手术设备基于所更新的计算机决策执行动作。143.(6)根据前述条款中任一项所述的计算机辅助手术系统，控制设备包括电路，电路被配置为将指示手术场景的第一区域和第二区域的信息输出给医学专业人员。144.(7)根据条款6所述的计算机辅助手术系统：145.其中，指示手术场景的第一区域的信息包括手术场景的图像和指示图像中的第一区域的信息；并且146.其中，指示手术场景的第二区域的信息包括手术场景的图像和指示图像中的手术场景的第二区域的信息。147.(8)根据前述条款中任一项所述的计算机辅助手术系统，其中，指示手术场景的第一区域的信息包括人工智能注意力热图。148.(9)根据前述条款中任一项所述的计算机辅助手术系统，其中，指示手术场景的第二区域的信息包括医学专业人员的凝视跟踪信息。149.(10)根据条款4所述的计算机辅助手术系统，其中，由计算机化手术设备使用以确定手术场景的第一区域的能够调整的一个或多个参数包括手术场景的光参数、手术场景的视角、由计算机化手术设备使用以确定手术场景的第一区域的手术场景的图像的像素值和由计算机化手术设备使用以确定手术场景的第一区域的手术场景的图像的图像类型中的一个或多个。150.(11)根据条款5所述的计算机辅助手术系统，其中：151.所更新的计算机决策基于使用多个成像模态捕获的手术场景的图像；并且152.控制设备包括电路，电路被配置为将使用多个成像模态捕获的手术场景的图像以及指示所更新的计算机决策的信息输出给医学专业人员。153.(12)根据条款1所述的计算机辅助手术系统，其中：154.计算机化手术设备从第一区域获得信息，并且医学专业人员经由手术场景的捕获图像从第二区域获得信息，手术场景的捕获图像包括计算机化手术设备能够看见但医学专业人员不能够看见的裁剪部分；并且155.如果第一区域在裁剪部分内，则预定过程包括以下至少一个：156.控制计算机化手术设备以调整用于捕获手术场景的图像的摄像头的视图，使得第一区域在图像的未裁剪区域中；157.将指示调整用于捕获手术场景的图像的摄像头的视图，使得第一区域在图像的未裁剪区域中的需要的信息输出给医学专业人员。158.(13)根据前述条款中任一项所述的计算机辅助手术系统，其中：159.计算机化手术设备包括电路，电路被配置为确定计算机化手术设备的手术工具的操作参数以及操作参数的值是否落在预定范围之外；并且160.控制设备包括电路，电路被配置为：161.如果手术工具的操作参数的值落在预定范围之外，确定手术工具是否在第二区域内；并且162.如果手术工具不在第二区域内；163.将指示手术工具的操作参数的值落在预定范围之外的信息输出给医学专业人员。164.(14)根据前述条款中任一项所述的计算机辅助手术系统，其中，计算机辅助手术系统是计算机辅助医学视觉镜系统、主从系统或开放式手术系统。165.(15)一种手术控制设备，包括电路，电路被配置为：166.接收指示手术场景的第一区域的信息，通过计算机化手术设备从手术场景的第一区域获得信息以做出决策；167.接收指示手术场景的第二区域的信息，通过医学专业人员从手术场景的第二区域获得信息以做出决策；168.确定手术场景的第一区域与第二区域之间是否存在差异；并且169.如果在手术场景的第一区域与第二区域之间存在差异：170.基于差异执行预定过程。171.(16)一种手术控制方法，包括：172.接收指示手术场景的第一区域的信息，通过计算机化手术设备从手术场景的第一区域获得信息以做出决策；173.接收指示手术场景的第二区域的信息，通过医学专业人员从手术场景的第二区域获得信息以做出决策；174.确定手术场景的第一区域与第二区域之间是否存在差异；并且175.如果在手术场景的第一区域与第二区域之间存在差异：176.基于差异执行预定过程。177.(17)一种程序，用于控制计算机执行根据条款16所述的手术控制方法。178.(18)一种非暂时性存储介质，存储根据条款17所述的计算机程序。179.根据上述教导，本公开的许多修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，本公开可以不同于本文具体描述的方式实施。180.就本公开的实施例已经被描述为至少部分地由软件控制的数据处理设备来实现而言，应当理解，承载这种软件的非暂时性机器可读介质(例如，光盘、磁盘、半导体存储器等)也被认为表示本公开的实施例。181.应当理解，为了清楚起见，以上描述已经参考不同的功能单元、电路和/或处理器描述了实施例。然而，很明显，在不偏离实施例的情况下，可以使用不同功能单元、电路和/或处理器之间的任何合适的功能分布。182.所描述的实施例可以以任何合适的形式实现，包括硬件、软件、固件或这些的任意组合。所描述的实施例可以可选地至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。任何实施例的元件和组件可以以任何合适的方式在物理上、功能上和逻辑上实现。实际上，该功能可以在单个单元中、多个单元中或者作为其他功能单元的一部分来实现。这样，所公开的实施例可以在单个单元中实现，或者可以在物理上和功能上分布在不同的单元、电路和/或处理器之间。183.尽管已经结合一些实施例描述了本公开，但是本公开并不旨在局限于本文阐述的特定形式。此外，尽管一个特征可能看起来是结合特定实施例来描述的，但是本领域技术人员将认识到，所描述的实施例的各种特征可以以适合于实现该技术的任何方式来组合。184.引用列表185.非专利文献186.非专利文献1:jinkyukimandjohncanny,2017,2017ieeeinternationalconferenceoncomputervision(iccv),187.http://openaccess.thecvf.com/content_iccv_2017/papers/kim_interpretable_learning_for_iccv_2017_paper.pdf当前第1页12当前第1页12
背景技术：
：：2.本文提供的“背景”描述是为了总体上呈现本公开的上下文。在本
背景技术：
：部分中描述的程度上，当前命名的发明人的工作以及在提交时可能不被认为是现有技术的描述的方面既不明确地也不隐含地被认为是针对本发明的现有技术。3.一些计算机辅助手术系统允许人类外科医生和计算机化手术设备(例如，手术机器人)在进行手术时一起工作。计算机辅助手术系统包括例如计算机辅助医用镜或摄像头系统(例如，当人类外科医生使用医用镜图像进行手术时，计算机化手术设备保持和定位医用镜(也称为医疗视觉镜)，例如，医疗内窥镜、手术显微镜或手术外镜)、主从系统(包括外科医生用来控制机器人从属设备的主设备)和开放式手术系统，其中，外科医生和计算机化手术设备在手术期间自主地执行任务。4.这种计算机辅助手术系统的一个问题是，人类外科医生做出的人类决策和计算机化手术设备做出的计算机决策之间有时存在差异。在这种情况下，很难知道为什么会出现决策差异，反过来，也很难知道人类和计算机的哪个决策是正确的。这个问题需要一个解决方案。技术实现要素：5.根据本公开，提供了一种计算机辅助手术系统，该系统包括计算机化手术设备和控制设备，其中，该控制设备包括电路，该电路被配置为：接收指示手术场景的第一区域的信息，计算机化手术设备从第一区域获得信息以做出决策；接收指示手术场景的第二区域的信息，医学专业人员从第二区域获得信息以做出决策；确定手术场景的第一区域和第二区域之间是否存在差异；并且如果在手术场景的第一区域和第二区域之间存在差异：则基于该差异执行预定过程。附图说明6.通过结合附图参考以下详细描述，将最好地理解本公开的非限制性实施例和优点。7.图1示意性示出了计算机辅助手术系统；8.图2示意性地示出了控制设备和计算机化手术设备控制器；9.图3a示意性地示出了由人类外科医生和手术机器人看到的手术场景；10.图3b示意性地示出了在调整一个或多个参数之后手术机器人看到的手术场景；11.图4示出了手术控制方法；12.图5示意性地示出了可应用本技术的计算机辅助手术系统的第一示例；13.图6示意性地示出了可应用本技术的计算机辅助手术系统的第二示例；14.图7示意性地示出了可应用本技术的计算机辅助手术系统的第三示例；15.图8示意性地示出了可应用本技术的计算机辅助手术系统的第四示例；16.图9示意性地示出了臂单元的示例；17.图10示意性地示出了主控制台的示例。18.在所有附图中，相同的附图标记表示相同或相应的部分。具体实施方式19.图1示出了使用开放式手术系统对患者106进行的手术。患者106躺在手术台105上，人类外科医生104和计算机化手术设备103一起执行手术。20.每个人类外科医生和计算机化手术设备监控手术的一个或多个参数，例如，从一个或多个患者数据收集设备收集的患者数据(例如，来自ecg监视器的心电图(ecg)数据、来自血压监视器的血压数据等，患者数据收集设备在本领域中是已知的，并且未详细示出或讨论)以及通过分析手术图像(由外科医生的眼睛或计算机化手术设备的摄像头109捕获)或手术声音(由外科医生的耳朵或计算机化手术设备的麦克风(未示出)捕获)确定的一个或多个参数。每个人类外科医生和计算机化手术设备在手术期间执行相应的任务(例如，一些任务由外科医生专门执行，一些任务由计算机化手术设备专门执行，一些任务由外科医生和计算机化手术设备执行)，并且使用所监控的一个或多个外科参数来决定如何执行那些任务。21.外科医生和计算机化手术设备有时会做出冲突的决策。例如，基于图像分析，计算机化手术设备可以确定患者中已经发生了意外出血，并且应该采取措施来停止出血。然而，外科医生可能会决定没有意外出血，并且不需要采取任何行动。因此，需要解决这一冲突，以便做出正确的决策。本技术通过在计算机化手术设备做出决策时确定外科医生和计算机化手术设备所关注的手术场景的视觉区域中是否存在差异来帮助满足这一需求，并且如果存在差异，则控制计算机化手术设备来重新评估手术场景。计算机化手术设备根据重新评估的手术场景做出更新的决策。外科医生可以接受或拒绝这个决策。可以向外科医生提供关于为什么计算机化手术设备做出特定决策的信息，以帮助他们确定哪个决策(即人类决策或计算机决策)是正确的。22.尽管图1示出了开放式手术系统，但是本技术也适用于其他计算机辅助手术系统，其中，计算机化手术设备(例如，其在计算机辅助医用镜系统中持有医用镜或者其在主从系统中是从属设备)能够做出可能与外科医生的决策相冲突的决策。因此，计算机化手术设备是一种包括计算机的手术设备，该计算机能够使用一个或多个手术监控参数来做出关于手术的决策。作为非限制性示例，图1的计算机化手术设备103是能够基于由摄像头109捕获的图像做出决策并采取自主行动的手术机器人。23.机器人103包括控制器110和一个或多个手术工具107(例如，可移动的手术刀、夹具或机械手)。控制器110连接到用于捕获手术图像的摄像头109、用于调整摄像头109位置的可移动摄像头臂112以及可调整手术照明111，可调整手术照明照亮手术场景并具有一个或多个可调整照明参数，例如，亮度和颜色。例如，可调整手术照明包括多个相应不同颜色的发光二极管(led，未示出)。每个led的亮度是可单独调整的(通过可调整手术照明的适当控制电路(未示出))，以允许调整led输出的光的整体颜色和亮度。控制器110还连接到控制设备100。控制设备100连接到另一摄像头108，用于捕获外科医生眼睛的图像，用于注视跟踪，并且连接到保持在支架102上的电子显示器102(例如，液晶显示器)，使得外科医生104在手术期间可以看到电子显示器102。根据本技术，控制设备100比较外科医生104和机器人103关注的手术场景的视觉区域，以帮助解决外科医生和计算机决策的冲突。24.图2示出了控制设备100和控制器110的一些组件。25.控制设备100包括用于向控制器110发送电子信息和/或从控制器接收电子信息的控制接口201、用于向电子显示器102发送表示要显示的信息的电子信息的显示接口202、用于处理电子指令的处理器203、用于存储要处理的电子指令以及与电子指令相关联的输入和输出数据的存储器204、用于长期存储电子信息的存储介质205(例如，硬盘驱动器，固态驱动器等)、用于接收表示由摄像头108捕获的外科医生眼睛图像的电子信息的摄像头接口206以及用户接口214(例如，包括触摸屏、物理按钮、语音控制系统等)。例如，控制接口201、显示接口202、处理器203、存储器204、存储介质205、摄像头接口206和用户接口214中的每一个都使用适当的电路来实现。处理器203控制控制接口201、显示接口202、存储器204、存储介质205、摄像头接口206和用户接口214中的每一个的操作。26.控制器110包括用于向控制设备100发送电子信息和/或从控制设备接收电子信息的控制接口207、用于处理电子指令的处理器208、用于存储要处理的电子指令以及与电子指令相关联的输入和输出数据的存储器209、用于长期存储电子信息的存储介质210(例如，硬盘驱动器、固态驱动器等)、用于向机器人103的一个或多个手术工具107发送电子信息和/或从其接收电子信息以控制一个或多个手术工具的工具接口211、用于接收表示由摄像头109捕获的手术场景的图像的电子信息并向摄像头109和可移动摄像头臂112发送电子信息和/或从其接收电子信息以控制摄像头109的操作和可移动摄像头臂112的移动的摄像头接口212、以及用于向可调整手术照明111发送电子信息和/或从其接收电子信息以调整一个或多个手术照明参数的照明接口213。例如，控制接口207、处理器208、存储器209、存储介质210、工具接口211、摄像头接口212和照明接口213中的每一个都使用适当的电路来实现。处理器208控制控制接口107、存储器209、存储介质210、工具接口211、摄像头接口212和照明接口213中的每一个的操作。控制器110控制机器人103根据机器人103的能力做出决策并采取自主手术动作(例如，使用一个或多个手术工具107)。27.图3a示出了外科医生104和机器人103做出冲突决策的示例情况。外科医生(用他们的眼睛)和机器人103(用摄像头109)都在观察包括患者肝脏300和血管301的手术场景。外科医生和机器人正从不同的角度观察手术场景。控制设备100监控外科医生和机器人正在关注的场景区域(即，外科医生和机器人用来获得关于场景的信息(特别是视觉信息)以做出决策的场景区域)。当机器人做出决策时，控制设备接收指示该决策的信息。响应于此，比较外科医生和机器人在直到做出机器人决策的预定时间段内关注的场景区域。28.通过追踪外科医生的凝视来确定外科医生正在关注的区域。可以使用任何合适的已知凝视跟踪技术。在这个示例中，通过在由摄像头108捕获的图像中跟踪外科医生眼睛的位置来跟踪外科医生的凝视。在手术前，进行校准程序，其中，指示外科医生观察场景的多个区域中的每一个。当外科医生观察每个区域时，捕获外科医生眼睛的图像，并检测外科医生眼睛在图像中的位置(例如，使用任何合适的已知物体检测技术)。这允许确定由摄像头108捕获的图像中外科医生眼睛的位置和外科医生正在观看的场景区域之间的映射。指示该映射的信息存储在存储介质205中。在手术期间，该信息随后被控制设备100用来确定外科医生在任何给定时间正在观察的场景区域(即，外科医生的注视位置)。在图3a中，控制设备100确定在直到做出机器人决策的预定时间段期间，外科医生的凝视主要在场景的区域x、y、z和t中(例如，基于外科医生的凝视相对于场景的其他区域停留在这些区域上的时间量)。这些被确定为外科医生关注的区域。29.通过分析摄像头109捕获的图像区域来确定机器人正在关注的区域，这些区域最有可能影响机器人使用这些图像做出的决策。有各种已知的技术可以做到这一点。一个示例是非专利文献1，其允许生成人工智能(ai)注意力热图，该热图指示对图像分类卷积神经网络(cnn)的输出影响最大的捕获图像的区域。指示由摄像头109捕获的图像区域和场景区域之间的映射的信息被存储在存储介质205中。在手术期间，该信息随后被控制设备100用于在做出决策时确定机器人正在关注的场景的区域(例如，机器人做出的每个决策基于由摄像头109捕获的图像的分类)。控制设备100将区域b、g、y和x确定为在直到做出机器人决策的预定时间段期间机器人正在关注的区域(例如，基于机器人相对于场景的其他区域关注这些区域的时间量)。30.因此，控制设备100识别外科医生104关注的区域x、y、z和t与机器人103关注的区域x、y、b和g之间的差异。通过确保在由摄像头108捕获的图像中映射到外科医生的相应眼睛位置的场景区域与映射到由摄像头109捕获并由机器人用于分类和决策的图像的相应区域的场景区域相同，区域的比较是可能的。这种情况下的差异指示机器人做出的计算机决策可能不同于外科医生做出的人类决策。31.在一个实施例中，当仅由外科医生关注的场景区域与仅由机器人关注的场景区域在空间上分开超过预定阈值时，出现差异。可以基于相关手术的可接受的差异来预先选择阈值。在记录差异之前，较大的阈值允许机器人和外科医生关注的区域有较大的偏差(例如，当快速完成手术而没有不必要的中断是最重要的时，这是合适的)。在记录差异之前，较小的阈值允许机器人和外科医生关注的区域偏差较小(例如，这适用于复杂的手术，即使花费很长时间也必须正确完成)。32.在这种情况下，计算机的决策不同于人类的决策。外科医生决定手术的下一步应该是动作1(例如，进入预定外科手术的下一阶段)。然而，机器人已经决定手术的下一步应该是动作2(例如，采取行动来减轻检测到的血管301出血)。该差异可能是(1)当外科医生关注区域x、y、z和t(区域t包括血管301)时，关注区域x、y、b和g(主要包括肝脏300但不包括血管301)的机器人产生的错误的结果。或者，这种差异可能是(2)外科医生产生的错误的结果(尽管外科医生注意到了包括血管在内的区域t，但由于人为错误，他可能没有注意到出血)。33.控制设备100使得可以通过控制机器人103关注外科医生104先前关注的区域z和t而不是机器人来确定(1)和(2)中哪一个更有可能，并且基于这些区域做出更新的计算机决策。通过调整机器人在图像处理中使用的一个或多个合适的参数，控制机器人关注先前被忽略的区域z和t。例如，如果机器人使用图像分类cnn来对摄像头109捕获的图像进行分类并基于这些分类做出决策，则可以调整cnn的权重，以增加区域z和t在分类过程中的影响。34.为了提高更新的决策的准确性，控制设备100可以控制机器人103来调整机器人在做出初始决策时使用的一个或多个其他参数。例如，控制机器人，以调整可调整手术照明111的一个或多个照明参数和/或使用可移动摄像头支撑臂112调整摄像头109的位置。这有助于减少通过摄像头109观察到的手术场景的任何视觉条件的影响，当做出初始决策时，这些视觉条件可能已经阻碍机器人关注和/或基于区域z和t做出决策。35.在一个示例中，由摄像头109在区域z和t中捕获的图像中的物体识别可用于确定一个或多个照明参数的合适值。例如，由于区域t包括血管，因此可以选择一个或多个照明参数的合适值，这有助于在捕获的图像中从视觉上区分具有血管301颜色的物体和具有其他颜色的物体。这是通过将光改变成与血管301的颜色更精确匹配的颜色(例如，与血管301的红色更精确匹配的红色阴影)和/或增加光的亮度来实现的。这在图3b中示出。更高度区分的血管允许机器人更精确地确定血管301是否确实有出血。36.在一个示例中，摄像头被定位109为具有与做出初始决策时外科医生相似的视角。这也在图3b中示出，其示出了重新定位的摄像头和由重新定位的摄像头捕获的场景图像(其在透视图中类似于图3a的外科医生的场景视图)。这允许机器人从与外科医生相似的视角看到手术场景，外科医生可以更好地看到场景中与决策相关的部分(例如，机器人确定正在出血的血管301的部分)。同样，这允许机器人更准确地确定是否确实存在血管301的出血。在一个示例中，控制设备100监控外科医生104在手术室中的位置，并控制摄像头109重新定位成靠近(例如，在预定距离内)做出初始决策时外科医生的监控位置。外科医生在手术室中的位置是已知的，例如，通过在由捕获整个手术室的图像(例如，使用任何合适的已知物体检测技术)的另一摄像头(未示出)捕获的图像中识别外科医生。捕获图像中的位置被映射到手术室中的位置(例如，指示该映射的信息被存储在存储介质205中)，从而允许基于外科医生在捕获图像中的检测位置来确定他们在手术室中的位置。摄像头109然后移动到外科医生的检测位置的预定距离内的位置。这是可能的，例如，通过存储介质205存储指示手术室中的位置和确定摄像头109的位置的可移动摄像头臂112的一个或多个参数之间的映射的信息。在实施例中，摄像头109移动到离外科医生预定的距离范围内，距离范围的最小值被设置为避免外科医生与摄像头109的碰撞，距离范围的最大值被设置为使得摄像头109的视角充分接近机器人做出初始决策时外科医生的视角。37.一旦机器人103做出了更新的决策并将其提供给控制设备100，控制设备就向电子显示器102输出指示更新的决策的视觉信息，以供外科医生查看。如果更新的决策与初始决策(即动作2)相同，即使在用不同的光和/或不同的摄像头角度观察了先前被忽略的区域z和t之后，场景(2)(即外科医生错误)也更有可能。或者，如果更新的决策不同于初始决策(例如，由外科医生初始确定的动作1)，则场景(1)(即，机器人错误)更有可能。控制设备100在接收到来自外科医生的确认时，响应于更新的决策来控制机器人采取的动作(例如，如果更新的决策是动作1，则执行与前进到预定外科手术的下一阶段相关联的动作，或者如果更新的决策是动作2，则执行与减轻检测到的血管301的出血相关联的动作)。经由用户接口214从外科医生接收确认。因此，本技术允许对手术机器人103做出的计算机决策进行改进的验证。这是因为，当机器人做出计算机决策时，如果外科医生关注的手术场景的区域不同于机器人的区域，则机器人寻找额外信息，并且如果需要，在将该决策通知外科医生之前更新计算机决策。因此，计算机决策更有可能是准确的。38.在一个实施例中，指示由机器人103做出的计算机决策的信息作为消息与选项一起在电子显示器102上显示，以供外科医生(a)接受该决策(在这种情况下，机器人执行与计算机决策相关联的任何动作，例如，停止血管301的出血的动作)，或(b)拒绝该决策(在这种情况下，机器人继续执行如果没有做出计算机决策他们会执行的任何动作，例如，与预定外科手术的下一阶段相关联的动作)。外科医生经由用户接口214选择(a)或(b)。在一个示例中，用户接口214包括麦克风和语音识别软件，当检测到外科医生说“接受”时，接受计算机决策，或者当检测到外科医生说“拒绝”时，拒绝计算机决策。当显示的计算机决策是更新的计算机决策时，控制设备100可以控制电子显示器102显示指示该决策是更新的决策的信息以及指示初始决策的信息和关于如何做出更新的决策的信息。指示如何做出更新的决策的信息包括例如当做出初始决策时外科医生和机器人关注的手术场景的不同区域(例如，通过显示图3a的场景的图像(如由摄像头109捕获的)覆盖有指示当做出初始决策时外科医生和机器人中的每一个关注的区域的信息，可选地，如此指示机器人关注但外科医生不关注的区域(经由适当的突出显示等)，因此外科医生能够快速确定他们可能遗漏了什么的区域)和指示用于做出更新决策的一个或多个调整参数(例如，照明颜色和/或亮度和/或摄像头109的角度，可选地包括如图3b所示的由摄像头109捕获的替代照明和/或视角图像)的信息。39.这使得外科医生能够更好地理解机器人的决策过程，这反过来允许他们对是否接受机器人提供的更新决策做出更明智的决策。例如，在图3a中，如果机器人的更新决策是血管301的出血已经发生并且因此应该迅速缓解，则外科医生将能够从电子显示器102显示的信息中看到，机器人最初没有关注外科医生关注的区域t(包括血管301)，但是在得出更新决策时，机器人已经注意到该区域，并且进一步调整了摄像头109的照明和位置，以获得尽可能多的关于该区域的信息。因此，外科医生可以再次仔细观察区域t，并接受或拒绝来自机器人的更新决策。因此，机器人的决策过程对外科医生来说更加透明，这最终允许外科医生在接受或拒绝机器人做出的决策时做出更明智的决策。40.当从机器人103确定更新的计算机决策时，可以调整任何其他参数(代替或除了照明和/或视角参数之外)。例如，在由摄像头109捕获并由机器人用于做出初始决策的图像区域(例如，与机器人最初未关注的场景中的区域z和t相对应的图像区域)中的对抗性像素变化(或被设计成通过改变一个或多个像素的值来影响基于人工智能的图像分类过程的另一变化)可以在图像分类之前进行，以确定更新的决策。可以进行多种这样的变化，并且提供产生的最常见的分类(和相应的最常见的更新决策)，作为更新决策。这有助于减轻更新决策中噪声的影响。可调参数的另一示例是所拍摄图像的类型(例如，摄像头109可以包括能够使用不同类型的电磁辐射(例如，可见光、紫外线和红外线)捕获图像的多个图像传感器，并且在确定外科医生104和机器人103的关注区域的差异时，控制设备100控制摄像头109使用与先前使用的传感器不同的传感器来捕获图像，并且对新捕获的图像执行图像分类)。在外科医生和机器人注意区域不一致的情况下，控制设备100还可以控制机器人重新校准由摄像头109用来捕获手术场景图像的图像传感器。41.更一般地，可以用不同的相应调整参数集来做出多个候选更新决策。然后，输出最常见的候选更新决策，作为将被外科医生104接受或拒绝的更新决策。调整参数的程度(例如，调整了多少参数以及对每个参数进行了多少调整)以及因此有多少候选更新决策，可能取决于一个或多个因素，例如，外科医生104和机器人103的注意力不同的程度、做出错误决策的风险、外科医生和机器人的相应视角和/或机器人在做出决策时使用的成像类型。例如，当在机器人和外科医生的关注区域中有更大的重叠时(例如，当外科医生关注的也由机器人关注的区域的百分比超过预定量时)和/或当做出错误决策的风险较低时(例如，低于预定阈值)，可以调整更少的参数和/或对每个参数进行更少的调整，以产生更少数量的候选更新决策。相反，当在机器人和外科医生的关注区域中有较少的重叠时(例如，当外科医生关注的区域中机器人也关注的区域的百分比小于预定量时)和/或当做出错误决策的风险较高时(例如，高于预定阈值)，可以调整更多的参数和/或对每个参数进行更多的调整，以产生更高数量的候选更新决策。例如，与机器人可能做出的每个计算机决策的错误决策相关联的风险被存储(例如，作为数值，风险越高，该数值越高)在存储介质205中。调整参数以确定候选更新决策的程度，并且最终，更新的决策可以与更新的决策以及接受或拒绝更新的决策的选项一起在电子显示器102上向外科医生显示。42.尽管以上描述考虑了外科医生，但是本技术可应用于手术室中的任何人类监督者(例如，诸如麻醉师、护士等另一医学专业人员)，可以监视其对手术场景区域的注意力(例如，通过凝视跟踪)，并且其决策可能与计算机化手术设备做出的决策相冲突。43.机器人用来做出决策的图像分类使用图像的任何合适的特征来进行分类。例如，图像分类可以识别图像中的预定物体(例如，特定器官或手术工具)，或者可以利用图像颜色、地形或纹理。在图像分类过程中可以使用任何合适的已知技术。44.尽管上述示例中的计算机决策涉及是否应该采取行动(例如，停止出血或继续手术的下一个预定步骤，进行切口或不进行切口等)，但是计算机决策可以是另一种类型的决策，例如，决定特定物体是特定器官或者决定特定组织区域是正常还是异常。应当理解，本技术可以应用于任何类型的决策。45.尽管在上述示例中，使用由摄像头108捕获的图像来跟踪外科医生的凝视，但是可以使用任何其他合适的凝视跟踪技术(例如，由外科医生佩戴的头戴式装置，其使用电描记术(eog)直接跟踪眼睛运动)。类似地，电子显示器102可以是外科医生佩戴的可安装在头上的显示器(hmd)等的一部分，而不是外科医生可看到的独立装置(例如，监视器或电视)(如图1所示)。46.在一个实施例中，控制设备100确定更新的决策的置信度等级，该置信度等级指示更新的决策是正确决策的可能性，并且使得电子显示器102显示具有更新的决策的置信度等级。可以使用任何合适的方法来确定置信度等级，并且可以由机器人控制器110的处理器208作为图像分类过程的一部分来计算(在这种情况下，置信度值被提供给控制设备100，用于随后在电子显示器102上显示)。在初始决策也与置信度值相关联的情况下，控制设备100可以指示置信度值或者初始决策和更新决策，或者至少可以指示更新决策的置信度值是高于还是低于初始决策的置信度值。这为外科医生提供了进一步的信息，帮助他们决定是否接受或拒绝更新的决策。47.在一些实施例中(例如，计算机辅助医用镜系统或主从系统)，机器人仍然对手术期间的某个阶段或活动做出决策，但是该决策用于通知外科医生的动作，而不是机器人直接独立地执行动作。当使用计算机辅助手术系统时，外科医生可以通过查看手术场景的捕获图像(例如，由医用镜或手术机器人的摄像头捕获的)而不是手术场景本身来查看手术场景。在这种情况下，外科医生对捕获的图像而不是手术场景本身的凝视用来确定外科医生的注意区域(然后将其直接与同一图像上机器人的注意区域进行比较)。48.在一个示例中，机器人可以获得额外的成像模式来帮助计算机做出决策。例如，外科医生观察到的医用镜图像通常可以是易于解释的rgb图像，而从连接到机器人(未示出)的其他成像装置获得的其他模态(例如，使用不同的波长来提供超光谱成像)可能是可用的，但是对于外科医生来说不太直观。49.人类和机器人注意区域的比较允许更有效地使用场景的更直观的图像(例如，rgb图像)和不太直观的图像(例如，高光谱图像)的组合。下面的示例手术序列(其是一个实施例)说明了这一点：50.1.外科医生在机器人(例如，计算机辅助医用镜系统中的机器人或主从手术机器人)的帮助下进行手术。51.2.机器人使用如前所述的rgb图像来评估手术场景，但是还结合了一种或多种其他成像模式来帮助做出决策。52.3.同时，外科医生评估手术场景，以做出人类决策，但仅使用rgb观看模式来这样做。53.4.检测rgb图像的人类和机器人注意区域的差异。54.因此，人类和机器人的决策可能存在差异。55.5.响应于该差异，针对rgb图像和一个或多个其他成像模态中的每一个，调整机器人用于做出决策的一个或多个参数。56.6.机器人根据调整后的参数做出更新的决策。控制设备100输出指示更新的决策的信息，以显示在电子显示器102上，并且输出从机器人用于做出更新的决策的替代观看模式确定的信息(例如，一个或多个图像)。57.因此，外科医生一直被提供更直观的图像(例如，rgb图像)，并且只有当机器人做出更新的决策时才被提供不太直观的图像(例如，高光谱图像)。这改善了呈现较少直观信息和较多不太直观信息之间的平衡。58.在该示例中，机器人正在关注的场景的区域(例如，如步骤4中所确定的)也可以使用机器人使用另一模态捕获的场景的图像(例如，高光谱图像)来评估。在这种情况下，机器人和外科医生可能关注的场景区域以相同的方式定义。然而，外科医生经由rgb图像观看场景，而机器人经由不同的图像模态观看场景。59.因此，由于使用不同图像模态的机器人比使用rgb图像的外科医生更容易检测到场景中的事件，所以可能会出现注意区域的差异。60.在一个示例中，由于显示医用镜图像的监视器所施加的限制，在医用镜或主从手术期间向外科医生显示的视野比机器人可见的视野窄。例如，可以裁剪医用镜图像的边缘，以便于外科医生观察手术场景。在这种情况下，机器人可以获得外科医生不能获得的额外信息。因此，一个问题是何时改变摄像头视图，以向外科医生显示图像的其他裁剪区域。本技术通过指示当一个或多个机器人注意区域在图像的裁剪区域中时应该改变摄像头视角来缓解这个问题。下面的示例手术序列(其是一个实施例)说明了这一点：61.1.在手术过程中，机器人使用手术场景的捕获图像中的信息做出决策。该图像包括外科医生不可见的裁剪区域。62.2.当一个或多个机器人注意区域在裁剪区域中时，控制设备100使显示设备102向外科医生显示指示这一点的信息。然后，可以改变摄像头视图(例如，由外科医生或内窥镜医生手动改变，或者由机器人103在控制设备100的控制下自动改变)，以向外科医生显示机器人关注的图像的裁剪区域。因此，裁剪区域的适当部分(其中，可能已经发生了事件，但是他们的外科医生不会看到)被显示给外科医生，从而为他们提供更多的信息来做出决策。63.在一个示例中，在使用开放或主从手术系统的手术期间，外科医生可以仅使用捕获的rgb图像做出决策。没有其他信息(例如，触觉反馈等)，没有力或纹理的指示被提供给外科医生。另一方面，机器人可能能够考虑这样的信息(例如，基于由机器人的一个或多个工具包括的一个或多个加速度计(未示出)、力传感器(例如，压电装置)等输出的信息)。外科医生无法获得力信息。例如，机器人可能能够使用力信息来确定工具何时卡在体腔内的组织上(例如，工具的力传感器的输出是否超过预定阈值，或者更一般地，是否在预定范围之外，或者工具的加速度计的输出是否指示工具减速，其幅度超过预定阈值，或者更一般地，是否在预定范围之外)。如果合适的话，本技术允许外科医生知道该信息。下面的示例手术序列(其是一个实施例)说明了这一点：64.1.机器人使用如前所述的rgb图像做出决策，但是也评估指示机器人的工具的力和/或运动数据的信息。外科医生无法获得这些信息。通过例如以下方式提取该信息：65.a.使用机器人工具和组织之间相互作用的视觉评估(例如，当rgb图像包括机器人工具时，在rgb图像上使用合适的已知物体检测方法、图像分类方法等)；和/或66.b.使用机器人工具包括的一个或多个额外传感器(例如，加速度计、力传感器等)。67.使用该信息，机器人能够确定异常的力和/或运动数据(例如，力是否超过预定阈值或者机器人工具的速度是否下降到预定阈值以下)，并使用该数据做出决策(例如，暂停手术过程并警告外科医生检查可能已经卡住的工具)。68.2.当检测到人和机器人注意区域之间的差异并且该差异与异常力和/或运动数据相关时(例如，如果人的注意区域指示人不太可能注意到包括机器人工具的rgb图像的区域，其中，已经记录了异常力和/或运动数据)，控制设备100控制电子显示器102输出指示检测到异常力和/或运动的区域的信息(例如，作为重叠在rgb图像上的信息)。可以显示异常力和/或运动的指示(由机器人103的控制器110经由工具接口211接收该信息)。69.因此，本技术通过实现机器人系统的直观监控和机器人决策的改进的可解释性，改进了手术环境中的人机协作。具体而言，通过比较人和机器人的注意区域，能够实现机器人系统的直观的人监督，这可以根据验证机器人决策的需要来确定。通过视觉信息的输出(例如，覆盖有指示人和机器人的注意区域的信息的手术场景的图像、用于生成更新的机器人决策的调整后的参数等)，能够提高机器人决策的可解释性)，这是人类管理者很容易理解的。这为人类提供了机器人如何做出某个决策的信息。此外，增加了计算机辅助手术的专门培训和校准的机会。例如，人类和机器人的注意区域的差异可以用于识别机器人的决策协议或成像过程中的缺陷。70.图4示出了示出由根据实施例的控制设备100执行的方法的流程图。71.该方法开始于步骤401。72.在步骤402，控制接口201接收指示计算机化手术设备(例如，机器人103)正在关注的手术场景的第一区域(例如，区域x、y、b和/或g)的信息。例如，接收的信息是指示ai关注图的信息。73.在步骤403，摄像头接口206接收指示人类(例如，外科医生104)正在关注的手术场景的第二区域(例如，区域x、y、z和/或t)的信息。例如，接收的信息是指示用于凝视跟踪的人眼位置的信息。74.在步骤404，处理器203确定第一和第二区域中是否存在差异。75.如果没有差异，该方法在步骤406结束。76.如果存在差异，则该方法前进到步骤405，在步骤405中，基于该差异执行预定过程。预定过程包括例如控制计算机化手术设备基于差异做出更新的决策(例如，通过关注第二区域和/或调整计算机化手术设备用于确定第一区域的一个或多个参数)，改变摄像头视图(或指示应当改变摄像头视图)，以允许人类看到手术场景的图像的先前裁剪区域，或指示落在预定范围之外的手术工具的操作参数的值，如上所述。该方法然后在步骤406结束。77.图5示意性地示出了本技术适用的计算机辅助手术系统1126的示例。计算机辅助手术系统是一个主从系统，包括一个自主臂1100和一个或多个外科医生控制的臂1101。自主臂保持成像装置1102(例如，外科摄像头或医学视觉镜，例如，医学内窥镜、手术显微镜或手术外视镜)。一个或多个外科医生控制的臂1101均保持手术装置1103(例如，切割工具等)。自主臂的成像装置向外科医生可见的电子显示器1110输出手术场景的图像。当外科医生使用一个或多个外科医生控制的臂执行手术时，自主臂自主地调整成像装置的视图，以实时向外科医生提供手术场景的适当视图。78.外科医生使用主控制台1104控制一个或多个外科医生控制的臂1101。主控制台包括主控制器1105。主控制器1105包括一个或多个力传感器1106(例如，扭矩传感器)、一个或多个旋转传感器1107(例如，编码器)和一个或多个致动器1108。主控制台包括臂(未示出)，该臂包括一个或多个接头和手术部分。手术部分可以被外科医生抓住并移动，以促使臂围绕一个或多个接头运动。一个或多个力传感器1106检测由外科医生在一个或多个接头周围的臂的手术部分上提供的力。一个或多个旋转传感器检测臂的一个或多个接头的旋转角度。致动器1108围绕一个或多个接头驱动臂，以允许臂向外科医生提供触觉反馈。主控制台包括自然用户接口(nui)输入/输出，用于接收来自外科医生的输入信息并向外科医生提供输出信息。nui输入/输出包括手臂(外科医生移动该手臂，以提供输入信息，并且该手臂向外科医生提供触觉反馈，作为输出信息)。例如，nui输入/输出还可以包括语音输入、视线输入和/或手势输入。主控制台包括用于输出由成像装置1102捕获的图像的电子显示器1110。79.主控制台1104经由机器人控制系统1111与每个自主臂1100和一个或多个外科医生控制的臂1101通信。机器人控制系统通过有线或无线连接1123、1124和1125连接到主控制台1104、自主臂1100和一个或多个外科医生控制的臂1101。连接1123、1124和1125允许在主控制台、自主臂和一个或多个外科医生控制的臂之间交换有线或无线信号。80.机器人控制系统包括控制处理器1112和数据库1113。控制处理器1112处理从一个或多个力传感器1106和一个或多个旋转传感器1107接收的信号，并响应于一个或多个致动器1116驱动一个或多个外科医生控制的臂1101而输出控制信号。这样，主控制台1104的手术部分的移动导致一个或多个外科医生控制的臂的相应移动。81.控制处理器1112还响应于一个或多个致动器1116驱动自主臂1100而输出控制信号。响应于从一个或多个主控制台1104、一个或多个外科医生控制的臂1101、自主臂1100和任何其他信号源(未示出)接收的信号，控制处理器1112确定输出到自主臂的控制信号。接收到的信号是指示自主臂的适当位置的信号，用于由成像装置1102捕获具有适当视角的图像。数据库1113存储接收信号的值和自主臂的相应位置。82.例如，对于从主控制器的一个或多个力传感器1106和旋转传感器1107接收的信号值的给定组合(其又指示一个或多个外科医生控制的臂1101的相应运动)，自主臂1100的相应位置被设置成使得由成像装置1102捕获的图像不会被一个或多个外科医生控制的臂1101遮挡。83.作为另一示例，如果由自主臂的一个或多个力传感器1117(例如，扭矩传感器)输出的信号指示自主臂正在经历阻力(例如，由于自主臂路径中的障碍物)，则自主臂的相应位置被设置成使得成像装置1102从替代视图(例如，允许自主臂沿着不涉及障碍物的替代路径移动的视图)捕获图像。84.应当理解，可能存在指示自主臂的适当位置的其他类型的接收信号。85.控制处理器1112在数据库1112中查找接收信号的值，并检索指示自主臂1100的相应位置的信息。响应于自主臂的致动器1116使自主臂移动到指示位置，随后处理该信息，以产生进一步的信号。86.自主臂1100和一个或多个外科医生控制的臂1101中的每一个都包括臂单元1114。臂单元包括臂(未示出)、控制单元1115、一个或多个致动器1116和一个或多个力传感器1117(例如，扭矩传感器)。臂包括一个或多个允许臂运动的连杆和接头。控制单元1115向机器人控制系统1111发送信号并从机器人控制系统接收信号。87.响应于从机器人控制系统接收的信号，控制单元1115控制一个或多个致动器1116，以驱动臂绕一个或多个接头将其移动到适当的位置。对于一个或多个外科医生控制的臂1101，机器人控制系统基于从主控制台1104接收的信号(例如，由外科医生控制主控制台的臂)生成接收的信号。对于自主臂1100，由机器人控制系统在数据库1113中查找合适的自主臂位置信息来生成接收到的信号。88.响应于由一个或多个力传感器1117输出的关于一个或多个接头的信号，控制单元1115向机器人控制系统输出信号。例如，这允许机器人控制系统向主控制台1104发送指示一个或多个外科医生控制的臂1101经受的阻力的信号，以向外科医生提供相应的触觉反馈(例如，使得一个或多个外科医生控制的臂经受的阻力导致主控制台的致动器1108在主控制台的臂中引起相应的阻力)。作为另一示例，这允许机器人控制系统在数据库1113中查找合适的自主臂位置信息(例如，如果一个或多个力传感器1117指示障碍物在自主臂的路径中，则找到自主臂的替代位置)。89.自主臂1100的成像装置1102包括摄像头控制单元1118和成像单元1119。摄像头控制单元控制成像单元捕获图像，并控制捕获图像的各种参数，例如，变焦水平、曝光值、白平衡等。成像单元捕获手术场景的图像。成像单元包括捕获图像所需的所有组件，包括一个或多个透镜和图像传感器(未示出)。捕获图像的手术场景的视图取决于自主臂的位置。90.一个或多个外科医生控制的臂的手术装置1103包括装置控制单元1120、操纵器1121(例如，包括一个或多个马达和/或致动器)和一个或多个力传感器1122(例如，扭矩传感器)。91.装置控制单元1120响应于从机器人控制系统1111接收的信号，控制操纵器执行物理动作(例如，当手术装置1103是切割工具时的切割动作)。由机器人控制系统响应于由外科医生向nui输入/输出1109输入信息以控制手术装置而生成的从主控制台1104接收的信号生成这些信号。例如，nui输入/输出包括一个或多个按钮或杠杆，作为主控制台的臂的手术部分的一部分，可由外科医生操作，以使手术装置执行预定的动作(例如，当手术装置是切割工具时，打开或关闭电动刀片)。92.装置控制单元1120还接收来自一个或多个力传感器1122的信号。响应于接收到的信号，装置控制单元向机器人控制系统1111提供相应的信号，机器人控制系统又向主控制台1104提供相应的信号。主控制台经由nui输入/输出1109向外科医生提供触觉反馈。因此，外科医生从手术装置1103以及从一个或多个外科医生控制的臂1101接收触觉反馈。例如，当手术装置是切割工具时，触觉反馈包括按钮或杠杆，当来自一个或多个力传感器1122的信号指示切割工具上的力较大时，该按钮或杠杆操作切割工具，以给出较大的操作阻力(当切割较硬的材料(例如，骨头)时发生)，当来自一个或多个力传感器1122的信号指示切割工具上的力较小时，给出较小的操作阻力(当切割较软的材料(例如，肌肉)时发生)。nui输入/输出1109包括一个或多个合适的马达、致动器等，以响应于从机器人控制系统1111接收的信号来提供触觉反馈。93.图6示意性地示出了可应用本技术的计算机辅助手术系统1209的另一示例。计算机辅助手术系统1209是一种手术系统，其中，外科医生经由主从系统1126执行任务，并且计算机化手术设备1200自主执行任务。94.主从系统1126与图5相同，因此不再描述。然而，在替代实施例中，主从系统可以是与图5的系统不同的系统，或者可以完全省略(在这种情况下，系统1209自主工作，同时外科医生执行常规手术)。95.计算机化手术设备1200包括机器人控制系统1201和刀架臂设备1210。刀架臂设备1210包括臂单元1204和手术装置1208。臂单元包括臂(未示出)、控制单元1205、一个或多个致动器1206和一个或多个力传感器1207(例如，扭矩传感器)。臂包括一个或多个接头，以允许臂运动。刀架臂设备1210通过有线或无线连接1211向机器人控制系统1201发送信号和从机器人控制系统接收信号。机器人控制系统1201包括控制处理器1202和数据库1203。尽管显示为单独的机器人控制系统，但是机器人控制系统1201和机器人控制系统1111可以是同一个。手术装置1208具有与手术装置1103相同的部件。这些没有在图6中示出。96.响应于从机器人控制系统1201接收的控制信号，控制单元1205控制一个或多个致动器1206，以驱动臂绕一个或多个接头将其移动到适当的位置。手术装置1208的操作也由从机器人控制系统1201接收的控制信号控制。由控制处理器1202响应于从臂单元1204、手术装置1208和任何其他信号源(未示出)中的一个或多个接收的信号而生成控制信号。其他信号源可以包括捕获手术场景图像的成像装置(例如，主从系统1126的成像装置1102)。控制处理器1202接收的信号值与数据库1203中存储的信号值以及相应的臂位置和/或手术装置操作状态信息进行比较。控制处理器1202从数据库1203中检索与接收信号的值相关联的臂位置和/或手术装置操作状态信息。然后，控制处理器1202使用检索到的臂位置和/或手术装置操作状态信息，生成要传输到控制单元1205和手术装置1208的控制信号。97.例如，如果从捕获手术场景图像的成像装置接收的信号指示预定的手术场景(例如，经由神经网络图像分类过程等)，则在数据库1203中查找预定的手术场景，并且从数据库中检索与预定的手术场景相关联的臂位置信息和/或手术装置操作状态信息。作为另一示例，如果信号指示由一个或多个力传感器1207测量的关于臂单元1204的一个或多个接头的阻抗值，则在数据库1203中查找阻抗值，并且从数据库中检索与阻抗值相关联的臂位置信息和/或手术装置操作状态信息(例如，如果增加的阻力对应于臂路径中的障碍物，则允许臂的位置改变到替代位置)。在任一情况下，控制处理器1202随后向控制单元1205发送信号，以控制一个或多个致动器1206将臂的位置改变到由检索到的臂位置信息指示的位置，和/或向手术装置1208发送信号，以控制手术装置1208进入由检索到的操作状态信息指示的操作状态(例如，如果手术装置1208是切割工具，则将电动刀片转到“开”状态或“关”状态)。98.图7示意性地示出了可应用本技术的计算机辅助手术系统1300的另一示例。计算机辅助手术系统1300是计算机辅助医用镜系统，其中，自主臂1100保持成像装置1102(例如，诸如内窥镜、显微镜或外视镜等医用镜)。自主臂的成像装置向外科医生可见的电子显示器(未示出)输出手术场景的图像。当外科医生执行手术时，自主臂自主地调整成像装置的视图，以实时向外科医生提供手术场景的适当视图。自主臂1100与图5的相同，因此不再描述。然而，在这种情况下，提供自主臂，作为独立计算机辅助医用镜系统1300的一部分，而不是图5的主从系统1126的一部分。因此，自主臂1100可以用于许多不同的手术设置，包括例如腹腔镜手术(其中，医用镜是内窥镜)和开放手术。99.计算机辅助医用镜系统1300还包括用于控制自主臂1100的机器人控制系统1302。机器人控制系统1302包括控制处理器1303和数据库1304。有线或无线信号经由连接1301在机器人控制系统1302和自主臂1100之间交换。100.响应于从机器人控制系统1302接收到的控制信号，控制单元1115控制一个或多个致动器1116来驱动自主臂1100，以将其移动到适当的位置，用于由成像装置1102捕获具有适当视角的图像。由控制处理器1303响应于从臂单元1114、成像装置1102和任何其他信号源(未示出)中的一个或多个接收的信号而生成控制信号。由控制处理器1303接收的信号值与存储在数据库1304中的信号值以及相应的臂位置信息进行比较。控制处理器1303从数据库1304中检索与接收信号值相关的臂位置信息。然后，控制处理器1303使用检索到的臂位置信息生成要发送到控制单元1115的控制信号。101.例如，如果从成像装置1102接收的信号指示预定的手术场景(例如，经由神经网络图像分类过程等)，则在数据库1304中查找预定的手术场景，并且从数据库中检索与预定的手术场景相关联的臂位置信息。作为另一示例，如果信号指示由臂单元1114的一个或多个力传感器1117测量的阻抗值，则在数据库1203中查找阻抗值，并且从数据库中检索与阻抗值相关联的臂位置信息(例如，如果增加的阻力对应于臂路径中的障碍物，则允许臂的位置改变到替代位置)。在任一情况下，控制处理器1303随后向控制单元1115发送信号，以控制一个或多个致动器1116，从而将臂的位置改变为由检索到的臂位置信息指示的位置。102.图8示意性地示出了可应用本技术的计算机辅助手术系统1400的另一示例。该系统包括具有成像单元1102的一个或多个自主臂1100和具有手术装置1210的一个或多个自主臂1210。一个或多个自主臂1100和一个或多个自主臂1210与前面描述的那些相同。每个自主臂1100和1210由机器人控制系统1408控制，机器人控制系统包括控制处理器1409和数据库1410。有线或无线信号分别经由连接1411和1412在机器人控制系统1408和每个自主臂1100和1210之间传输。机器人控制系统1408执行先前描述的机器人控制系统1111和/或1302的功能，用于控制每个自主臂1100，并且执行先前描述的机器人控制系统1201的功能，用于控制每个自主臂1210。103.自主臂1100和1210完全自主地执行手术的至少一部分(例如，当系统1400是开放式手术系统时)。机器人控制系统1408基于指示手术的当前阶段和/或手术中发生的事件的输入信息，控制自主臂1100和1210在手术期间执行预定动作。例如，输入信息包括由图像捕获装置1102捕获的图像。输入信息还可以包括由麦克风(未示出)捕获的声音、基于手术器械(未示出)所包括的运动传感器对使用中的手术器械的检测和/或任何其他合适的输入信息。104.使用由基于机器学习的手术计划设备1402实现的合适的机器学习(ml)算法(例如，合适的人工神经网络)来分析输入信息。计划设备1402包括机器学习处理器1403、机器学习数据库1404和训练器1405。105.机器学习数据库1404包括指示手术阶段(例如，切开、切除器官或缝合)和/或手术事件(例如，出血或患者参数落在预定范围之外)的分类的信息和预先已知的对应于这些分类的输入信息(例如，在每个分类的手术阶段和/或手术事件期间由成像装置1102捕获的一个或多个图像)。通过向训练器1405提供指示每个分类的信息和相应的输入信息，在训练阶段填充机器学习数据库1404。训练器1405然后使用该信息来训练机器学习算法(例如，通过使用该信息来确定合适的人工神经网络参数)。机器学习算法由机器学习处理器1403实现。106.一旦被训练，先前看不见的输入信息(例如，手术场景的新捕获的图像)可以被机器学习算法分类，以确定与该输入信息相关联的手术阶段和/或手术事件。机器学习数据库还包括指示每个自主臂1100和1210响应于存储在机器学习数据库中的每个手术阶段和/或手术事件而采取的动作的动作信息(例如，控制自主臂1210在手术阶段“进行切口”的相关位置进行切口，并控制自主臂1210对手术事件“出血”进行适当的烧灼)。因此，基于机器学习的手术计划器1402能够响应于由机器学习算法输出的手术阶段和/或手术事件分类，确定要由自主臂1100和/或1210采取的相关动作。指示相关动作的信息被提供给机器人控制系统1408，机器人控制系统又向自主臂1100和/或1210提供信号，以使得执行相关动作。107.计划设备1402可以包括在具有机器人控制系统1408的控制单元1401内，从而允许计划设备1402和机器人控制系统1408之间的直接电子通信。替代地或额外地，机器人控制系统1408可以通过通信网络1405(例如，互联网)从其他装置1407接收信号。这允许基于这些其他装置1407执行的处理来远程控制自主臂1100和1210。在一个示例中，装置1407是云服务器，其具有足够的处理能力来快速实现复杂的机器学习算法，从而达到更可靠的手术阶段和/或手术事件分类。不同的机器学习算法可以由不同的相应装置1407使用存储在每个装置可访问的外部(例如，基于云的)机器学习数据库1406中的相同训练数据来实现。因此，每个装置1407不需要其自己的机器学习数据库(如计划设备1402的机器学习数据库1404)，并且训练数据可以更新并集中地对所有装置1407可用。每个装置1407仍然包括训练器(如训练器1405)和机器学习处理器(如机器学习处理器1403)，以实现其相应的机器学习算法。108.图9示出了臂单元1114的示例。臂单元1204以相同的方式配置。在该示例中，臂单元1114支撑内窥镜作为成像装置1102。然而，在另一示例中，支撑不同的成像装置1102或手术装置1103(在臂单元1114的情况下)或1208(在臂单元1204的情况下)。109.臂单元1114包括基座710和从基座720延伸的臂720。臂720包括多个活动接头721a至721f，并且在臂720的远端支撑内窥镜1102。连杆722a至722f基本上是杆状构件。多个连杆722a至722f的端部通过主动接头721a至721f、被动滑动机构724和被动接头726彼此连接。基座单元710充当支点，使得臂形从基座710延伸。110.通过驱动和控制设置在臂720的活动接头721a至721f中的致动器来控制内窥镜1102的位置和姿态。根据该示例，使内窥镜1102的远端进入作为治疗部位的患者体腔，并捕获治疗部位的图像。然而，内窥镜1102可以替代地是另一装置，例如，另一成像装置或手术装置。更一般地，保持在臂720端部的装置被称为远端单元或远端装置。111.在此处，通过如下定义如图11所示的坐标轴来描述臂单元700。此外，根据坐标轴定义垂直方向、纵向方向和水平方向。换言之，相对于安装在地板表面上的基座710的垂直方向被定义为z轴方向和垂直方向。此外，垂直于z轴的方向，即臂720从基座710延伸的方向(换言之，内窥镜1102相对于基座710定位的方向)，被定义为y轴方向和纵向方向。此外，垂直于y轴和z轴的方向被定义为x轴方向和水平方向。112.主动接头721a至721f将连杆彼此连接，以可旋转。主动接头721a至721f具有致动器，并且具有通过致动器的驱动而被驱动绕预定旋转轴旋转的每个旋转机构。当控制每个主动接头721a至721f的旋转驱动时，可以控制臂720的驱动，例如，延伸或收缩(折叠)臂单元720。113.被动滑动机构724是被动形状改变机构的一个方面，并且将连杆722c和连杆722d彼此连接，以沿着预定方向向前和向后移动。被动滑动机构724由例如用户操作，以向前和向后移动，并且在连杆722c的一端侧的主动接头721c和被动接头726之间的距离是可变的。利用该配置，可以改变臂单元720的整体形式。114.被动接头736是被动形式改变机构的一个方面，并且将连杆722d和连杆722e彼此连接，以可旋转。被动接头726由例如用户操作旋转，并且在连杆722d和连杆722e之间形成的角度是可变的。利用该配置，可以改变臂单元720的整体形式。115.在一个实施例中，臂单元1114具有六个主动接头721a至721f，并且关于臂720的驱动实现六个自由度。也就是说，被动滑动机构726和被动接头726不是要受到驱动控制的物体，而臂单元1114的驱动控制通过六个主动接头721a至721f的驱动控制来实现。116.具体而言，如图11所示，主动接头721a、721d和721f被设置成使得所连接的连杆722a和722e的每个长轴方向和所连接的内窥镜1102的捕获方向作为旋转轴方向。主动接头721b、721c和721e被设置为具有x轴方向作为旋转轴方向，x轴方向是连接的连杆722a至722c、722e和722f中的每一个与内窥镜1102的连接角度在y-z平面(由y轴和z轴限定的平面)内改变的方向。以这种方式，主动接头721a、721d和721f具有执行所谓的偏航的功能，主动接头421b、421c和421e具有执行所谓的俯仰的功能。117.由于相对于臂单元1114中的臂720的驱动实现了六个自由度，所以内窥镜1102可以在臂720的可移动范围内自由移动。图11示出了作为内窥镜723的可移动范围的示例的半球。假设半球的中心点rcm(远程运动中心)是由内窥镜1102捕获的治疗部位的捕获中心，在内窥镜1102的捕获中心固定在半球的中心点的状态下，通过在半球的球面上移动内窥镜1102，可以从各种角度捕获治疗部位。118.图10示出了主控制台1104的示例。提供了用于右手和左手的两个控制部分900r和900l。外科医生将双臂或双肘放在支撑基座50上，并且用右手和左手分别抓住手术部分1000r和1000l。在这种状态下，外科医生在观看显示手术部位的电子显示器1110的同时操作手术部分1000r和1000l。外科医生可以移动各个手术部分1000r和1000l的位置或方向，以远程操作附接到一个或多个从设备的手术器械的位置或方向，或者使用每个手术器械来执行抓握操作。119.本技术的一些实施例由以下编号的条款定义：120.(1)一种计算机辅助手术系统，包括：121.计算机化手术设备；以及122.控制设备；123.其中，控制设备包括电路，电路被配置为：124.接收指示手术场景的第一区域的信息，通过计算机化手术设备从手术场景的第一区域获得信息以做出决策；125.接收指示手术场景的第二区域的信息，通过医学专业人员从手术场景的第二区域获得信息以做出决策；126.确定手术场景的第一区域与第二区域之间是否存在差异；并且127.如果在手术场景的第一区域与第二区域之间存在差异：128.基于差异执行预定过程。129.(2)根据条款1所述的计算机辅助手术系统，其中：130.第一区域是当通过计算机化手术设备做出计算机决策时，通过计算机化手术设备从第一区域获得信息的区域；并且131.控制设备包括电路，电路被配置为：132.接收指示计算机化手术设备的计算机决策的信息；133.作为预定过程，控制计算机化手术设备以基于差异做出更新的计算机决策。134.(3)根据条款2所述的计算机辅助手术系统，其中，所更新的计算机决策基于第二区域。135.(4)根据条款2或3所述的计算机辅助手术系统，控制设备包括电路，电路被配置为控制计算机化手术设备以：136.调整由计算机化手术设备使用的一个或多个参数，以确定手术场景的第一区域；并且137.使用所调整的一个或多个参数做出所更新的计算机决策。138.(5)根据条款2至4中任一项所述的计算机辅助手术系统，控制设备包括电路，电路被配置为：139.接收指示计算机化手术设备的所更新的计算机决策的信息；140.将指示所更新的计算机决策的信息输出给医学专业人员；141.接收指示医学专业人员是否批准所更新的计算机决策的信息；142.如果医学专业人员批准所更新的计算机决策，控制计算机化手术设备基于所更新的计算机决策执行动作。143.(6)根据前述条款中任一项所述的计算机辅助手术系统，控制设备包括电路，电路被配置为将指示手术场景的第一区域和第二区域的信息输出给医学专业人员。144.(7)根据条款6所述的计算机辅助手术系统：145.其中，指示手术场景的第一区域的信息包括手术场景的图像和指示图像中的第一区域的信息；并且146.其中，指示手术场景的第二区域的信息包括手术场景的图像和指示图像中的手术场景的第二区域的信息。147.(8)根据前述条款中任一项所述的计算机辅助手术系统，其中，指示手术场景的第一区域的信息包括人工智能注意力热图。148.(9)根据前述条款中任一项所述的计算机辅助手术系统，其中，指示手术场景的第二区域的信息包括医学专业人员的凝视跟踪信息。149.(10)根据条款4所述的计算机辅助手术系统，其中，由计算机化手术设备使用以确定手术场景的第一区域的能够调整的一个或多个参数包括手术场景的光参数、手术场景的视角、由计算机化手术设备使用以确定手术场景的第一区域的手术场景的图像的像素值和由计算机化手术设备使用以确定手术场景的第一区域的手术场景的图像的图像类型中的一个或多个。150.(11)根据条款5所述的计算机辅助手术系统，其中：151.所更新的计算机决策基于使用多个成像模态捕获的手术场景的图像；并且152.控制设备包括电路，电路被配置为将使用多个成像模态捕获的手术场景的图像以及指示所更新的计算机决策的信息输出给医学专业人员。153.(12)根据条款1所述的计算机辅助手术系统，其中：154.计算机化手术设备从第一区域获得信息，并且医学专业人员经由手术场景的捕获图像从第二区域获得信息，手术场景的捕获图像包括计算机化手术设备能够看见但医学专业人员不能够看见的裁剪部分；并且155.如果第一区域在裁剪部分内，则预定过程包括以下至少一个：156.控制计算机化手术设备以调整用于捕获手术场景的图像的摄像头的视图，使得第一区域在图像的未裁剪区域中；157.将指示调整用于捕获手术场景的图像的摄像头的视图，使得第一区域在图像的未裁剪区域中的需要的信息输出给医学专业人员。158.(13)根据前述条款中任一项所述的计算机辅助手术系统，其中：159.计算机化手术设备包括电路，电路被配置为确定计算机化手术设备的手术工具的操作参数以及操作参数的值是否落在预定范围之外；并且160.控制设备包括电路，电路被配置为：161.如果手术工具的操作参数的值落在预定范围之外，确定手术工具是否在第二区域内；并且162.如果手术工具不在第二区域内；163.将指示手术工具的操作参数的值落在预定范围之外的信息输出给医学专业人员。164.(14)根据前述条款中任一项所述的计算机辅助手术系统，其中，计算机辅助手术系统是计算机辅助医学视觉镜系统、主从系统或开放式手术系统。165.(15)一种手术控制设备，包括电路，电路被配置为：166.接收指示手术场景的第一区域的信息，通过计算机化手术设备从手术场景的第一区域获得信息以做出决策；167.接收指示手术场景的第二区域的信息，通过医学专业人员从手术场景的第二区域获得信息以做出决策；168.确定手术场景的第一区域与第二区域之间是否存在差异；并且169.如果在手术场景的第一区域与第二区域之间存在差异：170.基于差异执行预定过程。171.(16)一种手术控制方法，包括：172.接收指示手术场景的第一区域的信息，通过计算机化手术设备从手术场景的第一区域获得信息以做出决策；173.接收指示手术场景的第二区域的信息，通过医学专业人员从手术场景的第二区域获得信息以做出决策；174.确定手术场景的第一区域与第二区域之间是否存在差异；并且175.如果在手术场景的第一区域与第二区域之间存在差异：176.基于差异执行预定过程。177.(17)一种程序，用于控制计算机执行根据条款16所述的手术控制方法。178.(18)一种非暂时性存储介质，存储根据条款17所述的计算机程序。179.根据上述教导，本公开的许多修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，本公开可以不同于本文具体描述的方式实施。180.就本公开的实施例已经被描述为至少部分地由软件控制的数据处理设备来实现而言，应当理解，承载这种软件的非暂时性机器可读介质(例如，光盘、磁盘、半导体存储器等)也被认为表示本公开的实施例。181.应当理解，为了清楚起见，以上描述已经参考不同的功能单元、电路和/或处理器描述了实施例。然而，很明显，在不偏离实施例的情况下，可以使用不同功能单元、电路和/或处理器之间的任何合适的功能分布。182.所描述的实施例可以以任何合适的形式实现，包括硬件、软件、固件或这些的任意组合。所描述的实施例可以可选地至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。任何实施例的元件和组件可以以任何合适的方式在物理上、功能上和逻辑上实现。实际上，该功能可以在单个单元中、多个单元中或者作为其他功能单元的一部分来实现。这样，所公开的实施例可以在单个单元中实现，或者可以在物理上和功能上分布在不同的单元、电路和/或处理器之间。183.尽管已经结合一些实施例描述了本公开，但是本公开并不旨在局限于本文阐述的特定形式。此外，尽管一个特征可能看起来是结合特定实施例来描述的，但是本领域技术人员将认识到，所描述的实施例的各种特征可以以适合于实现该技术的任何方式来组合。184.引用列表185.非专利文献186.非专利文献1:jinkyukimandjohncanny,2017,2017ieeeinternationalconferenceoncomputervision(iccv),187.http://openaccess.thecvf.com/content_iccv_2017/papers/kim_interpretable_learning_for_iccv_2017_paper.pdf当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
