机械臂碰撞提示方法、可读存储介质、手术机器人及系统与流程

1.本发明涉及机器人辅助手术系统和方法领域，特别涉及一种机械臂碰撞提示方法、可读存储介质、手术机器人及系统。


背景技术：

2.手术机器人的出现符合精准外科的发展趋势。手术机器人成为帮助医生完成手术有力工具，手术机器人其设计理念是采用微创伤方式，精准地实施复杂的外科手术。在传统的手术面临种种局限的情况下，发展出了手术机器人来替代传统手术，手术机器人突破了人眼的局限，采用立体成像技术，将内部器官更加清晰的呈现给操作者。在原来手伸不进的区域，机器手能完成360度转动、挪动、摆动、夹持，并避免抖动。由于手术机器人对患者的伤害小，患者出血少、恢复快，大大缩短了患者术后住院时间，术后存活率和康复率也能明显提高，受到广大医患的青睐，现在作为一种高端医疗器械，已广泛运用于各种临床手术中。
3.与传统腹腔镜手术一样，在手术前，首先需要对病灶位置进行定位，然后根据病灶的具体位置，根据医生的经验规划手术器械的打孔位置，然后进行打孔。打孔后，手术器械安装在手术机器人的可调整机械臂上，通过打的孔进入体内进行手术。然而，手术过程中可能出现一个问题：由于手术机器人系统的设计，手术中的操作医生只有体内的视野，而无法直接看到体外机械臂的姿态。因此在手术中，操作医生不能直观掌握到当前体外机械臂的位置。在做出手术动作时，如果操作不当，容易造成机械臂相互碰撞，从而影响医生的正常操作的精确性，有时甚至需中断手术，严重的可能造成对患者的伤害，影响手术安全。


技术实现要素：

4.本发明的目的在于提供一种机械臂碰撞提示方法、可读存储介质、手术机器人及系统，以解决操作医生无法掌握机械臂的姿态而导致机械臂碰撞的问题。
5.为解决上述技术问题，根据本发明的第一个方面，提供了一种机械臂碰撞提示方法，其包括：
6.基于手术对象的虚拟三维模型，获取所述手术对象的所打孔的孔位置信息；
7.根据所述孔位置信息及所述虚拟三维模型，计算得到机械臂的术前碰撞概率；和/或，根据历史手术数据和当前手术对象的虚拟三维模型，识别出手术步骤信息，基于所述手术步骤信息，计算得到机械臂于手术步骤的术中碰撞概率；
8.产生提示信息以提示所述术前碰撞概率和所述术中碰撞概率中的至少一者。
9.可选的，在所述机械臂碰撞提示方法中，根据所述孔位置信息及所述虚拟三维模型，计算得到机械臂的术前碰撞概率的步骤包括：
10.建立所述孔位置信息与机器人坐标系的映射关系；
11.根据所述孔位置信息及所述虚拟三维模型计算机械臂的运动空间；
12.采用运动空间重合法计算得到所述术前碰撞概率。
13.可选的，在所述机械臂碰撞提示方法中，基于所述手术步骤信息，计算得到机械臂
于手术步骤的术中碰撞概率的步骤包括：
14.针对所述手术步骤信息中的不同的手术步骤，分别采用运动空间重合法或包围盒重叠法计算得到机械臂于手术步骤的术中碰撞概率。
15.可选的，在所述机械臂碰撞提示方法中，所述运动空间重合法包括：
16.基于任意两个所述机械臂的运动空间的重合部分占所述任意两个机械臂的总运动空间的比例，计算得到所述两个机械臂的碰撞概率。
17.可选的，在所述机械臂碰撞提示方法中，所述包围盒重叠法包括：
18.基于所述机械臂构造包围盒空间模型；
19.根据所述机械臂在机器人坐标系下的笛卡尔坐标计算得到所述包围盒空间模型的位姿；
20.基于sat碰撞检测理论，计算出当前所述机械臂之间的距离；
21.根据预设的距离与概率的关系，得到所述机械臂的术中碰撞概率。
22.可选的，在所述机械臂碰撞提示方法中，至少通过显示装置显示所述提示信息，以提示所述术前碰撞概率和所述术中碰撞概率中的至少一者。
23.可选的，在所述机械臂碰撞提示方法中，在通过所述显示装置显示提示所述术中碰撞概率时，还通过显示装置提示所述手术步骤的碰撞发生的预计时间。
24.可选的，在所述机械臂碰撞提示方法中，通过显示装置显示所述提示信息的步骤包括：
25.使所述显示装置通过图像和/或文字的方式提示所述术前碰撞概率和所述术中碰撞概率。
26.可选的，在所述机械臂碰撞提示方法中，根据历史手术数据和当前手术对象的虚拟三维模型，识别出手术步骤信息的步骤包括：
27.提取与当前手术对象相同术式下的多个手术数据，训练得到一算法模型；
28.将当前手术对象的虚拟三维模型作为输入参数，并将所述输入参数输入至所述算法模型，以此输出当前手术步骤的划分结果并作为手术步骤信息。
29.可选的，在所述机械臂碰撞提示方法中，所述虚拟三维模型包括：手术对象的病灶模型、体表模型以及腹腔模型。
30.为解决上述技术问题，根据本发明的第二个方面，还提供了一种可读存储介质，其上存储有程序，所述程序被执行时，实现如上所述的机械臂碰撞提示方法。
31.为解决上述技术问题，根据本发明的第三个方面，还提供了一种手术机器人，其包括机械臂与控制装置，所述控制装置用于根据如上所述的机械臂碰撞提示方法，产生提示信息以提示所述机械臂的术前碰撞概率和/或术中碰撞概率。
32.为解决上述技术问题，根据本发明的第四个方面，还提供了一种手术机器人系统，其包括：患者端手术台、医生控制台、控制装置，所述患者端手术台包括机械臂，所述机械臂用于控制手术器械进行手术；所述医生控制台用于操纵所述机械臂以控制所述患者端手术台；所述控制装置用于根据权利要求1～10中任一项所述的机械臂碰撞提示方法，产生提示信息以提示所述机械臂的术前碰撞概率和/或术中碰撞概率。
33.可选的，所述手术机器人系统包括显示装置，所述显示装置设置于所述医生控制台上，和/或，所述显示装置设置于显示台车上，所述显示装置用于显示所述控制装置所产
生的所述提示信息。
34.综上所述，在本发明提供的机械臂碰撞提示方法、可读存储介质、手术机器人及系统中，所述机械臂碰撞提示方法包括：基于手术对象的虚拟三维模型，获取所述手术对象的所打孔的孔位置信息；根据所述孔位置信息及所述虚拟三维模型，计算得到机械臂的术前碰撞概率；和/或，根据历史手术数据和当前手术对象的虚拟三维模型，识别出手术步骤信息，基于所述手术步骤信息，计算得到机械臂于手术步骤的术中碰撞概率；产生提示信息以提示所述术前碰撞概率和所述术中碰撞概率中的至少一者。
35.如此配置，利用所打孔的孔位置信息和手术对象的虚拟三维模型，计算得到机械臂的术前碰撞概率，和/或，根据历史手术数据和当前手术对象的虚拟三维模型，得到机械臂于手术步骤的术中碰撞概率，从而产生提示信息，可达到引导操作者对机械臂碰撞的预警和规避的目的，能够协助操作者在对患者进行手术时安全实施操作，有效避免机械臂的碰撞，降低了手术风险。
附图说明
36.本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：
37.图1是本发明一实施例提供的手术机器人系统的应用场景的示意图；
38.图2a和图2b是本发明一实施例提供的手术机器人系统的显示装置的示意图；
39.图3是本发明一实施例提供的机械臂碰撞提示方法的流程图；
40.图4是本发明一实施例提供的对手术对象进行术前扫描的示意图；
41.图5是本发明一实施例提供的基于术前扫描所建立的手术对象的虚拟三维模型的示意图；
42.图6是本发明一实施例提供的确定打孔位置的示意图；
43.图7是本发明一实施例提供的获取在机器人坐标系下的孔位置信息的示意图；
44.图8是本发明一实施例提供的计算得到术前碰撞概率的流程图；
45.图9是本发明一实施例提供的术前碰撞概率的结果示意图；
46.图10是本发明一实施例提供的识别手术步骤信息的流程图；
47.图11是本发明一实施例提供的术中碰撞概率的结果示意图；
48.图12是本发明一实施例提供的构造机械臂的包围盒空间的示意图；
49.图13是本发明一实施例提供的包围盒重叠法的示意图；
50.图14是本发明一实施例提供的显示装置的预警提示模式的示意图；
51.图15是本发明一实施例提供的显示装置的碰撞时提示模式的示意图。
52.附图中：
53.1-医生端控制台；11-沉浸式显示单元；2-显示台车；21-开放式显示单元；3-患者端手术台；31-1号臂；32-2号臂；33-3号臂；34-第一包围盒；35-第二包围盒；36-第三包围盒；4-病床；40-患者；41-病灶；5-辅助设备；6-手术器械；71-双目视觉装置；81-碰撞进度条。
具体实施方式
54.为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。
55.如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，术语“或”通常是以包括“和/或”的含义而进行使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征，术语“近端”通常是靠近操作者的一端，术语“远端”通常是靠近患者的一端，“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分，其不仅包括端点，除非内容另外明确指出外。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
56.本发明的核心思想在于提供一种机械臂碰撞提示方法、可读存储介质、手术机器人及系统，以解决操作医生无法掌握机械臂的姿态而导致机械臂碰撞的问题。
57.以下参考附图进行描述。
58.请参考图1至图15，其中，图1是本发明一实施例提供的手术机器人系统的应用场景的示意图；图2a和图2b是本发明一实施例提供的手术机器人系统的显示装置的示意图；图3是本发明一实施例提供的机械臂碰撞提示方法的流程图；图4是本发明一实施例提供的对手术对象进行术前扫描的示意图；图5是本发明一实施例提供的基于术前扫描所建立的手术对象的虚拟三维模型的示意图；图6是本发明一实施例提供的确定打孔位置的示意图；图7是本发明一实施例提供的获取在机器人坐标系下的孔位置信息的示意图；图8是本发明一实施例提供的计算得到术前碰撞概率的流程图；图9是本发明一实施例提供的术前碰撞概率的结果示意图；图10是本发明一实施例提供的识别手术步骤信息的流程图；图11是本发明一实施例提供的术中碰撞概率的结果示意图；图12是本发明一实施例提供的构造机械臂的包围盒空间的示意图；图13是本发明一实施例提供的包围盒重叠法的示意图；图14是本发明一实施例提供的显示装置的预警提示模式的示意图；图15是本发明一实施例提供的显示装置的碰撞时提示模式的示意图。
59.本发明实施例提供一种手术机器人系统，图1示出了一个示范性的实施例中，利用所述手术机器人系统进行手术的应用场景。本发明的手术机器人系统对应用环境没有特别的限制。该手术机器人系统包括医生端控制台1、显示装置、患者端手术台3以及控制装置(未图示)；如图2a和图2b所示，所述显示装置包括沉浸式显示单元11和/或开放式显示单元21，在一个示范性的实施例中，沉浸式显示单元11可集成设置于医生端控制台1上，用于显示内窥镜所获取的图像，操作者可通过沉浸式显示单元11察看患者的体内状况。开放式显示单元21可设置于一显示台车2上，其显示的图像可与沉浸式显示单元11所显示的图像相同或不同。所述患者端手术台3包含至少一个机械臂，机械臂上挂载手术器械或内窥镜。操作者从医生端控制台1操纵以控制患者端手术台3驱动机械臂，实现操作手术器械进行手术。优选的，所述手术机器人系统还包括病床4以及辅助设备5(如无菌台、呼吸机或检测装
置等)。所述控制装置分别与医生端控制台1、显示装置及患者端手术台3通信连接，用于对整个系统的各个部件进行控制和对各个部件的信息进行交互。当然在其它的一些实施例中，显示装置还可以包括其它的显示单元，如独立于沉浸式显示单元11与开放式显示单元21之外的ar显示设备或vr显示设备等。
60.基于上述手术机器人系统，请参考图3，本实施例提供一种机械臂碰撞提示方法，其包括：
61.步骤s1：基于手术对象的虚拟三维模型，获取所述手术对象的所打孔的孔位置信息，即获取针对手术对象打孔后的孔位置信息；
62.步骤s2：根据所述孔位置信息及所述虚拟三维模型，计算得到机械臂的术前碰撞概率；和/或，
63.步骤s3：根据历史手术数据和当前手术对象的虚拟三维模型，识别出手术步骤信息，基于所述手术步骤信息，计算得到机械臂于手术步骤的术中碰撞概率；
64.步骤s4：产生提示信息以提示所述术前碰撞概率和所述术中碰撞概率中的至少一者。
65.优选的，步骤s4中，至少通过显示装置显示所述提示信息，以提示所述术前碰撞概率和所述术中碰撞概率中的至少一者。
66.请参考图4和图5，在步骤s1中，可通过术前扫描的方式建立手术对象的虚拟三维模型，其中包括病灶建模打孔规划及执行打孔的步骤，所述病灶建模打孔规划及执行打孔的步骤可根据医生的经验等，依据现有技术进行。具体的，通过术前ct、mri等等断层成像技术对病灶41以及患者40进行外部体表扫描和腹腔内部切片扫描，并基于扫描获得的数据三维重构进行建模，得到虚拟三维模型。可以理解的，所述虚拟三维模型包括手术对象的病灶模型、体表模型以及腹腔模型，即包括病灶41与患者40的体征信息，所述虚拟三维模型可作为进一步的手术规划的数据输入。
67.在完成虚拟三维模型的建立后，请参考图6，操作者可根据步骤s1所建立的虚拟三维模型进行打孔规划，确定打孔位置，进行打孔，并获得针对所述手术对象所打孔的孔位置信息。图6中，操作者可根据经验或预设的规则方案通过手术器械6进行打孔。
68.请参考图8，进一步的，步骤s2具体包括：
69.步骤s21：建立所述孔位置信息与机器人坐标系的映射关系；
70.步骤s22：根据所述孔位置信息及所述虚拟三维模型计算机械臂的运动空间；
71.步骤s23：采用运动空间重合法计算得到所述术前碰撞概率。
72.在步骤s21中，首先建立打孔后的孔位置信息与一机器人坐标系(如患者端手术台3的坐标系)的映射关系。建立映射关系的目的是将孔位置信息和机械臂的操作空间建立坐标关联，从而可以计算出在相应操作时机械臂的运动空间范围。
73.请参考图7，在一个示范例中，通过双目视觉装置71的坐标系(x7/y7/z7)在世界坐标系(x0/y0/z0)中与所述患者端手术台3的坐标系(x2/y2/z2)建立映射关系，并且已知所述患者40的真实体表特征坐标系(x4/y4/z4)与所述双目视觉装置71的坐标系(x7/y7/z7)的映射关系，即可实现所述患者端手术台3的坐标系(x2/y2/z2)与所述患者40的真实体表特征坐标系(x4/y4/z4)建立坐标映射关系，2r4＝(7r2)
t 7
r4。由于打孔位于患者40的真实体表，因此即相当于建立了孔位置信息与患者端手术台3的坐标系之间的映射关系。
74.步骤s22中，对于任一个机械臂的运动空间，在机器人坐标系下的运动空间(可用s表示)，可以通过机械臂正运动学逐一计算每个关节处的最大值和最小值换算得到。这里关节处的最大值和最小值为实现设定的工艺参数。本领域技术人员可根据现有技术，例如上述的机械臂正运动学计算得到机械臂的运动空间，这里不再展开说明。
75.优选的，在步骤s23中，运动空间重合法具体包括：基于任意两个所述机械臂的运动空间的重合部分占所述任意两个机械臂的总运动空间的比例，计算得到所述两个机械臂的碰撞概率。下面以两个机械臂(为便于叙述，称为第一机械臂和第二机械臂)为例进行说明，首先根据步骤s22分别计算得到第一机械臂的运动空间s1和第二机械臂的运动空间s2，计算运动空间s1和运动空间s2在机器人坐标系上的重合部分s’，根据重合部分s’占两个机械臂的总运动空间(即s1 s2)的比例，计算得到碰撞概率p，即p＝s'/(s1 s2)*100％。可选的，使所述显示装置通过图像和/或文字的方式提示所述术前碰撞概率。请参考图9，其示出了显示装置提示一个具有三个机械臂(分别为1号臂31、2号臂32和3号臂33)的患者端手术台的术前碰撞概率的结果，其采用文字的方式提示术前碰撞概率。在其它的一些实施例中，也可以通过图像的方式来提示术前碰撞概率。
76.请参考图10，在步骤s3中，识别出手术步骤信息的方法包括：
77.步骤s31：提取与当前手术对象相同术式下的多个手术数据，训练得到一算法模型；具体的，对于收集到的与当前手术对象的大量相同术式下的历史手术数据，进行特征提取，利用提取的特征对一算法模型进行ai训练，如采用人工智能算法如深度学习、决策树等训练方法对所述算法模型进行ai训练。
78.步骤s32：将当前手术对象的虚拟三维模型作为输入参数，并将所述输入参数输入至所述算法模型；以此输出当前手术步骤的划分结果并作为手术步骤信息。优选的，还将机械臂的运动空间和运动时间也作为输入参数输入所述算法模型。
79.基于所述手术步骤信息，计算得到机械臂于手术步骤的术中碰撞概率的步骤包括：针对所述手术步骤信息中的不同手术步骤，分别采用运动空间重合法或包围盒重叠法计算得到机械臂于手术步骤的术中碰撞概率。
80.关于运动空间重合法，可参考上文步骤s23的说明，这里不再重复。下面结合图12和图13，对包围盒重叠法进行说明。具体的，所述包围盒重叠法包括：
81.步骤s33：基于所述机械臂构造包围盒空间模型，图12示出了一个obb包围盒的示范例，针对三个机械臂(分别为1号臂31、2号臂32和3号臂33)构造obb(orientedboundingbox)包围盒(分别为第一包围盒34、第二包围盒35和第三包围盒36)。
82.步骤s34：根据所述机械臂在机器人坐标系下的笛卡尔坐标计算得到所述包围盒空间模型的位姿；具体的，基于医生端控制台1与患者端手术台3之间的主从控制映射，计算机械臂关节的实时指令位置与指令速度，进而基于运动学，计算得到每个机械臂在机器人坐标系下的笛卡尔坐标。
83.步骤s35：基于sat碰撞检测理论，计算出当前所述机械臂之间的距离；sat碰撞检测理论为一现有的碰撞检测理论，本领域技术人员可以根据该理论，计算出任两个机械臂之间的距离。sat碰撞检测理论基于凸集分离定理(hyperplane separation theorem)，具体可参考：convex optimization，cambridge university press.isbn 978-0-521-83378-3，作者：boyd,stephen p.；vandenberghe,lieven(2004)。更具体的，计算出任两个机械臂
之间的距离的步骤包括：基于sat碰撞检测理论得到任意两个包围盒之间在分离轴上是否重叠，得出机械臂是否碰撞的关系，并通过计算出包围盒之间的距离得出机械臂之间的距离。
84.步骤s36：根据预设的距离与概率的关系，得到所述机械臂的术中碰撞概率。这里距离与概率的关系可以是预先标定或置入的，在步骤s35计算出两个机械臂之间的距离，即可根据距离与概率的关系，直接得到所述术中碰撞概率。
85.可选的，使所述显示装置通过图像和/或文字的方式提示所述术中碰撞概率。优选的，在一些实施例中，还通过显示装置提示每个手术步骤的碰撞发生的预计时间。图11示出了一个术中碰撞概率的结果的示范例，其中，碰撞具体时间即代表了每个手术步骤的碰撞发生的预计时间。
86.可选的，请参考图14和图15，所述显示装置包括预警提示模式和碰撞时提示模式，在术中，为了兼顾手术流畅性和提示效果，操作者可设置碰撞提示模式。
87.图14示出了一种预警提示模式的示例，通过在显示装置上显示图像或其他提示方法，提示用户当前各机械臂之间，碰撞概率最大的两个机械臂的碰撞进度条81，碰撞进度条可随碰撞概率变化(如上升)，进一步的，碰撞进度条的颜色还可以逐渐加深，以增强提示效果。
88.图15示出了一种碰撞时提示模式的示例，操作者在正常操作时，不显示碰撞提示，如果检测的机械臂的碰撞概率超过预设值，或检测到机械臂已发生碰撞，则沉浸式显示单元11可自动弹出如图15所示的提示。同时如图15所示的提示也同步地显示在开放式显示单元21，用于提示高风险碰撞的机械臂或提示实际发生碰撞的机械臂。此外，所述机械臂碰撞提示方法除了通过显示装置提示，还可以通过声光、振动、语音等其它的提示方式提示用户当前实时的术中碰撞概率，例如语音播报几号臂的碰撞概率是多少等。
89.本实施例还提供一种可读存储介质，其上存储有程序，所述程序被执行时实现如上所述的机械臂碰撞提示方法，该可读存储介质可集成设置在手术机器人系统中，如集成于控制装置中，也可以独立附设。本实施例还提供一种手术机器人，其包括机械臂与控制装置，所述控制装置用于根据如上所述的机械臂碰撞提示方法，产生提示信息以提示所述机械臂的术前碰撞概率和/或术中碰撞概率。
90.综上所述，在本发明提供的机械臂碰撞提示方法、可读存储介质、手术机器人及系统中，所述机械臂碰撞提示方法包括：基于手术对象的虚拟三维模型，获取所述手术对象的所打孔的孔位置信息；根据所述孔位置信息及所述虚拟三维模型，计算得到机械臂的术前碰撞概率；和/或，根据历史手术数据和当前手术对象的虚拟三维模型，识别出手术步骤信息，基于所述手术步骤信息，计算得到机械臂于手术步骤的术中碰撞概率；产生提示信息以提示所述术前碰撞概率和所述术中碰撞概率中的至少一者。如此配置，利用所打孔的孔位置信息和手术对象的虚拟三维模型，计算得到机械臂的术前碰撞概率，和/或，根据历史手术数据和当前手术对象的虚拟三维模型，得到机械臂于手术步骤的术中碰撞概率，从而产生提示信息，可达到引导操作者对机械臂碰撞的预警和规避的目的，能够协助操作者在对患者进行手术时安全实施操作，有效避免机械臂的碰撞，降低了手术风险。
91.上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护
范围。