机器人机械臂的控制方法及系统与流程

1.本公开涉及自动控制技术领域，具体涉及到一种机器人机械臂的控制方法及系统。


背景技术：

2.在传统关节置换手术中，无论是机器人手术方式还是人工方式，其锯片的方向全凭手动进行控制，周围软组织的保护主要通过一些传统的拉钩器械，安全性无法得到充分的保障，操作时及易造成周围肌肉韧带等软组织的医源性损伤，从而影响患者的术后康复及最终手术效果。
3.相关技术中，通过机器人实现的关节置换的方法，无法智能化、精准地控制锯片(锯刀)，且无法保证截骨动作的安全性。


技术实现要素：

4.本公开的主要目的在于提供一种机器人机械臂的控制方法及系统。
5.为了实现上述目的，根据本公开的第一方面，提供了一种机器人机械臂的控制方法，包括：在机械臂末端的执行器运行过程中，根据执行器的当前空间位置与骨骼的当前目标区域的空间位置确定执行器相对于当前目标区域的偏移量；根据所述偏移量，对机械臂进行控制，以将执行器的运动限定在当前目标区域内。
6.根据本公开的第二方面，提供了一种机器人机械臂的控制系统，包括：确定单元，在机械臂末端的执行器运行过程中，根据执行器的当前空间位置与骨骼的当前目标区域的空间位置确定执行器相对于当前目标区域的偏移量；控制单元，根据所述偏移量，对机械臂进行控制，以将执行器的运动限定在当前目标区域内。
7.根据本公开的第三方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面任意一项实现方式的机器人机械臂的控制方法。
8.根据本公开的第四方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行第一方面任意一项可选方式所述的机器人机械臂的控制方法。
9.在本公开实施例机器人机械臂的控制方法及系统中，方法包括在机械臂末端的执行器运行过程中，根据执行器的当前空间位置与骨骼的当前目标区域的空间位置确定执行器相对于当前目标区域的偏移量；根据所述偏移量，对机械臂进行控制，以将执行器的运动限定在当前目标区域内。通过对机械臂进行控制，实现执行器的运动范围的限制，能够提高手术过程中截骨动作的安全性、精确性，从而克服了无法无法保证截骨动作的安全性的技术问题。
附图说明
10.为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1是根据本公开实施例的机器人机械臂的控制方法的流程图；
12.图2是根据本公开实施例的机器人机械臂的控制方法的一个应用场景图；
13.图3a是根据本技术实施例的一种截骨前后对比的示意图；
14.图3b是根据本技术实施例的一种股骨第一方向示意图；
15.图3c是根据本技术实施例的一种股骨第二方向示意图；
16.图3d是根据本技术实施例的一种股骨第三方向示意图；
17.图3e是根据本技术实施例的一种股骨第四方向示意图；
18.图3f是根据本技术实施例的一种股骨第五方向示意图；
19.图3g是根据本技术实施例的一种胫骨示意图；
20.图4是根据本公开实施例的机器人机械臂的控制装置的结构示意图；
21.图5是根据本公开实施例的电子设备的示意图。
具体实施方式
22.为了使本技术领域的人员更好地理解本公开方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
23.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
24.在本公开中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本公开及其实施例，并非用于限定所指示的系统、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
25.并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本公开中的具体含义。
26.此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。
对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。
27.需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
28.根据本公开实施例，提供了一种用于机器人机械臂的控制方法，如图1所示，该方法包括如下的步骤101至步骤103：
29.步骤101：在机械臂末端的执行器运行过程中，根据执行器的当前空间位置与骨骼的当前目标区域的空间位置确定执行器相对于当前目标区域的偏移量。
30.在本实施例中，机器人可以是关节置换机器人(包括但是不限于，全膝关节置换机器人、髋关节置换机器人等需要进行截骨的机器人)，机器人可以主要包括机械臂、以及(以可拆卸方式)设置在机械臂末端的执行器，该执行器可以是锯片。
31.机械臂末端、实际待截骨区域(例如，膝关节的股骨区域、胫骨区域)均可预先设置有示踪器，示踪器包括可发射红外线的光感小球，通过双目红外相机实时追踪械臂末端设置的光感小球的位置、股骨区域上的光感小球的位置、胫骨区域上的光感小球的位置可以确定机械臂末端的执行器的当前空间位置、目标区域的当前空间位置，从而可以实时确定执行器的空间位置、当前目标区域的空间位置，进而可基于执行器的空间位置，当前目标区域的空间位置确定执行器相对于当前目标区域的偏移量。
32.如果应用在膝关节置换手术中，上述的目标区域可为目标平面，目标平面可以包括股骨截骨平面和胫骨截骨平面，胫骨截骨平面为胫骨平台，股骨截骨平面包括股骨前端截骨平面、股骨前斜截骨平面、股骨后髁截骨平面、股骨后斜截骨平面、股骨远端截骨平面。
33.三维模型中会显示多个目标区域被预先规划的操作顺序，当前目标区域则为响应于操作者从多个目标区域选定的一个目标区域。
34.作为本实施例一种可选的实现方式，在执行器运行前，当机械臂被操作至骨骼处时，根据三维模型坐标系中规划的骨骼的当前目标区域的空间位置、执行器的当前空间位置确定当前目标区域的空间位置与执行器的当前空间位置之间的位置差量；根据所述位置差量确定机械臂被操作的位移量；在三维模型中显示与所述位移量对应的指示调节信息，以使操作者根据所述指示调节信息操作机械臂，从而将执行器调整至使其平面与当前目标区域共面。可以理解的，执行器的平面与目标区域共面，是指执行器在当前目标区域的外缘，执行器的平面与当前目标区域大致共面。
35.与位移量对应的指示调节信息可包括放大显示的与位移量对应的调节路径，以引导医生托着机械臂，将执行器的平面调整到与当前目标区域对齐(执行器在当前目标区域的外缘，执行器与当前目标区域大致共面)。
36.步骤102：根据所述偏移量，对机械臂进行控制，以将执行器的运动限定在所述目标区域内。
37.作为本实施例一种可选的实现方式，根据偏移量，对机械臂进行控制，以将执行器的运动限定在当前目标区域内的步骤包括：在执行器运行时，启动以虚拟弹簧和阻尼器为模型的笛卡尔阻尼控制模式，机械臂基于多个自由度方向上的各个虚拟弹簧的预设刚度值c和多个自由度方向上的偏移量δx，输出与被操作方向相反的反馈力f，f＝δx*c，从而将执行器的运动限定在当前目标区域内。
38.在本可选的实现方式中，虚拟弹簧的刚度-阻尼模型，也称为笛卡尔阻尼控制模式
(cartesian impedance control mode，cicm)。在阻尼控制模式下，机器人的行为是顺从敏感的，并能对外部影响作出反应，外部影响比如，可以为障碍物或过程力。施加外力可使机器人离开计划的轨道路径。
39.示例性地，在任意的一个目标区域中，在垂直于当前目标平面的方向上，设置比较大的刚度值，刚度值大于预定的阈值，以限制执行器在垂直于当前目标区域的方向上运动，从而有效避免执行器偏离当前目标区域。
40.具体实施时，在在执行器与当前目标区域对齐后，运行执行器，此时，控制机器人就进入到虚拟弹簧阻尼模型的状态，此状态下，整个机械臂可以看成一个近似的虚拟弹簧，在任何的方向上施加力后，虚拟弹簧都会遵从胡克定律。在垂直于当前目标区域的方向上，如果该方向的刚度很大，则执行器在该方向上的偏移就会很小，如此就可以将执行器稳定地限定在当前目标区域上，而避免执行器在垂直于当前目标区域的方向上运动，从而尽最大限度的降低执行器超出目标区域，减少给患者带来的误伤害。
41.作为本实施例一种可选的实现方式，如图2所示，执行器向当前目标区域切入的方向记为进深方向x，在当前目标区域内并与切入方向垂直的方向记为横向y，与当前目标区域垂直的方向记为垂直方向z；所述偏移量包括进深方向的偏移值、横向的偏移值、垂直方向的偏移值；在进深方向上的虚拟弹簧的预设刚度值等于或小于横向上的虚拟弹簧的预设刚度值，横向上的虚拟弹簧的刚度值小于垂直方向上的虚拟弹簧的刚度值；且进深方向上的虚拟弹簧的刚度值、横向上的虚拟弹簧的刚度值均小于或等于第一平移预设刚度阈值，垂直方向上的虚拟弹簧的刚度值大于或等于第二平移预设刚度阈值，以使执行器沿进深方向、横向中的至少一个方向自由平移，并将执行器沿垂直方向的平移限定在预设平移位移内。
42.作为本实施例一种可选的实现方式，所述偏移量还包括绕进深方向旋转的偏移值、绕横向旋转的偏移值、绕垂直方向旋转的偏移值；以垂直方向为轴的旋转方向上的虚拟弹簧的刚度值小于以进深方向为轴的旋转方向上的虚拟弹簧的刚度值，并小于以横向为轴的旋转方向上虚拟弹簧的刚度值；且以垂直方向为轴的旋转方向上的虚拟弹簧的刚度值小于或等于第一旋转预设刚度阈值，以进深方向为轴的旋转方向上的虚拟弹簧的刚度值、以横向为轴的旋转方向上的虚拟弹簧的刚度值大于或等于第二旋转预设刚度阈值，以使执行器以垂直方向为轴在所述目标区域内自由旋转，并将执行器以进深方向为轴、以横向为轴的旋转位于限定在预设旋转位移内。
43.上述可选的实现方式，设定在多个自由度方向上的各个所述虚拟弹簧的刚度值，以将所述执行器的运动限定在目标区域上。具体的，设定不同自由度方向的弹簧刚度时，可以使用函数setstiffness(
…
)(type:double)进行设定。
44.第一平移预设刚度阈值可为0n/m～500n/m，从而可以把进深方向x上的虚拟弹簧的刚度值的范围、所述横向y上的虚拟弹簧的刚度值的范围限定在0n/m～500n/m的范围之内。当然，也可以根据实际情况设置为其他范围的值。原则就是刚度设定的比较小，因为根据胡克定律，当力一定时，刚度越小，弹簧形变量越大。所以，在进深方向的刚度设置的尽可能小，可以有助于执行器在该方向发生位移。在横向y上，设置的刚度也比较小，也有助于执行器在该方向移动，进行切割。
45.第二平移预设刚度阈值可为4000n/m～5000n/m，目标区域的垂直方向z的刚度最
大，设置的范围为4000n/m～5000n/m。当然，也可以根据实际情况灵活进行设定。原则就是应该尽可能大。因为根据胡克定律，当力一定时，刚度越大，弹簧形变量越小。所以，在z方向的刚度设置的尽可能大，可以有助于避免执行器在z方向发生位移，因为如果在z方向发生位移之后，直接造成执行器脱离当前目标区域，容易给患者带来伤害，这是不允许的。
46.第一旋转预设刚度阈值可为0nm/rad～20nm/rad，使得执行器可以垂直方向z为轴在当前目标区域内旋转，第二旋转预设刚度阈值可为200nm/rad～300nm/rad，限制执行器以进深方向x为轴旋转、以横向y为轴旋转的位移，进一步避免了执行器脱离当前目标区域，保证截骨的安全性。
47.在可选的一个具体实施方式中，进深方向上的虚拟弹簧的预设刚度值、横向上的虚拟弹簧的预设刚度值均可为0n/m，垂直方向上的虚拟弹簧的预设刚度值可为5000n/m，以垂直方向为轴的旋转方向上的虚拟弹簧的刚度值可为10nm/rad，以进深方向为轴的旋转方向上的虚拟弹簧的刚度值、以横向为轴的旋转方向上虚拟弹簧的刚度值可均为300nm/rad。
48.在一种实施方式中，控制方法还包括：设定虚拟弹簧在多个自由度方向上的阻尼值。其中，弹簧阻尼决定了虚拟弹簧在偏移中心位置后的振荡程度，阻尼值的范围可为0.1～1.0，例如，0.7。
49.在机器人应用于膝关节置换手术中时，机械臂末端的执行器用于对膝关节进行截骨。参见附图3a所示的截骨前后对比的示意图。具体的，参见附图3b所示，深灰色覆盖区域未股骨前端待截骨区域，该区域截掉后即为股骨前端截骨平面。参见附图3c所述，深灰色覆盖区域为股骨前斜待截骨区域，该区域截掉后即为股骨前斜截骨平面。参见附图3d所示，深灰色区域为股骨后髁待截骨区域，该区域截掉后即为股骨后髁截骨平面。参见附图3e所示，深灰色区域为截骨后的股骨后斜截骨平面。参见附图3f所示，深灰色区域为股骨远端待截骨区域，该区域截掉后即为股骨远端截骨平面，浅灰色区域为锯片的示意图。参见附图3g所示，深灰色区域为胫骨平台区域，该区域截掉后即为胫骨截骨平面。
50.在机械臂被操作过程中，三维模型中还可实时显示限定出当前待截骨区域的外缘边界，为医生提供参考。
51.作为本实施例一种可选的实现方式，在对执行器、骨骼进行追踪之前，还可对患者所处的世界坐标系与术前规划的三维模型坐标系进行配准，从而将世界坐标系配准到三维模型坐标系。
52.具体地，配准过程如下：获取骨骼的三维模型中骨骼上的规划点在三维模型坐标系下的空间位置和实体的骨骼上的术中标记点在世界坐标系下的空间位置；将规划点在三维坐标系下的空间位置与术中标记点在世界坐标系下的空间位置进行粗配准，得到粗配准矩阵；获取实体的骨骼上的划线点集在世界坐标系下的空间位置；根据所述粗配准矩阵将所述划线点集的空间位置与三维模型进行精配准，以将世界坐标系配准到三维模型坐标系。
53.规划点可以为在三维骨骼模型中选择骨性标志点而得到，术中标记点为医生利用手术探针对患者骨骼上的骨性标志点进行采集，手术探针上安装有示踪器，通过双目红外相机跟踪手术探针位置获取术中标记点在世界坐标系下的空间位置。
54.示例性地，将术前规划点在三维坐标系下的空间位置与术中标记点在世界坐标系下的空间位置进行粗配准包括：通过预设三维空间点云搜索方式，分别将所述术前规划点
在三维坐标系下的空间位置与所述术中标记点在世界坐标系下的空间位置进行三角化处理，得到术中标记点对应的实操三角形序列和术前规划点对应的规划三角形序列；通过预设三维空间点云搜索方式，根据所述规划三角形序列对术前规划点进行修正，得到修正后的术前规划点；将实操三角形序列对应的术中标记点与所述修正后的术前规划点进行粗配准。
55.在精配准时可以根据粗配准矩阵将划线点集在世界坐标系下的空间位置反射回三维模型坐标系中，得到划线点集在三维模型坐标系下的位置；而后根据划线点集在三维模型坐标系下的位置在所述三维模型上进行邻域空间搜索，得到第一邻域空间点集；最后根据第一邻域空间点集对划线点集在世界坐标系下的空间位置进行修正，得到线段点集；将线段点集与所述三维模型进行精配准。
56.示例性地，根据第一邻域空间点集对划线点集在世界坐标系下的空间位置进行修正包括：将划线点集中的点进行三角形配对，得到配对三角形序列；根据第一邻域空间点集以及所述配对三角形序列对划线点集中的点进行修正。
57.示例性地，根据第一邻域空间点集以及所述配对三角形序列对划线点集中的点进行修正包括：在第一邻域空间点集中筛选出第一目标点；根据配对三角形序列将所述划线点集中的点的位置修正至对应第一目标点的位置。
58.示例性地，通过预设三维空间点云搜索方式，分别对所述术前规划点在三维坐标系下的空间位置与所述术中标记点在世界坐标系下的空间位置进行三角化处理，得到术中标记点对应的实操三角形序列和术前规划点对应的规划三角形序列包括：通过预设三维空间点云搜索方式，根据所述术前规划点在三维坐标系下的空间位置将术前规划点的前三个点组成三角形，以及根据所述术中标记点在世界坐标系下的空间位置将术中标记点的前三个点组成三角形；从第四个点开始，分别在之前的点中选取两个点，与当前点组成三角形，得到术中标记点对应的实操三角形序列和术前规划点对应的规划三角形序列；所述实操三角形序列与所述规划三角形序列的三角形组成顺序是相同的。
59.示例性地，通过预设三维空间点云搜索方式，根据所述规划三角形序列对术前规划点进行修正，得到修正后的术前规划点包括：通过预设三维空间点云搜索方式，确定术前规划点在三维模型上的第二邻域空间点集；在所述第二邻域空间点集中筛选出第二目标点；根据所述规划三角形序列将所述术前规划点在三维模型坐标下的空间位置修正至对应第二目标点的位置。
60.根据本公开实施例，还提供了一种机器人机械臂的控制系统，如图4所示，包括：确定单元301，在机械臂末端的执行器运行过程中，根据执行器的当前空间位置与骨骼的当前目标区域的空间位置确定执行器相对于当前目标区域的偏移量；控制单元302，根据所述偏移量，对机械臂进行控制，以将执行器的运动限定在当前目标区域内。
61.控制系统还可包括：配准单元，被配置为实现上述的配准过程。
62.机器人除包括前述的双目红外相机等，还可包括上位机主控系统和机械臂系统，本技术中，确定单元和配准单元均位于上位机主控系统中，控制单元则位于机械臂系统中。
63.在双目红外相机、示踪器和机械臂的配合下，执行器的运动范围限制在当前目标区域内，既可以防止对韧带、血管、神经等组织的损伤，也可以有效避免截骨量过多，提高手术的精准度和安全性。
64.本公开实施例提供了一种电子设备，如图5所示，该电子设备包括一个或多个处理器41以及存储器42，图5中以一个处理器41为例。
65.该控制器还可以包括：输入装置43和输出装置44。
66.处理器41、存储器42、输入装置43和输出装置44可以通过总线或者其他方式连接，图4中以通过总线连接为例。
67.处理器41可以为中央处理器(centralprocessingunit，cpu)。处理器41还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
68.存储器42作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本公开实施例中的控制方法对应的程序指令/模块。处理器41通过运行存储在存储器42中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的用于膝关节置换机器人的控制方法。
69.存储器42可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器42可选包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
70.输入装置43可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。
71.一个或者多个模块存储在存储器42中，当被一个或者多个处理器41执行时，执行如图1所示的方法。
72.本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述用于手术器人的控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；存储介质还可以包括上述种类的存储器的组合。
73.虽然结合附图描述了本公开的实施方式，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。