柔性器械控制方法、系统、电子设备、存储介质及机器人与流程

1.本发明涉及医疗器械技术领域，尤其涉及一种柔性器械控制方法、系统、电子设备、存储介质及机器人。


背景技术：

2.传统柔性器械经腔道系统操作，一般由操作者手持柔性器械站立在目标对象旁侧进行检查及预设动作的操作，在柔性器械经由腔道系统进入解剖结构的过程中，操作者一般需要一手持握柔性器械控制端，另一手在腔道系统的入口端把持柔性器械，通过双手及单臂来实现对柔性器械末端姿态的控制，以便控制柔性器械在腔道系统内行进，并最终到达目标解剖结构部位处。在操作过程中，操作者还需要观察可视化界面，实时了解柔性器械末端在腔道系统内的位置，以便对柔性器械末端姿态进行判断和调整，这对操作者的手眼协调操作能力提出了较高的要求，而且操作者的工作强度较大。
3.为了解决以上问题，目前采用机器人装置对柔性器械进行操作，改手动直接操作方式为间接操作方式。操作机器人装置控制柔性器械，需要对机器人装置的柔性器械控制机械臂和目标对象解剖位置进行配准。现有技术中，包括手动配准方式和自动配准方式。其中，手动配准需要操作者事先花费较长的时间对机器人装置的使用方法进行培训和学习，使用操作复杂；自动配准的算法复杂，配准过程需要借助额外的检测设备及定位器件，配准设备摆放准备费时，准备及实施流程时间长，操作复杂，而且定位器件存在偏差等影响，配准的效率及精度较低。


技术实现要素：

4.本发明提供一种柔性器械控制方法、系统、电子设备、存储介质及机器人，用以解决现有技术中使用机器人装置实施柔性器械经腔道系统操作的准备及使用流程时间长、使用操作复杂，配准的效率及精度较低的缺陷。
5.第一方面，本发明提供一种柔性器械控制方法，所述柔性器械配置虚拟导航模块，所述虚拟导航模块用于生成虚拟导航数据，所述柔性器械的末端还配置有图像采集模块，所述图像采集模块用于采集真实图像；所述柔性器械的控制方法包括：
6.基于真实图像，控制对虚拟导航模块进行配准；
7.获取柔性器械在目标腔道系统内的行进位置及状态；
8.基于所述行进位置及状态，获取虚拟导航数据；
9.基于所述虚拟导航数据，控制所述柔性器械的末端在所述目标腔道系统内行进至目标位置。
10.根据本发明提供的柔性器械控制方法，所述基于真实图像，控制对虚拟导航模块进行配准，包括：
11.确定所述柔性器械的末端到达所述目标腔道系统的目标特征位置；
12.实时获取所述目标特征位置的真实图像和所述虚拟导航模块生成的虚拟图像；
13.基于所述真实图像和所述虚拟图像，控制对所述虚拟导航模块进行配准，以使配准后的所述虚拟图像与所述真实图像一致。
14.根据本发明提供的柔性器械控制方法，所述基于所述真实图像和所述虚拟图像，控制对所述虚拟导航模块进行配准，以使配准后的所述虚拟图像与所述真实图像一致，包括：
15.控制校准所述真实图像，获取校准后的所述真实图像中目标特征的第一特征信息；
16.控制校准所述虚拟图像，获取校准后的所述虚拟图像中目标特征的第二特征信息；
17.基于所述第一特征信息和所述第二特征信息，确定配准参数；
18.基于所述配准参数，控制所述虚拟导航模块进行配准，以使配准后的所述第二特征信息与所述第一特征信息一致。
19.根据本发明提供的柔性器械控制方法，所述目标特征包括分支腔道；所述控制校准所述真实图像，获取校准后的所述真实图像中目标特征的第一特征信息，包括：
20.获取所述真实图像中所述分支腔道的各子腔道轮廓的第一拟合图形；
21.基于所述第一拟合图形，确定第一校准参数；
22.基于所述第一校准参数，控制调整所述柔性器械的末端姿态，以校准所述真实图像的视角为目标视角；
23.获取所述第一特征信息，所述第一特征信息包括所述目标视角下真实图像中所述分支腔道的各子腔道轮廓的第一拟合图形截面积。
24.根据本发明提供的柔性器械控制方法，所述基于所述第一拟合图形，确定第一校准参数，包括：
25.获取各所述子腔道轮廓的第一拟合图形的几何中心信息，以及各几何中心连线的位置信息；
26.基于所述几何中心信息和所述几何中心连线的位置信息，确定所述第一校准参数；
27.其中，所述第一校准参数包括角度偏移量和位置偏移量，所述角度偏移量为所述几何中心连线与所述目标视角下真实图像中目标图形几何中心连线之间的夹角，所述位置偏移量为各所述几何中心围绕的对称中心点与所述目标视角下真实图像中心点之间的间距。
28.根据本发明提供的柔性器械控制方法，所述控制校准所述虚拟图像，获取校准后的所述虚拟图像中目标特征的第二特征信息，包括：
29.获取所述虚拟图像中所述分支腔道的各子腔道轮廓的第二拟合图形；
30.基于所述第二拟合图形，确定第二校准参数；
31.基于所述第二校准参数，控制调整所述虚拟导航模块的虚拟图像视角，以校准所述虚拟图像的视角至所述目标视角；
32.获取所述第二特征信息，所述第二特征信息包括所述目标视角下虚拟图像中所述分支腔道的各子腔道轮廓的第二拟合图形截面积。
33.根据本发明提供的柔性器械控制方法，所述基于所述第一特征信息和所述第二特
征信息，确定配准参数，包括：
34.根据所述第一拟合图形截面积和所述第二拟合图形截面积，基于预设关系式，获取所述虚拟图像的深度调整参数；所述配准参数包括所述深度调整参数。
35.根据本发明提供的柔性器械控制方法，所述基于所述行进位置及状态，获取虚拟导航数据，包括：
36.确定所述柔性器械的当前行进位置及状态；
37.基于计划路径和所述当前行进位置及状态，获取所述虚拟导航数据；
38.其中，所述虚拟导航数据包括虚拟图像和操作引导提示，所述虚拟图像显示所述当前行进位置及状态对应的虚拟腔道影像，所述操作引导提示用于提示在所述当前行进位置及状态下的所述柔性器械的目标调整动作。
39.根据本发明提供的柔性器械控制方法，所述基于所述虚拟导航数据，控制所述柔性器械的末端在所述目标腔道系统内行进至目标位置，包括：
40.在所述柔性器械的末端到达分支腔道位置的情况下，根据所述操作引导提示，控制所述柔性器械执行所述目标调整动作，以控制所述柔性器械的末端进入所述分支腔道中的目标子腔道内。
41.根据本发明提供的柔性器械控制方法，所述基于真实图像，控制对虚拟导航模块进行配准之前，还包括：
42.获取所述目标腔道系统的数字化三维模型；
43.基于所述数字化三维模型和所述目标位置，确定所述计划路径。
44.根据本发明提供的柔性器械控制方法，所述基于所述数字化三维模型和所述目标位置，确定计划路径，包括：
45.在所述数字化三维模型中，由所述目标腔道系统的入口至所述目标位置，按照预设规则对所述目标腔道系统的各级分支腔道进行标记；
46.基于所述标记，确定至少一条计划路径；
47.根据所述目标位置的目标形状和大小，确定所述目标位置的动作阈值。
48.根据本发明提供的柔性器械控制方法，所述获取柔性器械在目标腔道系统内的行进位置及状态，包括：
49.获取所述柔性器械进入所述目标腔道系统内的长度信息，以及所述柔性器械的末端状态信息；
50.基于所述长度信息、所述末端状态信息以及计划路径，确定所述柔性器械在所述目标腔道系统内的行进位置及状态。
51.根据本发明提供的柔性器械控制方法，所述柔性器械的末端还配置有敏感测量元件，所述柔性器械的控制方法还包括：
52.实时获取柔性器械的末端与目标腔道系统内壁的接触力；
53.在所述接触力大于第一阈值的情况下，控制发出提示信息；
54.在所述接触力大于第二阈值的情况下，控制所述柔性器械以限制模式运动，其中，所述第二阈值大于所述第一阈值。
55.第二方面，本发明还提供一种控制系统，包括：
56.第一控制模块，用于基于真实图像，控制对虚拟导航模块进行配准；
57.第一获取模块，用于获取柔性器械在目标腔道系统内的行进位置及状态；
58.第二获取模块，用于基于所述行进位置及姿态信息，获取虚拟导航数据；
59.第二控制模块，用于基于所述虚拟导航数据，控制所述柔性器械的末端在所述目标腔道系统内行进至目标位置；
60.其中，所述柔性器械配置所述虚拟导航模块，所述虚拟导航模块用于生成所述虚拟导航数据，所述柔性器械的末端还配置有图像采集模块，所述图像采集模块用于采集所述真实图像。
61.第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述柔性器械控制方法。
62.第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述柔性器械控制方法。
63.第五方面，本发明还提供一种机器人，包括虚拟导航模块和上述一种所述的电子设备，所述虚拟导航模块被配置为能够生成虚拟导航数据。
64.本发明提供的柔性器械控制方法，在操控柔性器械进入目标腔道系统的过程中，首先通过图像采集模块获取目标腔道系统内的真实图像，并采用真实图像结合图像识别技术对虚拟导航模块进行配准，实现术中实时图像配准，配准过程无需额外的检测设备及元器件，操作简单，省时省力，提高配准的效率和精度；然后通过虚拟导航模块根据柔性器械在目标腔道系统内的行进位置及状态获取虚拟导航数据，借助虚拟导航模块跟踪柔性器械在目标腔道系统内的行进位置及状态，操作者通过观察目标腔道系统内的真实图像和虚拟导航模块的虚拟图像，来确认柔性器械在目标腔道系统内的行进位置及状态，通过观看虚拟导航模块给出的可视化操控提示，虚拟导航模块将柔性器械向目标位置导向，使操作者根据虚拟导航数据即可完成相应的操作调整，并最终操控柔性器械准确到达目标位置，实现术中可视化操作引导，无需进行额外的学习和训练，有效提高柔性器械操控的实施效率和精度。
65.本发明的柔性器械控制方法可以应用于手术机器人实施经人体自然腔道手术中，能够有效解决现有技术中使用手术机器人装置实施经人体自然腔道手术的准备及使用流程时间长、使用操作复杂，配准的效率及精度较低的缺陷。
附图说明
66.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
67.图1是本发明实施例提供的机器人的作业示意图；
68.图2是本发明实施例提供的机器人的组成及作业流程示意图；
69.图3是本发明实施例提供的柔性器械的作业示意图；
70.图4是本发明实施例提供的柔性器械的作业流程示意图；
71.图5是本发明提供的柔性器械控制方法的流程示意图；
72.图6是本发明实施例提供的真实图像校准前示意图；
73.图7是本发明实施例提供的真实图像校准后示意图；
74.图8是本发明实施例提供的虚拟导航图像深度校正原理示意图；
75.图9是本发明实施例提供的对目标腔道系统进行标记的示意图；
76.图10是本发明实施例提供的虚拟导航操作引导提示示意图；
77.图11是本发明提供的控制系统的结构示意图；
78.图12是本发明提供的电子设备的结构示意图。
79.附图标记：
80.100：柔性器械；1：接口盒；2：柔性主体；21：第一柔性主体；22：第二柔性主体；
81.200：支撑装置；300：机械臂装置；301：机械臂组件；302：柔性器械驱动装置；400：主机；401：主机械臂；500：操作台；600：显示系统；700：虚拟导航模块；800：入口；900：导入装置；
82.1110：第一控制模块；1120：第一获取模块；1130：第二获取模块；1140：第二控制模块；
83.1210：处理器；1220：通信接口；1230：存储器；1240：通信总线。
具体实施方式
84.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
85.在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“第一”“第二”是为了清楚说明产品部件进行的编号，不代表任何实质性区别。“上”“下”“左”“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明实施例中的具体含义。
86.需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明实施例中的具体含义。
87.本发明的柔性器械控制方法，适用于机器人系统操控柔性器械，用以控制柔性器械经目标腔道系统进入目标位置处。其中，柔性器械可以是任意能够被操控以执行预设动作，并且具有细长且柔软特性的器械；机器人系统可以是任意能够操控上述柔性器械的机器人。本发明的实施例中以手术机器人和医疗柔性器械，例如支气管镜为例，以便更好地说明本发明的柔性器械控制方法、控制系统、电子设备、非暂态计算机可读存储介质及机器人的有益效果。
88.下面结合图1-图12描述本发明的柔性器械控制方法、控制系统、电子设备、非暂态计算机可读存储介质及机器人。
89.图1是本发明实施例提供的机器人的作业示意图。如图1所示，一些实施例的机器人包括柔性器械100、支撑装置200、机械臂装置300、主机400、操作台500、显示系统600和虚
拟导航模块700。
90.其中，主机400包括主机械臂401、主控制装置、数据处理系统、检测系统和机械臂驱动系统等；操作台500包括控制器及通信系统，通过通信方式与主机400的主控制装置相连，实现将控制器的动作、位置信号传输给主控制装置，经由主控制装置将上述信号转换为驱动柔性器械100运动的控制数据，并将控制数据传输给机械臂驱动系统和机械臂装置300。主控制装置还接收来自数据处理系统的数据，数据处理系统用于处理检测系统获取的传感数据、机械臂驱动系统的数据，为主控制装置的安全、精确控制提供保障。
91.主机400通过主机械臂401与机械臂装置300连接，机械臂驱动系统驱动主机械臂401运动；主机械臂401能够带动机械臂装置300沿着竖直方向进行升降运动，主机械臂401还能够带动机械臂装置300绕竖直轴线转动，使得机械臂装置300能够精确对准目标腔道系统的入口800处。柔性器械100安装在机械臂装置300上，机械臂装置300根据控制信号将微型伺服电机动力传递给柔性器械100，驱动柔性器械100进行直线、旋转、末端弯曲运动，实现柔性器械100经目标腔道系统的入口800进入目标腔道系统内，以及在目标腔道系统中调整行进姿态并最终到达目标位置处。
92.柔性器械100的末端配置有图像采集模块，例如内窥镜。操作者通过观看显示系统600呈现的图像采集模块采集的目标腔道系统内影像以及虚拟导航模块700中呈现的可视化操控提示和目标腔道系统的三维数字化图像，通过操作台500(可以是机旁操作台，也可以是远程操作台)上的控制器，操控主机械臂401实现将机械臂装置300对准目标腔道系统的入口800，并控制机械臂装置300带动柔性器械100经由目标腔道系统的入口800进入目标腔道系统中的目标位置，或带动柔性器械100由目标腔道系统中移出。在柔性器械100移动的过程中，通过支撑装置200对柔性器械100进行支撑。
93.在一些实施例中，柔性器械100具有首端、末端以及在首端与末端之间延伸的至少一个管腔，柔性器械100用于在目标腔道系统的入口800与目标位置之间搭建目标工作通道，工作器械可以通过该目标工作通道到达目标位置，从而实施对目标位置的目标操作。
94.其中，目标腔道系统可以为患者的人体自然腔道，例如人体气管树、食道、胃肠道系统等；目标腔道系统的入口800包括口腔、鼻腔等。目标位置可以为患者的病灶解剖结构位置。柔性器械100可以是支气管镜、胃镜、肠镜等医疗器械；工作器械可以是检查、取样及治疗工具等医疗器械，检查、取样及治疗工具(包括外科、诊断、治疗或活检器械等介入器械)通过柔性器械100搭建的目标工作通道到达病灶位置，检查、取样及治疗工具的位置及操作在透视设备的透视检查下进行，从而实施对病灶的影像检测、活检取样及能量治疗手术等操作。
95.图2是本发明实施例提供的机器人的组成及作业流程示意图。如图2所示，操作者操作机械臂装置300控制柔性器械100进入目标腔道系统内的过程中，图像采集模块随柔性器械100在目标腔道系统内行进时，实时获取目标腔道系统内影像；图像采集模块将目标腔道系统内影像发送给显示系统600，操作者通过显示系统600实时观察柔性器械100在目标腔道系统内的行进位置及状态。图像采集模块还将目标腔道系统内影像数据同步发送给检测系统，检测系统将计算处理后的目标腔道系统内实时数据发送给虚拟导航模块700，虚拟导航模块700根据目标腔道系统内实时数据对导航系统影像进行自动或手动配准，达到导航系统影像的位置及角度信息和图像采集模块的实时影像一致的效果，操作者通过观看虚
拟导航模块700中呈现的可视化导航提示，从而更直观地在计划路径引导下进入目标腔道中。
96.在进入的过程中，虚拟导航模块700除了引导作用，还具备提示指导柔性器械200在目标腔道系统内的姿态调整位置及角度的作用。操作者通过观察柔性器械200的实时影像以及虚拟导航模块700给出的提示信息，来确认柔性器械200的末端所处目标腔道系统内的位置，并调整柔性器械200进入下一级目标腔道中，直至到达目标位置处。在柔性器械100的末端到达目标位置后，再经由柔性器械100搭建的目标工作通道插入工作器械，从而实施对目标位置的目标操作。工作器械也可处于柔性器械100的图像采集模块视野下，确保目标操作的安全性和准确性。
97.图3是本发明实施例提供的柔性器械的作业示意图。如图3所示，柔性器械100的特性是细长且柔软，在自然状态下难以保持顺直的形态，尤其是柔性器械100朝向目标腔道系统内移动的过程中，柔性器械100位于目标腔道系统外部的区段未得到有效支撑的情况下，柔性器械100直线移动遇阻以及对柔性器械100进行旋转操作或对柔性器械100的末端进行弯曲调节时，柔性器械100易发生不规则弯曲及扭转现象，导致柔性器械100的定位精度差。确定的形态是实现机械臂装置300准确控制柔性器械100的基础，为保障柔性器械100位于目标腔道系统外部的区段保持顺直的形态，在柔性器械100进入或退出目标腔道系统时需通过支撑装置200对柔性器械100沿柔性器械100的长度方向进行有效支撑。
98.机械臂装置300包括机械臂组件301和柔性器械驱动装置302。支撑装置200的一端与机械臂组件301的活动端连接，支撑装置200的另一端与机械臂组件301的固定端连接，定义机械臂组件301的活动端远离目标腔道系统，机械臂组件301的固定端靠近目标腔道系统，柔性器械驱动装置302设置于机械臂组件301的活动端。柔性器械100的首端通过接口装置与柔性器械驱动装置302连接，柔性器械100的末端穿过机械臂组件301的固定端，支撑装置200能够沿长度方向支撑柔性器械100，支撑装置200一端与柔性器械驱动装置302连接、另一端与机械臂组件301的固定端连接，支撑装置200能够随着机械臂组件301的运动发生收缩变形或者伸展变形。
99.图3中的箭头方向指示工作方向，工作方向为机械臂组件301的活动端相对于固定端的移动方向，机械臂组件301的活动端沿箭头方向靠近或远离机械臂组件301的固定端。
100.在机械臂组件301的活动端沿工作方向朝向靠近或者远离机械臂组件301的固定端的方向运动时，支撑装置200能够随着机械臂组件301的运动发生收缩变形或者伸展变形。支撑装置200形成有用于支撑柔性器械100的支撑通道，柔性器械100穿设于支撑通道中，柔性器械100随支撑装置200沿工作方向同步运动。支撑装置200沿工作方向能够保持顺直的形态，进而保障柔性器械100在运动过程中能够保持顺直的形态。
101.机械臂组件301的活动端沿着工作方向朝向靠近机械臂组件301的固定端的方向运动，支撑装置200在长度方向被逐渐压缩变短，支撑装置200沿工作方向始终保持顺直的形态，由此柔性器械100能够沿着支撑通道稳定地由目标腔道系统的入口800进入目标腔道系统内的目标位置处。机械臂组件301的活动端沿着工作方向朝向远离机械臂组件301的固定端的方向运动，支撑装置200在长度方向被逐渐拉伸变长，支撑装置200沿工作方向始终保持顺直的形态，由此柔性器械100能够沿着支撑通道稳定地由目标腔道系统内移出至目标腔道系统外部。
102.柔性器械100内部具有工作通道，柔性器械100沿着支撑通道进入目标腔道系统内的目标位置处，工作器械沿着工作通道抵达目标位置，对目标位置实施目标操作。柔性器械100在沿着支撑通道向目标腔道系统内的目标位置移动的过程中，柔性器械驱动装置302将微型伺服电机动力传递给柔性器械100，驱动柔性器械100进行旋转或者末端弯曲动作，使得柔性器械100能够在目标腔道系统中调整末端姿态，并最终到达目标位置。
103.柔性器械100沿着支撑通道向目标腔道系统内的目标位置移动的过程中，或者沿着支撑通道由目标腔道系统内向目标腔道系统外移动的过程中，支撑装置200能够始终保持顺直的形态，使得位于目标腔道系统外部的柔性器械100的部分区段能够得到稳定地支撑，有效避免柔性器械100在进行移动、旋转或末端弯曲的过程中发生不规则的弯曲及扭转现象，使得柔性器械100在移动过程中保持顺直的形态，进而有利于柔性器械100精准移动至目标腔道系统内的目标位置或从目标腔道系统内移出。
104.图4是本发明实施例提供的柔性器械的作业流程示意图。如图4所示，检测系统包括感知模块和视频模块。柔性器械100包括接口盒1和柔性主体2，柔性主体2连接于接口盒1，接口盒1连接于柔性器械驱动装置302，从而将柔性器械100安装于机器人的机械臂装置300。操作者通过操作台500发送的控制调整信号，经由主控制装置转换为柔性器械驱动装置302的微型伺服电机的驱动控制信号，微型伺服电机的旋转运动通过接口盒1驱动连接的柔性主体2。柔性主体2的末端姿态由三个运动自由度组合控制：末端上下弯曲、左右旋转以及前进后退。
105.在一些实施例中，柔性主体2可以包括第一柔性主体21和第二柔性主体22。目标腔道系统随着第一柔性主体21进入长度的深入，目标腔道系统的腔道内径随之越来越细，由于第一柔性主体21的外径尺寸所限，第一柔性主体21一般只能到达预先指定的第一预设位置，然后再操作外径尺寸更细的第二柔性主体22经由第一柔性主体21的第一工作通道进入，第二柔性主体22不具备视觉功能，第二柔性主体22在目标腔道系统内的位置可以通过设置在第二柔性主体22端部的传感器来检测，传感器可以是形状传感器、磁定位传感器；检测数据发送给检测系统，检测系统将传感器微弱的光电信号处理为可稳定传输的数字信号，再经由数据处理系统计算将传感器的数字信号转换为具有一定物理意义的数据。操作者通过虚拟导航模块700比对第二柔性主体22的位置数据，来确定是否已到达第二预设位置；当操作者确定第二柔性主体22的位置已到达事先设定的第二预设位置，即可在第二柔性主体22的第二工作通道中插入工作器械，工作器械与目标位置的相对位置一般通过医学透视设备进行确认。
106.图5是本发明提供的柔性器械控制方法的流程示意图。如图5所示，本发明提供的柔性器械控制方法包括以下步骤：
107.步骤s10，基于真实图像，控制对虚拟导航模块进行配准；
108.步骤s20，获取柔性器械在目标腔道系统内的行进位置及状态；
109.步骤s30，基于上述行进位置及状态，获取虚拟导航数据；
110.步骤s40，基于虚拟导航数据，控制柔性器械的末端在目标腔道系统内行进至目标位置；
111.其中，柔性器械配置虚拟导航模块，虚拟导航模块用于生成虚拟导航数据；柔性器械的末端还配置有图像采集模块，图像采集模块用于采集真实图像。
112.在本实施例中，柔性器械搭配虚拟导航模块使用，在操控柔性器械沿计划路径在目标腔道系统内行进及姿态调整的过程中，虚拟导航模块通过实时判断柔性器械和计划路径的位置关系，能够根据柔性器械在目标腔道系统内的行进位置及状态生成虚拟导航数据，虚拟导航数据呈现可视化的虚拟导航画面，虚拟导航画面不仅以连续线条的形式呈现目标腔道系统内的行进路径，而且根据下一步行进的目标位置以数字及图形的方式给予操作者提示，比如柔性器械末端的旋转角度、末端弯曲角度等。从而虚拟导航模块给予操作者术中可视化图形化的操作引导提示信息，指导柔性器械在目标腔道系统内的姿态调整位置及角度，操作者通过观看虚拟导航模块中呈现的可视化导航提示，调整柔性器械进入下一级目标腔道中，直至到达目标位置，使操作者根据提示信息即可完成相应的操作调整，无需进行额外的学习和训练，有效提高柔性器械操控的实施效率和精度。
113.同时，柔性器械的末端还配置有图像采集模块，例如内窥镜，图形采集模块随柔性器械在目标腔道系统内行进的过程中，可以实时采集目标腔道系统内的真实图像。
114.虚拟导航模块输出术中操作引导提示信息之前，需要将虚拟导航模块与柔性器械的实际位置进行配准。根据目标腔道系统内的真实图像，通过图像识别的方式，对虚拟导航模块虚拟图像和柔性器械真实图像进行自动或手动配准，使虚拟导航模块的视角与柔性器械视角保持一致，达到虚拟导航模块虚拟图像的位置及角度信息和图像采集模块真实图像一致的效果，柔性器械可以更直观地在计划路径引导下进入目标腔道中，配准过程无需额外的检测设备及元器件，解决现有配准设备摆放准备费时费力以及定位器件存在偏差影响的问题，通过实时视觉方式结合图像识别技术提高配准的效率和精度。
115.本发明的柔性器械控制方法，在操控柔性器械进入目标腔道系统的过程中，首先通过图像采集模块获取目标腔道系统内的真实图像，并采用真实图像结合图像识别技术对虚拟导航模块进行配准，实现术中实时图像配准，配准过程无需额外的检测设备及元器件，操作简单，省时省力，提高配准的效率和精度；然后通过虚拟导航模块根据柔性器械在目标腔道系统内的行进位置及状态获取虚拟导航数据，借助虚拟导航模块跟踪柔性器械在目标腔道系统内的行进位置及状态，操作者通过观察目标腔道系统内的真实图像和虚拟导航模块的虚拟图像，来确认柔性器械在目标腔道系统内的行进位置及状态，通过观看虚拟导航模块给出的可视化操控提示，虚拟导航模块将柔性器械向目标位置导向，使操作者根据虚拟导航数据即可完成相应的操作调整，并最终操控柔性器械准确到达目标位置，实现术中可视化操作引导，无需进行额外的学习和训练，有效提高柔性器械操控的实施效率和精度。
116.本发明的柔性器械控制方法可以应用于手术机器人实施经人体自然腔道手术中，能够有效解决现有技术中使用手术机器人装置实施经人体自然腔道手术的准备及使用流程时间长、使用操作复杂，配准的效率及精度较低的缺陷。
117.在一些实施例中，本发明的柔性器械控制方法可以应用于手术机器人实施经人体自然腔道手术中，借助虚拟导航模块跟踪柔性医疗器械，例如支气管镜，在人体自然腔道内的移动位置，虚拟导航模块将柔性医疗器械向目标解剖结构部位导向，准确到达目标解剖结构部位。柔性医疗器械沿手术计划路径行进过程中，虚拟导航模块的虚拟导航画面不仅以连续线条的形式呈现柔性医疗器械的行进路径，而且自动根据下一步行进的目标位置以数字及图形的方式给操作者提示，比如柔性医疗器械末端的旋转角度、末端弯曲角度等，使得操作者根据术中可视化操作引导的提示信息，即可完成相应的操作调整，无需进行额外
的学习和训练，有效提高经人体自然腔道手术的实施效率和手术精度。同时，通过图像采集模块，例如内窥镜，获取人体自然腔道内的真实图像，并采用真实图像结合图像识别技术对虚拟导航模块进行配准，实现术中实时图像配准，配准过程无需额外的检测设备及元器件，可以减少经人体自然腔道手术的准备及实施时间，在图像导航下直观操作，具有准备快速、使用便捷和易于操作使用的效果，显著提高手术的准确性和稳定性，并改善医生的工作条件。
118.在一些实施例中，为提高操作者操作机器人的便捷性，操作台上控制器的调整方式与虚拟导航模块的导航画面上显示的操作提示图形保持一致，便于操作者根据导航画面上的图形提示信息，保持一致的操控动作。
119.具体地，基于真实图像，控制对虚拟导航模块进行配准，具体包括以下步骤：
120.步骤s100，确定柔性器械的末端到达目标腔道系统的目标特征位置；
121.步骤s200，实时获取目标特征位置的真实图像和虚拟导航模块生成的虚拟图像；
122.步骤s300，基于真实图像和虚拟图像，控制对虚拟导航模块进行配准，以使配准后的虚拟图像与真实图像一致。
123.在本实施例中，虚拟导航模块以三维可视化图像方式显示目标腔道系统和目的位置的三维图像，并在目标腔道系统的三维图像上显示计划路径和由计划路径构成的虚拟腔道影像；虚拟导航模块还根据柔性器械的行进位置及状态实时判断柔性器械视角和计划路径的位置关系，输出与柔性器械行进位置及状态对应的虚拟腔道影像的虚拟图像，并在虚拟图像上对应地输出可视化操作引导提示。
124.采用真实图像结合图像识别技术对虚拟导航模块进行配准，以目标视角下的真实图像作为目标图像，调整虚拟导航模块的虚拟图像视角与柔性器械末端的图像采集模块的视角一致，实现调整虚拟图像和真实图像的位置及角度保持一致，柔性器械可以更直观地在计划路径引导下进入目标腔道中，有效提高柔性器械操控的实施效率和精度。
125.具体地，在对虚拟导航模块进行配准时，首先确定柔性器械的末端到达目标腔道系统的目标特征位置，目标特征位置是指目标腔道系统中目标特征所在的位置，目标特征是指目标腔道系统中固有并具有特定识别图形的特征，例如目标腔道系统为气管树，则目标特征可以是气管隆突。然后，通过柔性器械末端的图像采集模块实时获取目标特征位置的真实图像，通过虚拟导航模块实时生成目标特征位置的虚拟图像；最后通过图像识别可以识别出虚拟图像和目标图像中的目标特征，比对虚拟图像和真实图像中目标特征的位置及角度差异，基于差异对应调整虚拟导航模块的虚拟图像视角与柔性器械的图像采集模块视角一致，从而完成对虚拟导航模块的配准，配准后的虚拟图像的位置及角度信息与真实图像一致。
126.本实施例通过采用目标特征位置的真实图像对虚拟导航模块进行配准，提高图像识别的精准度，实现采用真实图像结合图像识别技术对虚拟导航模块进行实时图像配准，配准精确可靠，而且配准过程无需额外的检测设备及元器件，准备快速，使用简单方便。
127.在一些具体实施例中，目标腔道系统为气道即气管树，目标特征为气管隆突，目标特征位置为气道第一级分支处气管隆突位置，即气道第一处分叉位置；柔性器械为支气管镜。当操控医疗器械末端到达人体自然腔道第一处分叉位置后并确认该位置，可采用自动或人工比对虚拟导航模块的虚拟图像和内窥镜的真实图像，当虚拟图像呈现的影像和真实
图像的影像存在位置及角度差异时，自动调节或人工调整虚拟图像的深度数据及角度，以和真实图像的位置及角度保持一致，两者的判断比对以数字形式显示在可视化界面上，在调整一致后系统即完成虚拟图像和真实图像的配准。
128.具体地，基于真实图像和虚拟图像，控制对虚拟导航模块进行配准，以使配准后的虚拟图像与真实图像一致，具体包括以下步骤：
129.步骤s310，控制校准真实图像，获取校准后的真实图像中目标特征的第一特征信息；
130.步骤s320，控制校准虚拟图像，获取校准后的虚拟图像中目标特征的第二特征信息；
131.步骤s330，基于第一特征信息和第二特征信息，确定配准参数；
132.步骤s340，基于配准参数，控制虚拟导航模块进行配准，以使配准后的第二特征信息与第一特征信息一致。
133.在本实施例中，获取目标特征位置的真实图像和虚拟图像之后，首先对真实图像进行校准，调整柔性器械的视角至确定的目标视角，在目标视角下采集真实图像，从而获取校准后的真实图像；校准后的真实图像中目标特征具有确定的位置及角度，从而能够方便地获取校准后的真实图像中目标特征的第一特征信息。然后，对虚拟图像进行校准，调整虚拟图像的视角与真实图像的视角一致，获取校准后的虚拟图像中目标特征的第二特征信息，从而在相同的视角下获取目标特征的第一特征信息和第二特征信息，比对虚拟图像和真实图像的差异更准确。需要说明的是，本实施例中目标特征的第一特征信息和第二特征信息，实际是目标特征的同一个特征信息在不同图像中的名称；通过比对第一特征信息和第二特征信息，可以确定虚拟图像和真实图像中目标特征的差异，从而能够确定调整虚拟导航模块的配准参数。最后基于配准参数，调整虚拟图像和真实图像的位置及角度保持一致，完成对虚拟导航模块的配准，配准后的第二特征信息与第一特征信息一致。
134.具体地，目标特征包括分支腔道；控制校准真实图像，获取校准后的真实图像中目标特征的第一特征信息，具体包括以下步骤：
135.步骤s311，获取真实图像中分支腔道的各子腔道轮廓的第一拟合图形；
136.步骤s312，基于第一拟合图形，确定第一校准参数；
137.步骤s313，基于第一校准参数，控制调整柔性器械的末端状态，以校准真实图像的视角为目标视角；
138.步骤s314，获取第一特征信息，第一特征信息包括目标视角下真实图像中分支腔道的各子腔道轮廓的第一拟合图形截面积。
139.在本实施例中，获取真实图像之后，首先应用图像处理技术对真实图像进行处理，通过图像识别提取分支腔道的各子腔道图形轮廓，拟合为已知形状的轮廓边界，从而获得真实图像中分支腔道的各子腔道轮廓的第一拟合图形；通过比对各第一拟合图形与目标视角下真实图像中目标图形的差异，确定第一校准参数，第一校准参数是调整柔性器械的末端视角为目标视角所需的调整量；根据第一校准参数调整柔性器械的末端状态，从而实现校准真实图像的视角为目标视角。最后在目标视角下采集真实图像，对该真实图像进行图像处理，通过图像识别获取目标视角下真实图像中分支腔道的各子腔道轮廓的第一拟合图形截面积，从而获得分支腔道的第一特征信息。
140.在一些具体实施例中，实时虚拟图像配准，操作者通过操作台控制支气管镜进入目标腔道系统，例如目标腔道系统为气道系统，分支腔道为主气道第一级分支处；当支气管镜经由目标腔道系统的入口通过会咽到达隆突即主气道第一级分支处位置，获取真实图像和虚拟图像；应用图像处理技术对获取的分支腔道处图像进行处理，提取分支右、左腔道图形轮廓，并拟合为圆形轮廓边界，从而获得右、左腔道轮廓的第一拟合图形。
141.具体地，基于第一拟合图形，确定第一校准参数，具体包括以下步骤：
142.步骤s3121，获取各子腔道轮廓的第一拟合图形的几何中心信息，以及各几何中心连线的位置信息；
143.步骤s3122，基于几何中心信息和几何中心连线的位置信息，确定第一校准参数；
144.其中，第一校准参数包括角度偏移量和位置偏移量，角度偏移量为几何中心连线与目标视角下真实图像中目标图形几何中心连线之间的夹角；位置偏移量为各几何中心围绕的对称中心点与目标视角下真实图像中心点之间的间距。
145.在本实施例中，获得校准前的各子腔道轮廓的第一拟合图形之后，首先计算各子腔道轮廓的第一拟合图形的几何中心坐标，以及计算各几何中心连线的位置信息，通过各几何中心连线的位置信息可以确定各几何中心连线与目标视角下真实图像中目标图形几何中心连线之间的夹角，从而确定角度偏移量；通过各几何中心坐标可以确定各几何中心围绕的对称中心点与目标视角下真实图像中心点之间的间距，从而确定位置偏移量；角度偏移量和位置偏移量即确定第一校准参数。
146.在一些具体实施例中，如图6所示，先计算校准前真实图像中的右、左腔道轮廓的第一拟合图形的图形圆心坐标以及圆心连线与真实图像水平线的夹角θ；根据圆心连线与真实图像水平线的夹角，确定调整柔性器械视角水平的角度偏移量。根据角度偏移量和位置偏移量调整柔性器械的末端状态，调整支气管镜视角，实现对真实图像的校准。如图7所示，校准后的真实图像中，右、左腔道轮廓的图形圆心连线与图像水平轴重合，且右、左腔道轮廓的第一拟合图形的圆心连线中点位于图像中心位置，即水平x轴和垂直y轴的交点，实现柔性器械的图像采集模块的视角校准，柔性器械的图像采集模块采集的真实图像中目标特征居中且水平。最后，计算目标视角下的真实图像中右、左腔道轮廓的第一拟合图形截面积s1、s2，获得第一特征信息。
147.例如柔性器械为支气管镜，安装后对支气管镜的视角校准，使得支气管镜采集的影像居中且处于水平位置。
148.具体地，控制校准虚拟图像，获取校准后的虚拟图像中目标特征的第二特征信息，具体包括以下步骤：
149.步骤s321，获取虚拟图像中分支腔道的各子腔道轮廓的第二拟合图形；
150.步骤s322，基于第二拟合图形，确定第二校准参数；
151.步骤s323，基于第二校准参数，控制调整虚拟导航模块的虚拟图像视角，以校准虚拟图像的视角至目标视角；
152.步骤s324，获取第二特征信息，第二特征信息包括目标视角下虚拟图像中分支腔道的各子腔道轮廓的第二拟合图形截面积。
153.在本实施例中，获取虚拟图像之后，应用与真实图像相同的图像处理技术，对虚拟图像进行处理，通过图像识别提取分支腔道的各子腔道图形轮廓，拟合为与真实图像中相
同形状的轮廓边界，从而获得虚拟图像中分支腔道的各子腔道轮廓的第二拟合图形；通过比对各第二拟合图形与目标视角下真实图像中目标图像的差异，确定第二校准参数，第二校准参数是调整虚拟图像的视角为目标视角所需的调整量；根据第二校准参数调整虚拟导航模块的虚拟图像视角与真实图像一致，从而实现校准虚拟图像的视角为目标视角。最后对目标视角下的虚拟图像进行图像处理，通过图像识别获取目标视角下虚拟图像中分支腔道的各子腔道轮廓的第二拟合图形截面积，从而获得分支腔道的第二特征信息。
154.在一些具体实施例中，对虚拟图像进行处理，提取右、左腔道图形轮廓，并拟合为圆形轮廓边界，计算校准后的虚拟图像中右、左腔道轮廓的第二拟合图形截面积s1nav和s2nav，获得第二特征信息。
155.具体地，基于第一特征信息和第二特征信息，确定配准参数，具体包括以下步骤：
156.步骤s331，根据第一拟合图形截面积和第二拟合图形截面积，基于预设关系式，获取虚拟图像的深度调整参数，所述配准参数包括深度调整参数。
157.在本实施例中，图8为虚拟导航模块的虚拟图像深度配准原理的示意图。如图8所示，对于在目标腔道系统内目标特征位置获取的腔道图像，当获取图像的视角距离目标特征的深度不同时，目标特征在腔道图像上的拟合图形截面积也存在差异。因此，第一拟合图形截面积和第二拟合图形截面积分别为真实图像和虚拟图像中对同一目标特征的拟合图形截面积，通过第一拟合图形截面积和第二拟合图形截面积的差异，能够对应换算出虚拟图像视角与真实图像视角沿目标腔道系统的深度差值，从而可以得到实现第一拟合图形截面积和第二拟合图形截面积相等所需要虚拟导航模块视角调整的深度数值。
158.具体地，调整虚拟导航模块的虚拟图像角度，使虚拟图像视角角度与柔性器械的图像采集模块视角角度一致之后，将获得的第一拟合图形截面积和第二拟合图形截面积导入预先设置的预设关系式中，预设关系式用于将第一拟合图形截面积与第二拟合图形截面积的差值换算为虚拟导航模块的深度调整参数，从而实现获取虚拟图像的深度调整参数，进而确定虚拟导航模块的配准参数。
159.其中，虚拟图像的深度调整参数的预设关系式为：δa＝f(s-snav)；式中，s为第一拟合图形截面积，也是柔性器械末端要进入的腔道图像面积；snav为第二拟合图形截面积，也是虚拟导航要进入的腔道图像面积；δa为虚拟图像的深度调整参数，也是实现snav与s相等所需要虚拟导航模块视角调整的深度数值。
160.最后，根据深度调整参数控制调整虚拟导航模块的深度数值，从而实现对虚拟导航模块的配准。
161.具体地，基于柔性器械在目标腔道系统内的行进位置及状态，获取虚拟导航数据，具体包括以下步骤：
162.步骤s301，确定柔性器械的当前行进位置及状态；
163.步骤s302，基于计划路径和柔性器械的当前行进位置及状态，获取虚拟导航数据；
164.其中，虚拟导航数据包括虚拟图像和操作引导提示，虚拟图像显示柔性器械的当前行进位置及状态对应的虚拟腔道影像；操作引导提示用于提示在当前行进位置及状态下的柔性器械的目标调整动作。
165.在本实施例中，在操控柔性器械沿计划路径在目标腔道系统内行进及姿态调整的过程中，首先确定柔性器械在目标腔道系统内的当前行进位置及状态，虚拟导航模块实时
判断柔性器械的当前行进位置及状态和计划路径的关系，并根据柔性器械在目标腔道系统内的当前行进位置及状态实时生成虚拟导航数据；虚拟导航数据呈现可视化的虚拟图像，虚拟图像以连续线条的形式呈现目标腔道系统内的行进路径，并显示柔性器械的当前行进位置及状态对应的虚拟腔道影像；虚拟导航数据还根据计划路径的下一步行进位置，以数字及图形的方式给予操作者操作引导提示，比如柔性器械末端的旋转角度、末端弯曲角度等。虚拟导航模块给予操作者术中可视化的操作引导提示信息，指导柔性器械在目标腔道系统内的姿态调整位置及角度，操作者通过观看虚拟导航模块中呈现的虚拟图像和可视化操作引导提示，调整柔性器械进入下一级目标腔道中，直至到达目标位置，使操作者根据提示信息即可完成相应的操作调整，无需进行额外的学习和训练，有效提高柔性器械操控的实施效率和精度。
166.具体地，基于虚拟导航数据，控制柔性器械的末端在目标腔道系统内行进至目标位置，具体包括以下步骤：
167.步骤s401，在柔性器械的末端到达分支腔道位置的情况下，根据操作引导提示，控制柔性器械执行目标调整动作，以控制柔性器械的末端进入分支腔道中的目标子腔道。
168.在本实施例中，当确定柔性器械的末端到达目标腔道系统内的分支腔道位置时，虚拟导航数据会根据呈现的计划路径，对柔性器械的行进位置及角度给出操作引导提示，指导操作者按操作引导提示做出目标调整动作，以调整柔性器械进入分支腔道中的目标子腔道中；根据操作引导提示，机器人可以自动或者通过操作者手动控制柔性器械执行目标调整动作，从而控制柔性器械的末端进入分支腔道中的目标子腔道。本实施例能够减少柔性器械控制的准备及实施时间，在图像导航下直观操作，具有准备快速、使用便捷和易于操作使用的效果。
169.在一些具体实施例中，为提供操作者操作机器人的便捷性，操作台的调整方式与虚拟图像上显示的操作引导提示图形保持一致，柔性器械的控制器可以是具备360度方位调整功能的轨迹球、触摸屏、触控板等器件，便于操作者根据虚拟图像导航画面上的图形提示信息，保持一致的操控动作。
170.进一步地，基于真实图像，控制对虚拟导航模块进行配准之前，还包括以下步骤：
171.步骤s00，获取目标腔道系统的数字化三维模型；
172.步骤s01，基于数字化三维模型和目标位置，确定计划路径。
173.在本实施例中，在实施控制柔性器械经目标腔道系统进入目标位置执行相应操作之前，首先根据目标腔道系统的数字化三维模型和目标位置，规划经目标腔道系统进入目标位置的计划路径，计划路径可以规划有多条；之后将上述计划路径数据导入到机器人中，辅助操作者通过可视化界面进行直观操作，虚拟导航模块以三维可视化图像方式显示目标腔道系统和目标区域的数字化三维模型，以及在目标腔道系统的三维图像上显示计划路径和由计划路径构成的虚拟腔道影像，并显示柔性器械行进位置及角度提示信息的虚拟导航影像。
174.例如，目标腔道系统的数字化三维模型为三维肺支气管树的影像。
175.在一些具体实施例中，对患者的手术部位(例如肺部)进行计算机断层扫描(ct)或核磁共振成像(mri)，获取患者手术部位的ct影像或mri影像，然后将ct影像或mri影像数据导入术前计划系统，运用图像处理技术，对导入的ct影像或mri影像数据中的手术部位图像
分割，获得手术部位影像数据，然后进一步处理生成数字化的三维肺支气管树。术前计划系统将影像数据中的目标区域数据提取、三维重建及可视化处理。手术机器人导入计划路径数据后，辅助医生通过可视化界面进行直观手术操作，可视化界面上显示三维组织器官以及目标病灶的数字影像，医生首先选择手术路径，即可在三维组织器官图像上显示手术路径，并显示由该手术路径构成的虚拟自然腔道影像，通过可视系统为操作者提供三维数字化腔道模型、手术计划路径和虚拟内镜导航画面。然后通过人机交互操控控制器，操作医疗器械进入人体自然腔道并根据显示手术路径提示方向在人体自然腔道中行进。在行进过程中，通过医疗器械末端的内窥镜实时获取人体自然腔道中的影像。
176.具体地，基于数字化三维模型和目标位置，确定计划路径，具体包括以下步骤：
177.步骤s011，在数字化三维模型中，由目标腔道系统的入口至目标位置，按照预设规则对目标腔道系统的各级分支腔道进行标记；
178.步骤s012，基于标记，确定至少一条计划路径；
179.步骤s013，根据目标位置的目标形状和大小，确定目标位置的动作阈值。
180.在本实施例中，由目标腔道系统的入口起至末梢远端，以由近及远、由左及右的预设规则，对目标腔道系统的各级分支腔道进行标记，使得目标腔道系统的每一分支处均自动标记唯一代码；通过对目标腔道系统和目标位置的数字化三维图像的观察、评估，根据上述标记规划计划路径1-3条；将上述计划路径数据导入虚拟导航模块中，操作者可以根据需要选择其中一条作为实施的计划路径。同时，根据目标位置的目标形状和大小，可以设置安全检查屏障，进而确定目标位置的动作阈值，安全检查屏障用于限制柔性器械的末端在目标位置的运动范围，避免柔性器械的末端动作过大而对目标腔道系统的内壁造成损伤，提高安全性。
181.在一些具体实施例中，如图9所示，目标腔道系统为三维数字化器官，例如支气管树，支气管树的每一分支处均自动标记有唯一代码，标记规则为右侧支气道首字母为r，r1表示第一级分支处，r2-1表示第二级编号1的分支处、r2-2表示第二级编号2的分支处，以此类推。三维数字化器官由自然腔道入口起至末梢远端，对各分支通路标记依次为r1、l1、r2-1、r2-2、r2-3、l2-1、l2-2
……
rn-1、rn-2
……
ln-1、ln-2。
182.具体地，获取柔性器械在目标腔道系统内的行进位置及状态，具体包括以下步骤：
183.步骤s201，获取柔性器械进入目标腔道系统内的长度信息，以及柔性器械的末端状态信息；
184.步骤s202，基于上述长度信息、末端状态信息以及计划路径，确定柔性器械在目标腔道系统内的行进位置及状态。
185.在本实施例中，设置有位置检测传感器，用于测量柔性器械进入目标腔道系统的长度；在柔性器械进入目标腔道系统的过程中，通过获取柔性器械进入目标腔道系统中的长度，根据计划路径能够精确确定柔性器械在目标腔道系统内的行进位置，有利于虚拟导航模块实现精确导航，提高控制精准度。
186.在一些实施例中，柔性器械驱动装置上可以设置位置检测传感器，用来检测柔性器械驱动装置相对于机械臂组件的固定端的位移，从而获取柔性器械运动的位置，实现对柔性器械进入目标腔道系统的长度测量。
187.进一步地，还设置有限位传感器，对柔性器械驱动装置的运动位置进行保护，当柔
性器械驱动装置向目标腔道系统方向移动过程中触发近端限位传感器时，柔性器械驱动装置立即停止运动。同理，当柔性器械驱动装置向远离目标腔道系统方向移动时，触发远端限位传感器时，柔性器械驱动装置立即停止运动，从而确保远程操作的安全。
188.在一些实施例中，如图3所示，机器人还包括导入装置900，导入装置900的一端与机械臂组件301的固定端连接、另一端进入目标腔道系统的入口800。柔性器械100的末端进入导入装置900，继而进入目标腔道系统中。导入装置900的入口处设置检测传感器，检测传感器用于检测柔性器械100进入导入装置900的长度，进而测量柔性器械100进入目标腔道系统的长度。检测传感器可以是感应式或者接触式。感应式可以是设置于导入装置900入口处的光电感应装置，光电感应装置发射不可见光，光线照射到柔性器械100上，柔性器械100上密布一定间隔的刻度线，当柔性器械100通过导入装置900时，光电感应装置通过光线的变化实现对柔性器械100运动长度的测量。接触式可以是在导入装置900的入口处设置接触式夹送导轮，在夹送导轮的轴端设置旋转编码器，通过测量夹送导轮的旋转圈数获得柔性器械100进入导入装置900的长度。
189.进一步地，柔性器械的末端还配置有敏感测量元件；柔性器械控制方法还包括以下步骤：
190.步骤s50，实时获取柔性器械的末端与目标腔道系统的内壁的接触力；
191.步骤s51，在接触力大于第一阈值的情况下，控制发出提示信息；
192.步骤s52，在接触力大于第二阈值的情况下，控制柔性器械以限制模式运动，其中，第二阈值大于第一阈值。
193.在本实施例中，为确保柔性器械在目标腔道系统内行进调整的安全性，在柔性器械的末端安装有敏感测量元件，在柔性器械的末端姿态调整的过程中，可以实时测量柔性器械的末端和目标腔道系统内壁的接触力，从而有效避免柔性器械的末端姿态调整过程中过大的姿态调整动作对目标腔道系统的内壁造成损伤，确保柔性器械操控的安全性。
194.具体地，当接触力超过预先设定的第一阈值时，控制发出提示信息，提示操作者注意对柔性器械姿态的调整行为。当接触力进一步超过预先设定的第二阈值时，且第二阈值大于第一阈值，说明柔性器械的调整动作进一步加大，可能对目标腔道系统的内壁造成损伤，此时控制柔性器械以限制模式运动，操作者的操作行为控制的柔性器械运动将被限制，从而有效确保安全。
195.在一些实施例中，如图10所示，虚拟导航模块的可视化操作引导提示包括刻度圆盘和空心箭头图形。其中，刻度圆盘外实心箭头表示柔性器械末端的旋转角度，空心箭头图形的长度表示柔性器械末端的弯曲角度，长度增加表示弯曲角度增大。当弯曲角度增大超过设定的第一阈值时，可以改变颜色来提示操作者注意；提示颜色可以是醒目的颜色，比如黄色；当柔性器械末端弯曲角度过大与目标腔道系统内壁的接触力超过设定的第二阈值时，箭头的颜色通过闪烁形式来进一步提示操作者注意，从而达到提高操作安全的作用。
196.在一些实施例中，在插入工作器械的过程中，尤其是通过第一柔性主体、第二柔性主体的末端弯曲段的时候，会对第一柔性主体、第二柔性主体的姿态产生干扰，第一柔性主体、第二柔性主体的姿态产生的微小变化可通过安装其上的敏感测量元件检测，该变化量由检测系统、数据处理系统通过姿态保持算法模型，换算为第一柔性主体和第二柔性主体的驱动力，通过对柔性器械驱动力的调整，实现对第一柔性主体、第二柔性主体的末端弯曲
端姿态的保持，从而确保对目标位置进行目标操作的精准。
197.下面对本发明提供的控制系统进行描述，下文描述的控制系统与上文描述的柔性器械的控制方法可相互对应参照。
198.如图11所示，本发明提供的控制系统，包括第一控制模块1110、第一获取模块1120、第二获取模块1130和第二控制模块1140，第一控制模块1110用于基于真实图像，控制对虚拟导航模块进行配准；第一获取模块1120用于获取柔性器械在目标腔道系统内的行进位置及状态；第二获取模块1130用于基于上述行进位置及状态，获取虚拟导航数据；第二控制模块1140用于基于虚拟导航数据，控制柔性器械的末端在目标腔道系统内行进至目标位置；其中，柔性器械配置虚拟导航模块，虚拟导航模块用于生成虚拟导航数据，柔性器械的末端还配置有图像采集模块，图像采集模块用于采集真实图像。
199.图12示例了一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(communications interface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令，以执行柔性器械控制方法，该方法包括：基于真实图像，控制对虚拟导航模块进行配准；获取柔性器械在目标腔道系统内的行进位置及状态；基于上述行进位置及状态，获取虚拟导航数据；基于虚拟导航数据，控制柔性器械的末端在目标腔道系统内行进至目标位置；其中，柔性器械配置虚拟导航模块，虚拟导航模块用于生成虚拟导航数据；柔性器械的末端还配置有图像采集模块，图像采集模块用于采集真实图像。
200.需要说明的是，本实施例中的电子设备在具体实现时可以为服务器，也可以为pc机，还可以为其他设备，只要其结构中包括如图12所示的处理器1210、通信接口1220、存储器1230和通信总线1240，其中处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信，且处理器1210可以调用存储器1230中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
201.此外，上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
202.进一步地，本发明还公开一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的柔性器械控制方法，该方法包括：基于真实图像，控制对虚拟导航模块进行配准；获取柔性器械在目标腔道系统内的行进位置及状态；基于上述行进位置及状态，获取虚拟导航数据；基于虚拟导航数据，控制柔性器械的末端在目标腔道系统内行进至目标位置；其中，柔性器械配置虚拟导航模块，虚拟导航模块用于生成虚拟导航数据；柔性器械的末端还配置有图像采集模块，图像采集模块用于采集真实图像。
203.另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的柔性器械控制方法，该方法包括：基于真实图像，控制对虚拟导航模块进行配准；获取柔性器械在目标腔道系统内的行进位置及状态；基于上述行进位置及状态，获取虚拟导航数据；基于虚拟导航数据，控制柔性器械的末端在目标腔道系统内行进至目标位置；其中，柔性器械配置虚拟导航模块，虚拟导航模块用于生成虚拟导航数据；柔性器械的末端还配置有图像采集模块，图像采集模块用于采集真实图像。
204.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
205.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
206.又一方面，本发明还提供一种机器人，包括虚拟导航模块和上述实施例提供的电子设备，虚拟导航模块被配置为能够生成虚拟导航数据。
207.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。