手术机器人运动检测系统及方法

1.本发明涉及医疗器械技术领域，尤其是一种手术机器人运动检测系统及方法。


背景技术：

2.现有技术中，手术机器人并未采用相关的安全系统，来保证手术安全，使得手术机器人的安全性问题难以解决：第一，没有安全系统锁定手术机器人，这就导致任何人都可以启动手术机器人并对手术机器人的参数设置进行修改；第二，当手术机器人在手术过程中发生危险时，人工难以及时发现危险并作出反应；第三，在远程医疗的场景中，手术机器人系统缺少对应安全保护措施来保障系统正常运行；第四，医生在手术时间长的手术过程中，容易因疲劳而误操作手术机器人系统。本发明针对手术机器人研究出的主动式安全系统功能强大，应用范围广，操作简单，不仅能应用于普通场景，而且能应用于情况更为复杂的远程医疗场景，从而为更多需要做手术的患者带来优质的服务。


技术实现要素：

3.本发明的目的是提供一种手术机器人运动检测系统及方法，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
4.第一方面，提供一种手术机器人运动检测系统，包括：
5.机械臂，所述机械臂配置有生物识别装置；
6.与所述机械臂连接的上位控制模块，用于向机械臂发出控制指令，使所述机械臂执行操作动作；
7.动作捕捉模块，用于捕捉机械臂执行操作并生成动作检测数据；
8.与所述上位控制模块连接的安全控制模块，用于在动作捕捉模块捕捉到机械臂的操作动作时对机械臂的操作动作进行预测以及根据预测结果触发提示动作。
9.进一步，所述生物识别装置包含指纹识别单元和人脸识别单元。
10.进一步，所述动作捕捉模块包括摄像头和/或雷达传感器；
11.所述动作捕捉模块包括摄像头时，所述动作检测数据包括符合第一条件的图像数据，所述第一条件用于指示所述机械臂的图像特征；
12.所述动作捕捉模块包括雷达传感器时，所述动作检测数据包括符合第二条件的雷达数据，所述第二条件用于指示所述机械臂的位置特征。
13.进一步，所述安全控制模块包括：
14.无线收发单元，所述无线收发单元与动作捕捉模块通信，用于接收所述动作捕捉模块生成的动作检测数据；
15.第一处理器，所述第一处理器与无线收发单元通信，用于在所述动作捕捉模块包括摄像头时通过无线收发单元获取所述图像数据，识别所述图像数据的范围内机械臂的姿态以输出第一预测结果，根据所述第一预测结果触发提示动作；
16.第二处理器，所述第二处理器与无线收发单元通信，用于在所述动作捕捉模块包
括雷达传感器时通过无线收发单元获取所述雷达数据，识别所述雷达数据中机械臂的坐标信息和运动状态以输出第二预测结果，根据所述第二预测结果触发提示动作。
17.进一步，所述第一处理器与第二处理器连接，所述第一处理器用于在所述动作捕捉模块包括摄像头和雷达传感器时获取第二预测结果，根据第一预测结果和第二预测结果输出触发提示动作。
18.进一步，所述安全控制模块还包括：
19.供电单元，用于提供电能；
20.提示单元，所述提示单元分别连接第一处理器和第二处理器，用于接收所述第一预测结果和/或第一预测结果并执行提示动作；
21.散热单元，配置于所述安全控制模块的壳体，用于排出所述安全控制模块内部的热量。
22.第二方面，提供一种手术机器人运动检测方法，使用如第一方面的手术机器人运动检测系统进行预测，所述手术机器人运动检测方法包括：
23.在线监测生物识别装置，在生物识别装置识别到合法的生物信息时，向机械臂输出解锁指令以触发机械臂解锁；
24.获取动作捕捉模块捕捉机械臂执行操作时所生成的动作检测数据；
25.根据获取到的动作检测数据预测机械臂的操作动作；
26.根据预测结果触发对应的提示动作。
27.进一步，所述根据获取到的动作检测数据预测机械臂的操作动作，包括：
28.提取动作检测数据中机械臂和病人的形体特征；
29.根据形体特征识别在目标范围内机械臂和病人的姿态；
30.根据机械臂的姿态以及机械臂与病人的距离预测机械臂的操作动作；
31.查询预设的手术操作数据，根据手术操作数据判断机械臂即将执行的操作动作的风险程度，得到第一预测结果。
32.进一步，所述根据获取到的动作检测数据预测机械臂的操作动作，包括：
33.提取动作检测数据中机械臂的坐标信息和运动状态；
34.根据机械臂的坐标信息和运动状态识别机械臂与病人之间的距离；
35.根据机械臂与病人之间的距离变化趋势预测机械臂的操作动作；
36.查询预设的手术操作数据，根据手术操作数据判断机械臂即将执行的操作动作的风险程度，得到第二预测结果。
37.进一步，所述根据预测结果触发对应的提示动作，包括：
38.当预测结果所对应的风险等级为第一风险等级时，触发光信号提示；
39.当预测结果所对应的风险等级为第二风险等级时，触发声光提示；
40.当预测结果所对应的风险等级为第三风险等级时，触发声光提示并触发安全控制模块向机械臂发出停机指令，使机械臂停机。
41.本发明的有益效果：通过获取手术室环境内的动作检测数据来监测手术过程中手术机器人的操作，根据捕捉手术机器人执行操作所生成的动作检测数据对机械臂的操作动作进行预测，在预测到机械臂即将执行的操作动作存在风险时，安全控制模块触发提示动作，避免对病人造成伤害。
附图说明
42.图1是本公开实施例提供的手术机器人运动检测系统的结构示意图。
43.图2是本公开实施例提供的安全控制模块的结构示意图。
44.图3是本公开实施例提供的手术机器人运动检测系统的流程图。
45.图4是图3中的步骤s300的流程图之一。
46.图5是图3中的步骤s300的流程图之二。
具体实施方式
47.为使本发明实施例的目的、技术方案和优点更加清晰，下面将结合实施例和附图，对本发明作进一步的描述。
48.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
49.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
50.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
51.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
52.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
53.参照图1，根据本公开实施例第一方面实施例的手术机器人运动检测系统，包括：
54.机械臂100，机械臂100配置有生物识别装置110；
55.与机械臂100连接的上位控制模块200，用于向机械臂100发出控制指令，使机械臂100执行操作动作；
56.动作捕捉模块300，用于捕捉机械臂100执行操作并生成动作检测数据；
57.与上位控制模块200连接的安全控制模块400，用于在动作捕捉模块300捕捉到机械臂100的操作动作时对机械臂100的操作动作进行预测以及根据预测结果触发提示动作。
58.手术机器人运动检测系统用于监测手术过程中手术机器人的操作是否存在风险，手术机器人通过机械臂100执行操作动作，当手术前将手术机器人调试完毕后，通过配置于机械臂100的生物识别装置110进行解锁，进而可以通过手术机器人的机械臂100执行操作动作，安全控制模块400根据动作捕捉模块300捕捉机械臂100执行操作并生成的动作检测
数据对机械臂100的操作动作进行预测，在预测到机械臂100即将执行的操作动作存在风险时，安全控制模块400触发提示动作。
59.示例性地，动作捕捉模块300捕捉机械臂100执行操作并生成动作检测数据后，经安全控制模块400预测判断，如果有严重危害手术过程的情况发生，则主动式安全系统会根据手术进行的状态智能选择一个合适的方式将手术机器人安全停机，并且声光提示来提醒手术室内的医生，医生根据实际情况来选择合适的解决方案。
60.优选地，动作捕捉模块300还可以是捕捉手术室内的环境信息，该环境信息包括手术室内的人员和其他装置等运动信息，由安全控制模块400根据手术室内的人员和其他装置的运动信息对手术室内的人员和其他装置的操作动作进行预测，在预测到手术室内的人员和其他装置即将执行的操作动作存在风险时，安全控制模块400触发提示动作。
61.优选地，上位控制模块200向机械臂100发出控制指令，同时还可以结合远程医疗系统，通过远程医疗系统来远程控制手术机器人的机械臂100执行操作动作。
62.在一些实施例中，生物识别装置110包含指纹识别单元和人脸识别单元。每次启动机械臂100之前，必须由拥有权限的医生进行人脸识别与指纹识别，人脸识别与指纹识别均验证成功后才可以进行启动机械臂100操作。指纹识别单元中的指纹识别传感器负责获取指纹信息，并将指纹信息传输安全控制模块400，人脸识别单元通过高清摄像装置获取人脸信息，并将数据传递给安全控制模块400，安全控制模块400结合接收到的指纹信息与人脸信息进行判断，如果身份判断通过，则允许启动机械臂100。
63.在一些实施例中，动作捕捉模块300包括摄像头310和/或雷达传感器320。动作捕捉模块300包括摄像头310时，动作检测数据包括符合第一条件的图像数据，第一条件用于指示机械臂100的图像特征；动作捕捉模块300包括雷达传感器320时，动作检测数据包括符合第二条件的雷达数据，第二条件用于指示所述机械臂100的位置特征。具体地，动作捕捉模块300配置于手术室内的指定位置，捕捉机械臂100执行操作并生成动作检测数据。摄像头310的合适的摆放位置应可以是手术室的角落处，角落处可以更好的获取整个手术室的视野信息，摄像头310获取到环境信息后传输至安全控制模块400，雷达传感器320的合适的摆放位置可以是手术机器人及其他医疗辅助设备的四周，使之构建成雷达传感器320矩阵，该传感器矩阵实时获取手术范围内的环境信息，如有非预期中的物体靠近手术区域，则传感器可以获取到对应位置信息与运动状态信息。
64.需要说明的是，第一条件为图像数据中存在机械臂100的图像特征，当采集到的图像数据中存在符合要求的机械臂100的图像特征，则满足第一条件；第二条件为雷达数据中存在机械臂100的位置特征，当采集到的雷达数据中存在符合要求的机械臂100的位置特征，则满足第二条件。
65.如图2所示，在一些实施例中，安全控制模块400包括但不限于无线收发单元430、第一处理器410和第二处理器420。
66.无线收发单元430与动作捕捉模块300通信，用于接收动作捕捉模块300生成的动作检测数据；第一处理器410与无线收发单元430通信，用于在动作捕捉模块300包括摄像头310时通过无线收发单元430获取图像数据，识别图像数据的范围内机械臂100的姿态以输出第一预测结果，根据第一预测结果触发提示动作；第二处理器420与无线收发单元430通信，用于在动作捕捉模块300包括雷达传感器320时通过无线收发单元430获取雷达数据，识
别雷达数据中机械臂100的坐标信息和运动状态以输出第二预测结果，根据第二预测结果触发提示动作。
67.进一步，第一处理器410与第二处理器420连接，第一处理器410用于在动作捕捉模块300包括摄像头310和雷达传感器320时获取第二预测结果，根据第一预测结果和第二预测结果输出触发提示动作。
68.动作捕捉模块300包括摄像头310和雷达传感器320时，第一处理器410对回传的图像数据进行初步的处理，对图像数据进行特征提取，然后通过ai物体识别与动作检测算法分析图像信息，对手术室内目标区域内所有物体进行行为预测；第二处理器420首先对雷达数据进行数据分析，判断目标范围内正在运动的物体的坐标信息和其运动状态，并将分析结果通过串口通信传输给第一处理器410，第一处理器410在数据初步处理结束后，会整合图像数据和雷达数据的分析结果，结合智能算法判断当前环境的是否存在潜在威胁。
69.再次参阅图2，安全控制模块400至少还包括供电单元440、提示单元450和散热单元460。
70.供电单元440用于提供电能；提示单元450分别连接第一处理器410和第二处理器420，用于接收第一预测结果和/或第一预测结果并执行提示动作；散热单元460配置于安全控制模块400的壳体，用于排出安全控制模块400内部的热量。
71.供电单元440可以是包括ups电源，远程医疗手术需要安全系统拥有非常高的可靠性，在断电情况下也必须能保证安全系统正常运行，ups电源是一种含有储能装置的不间断电源，能够满足安全系统对于电源稳定性的要求，并且在各种恶劣环境下也要保持正常工作，例如雷雨天气导致的供电系统不稳。
72.提示单元450可以是led灯和扬声器。散热单元460可以是包括散热器、散热器罩、进气格栅和加热装置。散热器不断将安全控制模块400内部的空气吹出外部，安全控制模块400内部由于空气减少而造成气压低于外界气压，形成负压区，此时外界较高压的空气会从进气格栅进入较低压的安全控制模块400内，形成空气流通，并且空气入口与出口均配备有防尘罩，防止灰尘等杂质进入控制箱内干扰安全控制模块400正常工作。
73.本发明实施例提出的一种手术机器人运动检测系统，通过获取手术室环境内的动作检测数据来监测手术过程中手术机器人的操作，根据捕捉手术机器人执行操作所生成的动作检测数据对机械臂100的操作动作进行预测，在预测到机械臂100即将执行的操作动作存在风险时，安全控制模块400触发提示动作，避免对病人造成伤害。
74.参照图3，根据本公开实施例第二方面实施例的手术机器人运动检测方法，包括但不限于包括步骤s100至步骤s400。
75.步骤s100，在线监测生物识别装置，在生物识别装置识别到合法的生物信息时，向机械臂输出解锁指令以触发机械臂解锁；
76.步骤s200，获取动作捕捉模块捕捉机械臂执行操作时所生成的动作检测数据；
77.步骤s300，根据获取到的动作检测数据预测机械臂的操作动作；
78.步骤s400，根据预测结果触发对应的提示动作。
79.在一些实施例的步骤s100中，通过在线监测生物识别装置，获取每次通过生物识别装置进行身份验证的生物信息，在验证为合法生物信息后方可进行解锁，并向机械臂输出解锁指令。生物识别装置可以是包括指纹识别单元和人脸识别单元，每次启动机械臂之
前，必须由拥有权限的医生进行人脸识别与指纹识别，人脸识别与指纹识别均验证成功后才可以进行启动机械臂操作。指纹识别单元中的指纹识别传感器负责获取指纹信息，并将指纹信息传输安全控制模块，人脸识别单元通过高清摄像头获取人脸信息，并将数据传递给安全控制模块，安全控制模块结合接收到的指纹信息与人脸信息进行判断，如果身份判断通过，则允许启动机械臂。
80.在一些实施例的步骤s200中，获取动作捕捉模块捕捉机械臂执行操作时所生成的动作检测数据；具体地，将动作捕捉模块配置于手术室内的指定位置，捕捉机械臂执行操作并生成动作检测数据，上位控制模块获取动作捕捉模块产生的动作检测数据，并发送至安全控制模块。
81.在一些实施例的步骤s300中，根据获取到的动作检测数据预测机械臂的操作动作；具体地，安全控制模块得到动作检测数据后对其进行特征提取，然后通过ai物体识别与动作检测算法分析提取出来的动作特征，对手术室内目标区域内的机械臂的操作动作进行行为预测，例如，可以是根据历史得到的动作特征来确定机械臂的操作动作趋势，若当前时刻之前机械臂执行操作动作而距离病人越来越近时，则根据机械臂的姿态以及与病人的距离预测机械臂即将执行的操作动作及其风险性，从而判断当前环境的是否存在潜在威胁。
82.在一些实施例的步骤s400中，根据预测结果触发对应的提示动作；具体为，如果安全控制模块预测为存在风险，则对该风险进行危险等级划分，最终判断出可能的出现的风险与其对应的风险等级，将详细的判断结果返回给上位控制模块并做出相应的反应，例如通过声光报警提示的方式提示医护人员，避免伤害到病人。
83.更为具体地，在一些实施例中，当预测结果所对应的风险等级为第一风险等级时，触发光信号提示，当预测结果所对应的风险等级为第二风险等级时，触发声光提示，当预测结果所对应的风险等级为第三风险等级时，触发声光提示并触发安全控制模块向机械臂发出停机指令，使机械臂停机。
84.在一些实施例中，如图4所示，步骤s300具体包括但不限于步骤s310至步骤s340。
85.步骤s310，提取动作检测数据中机械臂和病人的形体特征；
86.步骤s320，根据形体特征识别在目标范围内机械臂和病人的姿态；
87.步骤s330，根据机械臂的姿态以及机械臂与病人的距离预测机械臂的操作动作；
88.步骤s340，查询预设的手术操作数据，根据手术操作数据判断机械臂即将执行的操作动作的风险程度，得到第一预测结果。
89.动作捕捉模块包括摄像头时，动作检测数据包括符合第一条件的图像数据，其中，第一条件用于指示机械臂的图像特征。
90.具体地，安全控制模块识别图像数据的范围内机械臂的姿态以输出第一预测结果，上位控制模块接收安全控制模块输出的第一预测结果后根据第一预测结果所指示的风险性执行相应的提示动作。
91.在另一些实施例中，如图5所示，步骤s300具体包括但不限于步骤s350至步骤s380。
92.步骤s350，提取动作检测数据中机械臂的坐标信息和运动状态；
93.步骤s360，根据机械臂的坐标信息和运动状态识别机械臂与病人之间的距离；
94.步骤s370，根据机械臂与病人之间的距离变化趋势预测机械臂的操作动作；
95.步骤s380，查询预设的手术操作数据，根据手术操作数据判断机械臂即将执行的操作动作的风险程度，得到第二预测结果。
96.动作捕捉模块包括雷达传感器时，动作检测数据包括符合第二条件的雷达数据，其中，第二条件用于指示所述机械臂的位置特征。
97.具体地，安全控制模块识别机械臂的坐标信息和运动状态，从历史获取的雷达数据预测机械臂与病人之间的距离变化趋势以输出第二预测结果，上位控制模块接收安全控制模块输出的第二预测结果后根据第二预测结果所指示的风险性执行相应的提示动作。
98.在一些实施例中，动作捕捉模块还可以是包括摄像头和雷达传感器，安全控制模块对回传的图像数据进行初步的处理，对图像数据进行特征提取，然后通过ai物体识别与动作检测算法分析图像信息，对手术室内目标区域内所有物体进行行为预测，另一方面，安全控制模块对雷达数据进行数据分析，判断目标范围内正在运动的物体的坐标信息和其运动状态，然后整合图像数据和雷达数据的分析结果，结合智能算法判断当前环境的是否存在潜在威胁。
99.本发明实施例提出的一种手术机器人运动检测方法，通过获取手术室环境内的动作检测数据来监测手术过程中手术机器人的操作，根据捕捉手术机器人执行操作所生成的动作检测数据对机械臂的操作动作进行预测，在预测到机械臂即将执行的操作动作存在风险时，安全控制模块触发提示动作，避免对病人造成伤害。
100.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。