一种内窥镜机器人的控制方法

摘要: 本发明涉及人工智能领域,尤其涉及医学图像处理、内窥镜机器人、腹腔镜视觉导航、人工智能智能体、多模态大语言模型、深度学习目标检测与图像分割等,具体地,涉及一种内窥...
一种内窥镜机器人的控制方法

本发明涉及人工智能领域,尤其涉及医学图像处理、内窥镜机器人、腹腔镜视觉导航、人工智能智能体、多模态大语言模型、深度学习目标检测与图像分割等,具体地,涉及一种内窥镜机器人的控制方法、装置、电子设备、存储介质及程序产品。

背景技术:

1、随着人工智能、内窥镜机器人、大语言模型等在医学领域的应用,内窥镜机器人常用来辅助操作者根据手术视野快速寻找器械尖端、异物或出血点等相关区域。在相关技术中普遍采用预训练固定类别的器械样本库,或是采用单一视觉算法进行目标检测定位,难以应对复杂多变的环境,导致对目标定位的准确性较低,进而影响内窥镜机器人的运动控制精度。

技术实现思路

1、有鉴于此,本公开提供了一种内窥镜机器人的控制方法、装置、电子设备、存储介质及程序产品。

2、本公开的一个方面提供了一种内窥镜机器人的控制方法,包括:获取针对内窥镜机器人的自然语言控制指令;对自然语言控制指令进行语义分析,提取自然语言控制指令中的关键信息;根据关键信息,从预设的多个任务处理模块中确定用于执行自然语言控制指令的目标任务处理模块,其中,多个任务处理模块分别对应不同的视觉任务类型;利用目标任务处理模块,对自然语言控制指令和内窥镜机器人采集的内窥镜图像进行处理,得到用于调整内窥镜机器人视野的视野调整参数;以及根据视野调整参数和内窥镜机器人的当前位姿信息,控制内窥镜机器人运动。

3、根据本公开的实施例,根据关键信息,从预设的多个任务处理模块中确定用于执行自然语言控制指令的目标任务处理模块包括:按照预设匹配顺序,将关键信息依次与多个视觉任务类型进行匹配;响应于关键信息与当前匹配的视觉任务类型匹配成功,将当前匹配的视觉任务类型对应的任务处理模块确定为目标任务处理模块,并停止执行后续匹配。

4、根据本公开的实施例,关键信息包括以下至少之一:方向信息、紧急关注信息、调整幅度信息和对象信息;多个任务处理模块包括方向指令处理模块、预设器械处理模块、未知对象处理模块和紧急关注处理模块;根据关键信息,从预设的多个任务处理模块中确定用于执行自然语言控制指令的目标任务处理模块包括:在关键信息包含紧急关注信息的情况下,确定目标任务处理模块为紧急关注处理模块;在关键信息包含方向信息,且不包含紧急关注信息和对象信息的情况下,确定目标任务处理模块为方向指令处理模块;在关键信息包括对象信息且不包含紧急关注信息的情况下,根据对象信息对应的对象类别,确定目标任务处理模块为预设器械处理模块或未知对象处理模块。

5、根据本公开的实施例,根据对象信息对应的对象类别,确定目标任务处理模块为预设器械处理模块或未知对象处理模块包括:在对象信息对应的对象类型属于预设器械类别的情况下,确定目标处理模块为预设器械对象模块;在对象信息对应的对象类别不属于预设器械类别的情况下,确定目标任务处理模块为未知对象处理模块。

6、根据本公开的实施例,视野调整参数包括目标坐标;在目标任务处理模块为方向指令处理模块的情况下,利用目标任务处理模块,对自然语言控制指令和内窥镜机器人采集的内窥镜图像进行处理,得到用于调整内窥镜机器人视野的视野调整参数包括:根据调整幅度信息和预设幅度映射规则,确定调整幅度系数;根据由方向信息确定的目标调整方向,以及调整幅度系数,对内窥镜图像的中心坐标进行调整,得到目标坐标。

7、根据本公开的实施例,视野调整参数包括目标坐标;在目标任务处理模块为紧急关注处理模块的情况下,利用目标任务处理模块,对自然语言控制指令和内窥镜机器人采集的内窥镜图像进行处理,得到用于调整内窥镜机器人视野的视野调整参数包括:将自然语言控制指令和内窥镜图像输入视觉分析模型,识别内窥镜图像中与紧急关注信息中的紧急关注目标对应的候选区域,其中,候选区域包括以下至少一种:出血区域、血液聚集区域、血液流出点、危险区域;根据候选区域的坐标,确定目标坐标。

8、根据本公开的实施例,根据候选区域的坐标,确定目标坐标包括:在紧急关注目标为器械工作端的情况下,确定候选区域中器械工作端坐标为目标坐标;在紧急关注目标不是器械工作端的情况下,确定候选区的中心坐标为目标坐标。

9、根据本公开的实施例,视野调整参数包括目标坐标;在目标任务处理模块为预设器械处理模块的情况下,利用目标任务处理模块,对自然语言控制指令和内窥镜机器人采集的内窥镜图像进行处理,得到用于调整内窥镜机器人视野的视野调整参数包括:根据对象信息与预设器械类别进行匹配,确定对象信息对应的目标器械类别;将内窥镜图像和目标器械类别输入目标检测模型进行检测,输出候选检测框;根据候选检测框的坐标,确定目标坐标。

10、根据本公开的实施例,关键信息包括方向信息,目标检测模型输出多个候选检测框;根据候选检测框的坐标,确定目标坐标包括:根据方向信息从多个候选检测框中确定与方向信息匹配的候选检测框,得到目标检测框;将目标检测框的中心坐标确定为目标坐标。

11、根据本公开的实施例,视野调整参数包括目标坐标;在目标任务处理模块为未知对象处理模块的情况下,利用目标任务处理模块,对自然语言控制指令和内窥镜机器人采集的内窥镜图像进行处理,得到用于调整内窥镜机器人视野的视野调整参数包括:根据自然语言控制指令中的对象信息生成视觉提示词,其中,视觉提示词用于对象信息中待定位对象的视觉特征;将内窥镜图像和视觉提示词输入语义分割模型,输出多个候选掩膜;从候选掩膜中确定满足预设条件的候选掩膜,得到目标掩膜,其中,预设条件包括以下至少之一:置信度大于置信度阈值、区域面积大于面积阈值、相对于内窥镜图像中心的距离满足预设距离;根据目标掩膜的坐标信息确定目标坐标。

12、本公开的另一个方面提供了一种内窥镜机器人的控制装置,包括:获取模块,用于获取针对内窥镜机器人的自然语言控制指令;语义分析模块,用于对自然语言控制指令进行语义分析,提取自然语言控制指令中的关键信息;确定模块,用于根据关键信息,从预设的多个任务处理模块中确定用于执行自然语言控制指令的目标任务处理模块,其中,多个任务处理模块分别对应不同的视觉任务类型;处理模块,用于利用目标任务处理模块,对自然语言控制指令和内窥镜机器人采集的内窥镜图像进行处理,得到用于调整内窥镜机器人视野的视野调整参数;控制模块,用于根据视野调整参数和内窥镜机器人的当前位姿信息,控制内窥镜机器人运动。

13、本公开的另一个方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现上述的方法。

14、本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,上述指令在被执行时用于实现上述的方法。

15、本公开的另一方面提供了一种计算机程序产品,上述计算机程序产品包括计算机可执行指令,上述指令在被执行时用于实现上述的方法。

16、根据本公开的实施例,通过获取针对内窥镜机器人的自然语言控制指令,对自然语言控制指令进行语义分析提取自然语言控制指令中的关键信息;并根据关键信息,从预设的多个任务处理模块中确定用于执行自然语言控制指令的目标任务处理模块,其中,多个任务处理模块分别对应不同的视觉任务类型;再利用目标任务处理模块,对自然语言控制指令和内窥镜机器人采集的内窥镜图像进行处理,得到用于调整内窥镜机器人视野的视野调整参数;进而根据视野调整参数和内窥镜机器人的当前位姿信息,控制内窥镜机器人运动。由此,本公开能够根据当前需求从预设的多个处理模块中动态确定适配相应的视觉任务的处理模块,从而在多种复杂手术场景下灵活应对不同的视觉任务类型,有助于提高目标定位的准确性与坐标输出的稳定性,解决了单一视觉算法在多任务场景下的易出现误检、漏检和坐标不稳定问题。