一种术中语义驱动的手术机器人风险闭环控制方法及系统与流程

本技术涉及医疗机器人控制，具体地涉及一种术中语义驱动的手术机器人风险闭环控制方法及系统。

背景技术：

1、现有手术机器人多采用主从遥操作控制结构，操作者通过主端操控机构向从端执行机构发送位置、速度或力相关指令，从端控制器依据预设参数执行运动控制。现有安全机制通常包括固定速度上限、基于接触力阈值的碰撞响应、预设几何边界限制及越界急停。在实际手术过程中，执行机构所处风险并非恒定不变，而是与当前术野中的器械类型、操作行为、解剖结构类别、流程阶段以及末端与目标解剖结构的空间距离密切相关。相同的运动速度在组织游离阶段与切断阶段的风险不同；不同执行臂在同一时刻承担的操作任务不同，其控制约束强度也应不同。

2、现有技术通常只将术中图像分析结果用于提示、显示或可视化叠加，未将语义结果作为控制层的功能性输入直接驱动执行机构参数更新；或者仅采用静态映射表按器械类别设置固定上限，无法实现多臂、多阶段、连续变化的闭环控制。更为关键的是，现有技术未能将内镜图像中识别到的血管、神经等关键解剖结构有效转化为机器人坐标系下的三维空间安全约束：二维图像识别结果缺乏与深度感知和机器人位姿的融合，难以在机器人运动空间中准确表达危险区域的三维位置；安全裕度多采用固定数值，未根据解剖结构风险程度、器械动作、手术阶段及识别置信度动态调整；安全干预多在接触或越界发生后通过限速、急停进行事后响应，缺乏通过控制屏障函数在指令层面进行前置安全修正的机制；在识别置信度降低或因遮挡、烟雾导致输入缺失时，也缺乏与安全边界扩大、限速及软停相关联的系统性保守策略。

3、现有技术具体具备如下缺陷：

4、（1）控制层缺乏术中语义感知能力，现有控制器输入通常仅包含位置、速度及力反馈，无法感知器械类别、操作行为和解剖结构语义信息；

5、（2）缺乏将二维语义识别结果与深度、位姿融合以在机器人坐标系下形成三维空间风险区域的机制，空间安全约束不精确；

6、（3）安全裕度和安全边界采用固定参数，未根据解剖结构风险、器械动作、流程阶段及识别置信度动态调整，在感知不确定时不能自适应扩大安全边界；

7、（4）安全约束多为事后响应，缺乏通过控制屏障函数在运动指令层面进行前置修正的机制；

8、（5）多执行臂协同场景下，现有技术难以实现各执行臂风险的独立计算与差异化参数调整；

9、（6）语义特征提取、风险等级计算与底层控制器之间缺乏明确的实时控制通道和参数更新机制，容易被限定为信息处理而非控制发明。

技术实现思路

1、为克服上述缺点，本技术的目的在于：提供一种术中语义驱动的手术机器人风险闭环控制方法及系统，通过将术中图像语义特征、手术流程阶段信息及空间距离修正信息引入底层控制层，生成针对各执行臂的动态风险等级，并将识别到的关键解剖结构经深度与位姿融合转换为机器人坐标系下的三维空间风险区域，根据解剖结构风险程度、器械动作、流程阶段及识别置信度动态确定安全裕度并构建安全域，通过控制屏障函数建立安全约束对操作者原始运动指令进行前置修正，基于风险等级实时调整执行机构的速度缩放因子、加速度限制参数、阻尼系数、工作空间边界及急停触发条件，从而提高控制系统对复杂操作场景的适应性、前置预防能力及多臂协同安全性。

2、为了达到以上目的，本技术采用如下技术方案：

3、本技术提供的一种术中语义驱动的手术机器人风险闭环控制方法，包括以下步骤：

4、获取手术机器人内窥镜采集的术中实时图像数据以及执行机构状态数据；

5、针对各执行臂提取器械类型、操作行为及解剖结构的语义特征；

6、基于连续图像序列判定当前手术所处的流程阶段；

7、基于所述语义特征、流程阶段以及主从操作上下文，对各执行臂分别计算动态风险等级；

8、引入执行臂末端与目标解剖结构之间的三维空间距离对所述动态风险等级进行修正，所述三维空间距离通过融合内窥镜深度信息、点云重建及执行机构位姿得到，识别到的关键解剖结构经所述深度信息与执行机构位姿的坐标变换转换至机器人坐标系下，形成三维空间风险区域；

9、基于修正后的动态风险等级动态确定安全裕度并构建随风险变化的安全域，所述安全裕度根据所述解剖结构的风险程度、器械动作风险、流程阶段风险及语义识别置信度动态调整；

10、基于所述安全域通过控制屏障函数建立安全约束，所述控制屏障函数根据动态风险等级改变其不等式约束边界以实现安全域的动态收缩或扩展，并通过所述安全约束对操作者输入的原始运动指令进行安全修正，使修正后的运动指令满足安全域约束；

11、将经安全修正的运动指令通过实时控制通道发送至手术机器人底层控制器，由所述底层控制器实时更新对应执行机构的运动控制参数并获取运动反馈以形成闭环控制。

12、进一步地，所述针对各执行臂提取语义特征的过程中，所述器械类型包括抓持、分离、能量、切割、缝合中的至少一种；

13、所述操作行为包括接近、夹持、牵拉、游离、切断、缝合中的至少一种；

14、所述解剖结构包括血管、神经、胆管、支气管、实质组织、浆膜面中的至少一种；

15、所述语义特征形成臂级语义特征向量，用于表征对应执行臂的操作语义状态。

16、进一步地，所述基于连续图像序列判定当前手术流程阶段的过程中，所述流程阶段至少包括组织游离阶段、解剖暴露阶段、切断阶段和缝合阶段中的一种或多种；

17、所述流程阶段判定采用时序模型对阶段切换进行连续判定，并对阶段边界进行平滑处理，以避免阶段切换瞬间的控制参数突变。

18、进一步地，所述形成三维空间风险区域的过程包括：

19、通过语义分割识别术中图像中的关键解剖结构并获得其二维区域；

20、结合内窥镜深度信息对所述二维区域进行点云重建，得到所述关键解剖结构的三维空间点云；

21、基于执行机构位姿所确定的相机坐标系与机器人坐标系之间的坐标变换关系，将所述三维空间点云转换至机器人坐标系下；

22、对连续多帧转换后的三维空间点云进行融合，形成所述关键解剖结构在机器人坐标系下的三维空间风险区域；

23、所述三维空间风险区域携带对应的解剖结构类型及风险程度属性，执行臂末端至所述三维空间风险区域边界的距离作为所述三维空间距离。

24、进一步地，所述动态确定安全裕度的过程中，所述安全裕度与所述解剖结构的风险程度、器械动作风险及流程阶段风险正相关，与语义识别置信度负相关；

25、所述安全裕度对应工作空间边界的收缩量，安全裕度增大时工作空间边界相应收缩、安全域缩小；

26、所述动态风险等级越高，所述控制屏障函数的不等式约束边界越收紧，安全域收缩程度越大。

27、进一步地，还包括不确定度自适应安全边界调整：

28、当语义识别置信度低于第一置信度阈值时，增大安全裕度以扩大安全边界；

29、当语义识别置信度低于第二置信度阈值时，在增大安全裕度的同时对运动指令施加速度缩放限制；

30、当关键解剖结构连续多帧未被识别到时，通过逐步降低速度缩放因子实现软停，使执行机构渐进减速至零速；

31、当关键输入缺失或传感器失效时，系统进入保守降级模式，保持上一周期风险等级不降低、采用较高阻尼、收紧工作空间边界，并禁止自动解除急停状态；

32、术野遮挡或手术烟雾导致语义识别置信度降低或关键输入缺失时，触发对应的安全边界调整或保守降级。

33、进一步地，所述通过控制屏障函数建立安全约束并对原始运动指令进行安全修正的过程包括：

34、所述控制屏障函数以执行臂末端至三维空间风险区域边界的距离与安全裕度之间的关系作为不等式约束条件；

35、当操作者输入的原始运动指令使执行臂末端趋向于侵入安全裕度范围时，所述控制屏障函数通过其不等式约束对所述原始运动指令进行修正，限制执行臂朝向三维空间风险区域的运动分量，使修正后的运动指令保持在安全域内；

36、当原始运动指令满足所述不等式约束条件时，不对原始运动指令进行修正；

37、所述安全修正在接触事件发生之前对执行机构运动进行前置限制。

38、进一步地，针对多个执行臂分别独立计算动态风险等级、形成三维空间风险区域、确定安全裕度并进行安全约束修正，输出各执行臂差异化的运动指令；

39、不同执行臂依据各自的语义特征、流程阶段及空间距离获得不同的风险等级和控制调整信号，高风险执行臂受到更强的速度限制、阻尼增强及工作空间边界收缩，低风险执行臂保持较宽松的控制参数。

40、进一步地，所述动态风险等级的初始风险值计算方式为：r0_j(t) = w_s·sscore_j(t) + w_p·pscore(t) + w_i·iscore_j(t)，其中r0_j(t)表示第j个执行臂在时刻t的初始风险值，sscore_j(t)表示臂级语义风险评分，pscore(t)表示流程阶段风险权重，iscore_j(t)表示由主从操作上下文、两臂相对位置关系或多臂协同负荷得到的交互修正项，w_s、w_p、w_i为可配置权重；

41、对初始风险值采用历史平滑机制得到最终风险值：r_j(t) = λ·r0_j(t) + (1-λ)·r_j(t-1)，其中λ为平滑系数且0< λ ≤ 1；

42、所述实时控制通道为共享内存接口、工业以太网、现场总线、ros2 dds通道中的至少一种。

43、本技术还提供了一种术中语义驱动的手术机器人风险闭环控制系统，用于实现任一项所述的术中语义驱动的手术机器人风险闭环控制方法，包括：

44、图像采集模块，用于获取术中实时图像数据以及执行机构状态数据；

45、语义特征提取模块，用于针对各执行臂提取器械类型、操作行为及解剖结构的语义特征；

46、流程阶段判定模块，用于基于连续图像序列判定当前手术所处的流程阶段；

47、多臂风险计算模块，用于基于所述语义特征、流程阶段以及主从操作上下文，对各执行臂分别计算动态风险等级；

48、距离融合模块，用于融合内窥镜深度信息、点云重建及执行机构位姿，计算执行臂末端与目标解剖结构之间的三维空间距离，并将识别到的关键解剖结构经坐标变换转换至机器人坐标系下形成三维空间风险区域；

49、控制参数生成模块，用于基于动态风险等级动态确定安全裕度并构建安全域，通过控制屏障函数建立安全约束并对操作者原始运动指令进行安全修正，生成控制调整信号；

50、执行机构控制模块，用于将经安全修正的运动指令及控制调整信号发送至底层控制器，实时更新执行机构运动控制参数；

51、反馈与监测模块，用于获取执行机构运动反馈以形成闭环控制。

52、有益效果

53、与现有技术相比，本发明具有以下有益效果：

54、将内镜图像中识别到的关键解剖结构通过深度信息、点云重建与执行机构位姿的融合及坐标变换，转换为机器人坐标系下的三维空间风险区域，使二维语义识别结果具备了三维空间安全约束意义，不再停留于显示提示层面。

55、安全裕度根据解剖结构风险程度、器械动作风险、流程阶段风险及识别置信度动态确定，而非采用固定参数表，使安全域能够随术中场景实时收缩或扩展，在保证安全的同时避免不必要的操作限制。

56、通过控制屏障函数建立安全约束并对操作者原始运动指令进行前置修正，将安全干预由事后的限速、急停提前到指令层面，在原始指令安全时不干预、在原始指令趋向危险时自动限制朝向风险区域的运动分量，兼顾操作自由度与安全性。

57、将识别置信度及遮挡、烟雾、目标丢失等不确定状况与安全裕度扩大、速度缩放、软停和保守降级直接关联，在感知不确定时系统自动趋向保守，避免因识别错误或失效导致安全约束缺失。

58、支持多执行臂独立风险计算、独立安全域构建与差异化参数调整，增强多臂协同场景下的安全性。

59、通过时序平滑过渡，降低阶段切换时的控制瞬态不稳定，保证执行机构运动连续性和操作者手感一致性。