一种内窥镜视野自主控制方法、系统及介质

1.本发明涉及手术辅助控制技术领域，尤其涉及一种内窥镜视野自主控制方法、系统及介质。


背景技术：

2.随着微创手术的普及和机器人技术应用的推广，针对腔镜手术机器人的研究变得很活跃。不同于主从控制式系统，辅助持镜机器人与主刀医生的协同操作具有更高的可靠性，而且辅助持镜机器人的研发成本远小于主从控制式系统。在腹腔镜手术中，智能辅助持镜机器人具有响应快、稳定性强及精度高等优势，能够辅助外科医生进行手术视野的智能调整。智能辅助持镜机器人通过视觉反馈实现手术器械尖端的快速定位，进而自主地调整手术视野，辅助外科医生完成手术操作，具有重要的研究意义和巨大的市场需求。然而，传统的伺服控制方法大多基于主从式腔镜机器人，不仅优化目标单一，而且缺少内窥镜姿态的控制和视觉反馈质量的评估及优化。


技术实现要素：

3.有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种内窥镜视野自主控制方法、系统及介质，能够实现器械尖端快速、准确及有效的跟踪，降低手眼不协调，提高图像清晰度以及智能视野调整的安全性和稳定性。
4.为实现上述目的，本发明提供了一种内窥镜视野自主控制方法，包括：
5.获取内窥镜摄像头的视觉反馈和绳驱机械臂的真实绳长；
6.基于视觉反馈计算图像清晰度，对手术器械尖端进行分割和定位；基于真实绳长建立绳索-末端运动学模型和位置级rcm约束方程；
7.建立手术视野调整的优化模型；
8.利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度；
9.建立速度级rcm约束方程和末端-绳索逆运动学模型，解算得到绳索长度，对持镜机器人进行运动控制。
10.进一步的，所述对手术器械尖端进行分割和定位包括：
11.(1)提取roi图像；
12.(2)将roi图像转换为器械尖端的灰度图像；
13.(3)对灰度图像进行中值滤波，进而得到滤波后的图像；
14.(4)将滤波后的图像转换为器械尖端的二值图像；
15.(5)提取二值图像中器械尖端的的轮廓；
16.(6)筛选二值图像中器械尖端的的轮廓；
17.(7)计算器械尖端的重心；
18.(8)计算系统跟踪点。
19.进一步的，所述建立手术视野调整的优化模型包括：器械尖端图像特征的跟踪模
型、方向误差的手眼协调模型、图像清晰度的优化模型、位置级和速度级的安全约束模型。
20.进一步的，所述器械尖端图像特征的跟踪模型具体为：
[0021][0022]
式中，
[0023][0024][0025][0026]
其中，t代表时间，fu、fv、u0及v0表示内窥镜摄像头的内参；u
tips
,v
tips
分别代表器械末端的像素坐标；k
p
是常对角矩阵；s
des
,s
tips
分别代表期望的跟踪点和实际器械末端跟踪点的像素坐标；k
p,track
和k
d,track
都是正常数，分别t时刻和t-1时刻实际器械末端跟踪点s
tips
和期望跟踪点s
des
之间的像素距离；(j
lap
)
#
为j
lap
的伪逆。
[0027]
进一步的，所述方向误差的手眼协调模型具体为：
[0028][0029]
其中，βk(k＝t,t-1)表示方向误差：
[0030]
β＝atan 2[-lap
a0(2,2),-lap
a0(1,2)]
ꢀꢀꢀ
(6)
[0031]
式中k
p,coor
和k
d,coor
都是正常数，
lap
a0(2,2),
lap
a0(1,2)分别表示矩阵
lap
a0第二行第二列和第一行第二列的元素。
[0032]
进一步的，所述图像清晰度的优化模型，具体为：
[0033][0034][0035]
其中，
conalap
为内窥镜连接件到内窥镜摄像头的旋转矩阵；分别为t-1时刻和t时刻的图像清晰度；内窥镜摄像头跟踪器械尖端在t-1时刻z方向的线速度；为的符号函数，它具有性质：当时，当时，当时，表示图像清晰度的变化率；η0表示最小容忍变化率，k
def
为正常数，此外g(ηq)还满足以下性质：
[0036]
当ηq＜0时，g(ηq)＜0；当ηq＝0时，g(ηq)＝0；当ηq＞0时，g(ηq)＞0；
[0037]
当ηq≠0时，|ηq|越大，g(ηq)越小。
[0038]
进一步的，所述位置级和速度级的安全约束模型具体为：
[0039]
[0040][0041]
其中，分别表示t-1时刻和t时刻器械实际的置入距离；d
in,d
表示期望的置入距离；k
p,safe
和k
d,safe
都是正常数。
[0042]
本发明还提供一种内窥镜视野自主控制系统，包括：反馈数据接收模块、图像预处理模块、运动学与rcm约束建模模块、手术视野智能调整模块及运动控制模块，其中：
[0043]
反馈数据接收模块，用于获取内窥镜摄像头采集的图像和绳驱机械臂的真实绳索长度；
[0044]
图像预处理模块，用于计算图像清晰度和对手术器械尖端进行分割与定位；
[0045]
运动学与rcm约束建模模块，用于建立绳驱柔性臂主动绳索空间到操作空间运动学模型和位置级rcm约束方程；
[0046]
手术视野智能调整模块，用于建立手术视野调整的优化模型，进而利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度；
[0047]
运动控制模块，用于建立速度级rcm约束方程和绳驱柔性臂操作空间到主动绳索空间的逆运动学模型，解算得到绳索长度，进而实现持镜机器人的运动控制。
[0048]
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
[0049]
本发明的有益效果是：
[0050]
(1)本发明建立了手术视野调整的优化模型，主要包括考虑器械尖端图像特征的跟踪模型、考虑方向误差的手眼协调模型、考虑图像清晰度的优化模型及位置级和速度级的安全约束模型。其中：
[0051]
考虑器械尖端图像特征的跟踪模型能够确保器械尖端不超出手术视野，并且维持系统跟踪点在手术图像的中心。
[0052]
考虑方向误差的手眼协调模型实现对手眼协调问题的优化，减少方向误差对主刀医生的影响。
[0053]
考虑图像清晰度的优化模型通过调节内窥镜摄像头的深度实现对视觉反馈质量的优化，进而给主刀医生提供更清晰的视觉反馈。
[0054]
位置级和速度级的安全约束模型能够避免内窥镜与人体或器械产生碰撞，提高手术视野调整的安全性。
[0055]
(2)本发明的方法考虑了器械尖端跟踪、手眼协调、图像清晰度及安全约束多目标的优化问题，它能够实现器械尖端快速、准确及有效的跟踪，降低手眼不协调，提高图像清晰度以及智能视野调整的安全性和稳定性。
[0056]
(3)本发明建立了持镜机器人的rcm位置级和速度级方程，它将绳驱柔性臂末端的运动和内窥镜摄像头的跟踪运动进行了解耦。
[0057]
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
[0058]
图1是本发明的机器人外科辅助手术的场景示意图。
[0059]
图2是本发明的方法流程图。
[0060]
图3是本发明的系统原理框图。
[0061]
图4是本发明的辅助持镜机器人系统算法流程图。
[0062]
图5是本发明的辅助持镜机器人系统的d-h坐标系图。
[0063]
图6是本发明的器械尖端的分割和定位流程图。
[0064]
图7是本发明视觉反馈中器械尖端的轨迹图。
[0065]
图8是本发明的跟踪距离变化曲线图。
[0066]
图9是本发明的方向误差变化曲线图。
[0067]
图10是本发明的图像清晰度变化曲线图。
[0068]
图11是本发明的内窥镜置入距离变化曲线图。
具体实施方式
[0069]
如图1所示，辅助持镜机器人系统主要由带有控制软件的计算机、绳驱柔性臂、内窥镜连接件、内窥镜及监视器组成。计算机与绳驱柔性臂、内窥镜及监视器连接，是整个辅助持镜机器人系统的控制中心。内窥镜连接件安装在绳驱柔性臂末端，用于固定内窥镜。在腔镜手术过程中，辅助持镜机器人系统通过主动或被动的控制模式调整内窥镜摄像头的位姿，以给主刀医生提供正确和稳定的视觉反馈，辅助主刀医生完成一系列的手术操作。
[0070]
如图2所示，本发明提供了一种内窥镜视野自主控制方法，包括：
[0071]
获取内窥镜摄像头的视觉反馈和绳驱机械臂的真实绳长；
[0072]
基于视觉反馈计算图像清晰度，对手术器械尖端进行分割和定位；基于真实绳长建立绳索-末端运动学模型和位置级rcm约束方程；
[0073]
建立手术视野调整的优化模型；
[0074]
利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度；
[0075]
建立速度级rcm约束方程和末端-绳索逆运动学模型，解算得到绳索长度，对持镜机器人进行运动控制。
[0076]
如图3所示，持镜机器人的智能控制系统总框架主要由反馈数据接收模块、图像预处理模块、运动学与rcm约束建模模块、手术视野智能调整模块及运动控制模块组成。反馈数据接收模块用于获取内窥镜摄像头采集的图像和绳驱机械臂的真实绳索长度。图像预处理模块用于计算图像清晰度和对手术器械尖端进行分割与定位。运动学与rcm约束建模模块用于建立绳驱柔性臂主动绳索空间到操作空间运动学模型和位置级rcm约束方程。手术视野智能调整模块用于建立手术视野调整的优化模型，进而利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度。运动控制模块用于建立速度级rcm约束方程和绳驱柔性臂操作空间到主动绳索空间的逆运动学模型，解算得到绳索长度，进而实现持镜机器人的运动控制。
[0077]
如图4所示，对应的辅助持镜机器人系统算法主要包括：反馈数据接收、图像预处理、运动学与rcm约束建模、手术视野智能调整及运动控制。反馈数据接收是整个算法流程的第一步，主要用于获取内窥镜摄像头采集的图像和绳驱机械臂的真实绳索长度。其次，根据获取到的反馈数据实现图像预处理和运动学与rcm约束建模，图像预处理主要包括图像清晰度的计算和手术器械尖端的分割与定位，运动学与rcm约束建模主要包括绳驱柔性臂
主动绳索空间到操作空间运动学模型和位置级rcm约束方程的建立。接着，根据解算得到的信息建立手术视野调整的优化模型，主要包括考虑器械尖端图像特征的跟踪模型、考虑方向误差的手眼协调模型、考虑图像清晰度的优化模型及位置级和速度级的安全约束模型，进而利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度。最后，建立速度级rcm约束方程和绳驱柔性臂操作空间到主动绳索空间的逆运动学模型，解算得到绳索长度，进而实现持镜机器人的运动控制。
[0078]
如图5所示，假设{f0}-{f
2m
}表示绳驱柔性臂的d-h坐标系(其中{f0}为基坐标系)，{ai,di|i＝1,2,...,2m}表示d-h参数。内窥镜连接件安装在绳驱柔性臂末端，它用于固定内窥镜。在腔镜手术中，内窥镜轴线始终穿过一固定点0p
rcm
。假设{f
con
}表示内窥镜连接件坐标系，{f
rcm
}表示rcm坐标系，{f
lap
}表示内窥镜摄像头坐标系。假设内窥镜连接件的轴向长度表示为d
con
，内窥镜的轴向长度表示为d
lap
，内窥镜插入腹腔的长度表示d
in
＝||0p
rcm-0
pc||。
[0079]
假设l＝[l1,l2,
…
,l
3m
]
t
和θ＝[θ1,θ2,
…
,θ
2m
]
t
表示2m-dof绳驱柔性臂的绳索长度和关节角度，j
l
表示关节空间到主动绳索空间的雅可比矩阵，je表示关节空间到操作空间的雅可比矩阵。
[0080]
建立持镜机器人的d-h坐标系，相邻坐标系的齐次变换矩阵如下：
[0081][0082]
其中，cθi表示cosθi，sθi表示sinθi，i＝1,2,...,2m。
[0083]
根据链式法则，建立持镜机器人的运动学模型，即有：
[0084][0085]0t
2m
＝0t
11
t2…
2m-1
t
2m
＝fkine(θ)
ꢀꢀꢀ
(3)
[0086]
其中，是j
l
的伪逆。
[0087]
持镜机器人的速度级逆运动学数值模型可定义为：
[0088][0089]
其中，表示je的伪逆。
[0090]
将{f0}作为参考坐标系，{f
con
}和{f
lap
}的齐次变换矩阵可分别描述为：
[0091][0092][0093]
其中，0a
con
和0a
lap
分别表示{f
com
}和{f
lap
}的旋转矩阵；0p
con
和0p
lap
分别表示{f
com
}和{f
lap
}的位置向量；mt
con
和
con
t
lap
分别表示持镜机械臂末端到内窥镜连接件和内窥镜连接件到内窥镜摄像头的齐次变换矩阵。
[0094]
假设η
in
＝d
in
/d
lap
表示内窥镜的置入距离和轴向长度之间的比值。由于内窥镜必须始终穿过rcm，因此，位置级rcm的约束可表示为：
[0095][0096]
为了表达的方便，将{f
con
}作为参考坐标系，假设内窥镜连接件的线速度和角速度分别为
convcon
＝[
convconx convcony convconz
]
t
和
con
ω
con
＝[
con
ω
conα con
ω
conβ con
ω
conγ
]
t
；内窥镜在rcm处的线速度和角速度分别为
convrcm
＝[
convrcmx convrcmy convrcmz
]
t
和
con
ω
rcm
＝[
con
ω
rcmα con
ω
rcmβ con
ω
rcmγ
]
t
；内窥镜摄像头的线速度和角速度分别为
convlap
＝[
convlapx convlapy convlapz
]
t
和
con
ωc＝[
con
ω
lapα con
ω
lapβ con
ω
lapγ
]
t
。
[0097]
{f
con
}、{f
rcm
}及{f
lap
}均定义在内窥镜上，根据理论力学可得：
[0098][0099]
根据rcm约束的特点，内窥镜无法实现垂直于轴线方向的平动，损失了两个自由度。因此，速度级rcm约束中内窥镜垂直于轴线方向的速度始终等于0，也即：
[0100][0101]
根据速度级rcm约束的规律，可建立内窥镜摄像头速度与内窥镜连接件速度的关系为：
[0102][0103]
手术器械尖端跟踪点的定位可为辅助持镜机器人智能视野调整提供有效且重要的反馈信息。为了准确地提取系统的跟踪点，将深度学习方法用于手术器械尖端的分割和定位，它可以减小器械尖端的定位误差。首先，利用实时目标检测模型提取视觉反馈的roi区域(也即器械尖端区域)。然后，在roi区域中分割出器械尖端，进而提取器械尖端的重心。最后，计算所有器械尖端重心的加权平均和作为该系统的跟踪点。
[0104]
器械尖端的分割和定位的流程图如图6所示，主要包括以下步骤：(1)根据在is中裁剪出第k个器械尖端的roi图像(2)将转换为器械尖端的灰度图像(3)根据ksize对进行中值滤波，进而得到滤波后的图像(4)根据阈值[thresh
min
,thresh
max
]将转换为器械尖端的二值图像(5)提取中的q个轮廓；(6)计算第q个(q＝1,2,
…
,q)轮廓contourq的面积areaq，进一步计算contourq在中的面积占比
当满足ratio
min
＜η
area
＜ratio
max
时，可以认为contourq是第k个器械尖端的轮廓；(7)根据contourq计算第k个器械尖端的重心
[0105]
采用图像中器械尖端分割区域的一阶矩计算其重心。第k幅roi图像中器械尖端轮廓的(i j)阶矩m
ij
表示为：
[0106][0107]
进而，可以计算得到第k个器械尖端的重心为：
[0108][0109]
因此，系统跟踪点可表示为：
[0110][0111]
其中，ηk表示第k个器械尖端重心的跟踪权值(也即，该类器械的重要性)，且
[0112]
上述建立手术视野调整的优化模型包括：器械尖端图像特征的跟踪模型、方向误差的手眼协调模型、图像清晰度的优化模型、位置级和速度级的安全约束模型，具体如下：
[0113]
(1)器械尖端图像特征的跟踪模型
[0114]
通过上述的尖端的分割和定位方法提取各器械尖端的重心，进一步计算系统跟踪点s
tips
。假设s
des
＝[ws/2hs/2]
t
表示图像中心，系统跟踪点s
tips
和图像中心s
des
之间的像素距离为d
px
＝||s
tips-s
des
||。
[0115]
内窥镜摄像头跟踪器械尖端实际上是一个最小化像素距离d
px
的问题，期望的像素距离为0。因此，可建立如下的跟踪模型：
[0116][0117]
式中，
[0118][0119][0120][0121]
其中，t代表时间，fu、fv、u0及v0表示内窥镜摄像头的内参；u
tips
,v
tips
分别代表器械末端的像素坐标；k
p
是常对角矩阵；s
des
,s
tips
分别代表期望的跟踪点和实际器械末端跟踪点的像素坐标；k
p,track
和k
d,track
都是正常数，分别t时刻和t-1时刻实际器械末端跟踪点s
tips
和期望跟踪点s
des
之间的像素距离；(j
lap
)
#
为j
lap
的伪逆。
[0122]
(2)方向误差的手眼协调模型
[0123]
根据rcm约束的特点，内窥镜摄像头的线速度和角速度存在着耦合关系。因此，当
内窥镜摄像头跟踪尖端时，耦合的旋转运动可能造成方向误差。也就是说，视觉反馈中尖端的运动方向与主刀医生期望的运动方向存在一定的角度偏差。这会影响主刀医生的手眼协调，降低主刀医生的舒适感和手术效率。
[0124]
假设βk(k＝t,t-1)表示方向误差，即有：
[0125]
βk＝atan 2[-lap
a0(2,2),-lap
a0(1,2)]
ꢀꢀꢀ
(19)
[0126]
相似的，提高手眼协调程度实际上是一个最小化|βk|的问题，期望的方向误差为0。因此，可建立如下的手眼协调模型：
[0127][0128]
式中k
p,coor
和k
d,coor
都是正常数，
lap
a0(2,2),
lap
a0(1,2)分别表示矩阵
lap
a0第二行第二列和第一行第二列的元素。
[0129]
(3)图像清晰度的优化模型
[0130]
基于图像边缘纹理结构信息的图像清晰度评价指标具有高灵敏度、单峰性及在峰值两侧的单调性，而图像梯度算子最能够反映图像边缘纹理结构信息。因此，利用无参考图像的清晰度评价指标来评估手术图像的质量。
[0131]
假设qi表示图像清晰度(qi越大，图像越清晰)，计算公式为：
[0132]
qi＝id(is)
ꢀꢀꢀ
(21)
[0133]
其中，id(
·
)表示基于梯度算子的无参考图像清晰度评价方法。
[0134]
假设d
obj
表示物距，根据相机成像原理，存在物距d
obj,foc
使得内窥镜摄像头的聚焦效果最好、图像最清晰。因此，在相同的场景中，图像清晰度与物距的函数关系qi(d
obj
)具有以下性质：
[0135]
(1)当d
obj
＜d
obj,foc
或d
obj
＞d
obj,foc
时，qi(d
obj
)＜qi(d
obj,foc
)；
[0136]
(2)当d
obj,1
＜d
obj,2
＜d
obj,foc
时，当d
obj,2
＞d
obj,1
＞d
obj,foc
时，
[0137]
调节图像清晰度的关键是辅助持镜机器人智能调整内窥镜摄像头和手术器械、人体之间的距离。为了最大化图像清晰度，根据上述的图像清晰度qi(d
obj
)与物距d
obj
之间的非线性函数关系，可建立如下的优化模型：
[0138][0139][0140]
其中，
conalap
为内窥镜连接件到内窥镜摄像头的旋转矩阵；分别为t-1时刻和t时刻的图像清晰度；内窥镜摄像头跟踪器械尖端在t-1时刻z方向的线速度；为的符号函数，它具有性质：当时，当时，当时，表示图像清晰度的变化率；η0表示最小容忍变化率，k
def
为正常数，此外g(ηq)还满足以下性质：
[0141]
当ηq＜0时，g(ηq)＜0；当ηq＝0时，g(ηq)＝0；当ηq＞0时，g(ηq)＞0；
[0142]
当ηq≠0时，|ηq|越大，g(ηq)越小。
[0143]
(4)位置级和速度级的安全约束模型
[0144]
为了保证辅助持镜机器人的安全性，设置了位置级和速度级手术视野调整安全约束。在位置级别上，为了避免内窥镜置入过短或过长导致与人体、器械发生碰撞，对内窥镜的置入距离d
in
进行约束，具体表述为：
[0145]
(1)定义一个置入距离安全区d
in
∈[d
safe,min
,d
safe,max
]。当内窥镜的置入距离d
in
处于安全区时，可以确保内窥镜的运动是安全的，因此不需要对d
in
进行控制。
[0146]
(2)定义两个置入距离警戒区d
in
∈[d
alart,min
,d
safe,min
]和d
in
∈[d
safe,max
,d
alart,max
]。出于安全的考虑，当内窥镜的置入距离d
in
处于警戒区时，需要对d
in
进行控制，使其进入安全区。因此，可建立如下的安全约束模型：
[0147][0148][0149]
其中，分别表示t-1时刻和t时刻器械实际的置入距离；d
in,d
表示期望的置入距离；k
p,safe
和k
d,safe
都是正常数。
[0150]
在速度级别上，为了避免内窥镜摄像头运动速度过快导致和与人体、器械碰撞的失控现象，约束了内窥镜摄像头的最大线速度v
max
和内窥镜的最大轴向角速度ω
max
。
[0151]
基于对器械尖端跟踪、手眼协调、图像清晰度及安全约束进行多目标优化，进而可以计算内窥镜摄像头的广义速度为：
[0152][0153]
其中，η
track
、η
coor
、η
def
及η
safe
分别表示三种优化目标和位置级安全约束的权值系数。
[0154]
此外，当主刀医生操作关键部位时，视觉反馈会捕获器械尖端在局部区域的抖动，导致辅助持镜机器人产生微小的运动。为了防止上述情况引起手术视野的抖动，设置了一个以s
des
为中心，以r
dead
为半径的死区。当跟踪点进入死区后，除非内窥镜的置入距离进入警戒区，否则辅助持镜机器人停止运动，为主刀医生提供稳定的视觉反馈。
[0155]
为了验证所提方法的正确性和有效性，设计了两组器械尖端跟踪的仿真实验(也即一种器械和两种器械及三种器械)。为了验证所提方法的抗抖动能力，假设器械轨迹的抖动误差符合
±
1mm的均匀分布。
[0156]
对于一种器械的情况，手术器械尖端沿圆形轨迹运动。对于两种器械的情况，手术器械尖端分别沿矩形轨迹和圆形轨迹运动。对于三种器械的情况，手术器械尖端分别沿固定点、矩形轨迹及圆形轨迹运动。根据初始状态和仿真结果，视觉反馈中器械尖端的轨迹如图7所示，在初始状态下，当内窥镜摄像头不跟踪手术器械尖端时，手术器械尖端会超出手术视野范围。跟踪距离变化曲线如图8所示，方向误差变化曲线如图9所示，图像清晰度变化曲线如图10所示，内窥镜置入距离变化曲线如图11所示。
[0157]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术
人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。