一种内窥镜镜头跟踪方法及内窥镜系统与流程

1.本发明实施例涉及手术设备的技术领域，具体而言，涉及一种内窥镜镜头跟踪方法及内窥镜系统。


背景技术：

2.内窥镜可以经人体的天然孔道，或者是经手术做的小切口进入人体内。利用内窥镜可以看到x射线不能显示的病变，医生可据此制定出最佳的治疗方案。
3.目前的内窥镜手术中，需要多人同时协作进行，其中主刀医生操作手术器械钳等工具做具体的手术操作，持镜手专职操控内窥镜对准视角，另有助手操作内窥镜主机进行动作。
4.但是，由于内窥镜具有放大作用，并且内窥镜本体较长，持镜手在移动视角时，容易持镜不稳，进而内窥镜画面大幅摆动，使得内窥镜不易对准目标，内窥镜移动视角时稳定性较差。


技术实现要素：

5.本发明实施例提供一种内窥镜镜头跟踪方法及内窥镜系统，旨在解决内窥镜镜头视角移动时稳定性较差的问题。
6.本发明实施例第一方面提供一种内窥镜镜头跟踪方法，应用于内窥镜系统，内窥镜系统至少包括内窥镜，方法包括：获取内窥镜的镜头对预设空间区域进行图像采集得到的包括目标器械的空间图像，并将空间图像实时显示在显示界面中；对目标器械上的标定点进行定位，确定显示界面上显示的目标器械的位置，并在检测到位置为预设触控位置且在预设触控位置的持续时间超过预设时间时，将当前追踪模式设置为自动跟随模式；在自动跟随模式下，检测空间图像中目标器械的当前运动状态；基于目标器械的当前运动状态以及预设的运动状态，确定镜头跟随目标器械的偏移距离及偏移方向，并根据偏移距离及偏移方向，生成对内窥镜的镜头的驱动控制信号；基于驱动控制信号，控制镜头按照偏移距离和偏移方向转动，以使镜头所拍摄的空间图像中始终包括目标器械。
7.可选地，自动跟随模式包括实时自动跟随的模式，目标器械的当前运动状态包括目标器械的当前运动位置，预设的运动状态是指显示界面中与目标器械的运动目标位置对应的预设显示区域；在实时自动跟随的模式的情况下，检测空间图像中目标器械的当前运动状态，包括：检测空间图像中目标器械在显示界面上的当前显示位置；基于目标器械的当前运动状态以及预设的运动状态，确定镜头跟随目标器械的偏
移距离及偏移方向，包括：在目标器械的当前显示位置未位于预设显示区域时，确定当前显示位置相对于预设显示区域的偏移距离及偏移方向。
8.可选地，自动跟随模式包括超前自动跟随的模式，目标器械的当前运动状态包括目标器械的当前姿态，预设的运动状态是根据目标器械的历史移动方向和距离构建的运动模型，运动模型是通过以下步骤构建的：获得目标器械对应的多种运动姿态样本数据，其中，运动姿态样本数据包括目标器械的多个预设标志点在第一时刻的位置，以及多个预设标志点在第一时刻之后的第二时刻的位置；基于多种运动姿态样本数据，建立运动模型，运动模型用于根据多个预设标志点在当前的位置预测多个预设标志点在下一时刻的位置；在超前自动跟随的模式的情况下，检测空间图像中目标器械的当前运动状态，包括：检测空间图像中，目标器械的多个预设标志点的当前位置；基于目标器械的当前运动状态以及预设的运动状态，确定镜头跟随目标器械的偏移距离及偏移方向，包括：将目标器械的多个预设标志点的当前位置输入到运动模型，得到目标器械的多个预设标志点在下一时刻的位置；根据目标器械的多个预设标志点在下一时刻的位置，确定目标器械在下一时刻的位姿；根据目标器械在下一时刻的位姿，确定镜头跟随目标器械的偏移距离及偏移方向。
9.可选地，方法还包括：响应于被触发的手动跟随模式，检测用户针对镜头进行的控制操作；控制操作包括用户针对内窥镜的控制按键触发的操作，和/或，根据用户的眼球运动触发的操作；基于控制操作，生成对镜头的驱动信号，以驱动镜头移动。
10.可选地，显示界面中设置有导航坐标系，方法还包括：检测内窥镜的镜头相对内窥镜的转动方向和转动幅度；根据转动方向和转动幅度，生成包含内窥镜与镜头之间的相对位置的矢量信号；基于矢量信号，将内窥镜与镜头之间的相对位置显示在导航坐标系中。
11.可选地，方法还包括：检测内窥镜的镜头相对内窥镜的转动方向和转动幅度；获取内窥镜及内窥镜的镜头的模拟图像；基于转动方向和转动幅度，生成包含空间图像和模拟图像的立体模型图像；将立体模型图像实时显示在显示界面中可选地，显示界面上包括至少一个二级菜单，方法还包括：在检测到显示界面上显示的目标器械的器械位置为二级菜单所在的位置的情况下，检测器械位置停留在二级菜单所在的位置的持续时长；在持续时长超过第一预设时长时，触发二级菜单的菜单功能。
12.可选地，显示界面上包括主菜单，主菜单关联有至少一个二级菜单，方法还包括：在检测到显示界面上显示的目标器械的器械位置为主菜单所在的位置时，检测器械位置停留在主菜单所在的位置的持续时长；在持续时长超过第二预设时长时，在显示界面上显示至少一个二级菜单；其中，主菜单所在的位置隐藏在导航坐标系所在的位置，或者，主菜单所在的位置为与导航坐标系所在的位置不同的位置。
13.可选地，在检测到器械位置为预设触控位置且在预设触控位置的持续时间超过预设时间时，将当前追踪模式设置为自动跟随模式，包括：在检测到器械位置为至少一个二级菜单中目标二级菜单所在的位置，且在目标二级菜单所在的位置的持续时长超过第三预设时长时，将当前追踪模式设置为自动跟随模式。
14.可选地，至少一个二级菜单包括：图像截取菜单，方法还包括：在检测到器械位置为图像截取菜单所在的位置，且在图像截取菜单所在的位置的持续时长超过第四预设时长时，控制内窥镜对预设空间区域进行截图；获取内窥镜进行截图得到的截图图像。
15.可选地，至少一个二级菜单包括：录像菜单，方法还包括：在检测到器械位置为录像菜单所在的位置，且在录像菜单所在的位置的持续时长超过第五预设时长时，控制内窥镜对预设空间区域进行视频采集；获取内窥镜进行视频采集得到的视频流；在显示界面播放视频流。
16.可选地，至少一个二级菜单包括：亮度调整菜单，方法还包括：在检测到器械位置为亮度调整菜单所在的位置，且在亮度调整所在的位置的持续时长超过第六预设时长时，显示亮度调整菜单的第一菜单按钮和第二菜单按钮；在检测到器械位置为第一菜单按钮的位置时，增大内窥镜的镜头的视场曝光；在检测到器械位置为第二菜单按钮的位置时，减小内窥镜的镜头的视场曝光。
17.可选地，内窥镜的镜头上设置有冷光源，至少一个二级菜单包括：光源调整菜单，方法还包括：在检测到器械位置为光源调整菜单所在的位置，且在光源调整菜单所在的位置的持续时长超过第七预设时长时，显示光源调整菜单的第三菜单按钮和第四菜单按钮；在检测到器械位置为第三菜单按钮的位置时，增大冷光源的发光亮度；在检测到器械位置为第四菜单按钮的位置时，减小冷光源的发光亮度本发明实施例第二方面提供一种内窥镜系统，包括内窥镜、处理器和显示设备，内窥镜与处理器电连接，处理器与显示设备通信连接；内窥镜的镜头可相对内窥镜转动；显示设备用于显示内窥镜的镜头所拍摄的空间图像；处理器用于执行如本发明实施例第一方面提供的任意一种内窥镜镜头跟踪方法的方法。
18.可选地，内窥镜包括内窥镜本体、可弯部和镜头；可弯部的一端与内窥镜本体连接，镜头固定在可弯部的另一端；内窥镜本体内设
置有用于驱使可弯部发生形变的电控机械结构；电控机械结构与处理器的输出端通信连接，用于响应于驱动控制信号，输出用于使可弯部发生形变，以带动镜头按照偏移距离和偏移方向转动的力矩。
19.可选地，还包括固定支臂，固定支臂与内窥镜本体固定连接，固定支臂用于固定内窥镜本体。
20.可选地，镜头是双目镜头。
21.可选地，可弯部上还安装有传感器，传感器与处理器的输入端通信连接，用于检测内窥镜的镜头相对内窥镜的转动方向和转动幅度，生成包含内窥镜本体与镜头之间的相对位置的矢量信号，并将矢量信号发送给处理器；处理器还用于响应矢量信号，并在显示设备中显示内窥镜本体与镜头之间的相对位置。
22.可选地，传感器包括多个应变片，多个应变片均匀布置在可弯部的轴线周围。
23.本发明具有以下优点：本发明提供一种内窥镜镜头跟踪方法及内窥镜系统，镜头跟踪方法包括：获取内窥镜的镜头对预设空间区域采集的包括有目标器械的空间图像，并将空间图像显示在显示界面中；对目标器械上的标定点进行定位，并在显示界面上显示的目标器械在预设触控位置上停留超过预设时间时，触发自动跟随模式；在自动跟随模式下，检测目标器械的当前运动状态，并基于目标器械的当前运动状态以及预设的运动状态，确定镜头跟随目标器械需要的偏移距离及偏移方向，并生成驱动控制信号；基于驱动控制信号，控制镜头转动，以使镜头拍摄的空间图像中始终包括目标器械。
24.通过在自动跟随模式下，镜头识别目标器械，并追踪目标器械的移动而进行转动，从而保持目标器械始终位于显示界面的空间图像内。无需人工操作内窥镜及镜头移动，并且空间图像随镜头移动而变换平稳、准确，大大减少显示界面上空间图像的摆动现象，减少施术者观看空间图像造成的眩晕等不适感，方便主刀医生进行手术操作。
附图说明
25.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
26.图1是本发明一实施例提出的内窥镜系统的整体结构示意图；图2是本发明一实施例提出的内窥镜的结构示意图；图3是本发明一实施例提出的内窥镜可弯部的放大结构示意图；图4是本发明一实施例提出的内窥镜镜头跟踪方法的操作步骤流程图；图5是本发明一实施例提出的镜头实时跟随的模式下显示界面上的示意图；图6是本发明一实施例提出的镜头实时跟随的模式下显示界面上目标器械离开预设显示区域的示意图；图7是本发明一实施例提出的镜头实时跟随的模式下显示界面上镜头跟踪目标器械转动后的示意图；
图8是本发明一实施例提出的显示界面上二级菜单常显状态的示意图；图9是本发明一实施例提出的显示界面上二级菜单常隐藏、主菜单常显的示意图；图10是本发明一实施例提出的显示界面上目标器械悬停主菜单将二级菜显示的示意图；图11是本发明一实施例提出的显示界面上目标器械悬停导航坐标系将二级菜显示的示意图。
27.附图标记：41、内窥镜；410、内窥镜主体；411、镜头；413、可弯部；421、目标器械；43、处理器；45、显示设备；51、预设显示区域；52、导航坐标系；53、二级菜单；54、主菜单；55、应变片。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.相关技术中，内窥镜手术中需要有专职持镜手操作内窥镜，另有助手操作内窥镜主机控制镜头转动，但在持镜手移动内窥镜对齐角度时，由于内窥镜上显示画面的放大作用，以及持镜过程中内窥镜较长的杠杆作用，内窥镜的轻微晃动镜头都会大幅摆动，内窥镜的镜头难以即时对准目标，内窥镜的画面容易出现不稳定的情况。
30.有鉴于此，本发明提供一种内窥镜镜头跟踪方法及内窥镜系统，镜头跟踪方法包括：获取内窥镜41的镜头411对预设空间区域采集的包括有目标器械421的空间图像，并将空间图像显示在显示界面中；对目标器械421上的标定点进行定位，并在显示界面上显示的目标器械421在预设触控位置上停留超过预设时间时，触发自动跟随模式；在自动跟随模式下，检测目标器械421的当前运动状态，并基于目标器械421的当前运动状态以及预设的运动状态，确定镜头411跟随目标器械421需要的偏移距离及偏移方向，并生成驱动控制信号；基于驱动控制信号，控制镜头411转动，以使镜头411拍摄的空间图像中始终包括目标器械421。
31.通过在自动跟随模式下，镜头411识别目标器械421，并追踪目标器械421的移动而进行转动，从而保持目标器械421始终位于显示界面的空间图像内。无需人工操作内窥镜41及镜头411移动，并且空间图像随镜头411移动而变换平稳、准确，大大减少显示界面上空间图像的摆动现象，减少施术者观看空间图像造成的眩晕等不适感，方便主刀医生进行手术操作。
32.实施例一参照图1，示出了本发明一实施例提出的内窥镜系统的整体结构示意图，参照图2，示出了本发明一实施例提出的内窥镜的结构示意图的整体结构示意图，如图1、2所示，本发明实施例公开了一种内窥镜系统, 包括内窥镜41、处理器43和显示设备45，内窥镜41与处理器43电连接，处理器43与显示设备45通信连接。内窥镜41的镜头411可相对内窥镜41转动，用于采集内窥镜41的镜头411前方预设空间区域的空间图像，镜头411可以为单目镜头、多目镜头等，本发明实施例中，镜头411可以是双目镜头。显示设备45用于显示内窥镜41的
镜头411所拍摄的空间图像。处理器43用于执行如一种内窥镜镜头跟踪方法。
33.其中，显示设备45可以为平面显示器，或者为与处理器43为一体的显示屏，处理器43可以为电脑终端，或者为图像处理器等。在本发明实施例中，显示设备45为独立的平面显示器，处理器43可以为内窥镜摄像系统图像处理器。
34.通过处理器43处理内窥镜41的镜头411采集的空间图像，并将空间图像实时显示在显示设备45中，再由处理器43执行一种内窥镜镜头跟踪方法，以控制内窥镜41的镜头411追随手术等目标器械421的移动而转动，尽量保持目标器械421在显示设备45上显示界面中的位置位于显示界面的中心区域，提高显示界面中图像的稳定性。
35.参照图3，示出了本发明一实施例提出的内窥镜可弯部的放大结构示意图，如图3所示，内窥镜41包括内窥镜本体410、可弯部413和镜头411。可弯部413可以为机械活动关节等，可弯部413的一端与内窥镜本体410连接，镜头411固定在可弯部413的另一端；内窥镜本体410内设置有用于驱使可弯部413发生形变的电控机械结构；电控机械结构与处理器43的输出端通信连接，用于响应于驱动控制信号，输出用于使可弯部413发生形变，以带动镜头411按照偏移距离和偏移方向转动的力矩。
36.通过镜头411独立于内窥镜本体410弯转，使得镜头411能够快速准确追踪目标手术器械转动，从而不需要经常地移动内窥镜本体410，使得显示界面上的画面能尽量保持在目标视野处。
37.进一步地，系统中还包括有固定支臂，固定支臂与内窥镜本体410固定连接，固定支臂用于固定内窥镜本体410。其中，固定支臂可通过重物固定于地面，或者通过锁紧结构，固定于手术台的一侧。固定支臂的前端可设置固定架，通过固定夹以固定夹持内窥镜本体410。
38.通过将内窥镜本体410固定在固定支臂上，可以省去持镜手在一旁长时间持镜，并且避免了持镜手身体疲惫造成的内窥镜41晃动，进一步提高显示界面上图像的稳定性。
39.为了检测内窥镜41的镜头411相对内窥镜41的转动方向和转动幅度，可弯部413上还安装有传感器，传感器与处理器43的输入端通信连接。传感器用于生成包含内窥镜本体410与镜头411之间的相对位置的矢量信号，并将矢量信号发送给处理器43。处理器43还用于响应矢量信号，并在显示设备45中显示内窥镜本体410与镜头411之间的相对位置。
40.通过在显示界面上实时显示镜头411相对于内窥镜本体410的弯转状态，可以方便手术人员了解镜头411的位置。在需要将内窥镜本体410从人体孔道中退出时，可快速根据显示界面上的显示内容，将镜头411调节至于内窥镜41同轴复位时，再退出内窥镜本体410，有效防止内窥镜本体410上弯转的镜头411对人体组织造成伤害。
41.其中，在本发明实施例中，传感器包括多个应变片55，多个应变片55均匀分布在可弯部413的轴线周围。具体地，应变片55可以为四条，四条应变片55对称布置在可弯部413的外侧。在镜头411的可弯部413处有一高分子材料制成的管状薄壁柔性保护套，其作用为保护可弯部413内部结构的同时，对此部位形成密封。该柔性保护套在制作时，将四条应变片55沿柔性保护套的轴线方向对称布置加入到薄壁中，应变片55均接入内窥镜41的电路中。当镜头411随可弯部413弯转时，四条应变片55的弯曲程度各有差别，根据四条应变片55的弯曲差异，从而获得镜头411的弯曲程度和弯曲方向，并生成有包含内窥镜本体410与镜头411之间的相对位置的矢量信号。
42.实施例二参照图4，示出了本发明一实施例提出的内窥镜镜头跟踪方法的操作步骤流程图，如图4所示，基于同一发明构思，本发明另一实施例提供一种内窥镜镜头跟踪方法，该方法主要应用于内窥镜系统，内窥镜系统中至少包括内窥镜41。内窥镜镜头跟踪方法主要包括以下步骤：步骤s101：获取内窥镜41的镜头411对预设空间区域进行图像采集时，得到的包括目标器械421的空间图像，并将空间图像实时显示在显示界面中。
43.本发明中的目标器械421可以为手术钳，手术钳可以包括但不限于抓取钳、持针钳、弯剪、直剪、单极钩、剥离钳等以上的多种钳头。
44.其中，预设空间区域为位于镜头411最大视角内镜头411所能采集的空间区域的空间图像，空间图像是一个将镜头411采集的空间区域内景物重叠后的二维图像。
45.步骤s102：对目标器械421上的标定点进行定位，确定显示界面上显示的目标器械421的位置，并在检测到目标器械421的位置为预设触控位置且在预设触控位置持续的时间超过预设时间时，将当前追踪模式设置为自动跟随模式。
46.其中，标定点可以为手术钳的头部上的高反差对比标记，标记的样式包括但不限于二维形态的点、线、符号及其组合，以及三维形态的凸出或凹陷，二维形态标记可通过标刻、粘贴等方式施加在手术钳上。当空间图像中同时存在多个标定点时，可以以多个标定点进入镜头411拍摄的空间图像的先后顺序作为镜头411追踪标定点的优先级排序，使镜头411保持追踪第一优先进入拍摄的空间图像中的标定点。
47.其中，预设触控位置为空间图像中的局部设定区域。检测目标器械421的位置是否为预设触控位置，即通过识别空间图像中的目标器械421以及目标器械421于空间图像中的位置，当目标器械421于空间图像中的位置位于局部设定区域内时，即可认定为目标器械421在预设触控位置，并且当目标器械421于空间图像中的位置位于该局部设定区域内，开始记录时长，当该记录的时长超过预设的一个时长时，即可触发预设的的程序。
48.其中，追踪模式至少包括手动跟随模式和自动跟随模式，在自动跟随模式下，内窥镜41镜头411主动追踪目标器械421，并随目标器械421移动。
49.响应于被触发的手动跟随模式，检测用户针对镜头411进行的控制操作；控制操作包括用户针对内窥镜41的控制按键触发的操作，和/或，根据用户的眼球运动触发的操作；基于控制操作，生成对镜头411的驱动信号，以驱动镜头411移动。
50.其中，用户针对内窥镜41的控制按键触发的操作，包括但不限于采用摇杆、按钮以及触摸式虚拟按键等任意方式进行操作的控制器。根据用户的眼球运动触发的操作，包括采用眼球追踪器，可以通过获取施术者的眼球动作来调整镜头411的弯转动作。在其他实施例中，控制操作还可以为除眼球追踪器以外的无接触动作传感器，比如手势传感器，可以通过识别人物手势来调整镜头411的弯转动作。通过无接触传感，可以有效保持施术者手部卫生。
51.自动跟随模式可以包括实时自动跟随的模式和超前自动跟随的模式。
52.在本发明的一种实施例中，自动跟随模式可以为实时自动跟随的模式，在实时自动跟随的模式下，包括以下步骤。
53.步骤s103：在自动跟随模式下，检测空间图像中目标器械421的当前运动状态。
54.其中，目标器械421的当前运动状态包括空间图像中目标器械421的当前运动位置。
55.步骤s104：基于目标器械421的当前运动状态以及预设的运动状态，确定镜头411跟随目标器械421的偏移距离及偏移方向，并根据偏移距离及偏移方向，生成对内窥镜41的镜头411的驱动控制信号。
56.参照图5，示出了本发明一实施例提出的镜头实时跟随的模式下显示界面上的示意图，如图5所示，预设的运动状态是指显示界面中与目标器械421的运动目标位置对应的预设显示区域51。其中，显示界面中的预设显示区域51可以为空间图像显示在显示界面中的局部区域，该局部区域可以为显示界面中具有确定半径的圆形区域，也可以为正方形、长方形、三角形等具有闭合边界的确定形状的区域，进一步地，该局部区域可以位于显示界面上空间图像所在区域的中心，使目标器械421从预设显示区域51的各个方向移动离开时，镜头411都可以及时追踪目标器械421并进行转动。
57.确定镜头411跟随目标器械421的偏移距离及偏移方向，包括：在目标器械421的当前显示位置未位于预设显示区域51时，确定当前显示位置相对于预设显示区域51的偏移距离及偏移方向。
58.步骤s105：基于以上的驱动控制信号，控制镜头411按照上述偏移距离和偏移方向转动，以使镜头411所拍摄的空间图像中始终包括有目标器械421。
59.其中，使镜头411所拍摄的空间图像中始终包括有目标器械421，具体通过以下步骤实现。
60.参照图6，示出了本发明一实施例提出的镜头实时跟随的模式下显示界面上目标器械离开预设显示区域的示意图，参照图7，示出了本发明一实施例提出的镜头实时跟随的模式下显示界面上镜头跟踪目标器械转动后的示意图。如图6、7所示，通过实时采集镜头411拍摄的空间图像中目标器械421位于显示界面上的位置，并实时与预设显示区域51进行对比，从而及时获得目标器械421从显示界面上预设显示区域51离开的信息，并获取镜头411需要的偏移距离及偏移方向，使得镜头411及时转动以使下一刻采集的空间图像中显示的预设显示区域51内具有目标器械421的身影。镜头411的转动以及转动幅度、方向完全由程序计算控制，无需人员手动操作，节省人力，以及提高内窥镜41镜头411转动效率。
61.进一步地，内窥镜41的镜头411的转动速度可以与显示界面上目标器械421所在位置偏离预设显示区域51的偏移距离成正比。在自动追踪模式下，是在实时采集目标器械421所在位置与预设显示区域51的偏移距离，并及时驱使内窥镜41的镜头411转动调整，基于此，偏移距离仍在增大，则说明镜头411的当前转动速度难以跟上目标器械421的移动速度。因此，在目标器械421的位置距离预设显示区域51的距离越大，镜头411的弯转速度越快，可以使镜头411能最大程度追踪和快速移动至拍摄的空间图像中包含目标器械421，提高对目标器械421的追踪效果。
62.在本发明的另一实施例中，自动跟随模式可以为超前自动跟随的模式，在超前自动跟随的模式下，包括以下步骤。
63.步骤s1032：在自动跟随模式下，检测空间图像中目标器械421的当前运动状态。
64.其中，目标器械421的当前运动状态包括目标器械421的当前姿态，姿态包括能够采集的目标器械421在显示界面上显示的多个不同位置、各个不同位置上目标器械421能够
具有的姿势以及在不同运动趋势下目标器械421上的多个预设标志点的当前位置。
65.检测空间图像中目标器械421的当前运动状态，包括：检测空间图像中，目标器械421的多个预设标志点的当前位置。
66.步骤s1042：基于目标器械421的当前运动状态以及预设的运动状态，确定镜头411跟随目标器械421的偏移距离及偏移方向，并根据偏移距离及偏移方向，生成对内窥镜41的镜头411的驱动控制信号。
67.其中，预设的运动状态是根据目标器械421的历史移动方向和距离构建的运动模型。其中，运动模型是通过以下步骤构建的：获得目标器械421对应的多种运动姿态样本数据，其中，运动姿态样本数据包括目标器械421的多个预设标志点在第一时刻的位置，以及多个预设标志点在第一时刻之后的第二时刻的位置；基于多种运动姿态样本数据，建立运动模型，运动模型用于根据多个预设标志点在当前的位置预测多个预设标志点在下一时刻的位置。
68.多个预设标志点包括前述手术钳的不同类型钳头，以及手术钳上的多种标记的样式，运动姿态与前述的姿态相同，不再赘述。
69.运动姿态样本数据中包含有每个运动姿态下，目标器械421上的预设标志点在第一时刻的位置，以及根据该运动姿态，在第一时刻之后的第二时刻时，目标器械421上的预设标记点能达到的位置。其中，第一时刻与第二时刻之间的时间间隔可以为镜头411采集空间图像的刷新率。
70.确定镜头411跟随目标器械421的偏移距离及偏移方向，包括：将目标器械421的多个预设标志点的当前位置输入到运动模型，得到目标器械421的多个预设标志点在下一时刻的位置；根据目标器械421的多个预设标志点在下一时刻的位置，确定目标器械421在下一时刻的位姿；根据目标器械421在下一时刻的位姿，确定镜头411跟随目标器械421的偏移距离及偏移方向。位姿即位置和姿态。
71.步骤s1052：基于以上的驱动控制信号，控制镜头411按照上述偏移距离和偏移方向转动，以使镜头411所拍摄的空间图像中始终包括有目标器械421。
72.其中，使镜头411所拍摄的空间图像中始终包括有目标器械421，具体通过以下步骤实现。
73.通过根据实时采集的显示界面上目标器械421的位置，提前获知下一时刻目标器械421将会达到的位置，并时镜头411提前向预获知的位置移动，从而保持目标器械421始终处于镜头411所采集的空间图像内。并且，通过预测目标器械421的移动轨迹并提前弯转镜头411，可以缩小在下一时刻采集并识别显示界面上目标器械421位置时的收缩区域，提高镜头411追踪算法的鲁棒性。
74.通过在自动跟随模式下，检测获取的空间图像中目标器械421的当前运动状态，并分析确定出当前运动状态下镜头411保持追踪目标器械421，需要偏移距离及偏移方向，并控制镜头411根据分析出的结果进行转动，可始终保持目标器械421位于镜头411所拍摄的空间图像中，省去人为频繁手动调整内窥镜41的镜头411，并且可以实现镜头411小微转动，尽量保持目标器械421位于内窥镜41的镜头411拍摄的空间图像中。提高了内窥镜41镜头411转动过程中的稳定性和准确性，大大降低了拍摄的的空间图像的摆动情况，方便施术者观看稳定拍摄的空间图像以进行准确的手术操作。
75.进一步地，显示界面中还可对内窥镜41的镜头411相对内窥镜41的弯转情况进行实时显示。在一种实施例中，显示界面中设置导航坐标系52，本发明的方法中还包括：检测内窥镜41的镜头411相对内窥镜41的转动方向和转动幅度；根据转动方向和转动幅度，生成包含内窥镜41与镜头411之间的相对位置的矢量信号；基于矢量信号，将内窥镜41与镜头411之间的相对位置显示在导航坐标系52中。
76.其中，内窥镜41与镜头411的两个相对位置分别为矢量信号的两端，在将矢量信号生成在导航坐标系52中时，将内窥镜41所在的矢量信号的端点置于导航坐标系52的原点，镜头411相对内窥镜41所在的位置可以呈二维图形中的点、圆、十字光标等形态，表示在在导航坐标系52中，或者在导航坐标系52中呈内窥镜41与镜头411间相对位置连成直线，以表示两者的相对位置关系。
77.通过在显示界面上显示内窥镜41镜头411与内窥镜41之间的相对位置关系，在将内窥镜41从人体身上的通道器中退出时，可先根据显示界面上显示的内容，将镜头411移动至与内窥镜41同心或接近同心的位置，使内窥镜41镜头411复位，再将内窥镜41从通道器中退出，有效防止内窥镜41的镜头411受到损伤，以及有效防止未复位的镜头411退出时对患者造成伤害。
78.在另一实施例中，还可直接在显示界面上实时显示全部/部分内窥镜41及镜头411的模拟图像。包括以下步骤：检测内窥镜41的镜头411相对内窥镜41的转动方向和转动幅度；获取内窥镜41及内窥镜41的镜头411的模拟图像。基于转动方向和转动幅度，生成包含空间图像和模拟图像的立体模型图像；将立体模型图像实时显示在显示界面中。
79.其中，转动幅度为内窥镜41的镜头411的轴线相对于内窥镜41的几何轴线的偏转角度，在本发明实施例中，镜头411的转动幅度可以为0
°
~70
°
。
80.模拟图像为三维立体图像，显示界面上通过固定视角显示模拟图像。获取内窥镜41及内窥镜41的镜头411的模拟图像，可以为建立包含有内窥镜41及镜头411的三维模型，并将三维模型与实物内窥镜41及镜头411匹配。基于转动方向和转动幅度，将模拟图像中的镜头411部分相对内窥镜41部分转动偏移，得到立体模拟图像，并通过显示界面实时显示立体模拟图像。
81.通过采用立体模型图像显示内窥镜41的镜头411与内窥镜41之间的实时弯转状态，施术者可在退出内窥镜41时直观获取到镜头411是否有复位，观察镜头411的弯转状态便利。
82.参照图8，示出了本发明一实施例提出的显示界面上二级菜单常显状态的示意图，如图8所示，进一步地，在本发明的一种实施例中，显示界面上还包括有至少一个可触发的二级菜单53。二级菜单53通过以下方法触发：在检测到显示界面上显示的目标器械421的器械位置为二级菜单53所在的位置的情况下，检测器械位置停留在二级菜单53所在的位置的持续时长；在持续时长超过第一预设时长时，触发二级菜单53的菜单功能。
83.其中，每个二级菜单53分别对应有独立的局部设定区域，并且每个二级菜单53可对应不同的程序。其中，第一预设时长可以为1
‑
2秒，通过移动目标器械421至二级菜单53中的预设位置，并在该预设位置悬停一段时间后，即可触发预设位置对应的菜单功能选项，方便施术者独自通过无接触操作开启菜单功能选项，操作方便且卫生。
84.其中，二级菜单53的功能，可以包括：图像截取菜单、录像菜单、亮度调整菜单、光
源调整菜单以及切换自动跟随模式菜单。不同菜单在图像中分别对应相互独立的局部设定区域，随着目标器械421在空间图像中的位置位于在不同的区域中并暂留预设的时间，触发对应的菜单中对应的程序。
85.其中，在本发明实施例中，在检测到器械位置为预设触控位置且在预设触控位置的持续时间超过预设时间时，将当前追踪模式设置为自动跟随模式，包括：在检测到器械位置为至少一个二级菜单53中目标二级菜单53所在的位置，且在目标二级菜单53所在的位置的持续时长超过第三预设时长时，将当前追踪模式设置为自动跟随模式。操作方便，提高手术操作效率。
86.其中，在本发明实施例中，在检测到器械位置为图像截取菜单所在的位置，且在图像截取菜单所在的位置的持续时长超过第四预设时长时，控制内窥镜41对预设空间区域进行截图；获取内窥镜41进行截图得到的截图图像。施术者可通过目标器械421手动移动并悬停在图像截取菜单所在的位置，对当前内窥镜41采集的空间区域图像进行截图，方便后续对截取的截图图像内容进行分析。
87.其中，在本发明实施例中，在检测到器械位置为录像菜单所在的位置，且在录像菜单所在的位置的持续时长超过第五预设时长时，控制内窥镜41对预设空间区域进行视频采集；获取内窥镜41进行视频采集得到的视频流；在显示界面播放视频流。施术者可通过目标器械421手动移动并悬停在录像菜单所在的位置，对当前内窥镜41采集的空间区域进行视频采集，方便后续根据采集的视频流内容对手术操作中的各项进行分析。
88.在本发明实施例中，在检测到器械位置为亮度调整菜单所在的位置，且在亮度调整所在的位置的持续时长超过第六预设时长时，显示亮度调整菜单的第一菜单按钮和第二菜单按钮；在检测到器械位置为第一菜单按钮的位置时，增大内窥镜41的镜头411的视场曝光；在检测到器械位置为第二菜单按钮的位置时，减小内窥镜41的镜头411的视场曝光。
89.施术者可通过目标器械421手动移动并悬停在亮度调整菜单所在的位置，显示出第一菜单按钮和第二菜单按钮，并分别调节镜头411的视场曝光的数值大小，以使显示界面上获得较为清晰的图像，操作方便。
90.在其他实施例中，亮度调整菜单还可以包括：第五菜单按钮和第六菜单按钮，第五菜单按钮和第六菜单按钮可分别用于增大或减小所述显示界面的亮度；第七菜单按钮和第八菜单按钮，第七菜单按钮和第八菜单按钮可分别用于增大或减小所述显示界面的白平衡的数值大小。
91.在本发明实施例中，内窥镜41的镜头411上可设置冷光源，用于照亮镜头411所采集的空间区域。在检测到器械位置为光源调整菜单所在的位置，且在光源调整菜单所在的位置的持续时长超过第七预设时长时，显示光源调整菜单的第三菜单按钮和第四菜单按钮；在检测到器械位置为第三菜单按钮的位置时，增大冷光源的发光亮度；在检测到器械位置为第四菜单按钮的位置时，减小冷光源的发光亮度。
92.通过施术者手动移动目标器械421并悬停在光源调整菜单所在的位置，可以在显示界面中显示出第三菜单按钮和第四菜单按钮，并分别用于调节冷光源的发光亮度，可方便施术者根据个人观看需要对冷光源的发光亮度进行调节。
93.在本发明实施例中，第三预设时长、第四预设时长、第五预设时长、第六预设时长以及第七预设时长可以为相同时长，比如1
‑
2秒。在其他实施例中，第三预设时长、第四预设
时长、第五预设时长、第六预设时长以及第七预设时长可以为不同时长。
94.参照图9，示出了本发明一实施例提出的显示界面上二级菜单常隐藏、主菜单常显的示意图，参照图11，示出了本发明一实施例提出的显示界面上目标器械悬停导航坐标系将二级菜显示的示意图。如图9、11所示，在本发明的另一实施例中，显示界面上包括主菜单54，主菜单54关联有至少一个可触发的二级菜单53。二级菜单53的功能选项的触发方法包括：在检测到显示界面上显示的目标器械421的器械位置为主菜单54所在的位置时，检测器械位置停留在主菜单54所在的位置的持续时长；在持续时长超过第二预设时长时，在显示界面上显示至少一个二级菜单53；其中，主菜单54所在的位置隐藏在导航坐标系52所在的位置，或者，主菜单54所在的位置为与导航坐标系52所在的位置不同的位置。
95.其中，显示界面上包括主菜单54，主菜单54关联有至少一个可触发的二级菜单53。主菜单54和每个二级菜单53分别在空间图像中对应有独立的局部设定区域，在主菜单54的程序触发前，二级菜单53中的程序均不会触发，且显示界面上将二级菜单53的图标隐藏。
96.第二预设时长可以为1
‑
2秒，通过将二级菜单53隐藏在显示界面中，并通过触发一个主菜单54将二级菜单53显示在显示界面中，可以在二级菜单53数量较多时，减小二级菜单53对显示界面的占用面积，简洁显示界面，方便施术者观察更完整的空间图像。
97.其中，主菜单54所在的位置为与导航坐标系52所在的位置不同的位置，在本发明的一种实施例中，主菜单54显示在显示界面内，并且显示界面上导航坐标系52与主菜单54对应的局部设定区域间无交集。
98.参照图10，示出了本发明一实施例提出的显示界面上目标器械悬停主菜单将二级菜显示的示意图，如图10所示，其中，主菜单54所在的位置隐藏在导航坐标系52所在的位置，在本发明的另一种实施例中，显示界面上导航坐标系52所在位置与主菜单54对应的局部设定区域相重合，并且主菜单54的图标在主菜单无显示。可以使施术者直接将目标器械421移动至导航坐标系52所在位置，并持续悬停第二预设时长，以触发显示显示界面上的二级菜单53。
99.在本发明实施例中，在内窥镜41的镜头411追踪模式为自动跟随模式下，通过对内窥镜41的镜头411采集的空间图像进行分析，并获取目标器械421的当前运动状态，基于当前运动状态以及预设的运动状态，确定镜头411跟随追踪目标器械421所需要的偏移距离及偏移方向，再控制镜头411以该偏移距离及偏移方向进行弯转，使得镜头411所拍摄的空间图像中可以始终包括目标器械421。省去操作人员手动操作镜头411相对内窥镜41弯转，并且镜头411响应追踪目标器械421快速、准确，提高显示界面上空间图像的稳定性，便于施术者观察。
100.本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
101.本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
102.本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序
产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
103.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
104.这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
105.尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
106.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。