一种内窥镜镜头跟踪方法及内窥镜系统与流程

技术特征：
1.一种内窥镜镜头跟踪方法，其特征在于，应用于内窥镜系统，所述内窥镜系统至少包括内窥镜，所述方法包括：获取所述内窥镜的镜头对预设空间区域进行图像采集得到的包括目标器械的空间图像，并将所述空间图像实时显示在显示界面中；对所述目标器械上的标定点进行定位，确定所述显示界面上显示的所述目标器械的位置，并在检测到所述位置为预设触控位置且在所述预设触控位置的持续时间超过预设时间时，将当前追踪模式设置为自动跟随模式；在所述自动跟随模式下，检测所述空间图像中所述目标器械的当前运动状态；基于所述目标器械的当前运动状态以及预设的运动状态，确定所述镜头跟随所述目标器械的偏移距离及偏移方向，并根据所述偏移距离及偏移方向，生成对所述内窥镜的镜头的驱动控制信号；基于所述驱动控制信号，控制所述镜头按照所述偏移距离和所述偏移方向转动，以使所述镜头所拍摄的空间图像中始终包括所述目标器械。2.根据权利要求1所述的一种内窥镜镜头跟踪方法，其特征在于，所述自动跟随模式包括实时自动跟随的模式，所述目标器械的当前运动状态包括所述目标器械的当前运动位置，所述预设的运动状态是指所述显示界面中与所述目标器械的运动目标位置对应的预设显示区域；在所述实时自动跟随的模式的情况下，检测所述空间图像中所述目标器械的当前运动状态，包括：检测所述空间图像中所述目标器械在所述显示界面上的当前显示位置；基于所述目标器械的当前运动状态以及预设的运动状态，确定所述镜头跟随所述目标器械的偏移距离及偏移方向，包括：在所述目标器械的当前显示位置未位于所述预设显示区域时，确定所述当前显示位置相对于所述预设显示区域的偏移距离及偏移方向。3.根据权利要求1所述的一种内窥镜镜头跟踪方法，其特征在于，所述自动跟随模式包括超前自动跟随的模式，所述目标器械的当前运动状态包括所述目标器械的当前姿态，所述预设的运动状态是根据所述目标器械的历史移动方向和距离构建的运动模型，所述运动模型是通过以下步骤构建的：获得所述目标器械对应的多种运动姿态样本数据，其中，所述运动姿态样本数据包括所述目标器械的多个预设标志点在第一时刻的位置，以及所述多个预设标志点在所述第一时刻之后的第二时刻的位置；基于所述多种运动姿态样本数据，建立运动模型，所述运动模型用于根据所述多个预设标志点在当前的位置预测所述多个预设标志点在下一时刻的位置；在所述超前自动跟随的模式的情况下，检测所述空间图像中所述目标器械的当前运动状态，包括：检测所述空间图像中，所述目标器械的所述多个预设标志点的当前位置；基于所述目标器械的当前运动状态以及预设的运动状态，确定所述镜头跟随所述目标器械的偏移距离及偏移方向，包括：将所述目标器械的所述多个预设标志点的当前位置输入到所述运动模型，得到所述目
标器械的所述多个预设标志点在下一时刻的位置；根据所述目标器械的所述多个预设标志点在下一时刻的位置，确定所述目标器械在所述下一时刻的位姿；根据所述目标器械在所述下一时刻的位姿，确定所述镜头跟随所述目标器械的偏移距离及偏移方向。4.根据权利要求1所述的一种内窥镜镜头跟踪方法，其特征在于，所述方法还包括：响应于被触发的手动跟随模式，检测用户针对所述镜头进行的控制操作；所述控制操作包括用户针对所述内窥镜的控制按键触发的操作，和/或，根据用户的眼球运动触发的操作；基于所述控制操作，生成对所述镜头的驱动信号，以驱动所述镜头移动。5.根据权利要求1所述的一种内窥镜镜头跟踪方法，其特征在于，所述显示界面中设置有导航坐标系，所述方法还包括：检测所述内窥镜的镜头相对所述内窥镜的转动方向和转动幅度；根据所述转动方向和转动幅度，生成包含所述内窥镜与所述镜头之间的相对位置的矢量信号；基于所述矢量信号，将所述内窥镜与所述镜头之间的相对位置显示在所述导航坐标系中。6.根据权利要求1所述的一种内窥镜镜头跟踪方法，其特征在于，所述方法还包括：检测所述内窥镜的镜头相对所述内窥镜的转动方向和转动幅度；获取所述内窥镜及所述内窥镜的镜头的模拟图像；基于所述转动方向和转动幅度，生成包含所述空间图像和所述模拟图像的立体模型图像；将所述立体模型图像实时显示在所述显示界面中。7.根据权利要求1所述的一种内窥镜镜头跟踪方法，其特征在于，所述显示界面上包括至少一个二级菜单，所述方法还包括：在检测到所述显示界面上显示的所述目标器械的器械位置为所述二级菜单所在的位置的情况下，检测所述器械位置停留在所述二级菜单所在的位置的持续时长；在所述持续时长超过第一预设时长时，触发所述二级菜单的菜单功能。8.根据权利要求5所述的一种内窥镜镜头跟踪方法，其特征在于，所述显示界面上包括主菜单，所述主菜单关联有至少一个二级菜单，所述方法还包括：在检测到所述显示界面上显示的所述目标器械的器械位置为所述主菜单所在的位置时，检测所述器械位置停留在所述主菜单所在的位置的持续时长；在所述持续时长超过第二预设时长时，在所述显示界面上显示所述至少一个二级菜单；其中，所述主菜单所在的位置隐藏在所述导航坐标系所在的位置，或者，所述主菜单所在的位置为与所述导航坐标系所在的位置不同的位置。9.根据权利要求7或8所述的一种内窥镜镜头跟踪方法，其特征在于，在检测到所述器械位置为预设触控位置且在所述预设触控位置的持续时间超过预设时间时，将当前追踪模式设置为自动跟随模式，包括：在检测到所述器械位置为所述至少一个二级菜单中目标二级菜单所在的位置，且在所
述目标二级菜单所在的位置的持续时长超过第三预设时长时，将当前追踪模式设置为所述自动跟随模式。10.根据权利要求7或8所述的一种内窥镜镜头跟踪方法，其特征在于，所述至少一个二级菜单包括：图像截取菜单，所述方法还包括：在检测到所述器械位置为所述图像截取菜单所在的位置，且在所述图像截取菜单所在的位置的持续时长超过第四预设时长时，控制所述内窥镜对所述预设空间区域进行截图；获取所述内窥镜进行所述截图得到的截图图像。11.根据权利要求7或8所述的一种内窥镜镜头跟踪方法，其特征在于，所述至少一个二级菜单包括：录像菜单，所述方法还包括：在检测到所述器械位置为所述录像菜单所在的位置，且在所述录像菜单所在的位置的持续时长超过第五预设时长时，控制所述内窥镜对所述预设空间区域进行视频采集；获取所述内窥镜进行所述视频采集得到的视频流；在所述显示界面播放所述视频流。12.根据权利要求7或8所述的一种内窥镜镜头跟踪方法，其特征在于，所述至少一个二级菜单包括：亮度调整菜单，所述方法还包括：在检测到所述器械位置为所述亮度调整菜单所在的位置，且在所述亮度调整所在的位置的持续时长超过第六预设时长时，显示所述亮度调整菜单的第一菜单按钮和第二菜单按钮；在检测到所述器械位置为所述第一菜单按钮的位置时，增大所述内窥镜的镜头的视场曝光；在检测到所述器械位置为所述第二菜单按钮的位置时，减小所述内窥镜的镜头的视场曝光。13.根据权利要求7或8所述的一种内窥镜镜头跟踪方法，其特征在于，所述内窥镜的镜头上设置有冷光源，所述至少一个二级菜单包括：光源调整菜单，所述方法还包括：在检测到所述器械位置为所述光源调整菜单所在的位置，且在所述光源调整菜单所在的位置的持续时长超过第七预设时长时，显示所述光源调整菜单的第三菜单按钮和第四菜单按钮；在检测到所述器械位置为所述第三菜单按钮的位置时，增大所述冷光源的发光亮度；在检测到所述器械位置为所述第四菜单按钮的位置时，减小所述冷光源的发光亮度。14.一种内窥镜系统，其特征在于，包括内窥镜、处理器和显示设备，所述内窥镜与所述处理器电连接，所述处理器与所述显示设备通信连接；所述内窥镜的镜头可相对所述内窥镜转动；所述显示设备用于显示所述内窥镜的镜头所拍摄的空间图像；所述处理器用于执行权利要求1
‑
13任意一种所述的方法。15.根据权利要求14所述的一种内窥镜系统，其特征在于，所述内窥镜包括内窥镜本体、可弯部和镜头；所述可弯部的一端与所述内窥镜本体连接，所述镜头固定在所述可弯部的另一端；所述内窥镜本体内设置有用于驱使所述可弯部发生形变的电控机械结构；所述电控机械结构与所述处理器的输出端通信连接，用于响应于所述驱动控制信号，
输出用于使所述可弯部发生形变，以带动所述镜头按照偏移距离和偏移方向转动的力矩。16.根据权利要求15所述的一种内窥镜系统，其特征在于，还包括固定支臂，所述固定支臂与所述内窥镜本体固定连接，所述固定支臂用于固定所述内窥镜本体。17.根据权利要求15所述的一种内窥镜系统，其特征在于，所述镜头是双目镜头。18.根据权利要求15所述的一种内窥镜系统，其特征在于，所述可弯部上还安装有传感器，所述传感器与所述处理器的输入端通信连接，用于检测所述内窥镜的镜头相对所述内窥镜的转动方向和转动幅度，生成包含所述内窥镜本体与所述镜头之间的相对位置的矢量信号，并将所述矢量信号发送给所述处理器；所述处理器还用于响应所述矢量信号，并在显示设备中显示所述内窥镜本体与所述镜头之间的相对位置。19.根据权利要求18所述的一种内窥镜系统，其特征在于，所述传感器包括多个应变片，所述多个应变片均匀布置在所述可弯部的轴线周围。

技术总结
本发明实施例在于提供一种内窥镜镜头跟踪方法及内窥镜系统，属于手术设备的技术领域。镜头跟踪方法包括：获取内窥镜的镜头对预设空间区域采集的包括有目标器械的空间图像，并将空间图像显示在显示界面中；对目标器械上的标定点进行定位，在自动跟随模式下，基于目标器械的当前运动状态以及预设的运动状态，确定镜头跟随目标器械需要的偏移距离及偏移方向，并生成驱动控制信号，控制镜头转动，以使镜头拍摄的空间图像中始终包括目标器械。无需人工操作内窥镜及镜头移动，并且空间图像随镜头移动而变换平稳、准确，大大减少显示界面上空间图像的摆动现象，减少施术者观看空间图像造成的眩晕等不适感，方便主刀医生进行手术操作。作。作。


技术研发人员：王迎智 周毅 袁平
受保护的技术使用者：极限人工智能有限公司
技术研发日：2021.11.17
技术公布日：2021/12/13