内镜控制方法、模型及训练方法与流程

本技术涉及人工智能，尤其涉及一种内镜控制方法、模型及训练方法。

背景技术：

1、内镜微创手术是利用内镜可视化技术、依托人体天然腔道建立手术入路的一类高端微创外科术式，普遍具备创伤小、术中视野可视化、术后恢复快的核心优势，广泛应用于耳鼻喉、颅底、神经外科等多学科疾病的临床治疗，例如经鼻内镜手术以天然鼻腔和鼻窦通道为手术入路，广泛用于慢性鼻窦炎、鼻息肉、鼻颅底肿瘤以及相关颅底疾病的治疗。

2、内镜微创手术核心特征为通过内镜设备实时采集人体腔道及毗邻关键组织的术野图像，使术者能够在尽量减少外部创伤的条件下，对病变组织进行精细处理。此类手术操作空间狭窄、术野层次复杂，操作区域多毗邻重要的血管、神经、骨质及功能脏器，手术过程中对视野稳定性、操作精度和安全边界控制均具有较高要求。

3、近年来，具身智能技术的发展为高精度手术机器人提供了新的技术路径，已有方法包括基于安全空间约束的自主导航、基于虚拟力约束的运动限制、基于视觉伺服的器械跟踪和视野调整等。这些方法能够在一定程度上实现内镜运动控制，但多集中于固定模式下的视野跟踪或局部运动约束，难以根据手术进程的连续变化自主调整持镜策略。

技术实现思路

1、本技术提供一种内镜控制方法、模型及训练方法，目的在于实现模型对手术过程理解能力、视野需求判断能力以及镜头控制策略生成能力的拆分学习与高效协作，降低模型训练难度的同时提高模型表现，提高内镜手术的操作稳定性、安全性和智能化水平，尤其针对空间狭小有限、纵深较大的经鼻内镜手术场景，具有极高的实际应用潜力。

2、第一方面，本技术实施例提供了一种内镜控制模型训练方法，包括：

3、在目标样本视频中获取第一样本数量的样本帧序列和各所述样本帧序列对应的目标视野要求；

4、基于所述样本帧序列和所述目标视野要求训练视野判断子模型，以使所述视野判断子模型用于根据各所述样本帧序列生成对应的所述目标视野要求；

5、在所述目标样本视频中获取第二样本数量的样本图像帧、与各所述样本图像帧对应的镜头控制序列和所述目标视野要求；

6、基于所述样本图像帧、所述镜头控制序列和所述目标视野要求训练动作控制子模型，以使所述动作控制子模型用于根据各所述样本图像帧和对应的所述目标视野要求，生成对应的所述镜头控制序列。

7、可选的，所述在目标样本视频中获取第一样本数量的样本帧序列和各所述样本帧序列对应的目标视野要求，包括：

8、在所述目标样本视频中，获取所述第一样本数量的目标帧序列长度的时域连续图像帧，作为所述样本帧序列；各所述样本帧序列由所述样本帧序列的时域末端的目标视野帧和所述目标视野帧的时域前置关联帧构成；

9、获取各所述目标视野帧的目标视野标签，作为各所述样本帧序列的所述目标视野要求；所述目标视野标签包括视野距离标签和视野方向标签。

10、可选的，所述获取各所述目标视野帧的目标视野标签，包括：

11、获取所述目标视野帧的视野连续时域范围内的参考视野帧；

12、根据各所述参考视野帧与所述目标视野帧之间的时域距离，确定各所述参考视野帧的视野融合权重；

13、根据所述视野融合权重，将所述目标视野帧和所述参考视野帧进行视野标签加权融合，得到所述目标视野帧的所述目标视野标签。

14、可选的，所述基于所述样本帧序列和所述目标视野要求训练视野判断子模型，包括：

15、将所述样本帧序列输入至所述视野判断子模型，得到所述视野判断子模型输出的视野预测结果；

16、根据所述视野预测结果与所述目标视野要求之间的逻辑值分类一致性和逻辑值分布差异，获取目标交叉熵损失；

17、根据所述视野预测结果与对应的时域相邻前置预测结果之间的所述逻辑值分布差异，计算标签跳变交叉熵；

18、根据所述样本帧序列的视野标签跳变位置，获取所述标签跳变交叉熵的标签一致性约束权重；

19、根据所述目标交叉熵损失、所述标签跳变交叉熵和所述标签一致性约束权重，计算视野判断损失；

20、基于所述视野判断损失对所述视野判断子模型进行参数迭代更新。

21、可选的，所述根据所述视野预测结果与所述目标视野要求之间的逻辑值分类一致性和逻辑值分布差异，获取目标交叉熵损失，包括：

22、在所述视野预测结果与所述目标视野要求的逻辑值分类结果一致的情况下，将所述目标交叉熵损失确定为0；

23、在所述视野预测结果与所述目标视野要求的逻辑值分类结果不一致的情况下，计算所述视野预测结果与所述目标视野要求的逻辑值交叉熵，作为所述目标交叉熵损失。

24、可选的，所述根据所述样本帧序列的视野标签跳变位置，获取所述标签跳变交叉熵的标签一致性约束权重，包括：

25、在所述样本帧序列对应的所述目标视野帧和所述参考视野帧中查找视野标签跳变帧；

26、在所述视野标签跳变帧不存在的情况下，将所述标签一致性约束权重确定为1；

27、在所述视野标签跳变帧存在的情况下，获取所述视野标签跳变帧对应的所述视野融合权重，并将所述标签一致性约束权重确定为1减去所述视野融合权重的差值。

28、可选的，所述基于所述样本图像帧、所述镜头控制序列和所述目标视野要求训练动作控制子模型，包括：

29、将所述样本图像帧和所述目标视野要求输入至所述动作控制子模型，得到所述动作控制子模型输出的预测控制序列；

30、基于所述预测控制序列与所述镜头控制序列之间的目标统计差值，计算动作控制损失；

31、基于所述动作控制损失对所述动作控制子模型进行参数迭代更新。

32、可选的，所述基于所述样本图像帧、所述镜头控制序列和所述目标视野要求训练动作控制子模型，还包括：

33、将所述样本图像帧和所述目标视野要求输入至所述动作控制子模型，得到所述动作控制子模型根据所述镜头控制序列生成的后验潜空间分布特征；

34、基于所述后验潜空间分布特征，计算分布散度损失；

35、基于所述分布散度损失对所述动作控制子模型进行参数迭代更新。

36、第二方面，本技术实施例提供了一种内镜控制模型，由如本技术任意实施例提供的内镜控制模型训练方法训练得到，包括：视野判断子模型和动作控制子模型；其中，

37、所述视野判断子模型，用于根据当前时刻的关联帧序列生成目标视野要求；

38、所述动作控制子模型，用于根据所述目标视野要求和当前时刻的实时图像帧，生成镜头控制序列。

39、第三方面，本技术实施例提供了一种内镜控制方法，由如本技术任意实施例提供的内镜控制模型训练方法所训练得到的内镜控制模型执行，包括：

40、根据当前时刻的关联帧序列生成目标视野要求；

41、根据所述目标视野要求和当前时刻的实时图像帧，生成镜头控制序列。

42、本技术实施例提供的一种内镜控制方法、模型及训练方法，通过在目标样本视频中获取第一样本数量的样本帧序列和对应的目标视野要求，训练视野判断子模型，以使视野判断子模型用于根据各样本帧序列生成对应的目标视野要求，并在目标样本视频中获取第二样本数量的样本图像帧、对应的镜头控制序列和目标视野要求，训练动作控制子模型，以使动作控制子模型用于根据各样本图像帧和对应的目标视野要求，生成对应的镜头控制序列，解决了现有技术难以根据手术进程的连续变化自主调整持镜策略的问题，实现了模型对手术过程理解能力、视野需求判断能力以及镜头控制策略生成能力的拆分学习与高效协作，降低了模型训练难度的同时提高了模型表现，提高内镜手术的操作稳定性、安全性和智能化水平，尤其针对空间狭小有限、纵深较大的经鼻内镜手术场景，具有极高的实际应用潜力。