一种腹腔镜胆囊切除术术后视频分析方法及系统与流程

本发明属于图像识别，特别是涉及一种腹腔镜胆囊切除术术后视频分析方法及系统。

背景技术：

1、腹腔镜胆囊切除术是普外科最常见的微创手术之一，具有流程相对标准化、视频数据量大、临床教学需求强、并发症防控要求高等特点。术后对腹腔镜胆囊切除术视频，采用ai进行结构化分析，既可以为医生提供可回放、可量化、可检索的术后评估结果，又可以沉淀病例级证据链，为培训、质控、科研与产品迭代提供基础数据支撑。

2、目前，围绕该术式的视频ai研究主要有语义分割、阶段识别、关键安全结构识别、关键视野评价以及模型部署优化等方向。

3、其中，在语义分割方面，通常针对肝脏、胆囊、calot三角区、胆囊管、胆囊动脉、胆总管、器械等对象进行逐帧识别，常见路线包括u-net、deeplab、fpn、pspnet、混合cnn-transformer以及基于基础模型的视频提示分割方法。该类方法提升了术野结构的可视化程度，但多数方案仍偏重单帧或短窗分割，容易受烟雾、血液、镜头污渍、牵拉形变、器械遮挡和跨中心成像差异影响，导致时间连续性不足、泛化能力不足以及结构边界抖动明显。

4、在手术阶段识别方面，通常依据cholec80等数据集定义的准备、calot三角解剖、夹闭切断、胆囊剥离、取出、止血冲洗等阶段，对视频进行逐时刻分类，虽然通常采用长时序transformer、多尺度时序建模、转移点感知和在线阶段识别等路线，使阶段识别精度不断提升，但在现有ai视频分析架构中，手术阶段识别与语义分割通常作为独立任务分别处理，二者之间缺乏信息交互与协同验证的通道，这种任务间的割裂导致分割结果无法利用阶段上下文进行伪影抑制，阶段识别也无法依据实时的解剖暴露状态进行流程校验，从而使得系统在面对烟雾、遮挡等干扰时，容易产生分割抖动与阶段漂移，降低了术后质控分析的结构化程度与临床可靠性； 同时，纯时序模型常依赖较高算力与长序列缓存，难以兼顾医院本地部署的稳定性与成本。

5、在模型轻量化方面，为了适用于医院等本地化部署场景，通常采用网络裁剪、知识蒸馏、混合精度推理、量化感知训练或低秩分解等方法，以降低模型体积和计算量。然而，多数轻量化方案仅针对单一任务进行压缩，导致分割模型压缩后易出现分割精度下降与边界细节丢失，阶段模型压缩后易出现阶段转移识别迟滞，且分别压缩两个独立模型后仍需叠加部署，系统整体的参数冗余与计算开销问题并未得到根本解决。

技术实现思路

1、本发明提供一种腹腔镜胆囊切除术术后视频分析方法及系统，解决现有技术中语义分割与阶段识别任务相互独立导致分割抖动与阶段漂移，以及独立模型串行部署导致参数冗余与计算延迟高的问题。

2、本发明提供的一种基础方案：一种腹腔镜胆囊切除术术后视频分析系统，包括：

3、视频预处理模块，用于对输入的手术视频进行预处理与质量筛查，形成用于分析的视频片段；

4、多任务联合网络，用于对视频片段进行特征提取、语义分割与阶段分析，输出分割掩膜、手术阶段标签及阶段转移时间点；

5、所述多任务联合网络包括：

6、共享时空编码器，用于对视频片段进行多尺度空间纹理特征和时间上下文特征提取，输出多尺度特征集合；

7、语义分割分支，用于基于多尺度特征集合以及来自阶段分析分支的阶段上下文向量，输出目标类别的分割掩膜；

8、阶段分析分支，用于基于多尺度特征集合以及来自语义分割分支的结构上下文向量，输出手术阶段标签及阶段转移时间点；

9、跨任务耦合子模块，分别连接于语义分割分支和阶段分析分支，用于根据分割掩膜提取结构信息并生成结构上下文向量输入至阶段分析分支；还用于将阶段分析分支输出的阶段概率向量转换为阶段上下文向量输入至语义分割分支；

10、结果生成模块，用于根据分割掩膜、手术阶段标签及阶段转移时间点生成结构化术后分析报告。

11、优选地，在跨任务耦合子模块中，所述结构信息包括结构统计向量、稳定性向量；

12、所述结构统计向量，用于描述当前帧中各目标类别的空间分布与解剖暴露状态；包括目标类别的面积占比信息、边界长度信息、关键解剖对象暴露程度得分以及多个关键目标之间的相对位置关系；

13、所述稳定性向量，用于表征预设关键解剖对象在连续视频帧中的识别稳定程度。。

14、进一步优选地，所述稳定性向量计算策略如下：

15、根据当前时刻之前的连续n帧分割掩膜计算各预设关键解剖对象的连续稳定性评分，将各关键解剖对象的连续稳定性评分组成稳定性向量；

16、其中，连续稳定性评分的计算公式如下：

17、

18、式中，表示以第帧为中心、基于连续时间窗口计算得到的关键解剖对象的局部连续稳定性评分，表示第帧中关键解剖对象的分割掩膜；表示帧间对齐算子，用于将相邻帧掩膜变换至同一坐标空间；表示交并比计算函数；表示关键解剖对象c在第帧的预测置信度；表示对应关键解剖对象c的置信度阈值；表示稳定性评价窗口长度；表示指示函数，当括号内条件成立时取值为1，否则取值为0。

19、进一步优选地，所述预设关键解剖对象包括胆囊管、胆囊动脉、胆总管、calot三角区。

20、进一步优选地，所述阶段分析分支包括：

21、短时支路，用于对所述多尺度特征集合进行局部时间模式捕获；

22、长时支路，用于对所述多尺度特征集合进行长时间依赖关系建模；

23、阶段解码器，连接于所述短时支路和所述长时支路，用于融合短时特征与长时特征，并结合所述结构上下文向量输出阶段概率向量，根据所述阶段概率向量得到手术阶段标签；

24、边界检测头，连接于所述阶段解码器，用于基于阶段特征输出阶段边界概率，根据所述阶段边界概率确定阶段转移时间点，所述阶段边界概率用于表征当前时刻是否处于阶段切换附近；

25、阶段转移约束单元，配置有阶段转移先验矩，阶段解码器在解码过程中受阶段转移先验矩阵约束，所述阶段转移先验矩阵，用于根据前一时刻的阶段标签对当前时刻的阶段预测进行约束。

26、进一步优选地，多任务联合网络的训练及部署策略包括：

27、构建参数规模大于所述多任务联合网络的教师模型；

28、以多任务联合网络作为学生模型，采用知识蒸馏方式，将教师模型输出的分割掩膜、阶段概率向量及阶段边界概率中的一种或多种作为监督信号，对学生模型进行蒸馏训练；

29、对蒸馏训练后的学生模型执行量化感知训练；

30、训练完成后，以学生模型作为部署阶段的多任务联合网络；

31、将学生模型导出为推理引擎格式，部署至目标硬件环境。

32、进一步优选地，采用联合损失函数对多任务联合网络进行优化，所述联合损失函数表示为：

33、

34、

35、

36、

37、其中，表示语义分割损失，表示时序一致性损失，表示阶段分类损失，表示阶段转移约束损失，表示知识蒸馏损失，表示量化感知训练损失，分别表示各损失项对应的权重系数；dice损失，用于优化预测分割掩膜与真实分割掩膜之间的区域重叠度，为像素级交叉熵损失，用于优化像素级分类准确性，为边界损失，用于增强预测边界的定位精度，为分别为对应损失项的权重系数；表示第t帧的分割掩膜，表示第t-1帧的分割掩膜，表示帧间对齐算子，表示范数，所述时序一致性损失用于约束相邻帧分割结果在目标连续运动场景下保持时间上的平滑与一致；表示第t帧的阶段预测概率向量，表示第帧对应的真实阶段标签或监督信号，a为阶段转移先验矩阵，表示依据前一时刻阶段标签在转移先验矩阵中选取的先验转移分布，表示分布距离函数。

38、优选地，所述共享时空编码器包括：

39、深度可分离卷积层组，用于提取视频片段的局部纹理与边缘信息；

40、窗口注意力层组，连接于深度可分离卷积层组，用于在受控计算量下建模中程空间关系；

41、分层特征聚合层组，连接于窗口注意力层组，用于融合不同下采样层级的语义信息与细节信息，输出多尺度特征集合；

42、紧凑型瓶颈量化层组，连接于分层特征聚合层组，用于控制计算复杂度。

43、进一步优选地，当阶段分析分支识别到当前阶段进入管道或血管夹闭切断阶段，或者边界检测头输出的阶段边界概率大于预设帧数阈值时，触发关键解剖对象连续稳定性评价流程；

44、评价流程具体为：

45、获取各关键解剖对象的连续稳定性评分，根据连续稳定性评分计算各关键解剖对象的稳定识别帧数；

46、将各关键解剖对象的稳定识别帧数分别与预设的预设帧数阈值比较，若关键解剖对象的稳定识别帧数小于预设帧数阈值，则将对应时间片段标记为复核片段并写入结构化术后分析报告；

47、若各关键解剖对象的稳定识别帧数均大于或等于预设帧数阈值，则生成夹闭前关键结构识别充分的提示信息。

48、还包括一种腹腔镜胆囊切除术术后视频分析方法，采用上述的腹腔镜胆囊切除术术后视频分析系统执行术后视频分析。

49、本发明的原理及优点在于：

50、1.通过共享时空编码器同时对语义分割与阶段分析两个任务进行特征提取，使两个任务共用底层视觉特征，避免分别部署独立模型时的重复计算，有效降低整体参数量与显存占用，减少工程链路复杂度，便于医院本地服务器或工作站部署运行。

51、2. 通过跨任务耦合子模块建立语义分割分支与阶段分析分支之间的双向信息交互，使分割结果与阶段识别相互增强：分割分支利用阶段上下文抑制与当前阶段不一致的伪阳性区域，阶段分支利用结构上下文感知当前解剖暴露状态进行流程校验，有效减少分割抖动与阶段漂移，提升关键解剖对象识别精度及阶段判别准确率。

52、优选地，通过引入时序一致性损失约束相邻帧分割结果在连续运动场景下保持平滑，消除帧间抖动；通过阶段转移先验矩阵注入临床流程先验知识，防止非生理、非规范或异常阶段切换所导致的误判，增强长视频分析结果的连续性、稳定性和临床合理性。

53、优选地，通过教师-学生知识蒸馏将高精度知识迁移至轻量学生模型，通过结构化剪枝移除冗余通道，通过量化感知训练将权重和激活映射至低比特整数，有效减小模型体积和推理延迟，使模型可在医院本地服务器、工作站或边缘gpu环境中高效运行。

54、优选地，结果生成模块输出的术后分析报告包含逐帧分割掩膜、阶段标签、阶段转移时间戳、各阶段持续时长、关键结构暴露曲线、夹闭前关键结构连续稳定性评分、复核标记及关键帧索引等多维度数据，并支持带叠加标注的回放视频及结构化json/数据库记录导出，为术后质控、教学评估、科研统计与病例归档提供可量化、可追溯的数据支撑。