冗余引导动态采样与先验知识引导的手术视频时刻检索方法

本发明涉及一种冗余引导动态采样与先验知识引导的手术视频时刻检索方法，涉及计算机视觉与医疗人工智能。

背景技术：

1、在外科医师培养体系中，手术视频教学是连接理论知识与临床实践的核心环节。住院医师和专科培训医生通常需要反复观看大量完整的手术录像，以学习不同术式的标准流程、掌握关键操作技巧、熟悉各类手术器械的使用时机与方式。然而，一台完整手术的时长动辄数小时，其中真正具有教学价值的操作片段往往只集中在少数关键时段，医生或医学生若想回顾某一特定操作，往往需要在冗长的录像中反复拖拽、逐段浏览，检索效率极为低下。

2、视频时刻检索作为一种能够根据自然语言查询在视频中精准定位特定片段的技术，在医疗手术教育领域展现出了极高的应用潜力和实用价值。通过该技术，受训医生可以高效地复习特定的手术阶段、关键器械的操作细节或重要的临床事件。然而，现有的视频时刻检索研究大多聚焦于通用开放领域，主要针对日常活动、影视剪辑等通用场景开发，尚未针对医疗手术这一专业性极强的领域进行深度优化。手术视频在视觉特征、程序结构及临床语义上与通用领域视频存在显著差异，通用的检索模型往往难以捕捉手术过程中微妙的视觉变化。

3、在实际应用中，手术视频面临着严峻的视觉模糊性与精细语义挑战。在受限的内窥镜视角下，血液、脂肪及周围组织在视觉上高度相似，临床意义的辨识往往依赖于微妙的解剖暴露、工具与组织的交互或极细微的动作变化，而非明显的场景过渡。此外，手术教学场景下的查询需求具有鲜明的医学专业性，如“寻找使用超声刀离断胆囊动脉的片段”，这类查询要求模型具备对手术解剖结构、器械名称和操作动作的专业理解，通用模型难以满足。尽管领域特定的先验知识可以为检索提供强有力的辅助线索，但如何将这些医学知识有效地整合进模型提示语中，以弥补视觉信息的压缩损失，目前仍缺乏深入的探索。更具挑战性的是，长手术视频中存在极高的信息冗余，而关键的目标时刻通常极为稀疏。目前主流的多模态大语言模型由于受到内存和上下文窗口的限制，在处理长视频时通常只能接收固定数量的采样帧。传统的采样策略在面对高冗余视频时，难以保证能够有效捕捉到那些分布稀疏的关键临床瞬间，导致严重的视觉信息丢失。然而，现有的技术却无法实现该需求。

技术实现思路

1、发明目的：本发明的目的在于提供一种冗余引导动态采样（rds）与先验知识引导的手术视频时刻检索方法，以解决现有技术中长时手术视频视觉冗余高、固定帧数采样策略下关键信息密度不足的问题，同时将手术领域先验知识有效融入检索过程，实现在有限模型输入帧数预算下的高精度时序边界定位。

2、技术方案：一种冗余引导动态采样与先验知识引导的手术视频时刻检索方法，应用于存在极高视觉信息冗余的专业领域视频（如医疗手术视频）。本发明通过将数据端的采样优化与推理端的文本提示优化进行解耦，实现在有限计算预算下对稀疏关键时刻的精准定位。具体包括以下步骤：

3、步骤1，视频数据收集与裁剪：收集长手术视频数据，并由领域专家对特定临床事件进行时间边界标注，得到所述设定临床事件在完整手术视频中的起始时间戳和结束时间戳。与现有技术中将视频划分为固定长度片段的方法不同，本方案采用基于“虚拟切片”的动态裁剪策略，即无需预先将完整手术视频划分为固定长度片段，而是以所述设定临床事件的起始时间戳和结束时间戳为基准确定事件时间边界，对该事件时间边界施加随机扩展比例和时间偏移量，并结合预设最小片段长度确定裁剪片段的起始时间和结束时间，从而从完整手术视频中提取包含目标事件及其前后上下文的视频片段。通过对标注的事件边界应用随机的扩展比例和时间偏移量来提取视频片段，这种方式在保留局部手术程序连续性的同时，显著增加了样本上下文的多样性，并有效地将模型的监督信号由绝对时间戳转变为片段内的相对时间戳，提升了模型对不同时序尺度的适应能力。

4、步骤2，先验知识库构造：基于医学领域专家经验，针对不同类别的手术阶段构建结构化的领域特定先验知识库。本方案的创新之处在于构建了由“手术阶段目标”、“关键解剖结构”以及“阶段关键操作步骤”组成的三位一体知识结构。这一结构化描述能够弥补现有通用多模态大语言模型在专业医学语义理解上的缺失，通过注入临床专家验证的确定性信息，为后续的推理路径提供精准的医学逻辑引导。手术阶段目标用于描述阶段的临床目的；关键解剖结构用于描述阶段涉及的认定的主要组织或器官等；阶段关键操作步骤用于描述阶段中具有顺序关系或功能关系的认定的主要手术动作。

5、步骤3，轻量级特征提取与帧间相似度计算：对于步骤1获取的总帧数为t的原始rgb视频序列，为降低高分辨率原始帧带来的计算负载，本方案首先执行空间下采样和全局空间平均池化，提取每一帧的全局空间平均特征向量，计算公式如下：

6、

7、其中，表示空间下采样后的视频帧，x、y表示下采样图像中的空间位置索引，和分别表示下采样后图像的高度和宽度。随后计算相邻帧之间的余弦相似度，得到相邻帧余弦相似度序列，作为后续动态相似度阈值计算、局部稳定性判断以及冗余掩码生成的基础，以极低的计算开销实现对视频动态变化幅度的量化，为后续的冗余检测提供基础。

8、步骤4，冗余引导的动态采样（rds）：本步骤是本发明的核心采样创新，用于视频时刻检索模型的监督微调阶段。与现有技术中采用的均匀采样或随机采样不同，基于相邻帧余弦相似度序列构建的冗余引导动态采样步骤，通过双重标准进行视觉冗余检测。首先，将所提取的相邻帧余弦相似度序列按数值升序排列，选取预设分位数对应的相似度值作为动态相似度阈值，所述动态相似度阈值用于相邻帧对的冗余判定以适应不同的手术画面运动模式；其次，引入滑动窗口计算局部相似度方差以保留缓慢但有意义的镜头探索画面。定义二值化冗余指示器为：

9、

10、其中为设定的稳定性阈值。二值化冗余指示器用于标记相邻帧对是否处于视觉冗余状态，在应用持续时间约束过滤微小停顿，即仅将持续时间超过预设长度阈值的连续冗余片段确认为冗余区域，生成二值化冗余掩码，并为每一帧分配采样权重（冗余帧权重低，非冗余帧权重高），所述微小停顿是指连续冗余标记片段的长度小于帧数阈值。基于此构建累积分布函数：

11、

12、通过逆累积分布函数采样生成数量固定且高信息密度的视频帧序列；所述高信息密度的视频帧序列指兼具全局时间覆盖和大于设定阈值的非冗余帧占比的视频帧序列。该机制确保了视频时刻检索模型输入在保持全局时间覆盖的同时，将视觉焦点强制集中在非冗余的关键信息区域，极大提升了输入端的信息密度。

13、步骤5，先验知识提示词构造与零样本推理：在模型进行零样本（zero-shot）评估测试时，视频时刻检索模型接收自然语言检索指令，并从步骤2构建的领域先验知识库中调取对应的医学先验知识。将调取的手术阶段目标、解剖结构和操作步骤作为互补的上下文信息注入到提示词（prompt）中，构造增强版检索提示词。这种做法的先进性在于：它不改变微调后的模型参数，而是通过优化prompt语义空间，直接在推理阶段建立专业语言与视觉特征之间的强对齐，从而在不增加模型训练负担的前提下显著提升定位精度。

14、步骤6，模型微调与时刻检索：将步骤4冗余引导的动态采样得到的高信息密度的视频帧序列，搭配标准化查询指令，输入至多模态大语言模型中进行监督微调。最终，多模态大语言模型输出目标视频片段在长手术视频中的起始时间戳和结束时间戳，完成视频时刻检索。

15、一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的冗余引导动态采样与先验知识引导的手术视频时刻检索方法的步骤。

16、一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述的冗余引导动态采样与先验知识引导的手术视频时刻检索方法的步骤。

17、有益效果：本发明提供了一种冗余引导动态采样与先验知识引导的手术视频时刻检索方法，技术主要基于多模态大语言模型，在提升长视频特征采样效率、增强细粒度语义定位能力以及建立行业评估基准方面取得了显著的有益效果。

18、为了验证本方法的实际应用效果，本发明首先构建了一个涵盖多类手术的视频时刻检索数据集（surgscope）。该数据集源自真实的临床手术场景，涵盖了包括垂体手术、二尖瓣成形术、胆囊切除术、子宫切除术及白内障手术在内的五种典型手术类型。该数据集包含超过16,000个经过专家标注的“查询-时刻”对，覆盖了50个手术阶段和26种手术器械。这一规模宏大且专业性强的基准数据集，不仅为本发明提出的技术方案提供了严谨的测试环境，也填补了医疗领域缺乏专用视频检索评估标准的空白。

19、在上述基准数据集的验证下，本发明提出的冗余引导动态采样策略表现出了卓越的采样效率与信息密度提升能力。作为一种轻量级的即插即用模块，rds能够稳健地识别并过滤长视频中的高冗余片段。实验数据表明， rds 在处理手术视频时显著优于传统的均匀或随机采样策略 ：以 vtimellm 模型为例，采用 rds 后，手术阶段定位的平均交并比从43.30 提升至 45.73，高精度定位指标 r1@0.7 从 20.07 提升至 22.76 ；对于 timechat模型，miou 同样从 48.47 提升至 50.38。这证明本发明能在有限的计算预算下，最大化保留核心临床信息帧，有效缓解了长视频处理中的信息丢失问题。

20、此外，本发明通过引入领域特定先验知识提示机制，极大增强了模型对复杂医学语义的理解能力。通过将阶段目标、解剖结构及操作步骤等专家知识注入提示词，模型能够更好地弥合视觉特征与专业语言之间的语义鸿沟。在评估中，加入先验知识提示后，videochat-flash 模型的定位 miou 从 29.01 大幅提升至 37.02，timechat 模型的miou 更是从 5.49 大幅提升至 39.48。这些量化结果充分证实了本发明在处理长程程序上下文、提升检索精度及鲁棒性方面的显著优势，为医疗人工智能技术的实际落地提供了强有力的支撑。