一种基于人工智能检索和提取手术视频片段的方法及系统与流程

技术特征：
1.一种基于人工智能检索和提取手术视频片段的方法，其特征在于：所述方法包括：将视频划分为多个视频片段并等间距抽取视频片段的多张图片输入到手术阶段识别模型和手术事件识别模型中，在进行图像特征提取后分别识别出图片中的手术阶段和手术事件；根据视频片段的起止时间输出手术阶段和手术事件的识别结果对应到完整视频的起止时间后，将识别结果的对应时间存储在视频检索系统和视频提取系统中；加载视频检索系统和视频提取系统中的识别结果和对应时间数据在视频播放系统的进度条中显示，并标记出手术阶段和手术事件出现的时间段。2.根据权利要求1所述的一种基于人工智能检索和提取手术视频片段的方法，其特征在于：所述方法还包括根据视频中手术事件和手术阶段的出现时间，抽取出对应视频或者图片制作成手术知识库，让医生或专家快速浏览进行安全性评估和主刀技能评估。3.根据权利要求1所述的一种基于人工智能检索和提取手术视频片段的方法，其特征在于：所述将视频划分为多个视频片段并等间距抽取视频片段的多张图片输入到手术阶段识别模型和手术事件识别模型中，在进行图像特征提取后分别识别出图片中的手术阶段和手术事件包括：将视频划分为多个视频片段，等间距抽取视频片段的n张图片，将每张图片存储为（n，c，h，w）格式的四维张量，n表示每个视频片段的抽帧数，c表示每张图片的通道数，h为图片的宽度，w表示图片的长度；将四维张量表示的图片放入由多个2d卷积、relu激活层、批归一化层和一个全连接层组成的resnet网络中提取图像特征，并将图像特征的格式存储为（m，s），m表示输入图片数，s表示预设特征向量长度；将格式为（m，s）的图像特征向量分m次输入到lstm网络中，进行连续视频帧的手术阶段和手术事件识别。4.根据权利要求1所述的一种基于人工智能检索和提取手术视频片段的方法，其特征在于：所述视频检索系统和视频提取系统的构建方法包括：采用手术阶段识别模型和手术事件识别模型对输入的图片进行基于深度学习的推理，得到手术阶段信息和手术事件信息；通过定制化的视频播放软件为用户输出手术阶段和手术事件出现时间段在进度条上展示，实现视频检索系统的构建；通过手术阶段识别模型和手术事件识别模型识别到的关键手术过程的起止时间点，根据定制化的抽取软件将视频中相应的视频片段进行抽取或者将视频按照一定的帧率抽取为静态图片，实现视频抽取系统的构建。5.根据权利要求1所述的一种基于人工智能检索和提取手术视频片段的方法，其特征在于：所述方法还包括将视频进行划分之前实现对手术阶段识别模型和手术事件识别模型构建的步骤；所述手术阶段识别模型和手术事件识别模型构建步骤包括：根据专家经验、指南、论著建立手术阶段理论模型和手术事件理论模型，并对收集的手术视频根据手术阶段理论模型和手术事件理论模型对手术阶段和手术事件进行边界划分；将大量视频数据按照分辨率的要求进行收集成图片，并对收集完成的图片进行手术阶段时间段和手术事件时间段的标注；
将完成标注的手术阶段数据和手术事件数据分布按照相应比例随机分配进入训练集、验证集和测试集，并通过resnet网络和lstm网络对训练集、验证集和测试集图片进行训练、验证和测试，完成手术阶段识别模型和手术事件识别模型的构建。6.根据权利要求5所述的一种基于人工智能检索和提取手术视频片段的方法，其特征在于：所述将大量视频数据按照分辨率的要求进行收集成图片，并对收集完成的图片进行手术阶段时间段和手术事件时间段的标注包括：按照每个手术视频分辨率不低于预设值且每秒不低于预设帧的要求收集手术视频数据，并以图片的形式保存；对收集完成的图片通过ffmpeg软件统一转码为相同的格式，并通过标注软件anvil完成对手术阶段时间段和手术事件时间段的初步标注；通过专业人员对完成初步标注的视频数据再进行人工标注，并将初步标注不合格的图片进行修改得到标注合格的图片。7.根据权利要求5所述的一种基于人工智能检索和提取手术视频片段的方法，其特征在于：所述通过resnet网络和lstm网络对训练集、验证集和测试集图片进行训练、验证和测试，完成手术阶段识别模型和手术事件识别模型的构建包括：将训练集、验证集和测试集的图片存储为（n，c，h，w）格式的四维张量，n表示每个视频片段的抽帧数，c表示每张图片的通道数，h为图片的宽度，w表示图片的长度；将四维张量表示的图片放入由多个2d卷积、relu激活层、批归一化层和一个全连接层组成的resnet网络中提取图像特征，并将图像特征的格式存储为（m，s），m表示输入图片数，s表示预设特征向量长度；将格式为（m，s）的图像特征向量分m次输入到lstm网络中，进行连续视频帧的手术阶段和手术事件识别并记录起止时间；将识别结果放入交叉熵损失函数中进行计算得到损失，并使用梯度下降的方式更新模型参数，以此构造手术阶段识别模型和手术事件识别模型。8.一种基于人工智能检索和提取手术视频片段的系统，其特征在于：它包括识别模块、视频检索与提取模块以及视频播放模块；所述识别模块用于将视频划分为多个视频片段并等间距抽取视频片段的多张图片输入到手术阶段识别模型和手术事件识别模型中，在进行图像特征提取后分别识别出图片中的手术阶段和手术事件；所述视频检索与提取模块用于根据视频片段的起止时间输出手术阶段和手术事件的识别结果对应到完整视频的起止时间后，将识别结果的对应时间存储在视频检索和提取单元中；所述视频播放模块用于加载视频检索系统和视频提取系统中的识别结果和对应时间数据在视频播放系统的进度条中显示，并标记出手术阶段和手术事件出现的时间段。9.根据权利要求8所述的一种基于人工智能检索和提取手术视频片段的系统，其特征在于：还包括构建模块，所述构建模块用于构建视频检索与提取单元、手术阶段识别模型以及手术事件识别模型。10.根据权利要求8所述的一种基于人工智能检索和提取手术视频片段的系统，其特征
在于：还包括视频收集与标注模块，所述视频收集与标注模块用于将大量视频数据按照分辨率的要求进行收集成图片，并对收集完成的图片进行手术阶段时间段和手术事件时间段的标注。

技术总结
本发明涉及一种基于人工智能检索和提取手术视频片段的方法及系统，包括将视频进行划分并等间距抽取视频片段的多张图片输入到手术阶段识别模型和手术事件识别模型中进行识别；根据视频片段的起止时间输出手术阶段和手术事件的识别结果对应到完整视频的起止时间后，将识别结果的对应时间存储在视频检索和视频提取系统中；加载视频检索和视频提取系统中的识别结果和对应时间数据在视频播放系统的进度条中显示。本发明通过对手术视频中关于手术阶段和手术事件进行识别，并将其对应的时间点在播放的时间轴的进度条上进行显示，让医护人员在观看手术视频时能够快速定位到自己需要关注的手术阶段或者手术事件，极大地节省了时间，提高了学习效率。提高了学习效率。提高了学习效率。


技术研发人员：刘杰 王玉贤 刘润文 吴少南 沈小江 王昕
受保护的技术使用者：成都与睿创新科技有限公司
技术研发日：2021.11.08
技术公布日：2021/12/3