一种应用于学生实验平台数据的视频标注方法与流程

1.本发明涉及视频标注领域，特别是涉及一种应用于学生实验平台数据的视频标注方法。


背景技术：

2.随着人工智能和大数据技术的发展，数据标注行业也迎来了飞速发展，其中与计算机视觉相关的标注数据需求量大，受关注程度很高，因此需要大量的数据标注工程师从事数据标注的工作。
3.现有的标注工具大多数没有对视频进行抽帧过滤，都是单独选取帧之后在进行标注，引用在本场景效果极差。同时由于视频的前后帧有极大的相似度(图片与图片整体的相似度)和重复度(前后帧相似度很低，但图片中物体种类、位置信息相关性极高)，现有的标注工具并不能基于前后帧图片内容进行关联，对相似度极大的图片进行删除，对于重复的内容不能自动标注。另外，每个视频在某个时间段内所做的事情，可以理解为在做一个动作的开始和结束，现有的标注工具不能对开始和结束进行标记，不能对视频进行切片和滑动窗口方式进行标注，存在一定的缺陷。


技术实现要素：

4.本发明的目的在于，提供一种应用于学生实验平台数据的视频标注方法，利用多模型对视频进行过滤和筛选，获取有效可行的数据并进行标注。
5.为解决上述技术问题，本发明提供一种应用于学生实验平台数据的视频标注方法，包括如下步骤：
6.s100、视频切片：对输入视频的起点和终点进行切边标记，得到切片数据；
7.s200、数据采样：对标记好的切片数据进行抽帧，得到抽帧数据，并对关键帧数据进行保留；
8.s300、数据过滤：对抽帧完的数据按照顺序进行内容关联以及对内容关联度进行计算，并对抽帧后的数据进行过滤；
9.s400、数据标注：将内容关联度与关联度阈值进行比较，并对超出关联度阈值的数据进行标注。
10.进一步的，在步骤s100中，采用滑动窗口截取有效视频内容。
11.进一步的，在步骤s200中，将切片数据导入到预切片模型中训练，得到切片模型，导入未标注的视频进行切片模型推理，对得分小于0.9的数据进行手动调节，对调节之后数据进行在训练和抽帧处理，对得分大于0.9的数据直接进行抽帧处理。
12.进一步的，在步骤s300中，将抽帧数据导入到预抽帧模型中训练，得到抽帧模型，对步骤s200中得到的切片视频进行抽帧推理，得分小于0.9的数据进行手动调整，并重新训练，得分大于0.9的数据直接进行关联处理。
13.进一步的，在步骤s300中，将关联数据导入到关联模型中，得到关联模型，对抽帧
数据进行关联推理，得分小于0.9的数据进行调整，得分大于0.9的数据直接进入最终的数据标注。
14.进一步的，在步骤s400中，对标注数据进行训练，得到标注模型，对关联数据进行与标注，小于0.9的数据则需要手动调整，大于0.98的则为最终的标注数据。
15.相比于现有技术，本发明至少具有以下有益效果：
16.本发明在标注时能训练模型并反馈到未标注的数据上，能够对视频进行有效抽帧和去除相似度较大的部分，极大减少标注的数据样本，且不丢失视频主要内容，同时实现了半自动化标注，极大地提高了标注效率。
附图说明
17.图1为本发明应用于学生实验平台数据的视频标注方法的流程图；
18.图2为本发明应用于学生实验平台数据的视频标注方法的流程框图。
具体实施方式
19.下面将结合示意图对本发明的应用于学生实验平台数据的视频标注方法进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
20.在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
21.如图1所示，本发明实施例提出了一种应用于学生实验平台数据的视频标注方法，包括如下步骤：
22.s100、视频切片：对输入视频的起点和终点进行切边标记，得到切片数据；
23.s200、数据采样：对标记好的切片数据进行抽帧，得到抽帧数据，并对关键帧数据进行保留；
24.s300、数据过滤：对抽帧完的数据按照顺序进行内容关联以及对内容关联度进行计算，并对抽帧后的数据进行过滤；
25.s400、数据标注：将内容关联度与关联度阈值进行比较，并对超出关联度阈值的数据进行标注。
26.在步骤s100中，采用滑动窗口截取有效视频内容。在本实施方式中，本过程主要利用滑动窗口原理来截取有效视频内容部分，过滤掉视频中无效内容，大大减少标注数据量，本过程主要缩短视频有效时长，进而极大地提高了视频标注的效率。
27.在步骤s200中，将切片数据导入到预切片模型中训练，得到切片模型，导入未标注的视频进行切片模型推理，对得分小于0.9的数据进行手动调节，对调节之后数据进行在训练和抽帧处理，对得分大于0.9的数据直接进行抽帧处理。在本实施方式中，本过程主要利用滑动窗口原理来截取有效视频内容部分，过滤掉视频中无效内容，大大减少标注数据量，本过程主要缩短视频有效时长。
28.在步骤s300中，将抽帧数据导入到预抽帧模型中训练，得到抽帧模型，对步骤s200
中得到的切片视频进行抽帧推理，得分小于0.9的数据进行手动调整，并重新训练，得分大于0.9的数据直接进行关联处理。在本实施方式中，利用手动调节和模型训练的模式相结合，能够避免标注时出现大量的相似图片或者漏掉关键帧，减轻标注工作量的同时，保证关键帧数据的保留，本过程主要关注帧与帧之间整体的相似度。
29.在步骤s300中，将关联数据导入到关联模型中，得到关联模型，对抽帧数据进行关联推理，得分小于0.9的数据进行调整，得分大于0.9的数据直接进入最终的数据标注。在本实施方式中，通过对关联度进行阈值检测来定量分析关联度，进而保证视频标注的准确性。
30.在步骤s400中，对标注数据进行训练，得到标注模型，对关联数据进行标注，得分小于0.9的数据则需要手动调整，得分大于0.98的则为最终的标注数据。在本实施方式中，通过标注关联度进行阈值检测来判别视频标注的关联性，将大大提升视频标注的准确性。
31.以下列举所述应用于学生实验平台数据的视频标注方法的较优实施例，以清楚的说明本发明的内容，应当明确的是，本发明的内容并不限制于以下实施例，其他通过本领域普通技术人员的常规技术手段的改进亦在本发明的思想范围之内。
32.本发明实施例提出了一种应用于学生实验平台数据的视频标注方法的使用方法，具体使用方法如下：
33.本发明支持训练标注(图2左边)和非训练标注(图2右边)，训练标注提供训练过程(每种实验刚开始标注时的必须步骤)，非训练标注则只提供预训练模型(批量标注时采用)，不支持训练。
34.2、手动对输入的视频进行切边标记，即起点和终点标记，得到切片数据，本过程主要利用滑动窗口原理来截取有效视频内容部分，过滤掉视频中无效内容，大大减少标注数据量，本过程主要缩短视频有效时长。
35.3、手动对标记好的切片数据进行抽帧，得到抽帧数据，本过程主要是采样数据，避免标注时出现大量的相似图片或者漏掉关键帧，减轻标注工作量的同时，保证关键帧数据的保留，本过程主要关注帧与帧之间整体的相似度。
36.4、手动对抽帧完的数据按照顺序进行内容关联，如关联度较大的，则取一个即可，本过程主要是对抽帧之后的数据进行过滤，确保抽帧后的前后帧图片内容的重复度，本过程主要时关注图片内容之间的相似度和重复度。
37.5、经过步骤2-4得到最终要标注的数据，此时得到的数据一定是视频中最有效、关键帧的数据，对这些数据进行手动标注。
38.6、步骤2得到切片数据，导入到预切片模型中训练，得到切片模型，导入未标注的视频进行切片模型推理，对得分小于0.9的数据进行手动调节，对调节之后数据进行在训练和抽帧处理，对得分大于0.9的数据直接进行抽帧处理。
39.7、步骤3得到的抽帧数据，导入到预抽帧模型中训练，得到抽帧模型，对步骤6得到的切片视频进行抽帧推理，得分小于0.9的数据进行手动调整，并重新训练，得分大于0.9的数据直接进行关联处理。
40.8、步骤4得到的关联数据，导入到关联模型中，得到关联模型，对步骤7得到的抽帧数据进行关联推理，得分小于0.9的数据进行调整，得分大于0.9的数据直接进入最终的数据标注。
41.9、对步骤5标注的部分数据进行训练，得到与标注模型，对步骤8得到的关联数据
进行标注，小于0.9的数据则需要手动调整，大于0.98的则为最终的标注数据。
42.综上所述，本发明在标注时能训练模型并反馈到未标注的数据上，能够对视频进行有效抽帧和去除相似度较大的部分，极大减少标注的数据样本，且不丢失视频主要内容，同时实现了半自动化标注，极大地提高了标注效率。
43.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。