视频分割方法、装置、设备及介质与流程

本发明涉及图像视频处理领域，特别涉及视频分割方法、装置、设备及介质。

背景技术：

1、随着工业互联网技术的发展，视频监控已广泛应用于厂房报警、设备监控等场景，设备及产线在运行过程中会产生大量录像视频。当发生设备停机、不良品或设备报警等情况时，运维人员、工艺工程师等通常需要调取相关录像视频进行观看、回放和分析，以查找故障发生前后的视频内容。

2、目前，为了从大量原始视频中筛选出具有较高价值的视频片段，部分视频分割方法需要由专门人员按照预设规则对视频内容或视频片段进行标注，再根据标注结果确定视频片段的分割位置。该方式使得视频在实际使用人员观看之外，还需要额外投入人员实施视频标注，增加了视频处理过程中的人工参与和处理成本。

3、综上可见，如何准确识别不同视频片段的重要程度并自动分割出重要视频片段是本领域有待解决的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种视频分割方法、装置、设备及介质，结合视频自身画面变化情况以及用户多次播放过程中的操作信息，准确识别不同视频片段的重要程度并自动分割出重要视频片段。其具体方案如下：

2、第一方面，本发明公开了一种视频分割方法，包括：

3、对原始视频文件进行片段划分，得到多个单位视频片段；

4、检测用户在播放所述原始视频文件时对各所述单位视频片段所执行的操作行为，并根据所述操作行为的类型以及执行所述操作行为的用户的角色信息，对各所述单位视频片段进行标注，得到标注结果；

5、基于所述标注结果确定各所述单位视频片段在播放过程中的权重因子，并根据所述权重因子确定各所述单位视频片段的迭代权重值；

6、基于各所述单位视频片段内视频帧的帧类型及帧数据量，确定用于表征预测帧与关键帧之间数据量差异的运动强度指数以及用于表征前向预测帧与双向预测帧之间数据量差异的膨胀系数；

7、利用所述运动强度指数并结合所述膨胀系数，确定所述单位视频片段的视频画面变化判别结果，并根据所述视频画面变化判别结果确定各所述单位视频片段对应的初始权重值；

8、对各所述单位视频片段的所述初始权重值与所述迭代权重值进行加权融合，得到表征各所述单位视频片段的重要程度的融合权重值；

9、基于各所述单位视频片段的所述融合权重值，从所述原始视频文件中确定并分割出目标视频片段。

10、可选的，所述基于各所述单位视频片段内视频帧的帧类型及帧数据量，确定用于表征预测帧与关键帧之间数据量差异的运动强度指数以及用于表征前向预测帧与双向预测帧之间数据量差异的膨胀系数，包括：

11、获取各所述单位视频片段中每一视频帧的帧类型；所述帧类型包括关键帧、前向预测帧和双向预测帧；

12、统计各所述单位视频片段内所有关键帧的数据量、所有前向预测帧的数据量以及所有双向预测帧的数据量，以分别确定关键帧的第一平均数据量、前向预测帧的第二平均数据量以及双向预测帧的第三平均数据量；

13、基于第一和值与所述第一平均数据量之间的比值，确定各所述单位视频片段的运动强度指数；所述第一和值为所述第二平均数据量与所述第三平均数据量之间的和值；

14、基于所述第二平均数据量与所述第三平均数据量之间的比值，确定各所述单位视频片段的膨胀系数；

15、相应的，所述视频分割方法，还包括：

16、按照各所述单位视频片段的时间顺序依次遍历，当遍历至当前单位视频片段时，若所述当前单位视频片段满足所述运动强度指数大于第一阈值且所述膨胀系数大于第二阈值，则控制全局连续计数变量自增1；

17、若所述当前单位视频片段不满足所述运动强度指数大于第一阈值且所述膨胀系数大于第二阈值，则将所述全局连续计数变量清零；

18、其中，所述全局连续计数变量用于表征满足所述运动强度指数大于第一阈值且所述膨胀系数大于第二阈值的连续单位视频片段数量。

19、可选的，不同的所述角色信息对应不同的操作影响因子；所述利用所述运动强度指数并结合所述膨胀系数，确定所述单位视频片段的视频画面变化判别结果，并根据所述视频画面变化判别结果确定各所述单位视频片段对应的初始权重值，包括：

20、当所述运动强度指数不大于第一阈值时，判定当前单位视频片段为静止画面，并将当前单位视频片段的初始权重值赋值为零；

21、当所述运动强度指数大于所述第一阈值、所述膨胀系数大于所述第二阈值且所述全局连续计数变量大于第三阈值时，判定当前单位视频片段为剧烈运动画面，获取第一预设值与初始权重调节因子的第二和值，将所述第二和值与所述操作影响因子的平均值的乘积确定为当前单位视频片段的初始权重值；

22、当所述运动强度指数大于所述第一阈值、所述膨胀系数大于所述第二阈值且所述全局连续计数变量不大于第三阈值时，判定当前单位视频片段为普通运动画面，获取所述第一预设值与初始权重调节因子的差值，并将所述差值与所述操作影响因子的平均值的乘积确定为当前单位视频片段的初始权重值。

23、可选的，所述操作行为包括快进操作、慢放操作、原速播放操作、回放操作以及暂停播放操作；所述根据所述操作行为的类型以及执行所述操作行为的用户的角色信息，对各所述单位视频片段进行标注，得到标注结果，包括：

24、确定当前单位视频片段对应的操作行为；

25、若当前单位视频片段对应的操作行为为快进操作，则将当前单位视频片段的标签标注为无价值标签，若当前单位视频片段对应的操作行为为原速播放操作，则将当前单位视频片段的标签标注为普通标签，若当前单位视频片段对应的操作行为为慢放操作，则基于慢放操作对应的播放倍率将当前单位视频片段的标签标注为第一关键标签，若当前单位视频片段对应的操作行为为暂停播放操作，则基于暂停播放操作对应的暂停持续时间以及视频播放浏览时长将当前单位视频片段的标签标注为第二关键标签；

26、在检测到所述回放操作时，将所述回放操作对应的回放起始位置确定为新一次播放的起始位置，并对新一次播放过程中对应的单位视频片段重新进行操作行为检测和标注；

27、获取执行所述操作行为的用户的角色信息，并根据所述角色信息从预设的角色与影响因子映射关系中确定对应的操作影响因子；

28、将当前播放过程中各所述单位视频片段的标签按照各所述单位视频片段的时序排列，以得到当前播放过程中的标签序列；

29、将每次播放过程对应的所述标签序列与各次播放对应的所述操作影响因子相关联，以构建标注结果。

30、可选的，所述确定当前单位视频片段对应的操作行为，包括：

31、如果当前单位视频片段的时间范围内存在多种所述操作行为，则按照所述慢放操作优先于所述暂停播放操作、所述暂停播放操作优先于所述原速播放操作、且所述原速播放操作优先于所述快进操作的优先级顺序，从所述多种所述操作行为中选取优先级最高的所述操作行为作为当前单位视频片段对应的操作行为。

32、可选的，所述基于所述标注结果确定各所述单位视频片段在播放过程中的权重因子，并根据所述权重因子确定各所述单位视频片段的迭代权重值，包括：

33、从所述标注结果中获取各所述单位视频片段在每次播放过程对应的标签及对应的操作影响因子；

34、将所述标签、所述操作影响因子输入权重因子映射关系式，以确定各所述单位视频片段的权重因子；

35、基于各次播放距当前时刻的时间差确定各次播放的时序衰减系数；其中，所述时序衰减系数与所述时间差之间为负相关关系；

36、以各次播放的时序衰减系数之和为基准，对各次播放的权重因子进行加权并归一化，得到所述单位视频片段的迭代权重值。

37、可选的，所述对各所述单位视频片段的所述初始权重值与所述迭代权重值进行加权融合，得到各所述单位视频片段的融合权重值，包括：

38、根据所述原始视频文件的已播放次数以及预设因子确定融合系数；

39、根据所述融合系数确定所述初始权重值对应的第一融合比例以及所述迭代权重值对应的第二融合比例；

40、利用所述第一融合比例对所述初始权重值进行加权，并利用所述第二融合比例对所述迭代权重值进行加权，对加权后的所述初始权重值和所述迭代权重值进行融合，得到所述融合权重值。

41、第二方面，本发明公开了一种视频分割装置，包括：

42、片段划分模块，用于对原始视频文件进行片段划分，得到多个单位视频片段；

43、视频标注模块，用于检测用户在播放所述原始视频文件时对各所述单位视频片段所执行的操作行为，并根据所述操作行为的类型以及执行所述操作行为的用户的角色信息，对各所述单位视频片段进行标注，得到标注结果；

44、第一权重确定模块，用于基于所述标注结果确定各所述单位视频片段在播放过程中的权重因子，并根据所述权重因子确定各所述单位视频片段的迭代权重值；

45、参数确定模块，用于基于各所述单位视频片段内视频帧的帧类型及帧数据量，确定用于表征预测帧与关键帧之间数据量差异的运动强度指数以及用于表征前向预测帧与双向预测帧之间数据量差异的膨胀系数；

46、第二权重确定模块，用于利用所述运动强度指数并结合所述膨胀系数，确定所述单位视频片段的视频画面变化判别结果，并根据所述视频画面变化判别结果确定各所述单位视频片段对应的初始权重值；

47、权重融合模块，用于对各所述单位视频片段的所述初始权重值与所述迭代权重值进行加权融合，得到表征各所述单位视频片段的重要程度的融合权重值；

48、视频分割模块，用于基于各所述单位视频片段的所述融合权重值，从所述原始视频文件中确定并分割出目标视频片段。

49、第三方面，本发明公开了一种电子设备，包括：

50、存储器，用于保存计算机程序；

51、处理器，用于执行所述计算机程序，以实现前述公开的视频分割方法的步骤。

52、第四方面，本发明公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的视频分割方法的步骤。

53、本发明有益效果为：本发明通过对原始视频文件进行片段划分得到多个单位视频片段，检测用户在播放原始视频文件时对各单位视频片段所执行的操作行为，并根据操作行为的类型以及执行操作行为的用户的角色信息对各单位视频片段进行标注得到标注结果，基于标注结果确定各单位视频片段在播放过程中的权重因子并据此确定各单位视频片段的迭代权重值，从而能够利用用户在实际播放视频过程中的操作行为自动完成对视频内容的标注，无需人工逐段标注即可从视频数据中识别出用户所关注的片段，且由于不同角色用户的操作所反映的片段重要程度不同，通过引入用户角色信息对操作行为的贡献加以区分，使标注结果更符合实际场景下对关键片段的判断，同时迭代权重值随播放次数增加而不断累积更新，使得对视频片段重要程度的判断能够随着播放次数的增加而持续修正，提高视频数据识别的准确性；在此基础上，基于各单位视频片段内视频帧的帧类型及帧数据量确定用于表征预测帧与关键帧之间数据量差异的运动强度指数以及用于表征前向预测帧与双向预测帧之间数据量差异的膨胀系数，利用运动强度指数并结合膨胀系数确定单位视频片段的视频画面变化判别结果，并根据视频画面变化判别结果确定各单位视频片段对应的初始权重值，从而能够在用户播放次数较少、尚不足以形成可靠的操作行为统计时，仅依据视频帧自身的编码特征对画面变化情况作出区分，并据此为不同画面变化情况的片段赋予相应的初始权重，使系统在缺少用户操作数据的情况下仍能对视频内容的重要程度作出初步判断，并且由于同时结合运动强度指数和膨胀系数进行判别，能够排除因光线变化或摄像头设备故障等因素产生的噪点对画面变化判断造成的误判；通过对各单位视频片段的初始权重值与迭代权重值进行加权融合得到表征各单位视频片段重要程度的融合权重值，并基于各单位视频片段的融合权重值从原始视频文件中确定并分割出目标视频片段，从而将基于视频帧编码特征的预分析结果与基于用户操作行为的统计结果相结合，在播放次数较少时由初始权重值主导、随着播放次数增加逐步提高迭代权重值的影响程度，使最终用于分割的融合权重值既能在缺乏用户行为数据时依靠视频画面变化情况作出判断，又能在用户多次播放后反映用户实际关注的内容，进而从原始视频文件中分割出重要视频片段，减少存储、筛选和处理视频数据的工作量。