分割点判断方法、系统、存储介质及电子设备与流程

1.本发明属于分割点判断领域，具体涉及一种分割点判断方法、系统、存储介质及电子设备。


背景技术：

2.基于事件检测的方法(dence boundary generator)。但是此方法每个事件会有重叠的时间区域，而场景分割要求每个segment没有时间上的重叠。


技术实现要素：

3.本技术实施例提供了一种分割点判断方法、系统、存储介质及电子设备，以至少解决现有的分割点判断方法分割事件时间区域重叠的问题。
4.本发明提供了一种分割点判断方法，其中，包括：
5.视频特征获取步骤：对视频进行划分获得多个视频等份，通过深度学习预训练模型对每个所述视频等份进行提取特征，获得对应每一所述视频等份的第一视频特征；
6.模型处理步骤：将多个所述第一视频特征输入到通过全局一致性正则化约束后的分割点判断模型进行处理获得对应每一所述视频等份的分类概率；
7.判断步骤:通过阈值对每个所述视频等份的分类概率进行判断确定场景分割点。
8.上述分割点判断方法，其中，所述视频特征获取步骤包括：
9.视频等份获得步骤：将所述视频按照时间分成多个所述视频等份；
10.获得视频特征维度步骤:使用所述深度学习预训练模型对每个所述视频等份进行特征提取，获得对应每个所述视频等份的所述第一视频特征。
11.上述分割点判断方法，其中，所述模型处理步骤包括：
12.样本视频等份获得步骤：将样本视频按照时间分成多个样本视频等份；
13.获得样本视频特征维度步骤:使用所述深度学习预训练模型对每个所述样本视频等份提取特征，获得对应每个所述样本视屏等份的第一样本特征；
14.模型构建步骤：构建所述分割点判断模型并通过所述第一样本特征对所述分割点判断模型进行训练；
15.分类概率获得步骤：根据所述第一视频特征通过训练后的所述分割点判断模型获得对应每一所述视频等份的分类概率。
16.上述分割点判断方法，其中，所述模型构建步骤包括：
17.分割点构建步骤：根据所述第一样本特征构造每一分场景分割点的第二样本特征；
18.第二样本特征处理步骤：搭建并通过encoder网络对所述第二样本特征进行处理获得第三样本特征；
19.预测步骤：搭建并通过predictor网络对所述第三样本特征进行预测获得样本场景分割点；
20.约束步骤：通过分类损失函数和一致性正则化损失函数对所述样本场景分割点进行约束。
21.本发明还提供了一种分割点判断系统，其中，包括：
22.视频特征获取模块，所述视频特征获取模块对视频进行划分获得多个视频等份，通过深度学习预训练模型对每个所述视频等份进行提取特征，获得对应每一所述视频等份的第一视频特征；
23.模型处理模块，所述模型处理模块将多个所述第一视频特征输入到通过临近一致性正则化约束后的分割点判断模型进行处理获得对应每一所述视频等份的分类概率；
24.判断模块，所述判断模块通过阈值对每个所述等份视频的分类概率进行判断确定场景分割点。
25.上述分割点判断系统，其中，所述视频特征获取模块包括：
26.视频等份获得单元，所述视频等份获得单元将所述视频按照时间分成多个所述视频等份；
27.获得视频特征维度单元，所述获得视频特征维度单元使用所述深度学习预训练模型对每个所述视频等份进行特征提取，获得对应每个所述视频等份的所述第一视频特征。
28.上述分割点判断系统，其中，所述模型处理模块包括：
29.样本视频等份获得单元，所述样本视频等份获得单元将样本视频按照时间分成多个样本视频等份；
30.获得样本视频特征维度单元，所述获得样本视频特征维度单元使用深度学习预训练模型对每个所述样本视频等份提取特征，获得对应每个所述样本视屏等份的第一样本特征；
31.模型构建单元，所述模型构建单元构建所述分割点判断模型并通过所述第一样本特征对所述分割点判断模型进行训练；
32.分类概率获得单元，所述分类概率获得单元根据所述第一视频特征通过训练后的所述分割点判断模型获得对应每一所述视频等份的分类概率。
33.上述分割点判断系统，其中，所述模型构建单元包括：
34.分割点构建组件，所述分割点构建组件根据所述第一样本特征构造每一分场景分割点的第二样本特征；
35.第二样本特征处理组件，所述第二样本特征处理组件搭建并通过encoder网络对所述第二样本特征进行处理获得第三样本特征；
36.预测组件，所述预测组件搭建并通过predictor网络对所述第三样本特征进行预测获得样本场景分割点；
37.约束组件，所述约束组件通过分类损失函数和一致性正则化损失函数对所述样本场景分割点进行约束。
38.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上述任一所述的分割点判断方法。
39.一种存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述任一所述的分割点判断方法。
40.本发明的有益效果在于：
41.本发明属于深度学习技术中的计算机视觉领域。本发明使用了全局一致性损失，降低相同场景的相似度，提高不同场景的相似度，能够得到非常好的表达，模型会逐渐收敛，而不会出现loss上升；每个点取的特征是此clip以及左右4个clip的特征，甚至是更多的clip，感受视野比较大，能够有较好的鲁棒性。
附图说明
42.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。
43.在附图中：
44.图1是本发明的分割点判断方法的流程图；
45.图2是本发明的分步骤s1的流程图；
46.图3是本发明的分步骤s2的流程图；
47.图4是本发明的分步骤s23的流程图；
48.图5是本发明的视频场景分割图；
49.图6是本发明的模型示意图；
50.图7是本发明的分割点判断系统的结构示意图；
51.图8是根据本发明实施例的电子设备的框架图。
具体实施方式
52.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
53.显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
54.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
55.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单
元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
56.下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
57.在详细阐述本发明各个实施例之前，对本发明的核心发明思想予以概述，并通过下述若干实施例予以详细阐述。
58.实施例一：
59.请参照图1，图1是分割点判断方法的流程图。如图1所示，本发明的分割点判断方法包括：
60.视频特征获取步骤s1：对视频进行划分获得多个视频等份，通过深度学习预训练模型对每个所述视频等份进行提取特征，获得对应每一所述视频等份的第一视频特征；
61.模型处理步骤s2：将多个所述第一视频特征输入到通过全局一致性正则化约束后的分割点判断模型进行处理获得对应每一所述视频等份的分类概率；
62.判断步骤s3:通过阈值对每个所述视频等份的分类概率进行判断确定场景分割点。
63.请参照图2，图2是视频特征获取步骤s1的流程图。如图2所示，所述视频特征获取步骤s1包括：
64.视频等份获得步骤s11：将所述视频按照时间分成多个所述视频等份；
65.获得视频特征维度步骤s12:使用所述深度学习预训练模型对每个所述视频等份进行特征提取，获得对应每个所述视频等份的所述第一视频特征。
66.请参照图3，图3是模型处理步骤s2的流程图。如图3所示，所述模型处理步骤s2包括：
67.样本视频等份获得步骤s21：将样本视频按照时间分成多个样本视频等份；
68.获得样本视频特征维度步骤s22:使用深度学习预训练模型对每个所述样本视频等份提取特征，获得对应每个所述样本视屏等份的第一样本特征；
69.模型构建步骤s23：构建所述分割点判断模型并通过所述第一样本特征对所述分割点判断模型进行训练；
70.分类概率获得步骤s24：根据所述第一视频特征通过训练后的所述分割点判断模型获得对应每一所述视频等份的分类概率。
71.请参照图4，图4是模型构建步骤s23的流程图。如图4所示，模型构建步骤s23包括：
72.分割点构建步骤s231：根据所述第一样本特征构造每一分场景分割点的第二样本特征；
73.第二样本特征处理步骤s232：搭建并通过encoder网络对所述第二样本特征进行处理获得第三样本特征；
74.预测步骤s233：搭建并通过predictor网络对所述第三样本特征进行预测获得样本场景分割点；
75.约束步骤s234：通过分类损失函数和一致性正则化损失函数对所述样本场景分割点进行约束。
76.视频场景分割图如图5所示，整体模型方案如图6所示。
77.具体地说，训练阶段包括：
78.步骤1:将一个视频按照时间分成l等份，每等份的视频称为一个clip。
79.步骤2:使用深度学习预训练模型对每个clip提取特征，每个clip得到1*d的特征表达(d为特征维度)，那么l个clip得到l*d的特征。
80.步骤3:构造每个点的特征，每个点取这个点所在clip的特征以及左右两个clip的特征，那么每个点的特征为[fleft,fmid,fright],维度为3*d。
[0081]
步骤4:encoder网络搭建，目的是对每个点的特征进行更高级语义的表征，并且将d降低为128维，那么每个点的特征变成9*128维。
[0082]
步骤5：predictor网络搭建，目的是对每个点的特征进行预测，标签为是否为真实分割点。
[0083]
步骤6:设计损失函数：损失函数包含两个：分类损失函数为l
cls
＝g
mask
log(p) (1
‑
g
mask
)log(1
‑
p)
[0084]
其中g
mask
设置为：当某个点与groundtruth的距离小于等于1时认为是正例，反之为负例。
[0085]
一致性正则化损失函数为：
[0086][0087]
其中：i，j分别为任意两个clip，cosine<f
i
f
j
>

为当i，j两个clip属于同一个场景时的余弦相似度，cosine<f
i
f
j
>
‑
为当i，j两个clip不属于同一个场景时的余弦相似度，m为属于同一个场景的两个clip的对数，n为不属于同一个场景的两个clip的对数。
[0088]
步骤7:反向传播训练模型
[0089]
推理阶段：
[0090]
步骤1:按照训练阶段一样，得到每个视频的特征l*d。
[0091]
步骤2:前向传播经过encoder网络和predictor网络，得到每个clip的分类概率，卡一定的阈值即可判断是否为场景分割点。
[0092]
实施例二：
[0093]
请参照图7，图7是本发明的分割点判断系统的结构示意图。如图7所示本发明的一种分割点判断系统，其中，包括：
[0094]
视频特征获取模块，所述视频特征获取模块对视频进行划分获得多个所述视频等份，通过深度学习预训练模型对每个所述视频等份进行提取特征，获得对应每一所述视频等份的第一视频特征；
[0095]
模型处理模块，所述模型处理模块将多个所述第一视频特征输入到通过临近一致
性正则化约束后的分割点判断模型进行处理获得对应每一所述视频等份的分类概率；
[0096]
判断模块，所述判断模块通过阈值对每个所述等份视频的分类概率进行判断确定场景分割点。
[0097]
其中，所述视频特征获取模块包括：
[0098]
视频等份获得单元，所述视频等份获得单元将所述视频按照时间分成多个所述视频等份；
[0099]
获得视频特征维度单元，所述获得视频特征维度单元使用深度学习预训练模型对每个所述视频等份进行特征提取，获得对应每个所述视屏等份的所述第一视频特征。
[0100]
其中，所述模型处理模块包括：
[0101]
样本视频等份获得单元，所述样本视频等份获得单元将样本视频按照时间分成多个样本视频等份；
[0102]
获得样本视频特征维度单元，所述获得样本视频特征维度单元使用深度学习预训练模型对每个所述样本视频等份提取特征，获得对应每个所述样本视屏等份的第一样本特征；
[0103]
模型构建单元，所述模型构建单元构建所述分割点判断模型并通过所述第一样本特征对所述分割点判断模型进行训练；
[0104]
分类概率获得单元，所述分类概率获得单元根据所述第一视频特征通过训练后的所述分割点判断模型获得对应每一所述视频等份的分类概率。
[0105]
其中，所述模型构建单元包括：
[0106]
分割点构建组件，所述分割点构建组件根据所述第一样本特征构造每一分场景分割点的第二样本特征；
[0107]
第二样本特征处理组件，所述第二样本特征处理组件搭建并通过encoder网络对所述第二样本特征进行处理获得第三样本特征；
[0108]
预测组件，所述预测组件搭建并通过predictor网络对所述第三样本特征进行预测获得样本场景分割点；
[0109]
约束组件，所述约束组件通过分类损失函数和一致性正则化损失函数对所述样本场景分割点进行约束。
[0110]
实施例三：
[0111]
结合图8所示，本实施例揭示了一种电子设备的一种具体实施方式。电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
[0112]
具体地，上述处理器81可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，简称为asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
[0113]
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(hard disk drive，简称为hdd)、软盘驱动器、固态驱动器(solid state drive，简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(non
‑
volatile)存储器。在特定实施例
中，存储器82包括只读存储器(read
‑
only memory，简称为rom)和随机存取存储器(random access memory，简称为ram)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmable read
‑
only memory，简称为prom)、可擦除prom(erasable programmable read
‑
only memory，简称为eprom)、电可擦除prom(electrically erasable programmable read
‑
only memory，简称为eeprom)、电可改写rom(electrically alterable read
‑
only memory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(static random
‑
access memory，简称为sram)或动态随机存取存储器(dynamic random access memory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器(fast page mode dynamic random access memory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extended date out dynamic random access memory，简称为edodram)、同步动态随机存取内存(synchronous dynamic random
‑
access memory，简称sdram)等。
[0114]
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
[0115]
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种分割点判断方法。
[0116]
在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图8所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
[0117]
通信接口83用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
[0118]
总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(data bus)、地址总线(address bus)、控制总线(control bus)、扩展总线(expansion bus)、局部总线(local bus)。举例来说而非限制，总线80可包括图形加速接口(accelerated graphics port，简称为agp)或其他图形总线、增强工业标准架构(extended industry standard architecture，简称为eisa)总线、前端总线(front side bus，简称为fsb)、超传输(hyper transport，简称为ht)互连、工业标准架构(industry standard architecture，简称为isa)总线、无线带宽(infini band)互连、低引脚数(low pin count，简称为lpc)总线、存储器总线、微信道架构(micro channel architecture，简称为mca)总线、外围组件互连(peripheral component interconnect，简称为pci)总线、pci
‑
express(pci
‑
x)总线、串行高级技术附件(serial advanced technology attachment，简称为sata)总线、视频电子标准协会局部(video electronics standards association local bus，简称为vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
[0119]
该电子设备可以基于分割点判断，从而实现结合图1
‑
图4描述的方法。
[0120]
另外，结合上述实施例中分割点判断方法，本技术实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种分割点判断方法。
[0121]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0122]
综上所述，基于本发明的有益效果在于，本发明使用了全局一致性损失，降低相同场景的相似度，提高不同场景的相似度，能够得到非常好的表达，模型会逐渐收敛，而不会出现loss上升；每个点取的特征是此clip以及左右4个clip的特征，甚至是更多的clip，感受视野比较大，能够有较好的鲁棒性。
[0123]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本发明的保护范围应以所附权利要求的保护范围为准。