视频镜头边界定位方法、装置及电子设备与流程

技术特征：
1.一种视频镜头边界定位方法，其特征在于，包括：根据训练好的神经网络模型，确定待检测的目标视频的至少一个初始边界帧；对于每个所述初始边界帧，计算得到该初始边界帧对应的视频帧序列中的每个目标视频帧的分块平均梯度；其中，该初始边界帧对应的视频帧序列中的各个目标视频帧为所述目标视频中，以该初始边界帧为中心，预设范围内的各个视频帧；所述目标视频帧的分块平均梯度包括将所述目标视频帧划分为多个子区域时每个所述子区域的平均像素灰度值的梯度；根据该初始边界帧对应的视频帧序列中的各个所述目标视频帧的分块平均梯度，从各个所述目标视频帧中确定该初始边界帧对应的目标边界帧；将各个所述初始边界帧对应的目标边界帧确定为所述目标视频的镜头边界定位结果。2.根据权利要求1所述的视频镜头边界定位方法，其特征在于，所述计算得到该初始边界帧对应的视频帧序列中的每个目标视频帧的分块平均梯度，包括：对于该初始边界帧对应的视频帧序列中的每个目标视频帧，按照预设划分方式将该目标视频帧划分为多个子区域；计算得到每个所述子区域的平均像素灰度值；根据各个所述子区域的平均像素灰度值，计算得到每个所述子区域对应的梯度幅值；由各个所述子区域对应的梯度幅值，构造得到该目标视频帧的分块平均梯度矩阵。3.根据权利要求1所述的视频镜头边界定位方法，其特征在于，所述目标视频帧的分块平均梯度为由所述目标视频帧的各个所述子区域的平均像素灰度值的梯度幅值构造得到的分块平均梯度矩阵；所述根据该初始边界帧对应的视频帧序列中的各个所述目标视频帧的分块平均梯度，从各个所述目标视频帧中确定该初始边界帧对应的目标边界帧，包括：计算得到该初始边界帧对应的视频帧序列中的每个所述目标视频帧的边界特征矩阵，所述目标视频帧的边界特征矩阵为所述目标视频帧的分块平均梯度矩阵与所述目标视频帧的前一个视频帧的分块平均梯度矩阵的差；统计得到每个所述边界特征矩阵对应的目标元素个数，所述边界特征矩阵对应的目标元素个数为所述边界特征矩阵中元素值大于预设梯度阈值的元素个数；根据各个所述边界特征矩阵对应的目标元素个数，确定该初始边界帧对应的目标边界帧。4.根据权利要求3所述的视频镜头边界定位方法，其特征在于，所述根据各个所述边界特征矩阵对应的目标元素个数，确定该初始边界帧对应的目标边界帧，包括：将目标元素个数大于预设数量的边界特征矩阵所对应的目标视频帧，确定为候选边界帧；当存在一个所述候选边界帧时，将所述候选边界帧确定为该初始边界帧对应的目标边界帧；当存在多个所述候选边界帧时，将位于所述视频帧序列中的最后一个候选边界帧确定为该初始边界帧对应的目标边界帧。5.根据权利要求1所述的视频镜头边界定位方法，其特征在于，所述方法还包括：获取多个样本视频和每个所述样本视频的边界帧标注数据，每个所述样本视频均包括预设帧数个视频帧；
根据多个所述样本视频及其边界帧标注数据，对待训练的神经网络模型进行训练，得到训练后的神经网络模型。6.根据权利要求5所述的视频镜头边界定位方法，其特征在于，所述获取多个样本视频和每个所述样本视频的边界帧标注数据，包括：从clipshots数据集中获取原始视频及其边界帧标注数据；对所述原始视频及其边界帧标注数据进行拆分处理，得到多个样本视频和每个所述样本视频的边界帧标注数据。7.一种视频镜头边界定位装置，其特征在于，包括：第一确定模块，用于根据训练好的神经网络模型，确定待检测的目标视频的至少一个初始边界帧；梯度计算模块，用于对于每个所述初始边界帧，计算得到该初始边界帧对应的视频帧序列中的每个目标视频帧的分块平均梯度；其中，该初始边界帧对应的视频帧序列中的各个目标视频帧为所述目标视频中，以该初始边界帧为中心，预设范围内的各个视频帧；所述目标视频帧的分块平均梯度包括将所述目标视频帧划分为多个子区域时每个所述子区域的平均像素灰度值的梯度；第二确定模块，用于根据该初始边界帧对应的视频帧序列中的各个所述目标视频帧的分块平均梯度，从各个所述目标视频帧中确定该初始边界帧对应的目标边界帧；第三确定模块，用于将各个所述初始边界帧对应的目标边界帧确定为所述目标视频的镜头边界定位结果。8.根据权利要求7所述的视频镜头边界定位装置，其特征在于，所述梯度计算模块具体用于：对于该初始边界帧对应的视频帧序列中的每个目标视频帧，按照预设划分方式将该目标视频帧划分为多个子区域；计算得到每个所述子区域的平均像素灰度值；根据各个所述子区域的平均像素灰度值，计算得到每个所述子区域对应的梯度幅值；由各个所述子区域对应的梯度幅值，构造得到该目标视频帧的分块平均梯度矩阵。9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1
‑
6中任一项所述的方法。10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1
‑
6中任一项所述的方法。

技术总结
本发明提供了一种视频镜头边界定位方法、装置及电子设备，涉及图像检测技术领域，本发明使用神经网络模型预测初始边界帧，并附加一个基于分块平均梯度的后处理来解决整体运动变化小，但局部运动变化剧烈的相邻镜头边界定位不准确的问题，与现有的基于直方图差分的方法和基于深度学习的方法相比，在不明显损失定位速度的情况下，提高了定位准确度。提高了定位准确度。提高了定位准确度。


技术研发人员：范清 唐大闰
受保护的技术使用者：上海明略人工智能（集团）有限公司
技术研发日：2021.08.12
技术公布日：2021/11/4