视频深度特征提取优化的方法、系统、设备及存储介质与流程

技术特征：
1.一种视频深度特征提取优化的方法，其特征在于，包括下列步骤：s1、获取视频无效帧种子；s2、构建无效特征底库；s3、更新所述的无效特征底库，以及获取视频有效特征集合；s4、根据更新后的所述无效特征底库和所述视频有效特征集合训练帧有效性二分判别模型；s5、利用所述的帧有效性二分判别模型提取视频有效特征。2.如权利要求1所述的视频深度特征提取优化的方法，其特征在于，步骤s5中还包括：以提取的所述视频有效特征更新所述的视频有效特征集合；以及，利用所述的帧有效性二分判别模型提取无效特征，以所述提取的无效特征更新所述的无效特征底库。3.如权利要求1所述的视频深度特征提取优化的方法，其特征在于，步骤s5之后还包括步骤：s6、从所述的视频有效特征集合中筛除视频冗余特征，得到有效关键特征集合。4.如权利要求3所述的视频深度特征提取优化的方法，其特征在于，步骤s6之后还包括步骤：s7、根据任务设定相应的阈值，对所述的有效关键特征集合进行优化。5.如权利要求1所述的视频深度特征提取优化的方法，其特征在于，步骤s1中所述的获取视频无效帧种子，具体是获取视频中的单色视频帧、全局模糊的视频帧、单一纹理视频帧，或者单一场景视频帧。6.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的单色视频帧，无参考图像集时具体包括：将i
rgb
转换为i
gray
；颜色均匀性指标通过如下k
‑
l散度公式计算：设定u
thresh
，如果uniformity(i
gray
||μ
gray
)≤u
thresh
，则判定为单色视频帧并将其获取；其中，i
rgb
表示原始视频帧、i
gray
表示灰度图像、hist(i
gray
)表示视频帧的归一化灰度直方图，b表示直方图的桶数，hist(μ
gray
)表示对应灰度均值均匀分布、u
thresh
表示单色视频帧的k
‑
l散度阈值。7.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的单色视频帧，有参考图像集时具体包括：计算所述参考图像集中各参考视频帧的归一化灰度直方图；按灰度降序排序；计算灰度在前x％桶内累计分布的定积分数值作为颜色均匀性阈值，筛选单色视频帧并将其获取，计算公式如下：其中，i
gray
表示灰度图像、hist(i
gray
)表示视频帧的归一化灰度直方图、x表示设定的百分比数值。
8.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的全局模糊的视频帧，具体包括：将i
rgb
转换为i
gray
；通过锐度对原始视频帧进行选择，所述的锐度通过如下公式计算：设定s
thresh
，如果sharpness(i
gray
)≤s
thresh
，则判定为全局模糊的视频帧并将其获取；其中，i
rgb
表示原始视频帧、i
gray
表示灰度图像、s
thresh
表示锐度阈值、δ
x
和δ
y
表示所述锐度的两个正交方向上的灰度梯度。9.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的单一纹理视频帧，通过模拟生成具体包括：将原始视频帧或截取原始视频帧的一部分，通过平移、旋转或/和缩放进行变换，将变换后的图像放入单色图像中形成所述的单一纹理视频帧。10.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的单一纹理视频帧，通过梯度分布直方图阈值筛选，包括：将i
rgb
转换为i
gray
；以i
gray
的任一轴为旋转轴，记旋转角度为a∈[0，180)，则方向梯度的均值为：方向梯度的方差为：锐度为：如果sharpness(i
gray
)≥s
thresh
并且δ2(δi
gray
)≤δ
2thresh
，判定为单一纹理视频帧并将其获取；其中，i
rgb
表示原始视频帧、i
gray
表示灰度图像、s
thresh
表示锐度阈值、δ
2thresh
表示方向梯度方差阈值、δ
x
和δ
y
表示所述锐度的两个正交方向上的灰度梯度。11.如权利要求10所述的视频深度特征提取优化的方法，其特征在于：将原始视频帧或截取原始视频帧的一部分，通过平移、旋转或/和缩放进行变换，将变换后的图像放入单色图像中；通过公式4和公式5计算所述含有变换后图像的单色图像，得到所述δ2(δi
gray
)；通过公式6计算所述含有变换后图像的单色图像，得到所述sharpness(i
gray
)。12.如权利要求5所述的视频深度特征提取优化的方法，其特征在于，所述获取视频中的单一场景视频帧，具体是通过在单色图像上模拟椒盐噪声来生成。13.如权利要求1所述的视频深度特征提取优化的方法，其特征在于，步骤s1中对所述视频无效帧种子进行扩展操作，包括：亮度变换、高斯模糊、运动模糊、平移旋转变换或/和叠加椒盐噪声。14.如权利要求13所述的视频深度特征提取优化的方法，其特征在于，步骤s2中所述的
构建无效特征底库，具体包括：通过特征提取模型提取扩展后的视频无效帧种子的特征，构建无效特征底库。15.如权利要求1所述的视频深度特征提取优化的方法，其特征在于，步骤s3中所述的更新无效特征底库以及获取视频有效特征集合，具体包括：将待分析视频通过特征提取模型映射为候选特征集合；将所述候选特征集合中的特征与所述无效特征底库中的特征逐一进行相似度表示，如下述公式计算：如果s
ij
＞s1，则判定f
i
为无效特征，将其加入到所述无效特征底库中；如果s
ij
≤s2，则判定f
i
为有效特征，将其加入到所述视频有效特征集合中；其中，f
i
表示候选特征集合，v
j
表示无效特征底库中特征的集合，s1为相似度第一阈值，s2为相似度第二阈值。16.如权利要求15所述的视频深度特征提取优化的方法，其特征在于，如果s
ij
＞s1，还将f
i
对应的原始视频帧列为所述的视频无效帧种子；如果s
ij
≤s2，还构建有效帧集合，并将f
i
对应的原始视频帧加入到所述有效帧集合中。17.如权利要求16所述的视频深度特征提取优化的方法，其特征在于，如果s2＜s
ij
≤s1，则判定f
i
为候选有效特征，构建候选有效帧集合，并将f
i
对应的原始视频帧加入到所述候选有效帧集合中。18.如权利要求17所述的视频深度特征提取优化的方法，其特征在于，步骤s4中所述的根据更新后的无效特征底库和视频有效特征集合训练帧有效性二分判别模型，具体是将所述的各视频无效帧种子以及所述有效帧集合中的各有效帧送入二类分类模型，训练得到所述的帧有效性二分判别模型。19.如权利要求18所述的视频深度特征提取优化的方法，其特征在于，在将所述的各视频无效帧种子以及所述有效帧集合中的各有效帧输入二类分类模型之前，对所述各无效帧和有效帧进行扩展操作，包括：亮度变换、高斯模糊、运动模糊、平移旋转变换或/和叠加椒盐噪声。20.如权利要求18所述的视频深度特征提取优化的方法，其特征在于，将所述的候选有效帧集合输入所述帧有效性二分判别模型，并将判定的无效帧列为所述的视频无效帧种子，将判定的有效帧加入所述有效帧集合中。21.如权利要求20所述的视频深度特征提取优化的方法，其特征在于，经所述帧有效性二分判别模型判定的无效帧还经过特征提取模型后，将无效特征加入所述无效特征底库；经所述帧有效性二分判别模型判定的有效帧还经过特征提取模型后，将有效特征加入所述视频有效特征集合。22.如权利要求1所述的视频深度特征提取优化的方法，其特征在于，对所述无效特征底库中的各特征进行聚类操作。23.如权利要求3所述的视频深度特征提取优化的方法，其特征在于，步骤s6中所述的从视频有效特征集合中筛除视频冗余特征，得到有效关键特征集合，具体包括：s61、将视频有效特征集合中当前特征与其后一时序的特征进行相似度比对；
s62、如比对结果小于相似度第三阈值s3，则将当前特征标注为有效关键特征并加入有效关键特征集合，以及将其后一时序特征赋值为当前特征，返回s61；否则，转入s63；s63、如比对结果大于等于相似度第三阈值s3，则筛除其后一时序特征，并返回s61。24.一种视频深度特征提取优化的系统，其特征在于，包括：获取视频无效帧种子单元，用于获取视频无效帧种子；构建无效特征底库单元，用于构建无效特征底库；更新单元，用于更新所述的无效特征底库，以及获取视频有效特征集合；训练单元，用于根据更新后的所述无效特征底库和所述视频有效特征集合训练帧有效性二分判别模型；提取视频有效特征单元，利用所述的帧有效性二分判别模型提取视频有效特征。25.如权利要求24所述的视频深度特征提取优化的系统，其特征在于，还包括：筛除视频冗余特征单元，用于从所述的视频有效特征集合中筛除视频冗余特征，得到有效关键特征集合。26.如权利要求25所述的视频深度特征提取优化的系统，其特征在于，还包括：优化单元，用于根据任务设定相应的阈值，对所述的有效关键特征集合进行优化。27.一种计算机设备，包括：存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1
‑
23任一项所述的视频深度特征提取优化的方法。28.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1
‑
23任一项所述的视频深度特征提取优化的方法。

技术总结
本发明公开了视频深度特征提取优化的方法、系统、设备及存储介质，涉及计算机机器视觉技术领域，用以解决现有技术对复杂场景的视频不够鲁棒的问题。方法包括：获取视频无效帧种子；构建无效特征底库；更新无效特征底库，以及获取视频有效特征集合根据更新后的无效特征底库和视频有效特征集合训练帧有效性二分判别模型；利用帧有效性二分判别模型提取视频有效特征。系统包括：获取视频无效帧种子单元、构建无效特征底库单元、更新单元、训练单元和提取视频有效特征单元。本发明是在特征向量空间而不是在原始视频帧的时空域去做筛选，能够针对性地去优化复杂场景的视频。对性地去优化复杂场景的视频。对性地去优化复杂场景的视频。


技术研发人员：游强 王坚 李兵 余昊楠 胡卫明
受保护的技术使用者：人民中科（济南）智能技术有限公司
技术研发日：2021.08.11
技术公布日：2021/11/8