一种基于注意力机制的卷积神经网络相似视频检索方法与流程

技术特征：
1.一种基于注意力机制的卷积神经网络相似视频检索方法，其特征在于：具体步骤如下：步骤1：检索视频的关键帧抽取；步骤2：检索视频的关键帧图像处理，通过去纯色算法和增强图像整体与局部特征；同时将关键帧图像k等分，将分割后的图像缩放到原图大小；加上分割前的关键帧图像，总共是k 1张图像；并对k 1份图像分别做归一化处理，使得每张图像的数值满足标准正态分布；步骤3：关键帧特征提取；步骤4：采用faiss检索，进行检索视频的关键帧特征相似检索；步骤5：帧间结果后处理；通过矫正机制将检索视频每一帧的检索结果重新进行修正，使每个关键帧仅对应一个索引号；将所有的结果按着相同的索引号进行统计，经过softmax机制，最后返回检索到相似视频地置信度。2.如权利要求1所述一种基于注意力机制的卷积神经网络相似视频检索方法，其特征在于：步骤1中，关键帧抽取采用块结构，将块抽取的一帧画面称为关键帧，方法为：将首个不是纯色的视频画面作为视频的起始关键帧；在确定起始关键帧后，每一个块抽取一帧画面；随后通过差分法计算视频之后每一帧与前一关键帧之间的相似距离，差分法公式：其中，h表示图像的高，w表示图像的宽，p1(x,y)与p2(x,y)分别表示两个图像的对坐标(x,y)像素值，sd表示相似距离；若当前帧与前一关键帧的相似距离小于阈值dt时，则丢弃当前帧，继续计算下一帧与当前关键帧的相似距离；若当前帧与前一关键帧的相似距离大于阈值dt时，则将当前帧记录为关键帧；以此类推，抽取出视频的所有关键帧。3.如权利要求1所述一种基于注意力机制的卷积神经网络相似视频检索方法，其特征在于：步骤3中使用改进的resnet-50进行关键帧特征提取；改进的resnet-50引入位置注意力机制、自适应合并机制，同时将resnet-50原始的全连接层换成卷积层；由训练好的改进的resnet-50对k 1份图像进行特征提取，输出一个特征向量作为当前关键帧的特征。4.如权利要求1所述一种基于注意力机制的卷积神经网络相似视频检索方法，其特征在于：步骤4中检索视频的关键帧特征相似检索的具体方法为：a、建立视频特征库给定一个原始视频数据库，将原始视频进行排序，针对每个视频建立一个对应的视频索引vid；随后经过由步骤1～3进行视频特征提取，生成所有原始视频对应的所有关键帧特征向量；随后由faiss将生成的特征向量建立对应的特征库，对每一个特征向量建立一个索引fid；b、计算检索视频与视频特征库中视频的关键帧特征向量相似距离；将检索视频的关键帧特征向量与faiss特征库内各个视频关键帧的特征向量分别计算
欧氏距离，返回检索视频的各个关键帧对应匹配到的前w个相似特征向量的fid与相似距离，构成w个包含fid与相似距离的二元组a；再根据fid找到对应视频的vid，构成w个包含vid与相似距离的二元组b，然后将n个检索视频的关键帧对应的n*w个二元组b汇总。5.如权利要求1所述一种基于注意力机制的卷积神经网络相似视频检索方法，其特征在于：步骤5中帧间结果后处理的具体方法为：将检索之后的相似视频结果作为帧间后处理的输入，进行判断，如果结果中的相似距离小于阈值，则保留作为矫正关键帧的输入；如果sd大于阈值sd-t，表明两个视频之间的相似程度比较低，则丢弃当前的结果；随后建立左窗口和右窗口，由左窗口投票选出前w个相似视频的vid_l(0，1，2
…
w)，其中，vid_l0表示最优相似视频，vid_l1表示次优，以此类推vid_lw表示最后一个相似vid；l2窗口同样投票选出前w个相似视频vid_r(0，1，2
…
w)，则当前帧匹配的结果vid_c如下：(1)如果vid_l0与vid_r0的结果相同，则vid_c等于vid_l0；(2)如果vid_l0与vid_r0不相同，则有：a)如果vid_c与vid_l0相同，则vid_c等于vid_l0；b)如果vid_c与vid_r0相同，则vid_c等于vid_r0；c)如果vid_c即不等于vid_l0，也不等于vid_r0，则按着相似级别vid_lw与vid_rw不断迭代(1)与(2)过程，直到确定vid_c的结果。6.如权利要求5所述一种基于注意力机制的卷积神经网络相似视频检索方法，其特征在于：引入分段函数来自适应解决视频前后帧数小于左右窗口大小，分段函数为：其中，l表示窗口长度，x表示前后帧数长度。

技术总结
本发明公开一种基于注意力机制的卷积神经网络相似视频检索方法包括：检索视频的关键帧抽取，使用块结构思想代替连续结构思想。视频关键帧图像处理，引入去纯色算法和增强图像整体与局部特征。关键帧特征提取，使用改进的ResNet-50对关键帧特征提取。检索视频关键帧特征相似检索，引入Faiss检索。帧间结果后处理，引入矫正机和Softmax机制。本发明主要解决了大规模相似视频检索的时间与精度问题，在不降低精度的同时有效的降低了检索时长，大幅度的提升了视频的检索性能。的提升了视频的检索性能。的提升了视频的检索性能。


技术研发人员：谢铭 吴林涛 董建武 索帅 郑博文 王立刚 蔡荣华 胡小勇
受保护的技术使用者：北京赛思信安技术股份有限公司
技术研发日：2022.03.01
技术公布日：2022/6/3