视频聚类方法及装置与流程

技术特征：
1.一种视频聚类方法，其特征在于，所述方法包括：获取视频集合，所述视频集合包括多个待处理的视频；通过特征提取模型对所述视频集合中各视频的视频帧序列进行特征提取，得到各视频的视频语义特征向量；所述特征提取模型是利用多个样本视频的图像信息和所述样本视频对应的标签信息对原始模型进行训练得到的，所述标签信息包括用于描述所述样本视频在多个样本视频中的编号的第一标签，以及用于描述所述样本视频所属聚类类别的第二标签：所述原始模型包括第一分支网络和聚类模块，所述第一分支网络用于学习所述样本视频的图像信息以及所述第一标签，所述聚类模块用于辅助所述第一分支网络学习所述第二标签；其中，不同样本视频的第一标签不同；根据各视频的视频语义特征向量对所述视频集合中的视频进行聚类，将所述视频集合中各视频划分为至少一个聚类类别。2.根据权利要求1所述的方法，其特征在于，所述通过特征提取模型对视频集合中各视频的视频帧序列进行特征提取，得到各视频的视频语义特征向量之前，所述方法还包括：利用训练样本集中多个样本视频的图像信息和所述样本视频对应的标签信息，对所述原始模型中的第一分支网络按训练周期交替进行第一迭代训练和第二迭代训练，得到训练后的第一分支网络；将训练后的第一分支网络作为所述特征提取模型；在每一训练周期，按照如下的过程对所述原始模型中的第一分支网络进行训练：根据所述样本视频的第一标签和所述样本视频的第一视频语义特征向量对所述第一分支网络进行第一迭代训练；所述样本视频的第一视频语义特征向量是上一训练周期中第二迭代训练完成后的第一分支网络对所述样本视频的视频帧序列进行特征提取得到的；在首个训练周期中，通过初始的第一分支网络对所述样本视频的视频帧序列进行特征提取得到对应的第一视频语义特征向量；若所述第一迭代训练中的迭代次数达到第一设定次数，根据所述样本视频的第二标签和所述样本视频的第二视频语义特征向量对所述第一分支网络进行第二迭代训练，直至第二迭代训练的迭代次数达到第二设定次数；其中，所述样本视频的第二视频语义特征向量是通过本次训练周期中第一迭代训练完成后的第一分支网络对所述样本视频的视频帧序列进行特征提取得到的。3.根据权利要求2所述的方法，其特征在于，所述根据所述样本视频的第一标签和所述样本视频的第一视频语义特征向量对所述第一分支网络进行第一迭代训练，包括：通过上一训练周期中第二迭代训练结束后的第一分支网络对每一样本视频的视频帧序列进行特征提取，得到各样本视频的第一视频语义特征向量；根据各样本视频的第一视频语义特征向量和各样本视频的第一标签计算目标损失函数的第一损失函数值；基于所述第一损失函数值，调整所述第一分支网络的参数。4.根据权利要求3所述的方法，其特征在于，所述根据所述样本视频的第二标签和所述样本视频的第二视频语义特征向量对所述第一分支网络进行第二迭代训练，包括：通过本次训练周期中第一迭代训练结束后的第一分支网络对每一样本视频的视频帧序列进行特征提取，得到各样本视频的第二视频语义特征向量；通过所述聚类模块根据各样本视频的第二视频语义特征向量对所述训练样本集中的
样本视频进行聚类，将所述训练样本集中的样本视频划分为至少一个聚类类别，将所述样本视频所属的聚类类别对应的第二编号作为所述样本视频的第二标签；根据所述样本视频的第二视频语义特征向量和所述样本视频的第二标签计算所述目标损失函数的第二损失函数值；基于所述第二损失函数值，调整所述第一分支网络的参数。5.根据权利要求4所述的方法，其特征在于，所述通过所述聚类模块根据各样本视频的第二视频语义特征向量对所述训练样本集中的样本视频进行聚类，将所述训练样本集中的样本视频划分为至少一个聚类类别，包括：获取本次训练周期对应的类别总数；由所述聚类模块基于所述类别总数，根据各样本视频的第二视频语义特征向量对所述训练样本集中的样本视频进行聚类，将所述训练样本集中的样本视频划分为至少一个聚类类别；其中，下一训练周期对应的类别总数大于本次训练周期对应的类别总数。6.根据权利要求3
‑
5中任一项所述的方法，其特征在于，所述目标损失函数为arcface损失函数或triplet损失函数。7.根据权利要求1所述的方法，其特征在于，所述特征提取模型包括第一卷积层、时序偏移层和第二卷积层；所述通过特征提取模型对所述视频集合中各视频的视频帧序列进行特征提取，得到各视频的视频语义特征向量，包括：对于每一视频，通过所述第一卷积层对所述视频的视频帧序列中每一视频帧进行二维卷积操作，得到所述视频帧序列中各视频帧的第一特征图；通过所述时序偏移层基于所述视频帧序列中各视频帧的特征图沿时间维度进行时序偏移操作，得到各视频帧的第二特征图；通过所述第二卷积层分别对所述各视频帧的第二特征图进行二维卷积操作，得到各视频帧的第三特征图；将所述视频帧序列中各视频帧的第三特征图进行全连接，得到所述视频的视频语义特征向量。8.根据权利要求1所述的方法，其特征在于，所述根据各视频的视频语义特征向量对所述视频集合中的视频进行聚类，将所述视频集合中各视频划分为至少一个聚类类别，包括：获取所述视频的附加特征向量，所述附加特征向量包括音频语义特征向量、字符语义特征向量和标题语义特征向量中的至少一项；将所述视频的视频语义特征向量与所述视频的附加特征向量进行融合，得到所述视频的特征向量；基于所述视频集合中各视频的特征向量进行视频聚类，将所述视频集合中的视频划分为至少一个聚类类别。9.根据权利要求1所述的方法，其特征在于，所述根据各视频的视频语义特征向量对所述视频集合中的视频进行聚类，将所述视频集合中各视频划分为至少一个聚类类别之后，所述方法还包括：获取当前所播放视频的类别信息，所述类别信息用于指示所述当前所播放视频所属的目标聚类类别；
从未播放视频集合中选取聚类类别为所述目标聚类类别的目标视频；向用户终端推送所述目标视频，以使所述用户终端展示所述目标视频。10.一种视频聚类装置，其特征在于，所述装置包括：视频集合获取模块，用于获取视频集合，所述视频集合包括多个待处理的视频；特征提取模块，用于通过特征提取模型对所述视频集合中各视频的视频帧序列进行特征提取，得到各视频的视频语义特征向量；所述特征提取模型是利用多个样本视频的图像信息和所述样本视频对应的标签信息对原始模型进行训练得到的，所述标签信息包括用于描述所述样本视频在多个样本视频中的序列编号的第一标签，以及用于描述所述样本视频所属聚类类别的第二标签：所述原始模型包括第一分支网络和聚类模块，所述第一分支网络用于学习所述样本视频的图像信息以及所述第一标签，所述聚类模块用于辅助所述第一分支网络学习所述第二标签；其中，不同样本视频的第一标签不同；视频聚类模块，用于根据各视频的视频语义特征向量对所述视频集合中的视频进行聚类，将所述视频集合中各视频划分为至少一个聚类类别。

技术总结
本申请涉及人工智能技术领域，具体提供了一种视频聚类方法及装置，该方法包括：获取视频集合，视频集合包括多个待处理的视频；通过特征提取模型对视频集合中各视频的视频帧序列进行特征提取，得到各视频的视频语义特征向量；特征提取模型是利用多个样本视频的图像信息和样本视频对应的标签信息对原始模型进行训练得到的，标签信息包括用于描述样本视频在多个样本视频中的编号的第一标签，以及用于描述样本视频所属聚类类别的第二标签：不同样本视频的第一标签不同；根据各视频的视频语义特征向量对视频集合中的视频进行聚类，将视频集合中各视频划分为至少一个聚类类别；本方案减少了对样本视频进行标注的工作量而且保证了对视频的聚类准确度。对视频的聚类准确度。对视频的聚类准确度。


技术研发人员：徐鹏飞
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2021.01.08
技术公布日：2021/10/19