一种视频识别方法、装置、设备、介质和产品与流程

本说明书一个或多个实施例涉及人工智能，特别涉及一种视频识别方法。本说明书一个或多个实施例同时涉及一种视频识别装置，一种计算设备，一种计算机可读存储介质以及计算机程序产品。

背景技术：

1、随着互联网技术和多媒体传播的快速发展，视频内容的创作、传播变得愈发便捷，与此同时，未经著作权人许可，擅自截取、搬运、改编他人原创视频的侵权行为也日益频发，这不仅损害了原创作者的合法权益，也扰乱了网络视频传播的正常秩序，因此，需要对视频进行精准的侵权行为识别。

2、现有的侵权视频识别技术难以全面识别视频的侵权行为，常会出现漏检情况，致使侵权视频也被正常发布，给著作权人或者发布平台带来诸多不便。

3、基于此，如何精准、全面的识别视频的侵权行为，成为了亟待解决的技术问题。

技术实现思路

1、有鉴于此，本说明书一个或多个实施例提供了一种视频识别方法、装置、设备、介质和产品，以精准、全面的识别视频侵权行为。

2、根据本说明书一个或多个实施例的第一方面，提供了一种视频识别方法，包括：

3、提取待识别视频中的至少部分视频帧的各个视觉帧特征；

4、针对各个所述视觉帧特征，在视觉帧特征库中检索相似视觉帧特征；

5、基于各个所述相似视觉帧特征映射得到的视觉帧，采用最长公共子序列算法，确定所述待识别视频中的连续侵权片段；

6、基于所述连续侵权片段确定第一侵权识别信息，所述第一侵权识别信息至少包括所述待识别视频涉及侵权风险的视觉识别ip信息；

7、将所述待识别视频的文本信息以及图像信息输入多模态大模型，得到第二侵权识别信息，所述第二侵权识别信息至少包括所述待识别视频涉及侵权风险的模型识别ip信息，所述文本信息包括通过画面识别得到的画面文本信息以及通过音频识别得到的音频文本信息中的至少一种；

8、融合所述第一侵权识别信息以及所述第二侵权识别信息，得到所述待识别视频的侵权判断结果。

9、根据本说明书一个或多个实施例的第二方面，提供了一种视频识别装置，包括：

10、视觉帧特征提取模块，用于提取待识别视频中的至少部分视频帧的各个视觉帧特征；

11、相似视觉帧特征检索模块，用于针对各个所述视觉帧特征，在视觉帧特征库中检索相似视觉帧特征；

12、连续侵权片段确定模块，用于基于各个所述相似视觉帧特征映射得到的视觉帧，采用最长公共子序列算法，确定所述待识别视频中的连续侵权片段；

13、侵权识别信息确定模块，用于基于所述连续侵权片段确定第一侵权识别信息，所述第一侵权识别信息至少包括所述待识别视频涉及侵权风险的视觉识别ip信息；

14、信息输入模块，用于将所述待识别视频的文本信息以及图像信息输入多模态大模型，得到第二侵权识别信息，所述第二侵权识别信息至少包括所述待识别视频涉及侵权风险的模型识别ip信息，所述文本信息包括通过画面识别得到的画面文本信息以及通过音频识别得到的音频文本信息中的至少一种；

15、侵权识别信息融合模块，用于融合所述第一侵权识别信息以及所述第二侵权识别信息，得到所述待识别视频的侵权判断结果。

16、根据本说明书一个或多个实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述计算机指令时实现所述视频识别方法的步骤。

17、根据本说明书一个或多个实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现所述视频识别方法的步骤。

18、根据本说明书实施例的第五方面，提供了一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述视频识别方法的步骤。

19、本说明书一个实施例至少能够达到以下有益效果：在视觉特征识别维度通过提取视觉帧特征以及检索相似视觉帧特征，结合最长公共子序列算法定位连续侵权片段，可以有效解决多模态模型识别在“无文本”纯画面场景下的识别盲区，以弥补多模态识别依赖文本信息的弊端；在多模态模型维度通过整合文本信息以及图像信息，借助大模型的分析能力，可以解决视觉特征识别在“碎片化剪辑或者画面风格调整”场景下的识别不足，以弥补视觉特征识别无法捕捉语义关联的短板。通过视觉特征识别维度与多模态模型识别维度的相互支撑以及相互补充，可以有效解决单一视觉特征识别或者多模态模型识别的漏检问题，以提升针对待识别视频进行侵权判定的全面性和准确性。

1.一种视频识别方法，包括：

2.根据权利要求1所述的方法，所述基于所述连续侵权片段确定第一侵权识别信息，包括：

3.根据权利要求1所述的方法，所述视觉帧特征是利用视觉帧模型提取的，所述方法还包括：

4.根据权利要求1所述的方法，所述将所述待识别视频的文本信息以及图像信息输入多模态大模型，得到第二侵权识别信息，包括：

5.根据权利要求4所述的方法，所述获取所述待识别视频中的文本信息，包括：

6.根据权利要求1所述的方法，所述方法还包括：

7.根据权利要求1所述的方法，所述第一侵权识别信息还包括侵权总时长、侵权时长占比、以及所述连续侵权片段与原始视频中的相似视频片段之间的视频帧平均相似度中的至少一种；

8.根据权利要求1所述的方法，所述第二侵权识别信息还包括视频制作类型以及侵权概率中的至少一种；

9.一种视频识别装置，包括：

10.一种计算设备，包括：

11.一种计算机可读存储介质，其存储有计算机指令，所述计算机指令被处理器执行时实现权利要求1至8中任意一项所述方法的步骤。

12.一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现权利要求1至8中任意一项所述方法的步骤。