基于语义分析的视频检测方法和系统

1.本申请涉及网络多媒体领域，尤其涉及一种基于语义分析的视频检测的方法和系统。


背景技术：

2.随着网络的快速发展，出现了大量的视频节目，丰富了人们的业余生活。但是也带来了问题，在视频中可能会出现暴力等不合规的内容，成为危害社会的隐患。面对不合规的视频，由于网络传播速度非常快，需要能够快速识别和有效处理。同时，现有技术中多为文字和图像的识别方法，缺乏针对视频的识别方法。
3.因此，急需一种针对性的基于语义分析的视频检测的方法和系统。


技术实现要素：

4.本发明的目的在于提供一种基于语义分析的视频检测的方法和系统，通过计算每一帧的直方图在梯度方向的特征值，得到图像跳跃点，使用标签进行标注，将标签后一时刻的帧图像并行输入语义分析模型和图形分析模型，判断帧图像是否合规，进而判断成段的视频数据流是否合规；本发明能够快速识别和有效处理不合规的视频图像。
5.第一方面，本申请提供一种基于语义分析的视频检测的方法，所述方法包括：
6.获取视频数据流，计算每一帧的直方图在梯度方向的特征值，当所述帧与帧之间的所述特征值之差大于预设的阈值时，判定该帧与帧之间出现图像跳跃，并在该帧与帧之间插入标签，所述标签用于标注图像跳跃的点；
7.根据所述标签，提取标签后一时刻的帧图像，将其输入语义分析模型，分析该帧图像中包含的文字信息，获取关键文字特征，判断该帧图像是否包括不合规的文字内容，得出第一判断结果；
8.将所述标签后一时刻的帧图像，并行输入图形分析模型，识别该帧图像中包含的物体信息，获取关键物体特征，判断该帧图像是否包括不合规的图形内容，得出第二判断结果；
9.根据所述第一判断结果和第二判断结果，确定所述标签后一时刻的帧图像是否合规，如果合规则将当前标签与下一个标签之间的一段视频数据流判定为合规视频数据流，存储在服务器中；反之则判定当前标签与下一个标签之间的一段视频数据流为不合规，删除该段视频数据流；
10.移动到下一个标签，重复提取标签后一时刻的帧图像的动作，直到全部视频数据流判定完毕。
11.结合第一方面，在第一方面第一种可能的实现方式中，所述直方图在梯度方向的特征值包括检测图像的灰度质心位置的变化。
12.结合第一方面，在第一方面第二种可能的实现方式中，所述获取视频数据流包括获取多个不同平台来源的视频，以及对所述视频数据流进行编解码。
13.结合第一方面，在第一方面第三种可能的实现方式中，所述语义分析模型和图形分析模型的内核均使用神经网络模型。
14.第二方面，本申请提供一种基于语义分析的视频检测的系统，所述系统包括处理器以及存储器：
15.所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
16.所述处理器用于根据所述程序代码中的指令执行第一方面四种可能中任一项所述的方法。
17.第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面四种可能中任一项所述的方法。
18.本发明提供一种基于语义分析的视频检测的方法和系统，通过计算每一帧的直方图在梯度方向的特征值，得到图像跳跃点，使用标签进行标注，将标签后一时刻的帧图像并行输入语义分析模型和图形分析模型，判断帧图像是否合规，进而判断成段的视频数据流是否合规。
附图说明
19.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明方法的流程图。
具体实施方式
21.下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
22.图1为本申请提供的基于语义分析的视频检测的方法的流程图，包括：
23.获取视频数据流，计算每一帧的直方图在梯度方向的特征值，当所述帧与帧之间的所述特征值之差大于预设的阈值时，判定该帧与帧之间出现图像跳跃，并在该帧与帧之间插入标签，所述标签用于标注图像跳跃的点；
24.根据所述标签，提取标签后一时刻的帧图像，将其输入语义分析模型，分析该帧图像中包含的文字信息，获取关键文字特征，判断该帧图像是否包括不合规的文字内容，得出第一判断结果；
25.将所述标签后一时刻的帧图像，并行输入图形分析模型，识别该帧图像中包含的物体信息，获取关键物体特征，判断该帧图像是否包括不合规的图形内容，得出第二判断结果；
26.根据所述第一判断结果和第二判断结果，确定所述标签后一时刻的帧图像是否合规，如果合规则将当前标签与下一个标签之间的一段视频数据流判定为合规视频数据流，存储在服务器中；反之则判定当前标签与下一个标签之间的一段视频数据流为不合规，删除该段视频数据流；
27.移动到下一个标签，重复提取标签后一时刻的帧图像的动作，直到全部视频数据流判定完毕。
28.在一些优选实施例中，所述直方图在梯度方向的特征值包括检测图像的灰度质心位置的变化。
29.在一些优选实施例中，所述获取视频数据流包括获取多个不同平台来源的视频，以及对所述视频数据流进行编解码。
30.在一些优选实施例中，所述语义分析模型和图形分析模型的内核均使用神经网络模型。
31.本申请提供一种基于语义分析的视频检测的系统，所述系统包括：所述系统包括处理器以及存储器：
32.所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
33.所述处理器用于根据所述程序代码中的指令执行第一方面所有实施例中任一项所述的方法。
34.本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所有实施例中任一项所述的方法。
35.具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可以存储有程序，该程序执行时可包括本发明各个实施例中的部分或全部步骤。所述的存储介质可以为磁碟、光盘、只读存储记忆体(简称：rom)或随机存储记忆体(简称：ram)等。
36.本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
37.本说明书各个实施例之间相同相似的部分互相参见即可。尤其，对于实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
38.以上所述的本发明实施方式并不构成对本发明保护范围的限定。


技术特征：
1.基于语义分析的视频检测方法，其特征在于，所述方法包括：获取视频数据流，计算每一帧的直方图在梯度方向的特征值，当所述帧与帧之间的所述特征值之差大于预设的阈值时，判定该帧与帧之间出现图像跳跃，并在该帧与帧之间插入标签，所述标签用于标注图像跳跃的点；根据所述标签，提取标签后一时刻的帧图像，将其输入语义分析模型，分析该帧图像中包含的文字信息，获取关键文字特征，判断该帧图像是否包括不合规的文字内容，得出第一判断结果；将所述标签后一时刻的帧图像，并行输入图形分析模型，识别该帧图像中包含的物体信息，获取关键物体特征，判断该帧图像是否包括不合规的图形内容，得出第二判断结果；根据所述第一判断结果和第二判断结果，确定所述标签后一时刻的帧图像是否合规，如果合规则将当前标签与下一个标签之间的一段视频数据流判定为合规视频数据流，存储在服务器中；反之则判定当前标签与下一个标签之间的一段视频数据流为不合规，删除该段视频数据流；移动到下一个标签，重复提取标签后一时刻的帧图像的动作，直到全部视频数据流判定完毕。2.根据权利要求1所述的基于语义分析的视频检测方法，其特征在于：所述直方图在梯度方向的特征值包括检测图像的灰度质心位置的变化。3.根据权利要求1-2任一项所述的基于语义分析的视频检测方法，其特征在于：所述获取视频数据流包括获取多个不同平台来源的视频，以及对所述视频数据流进行编解码。4.根据权利要求3任一项所述的基于语义分析的视频检测方法，其特征在于：所述语义分析模型和图形分析模型的内核均使用神经网络模型。5.一种基于语义分析的视频检测系统，其特征在于，所述系统包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行实现权利要求1-4任一项所述的方法。6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行实现权利要求1-4任一项所述的方法。

技术总结
本发明提供一种基于语义分析的视频检测的方法和系统，通过计算每一帧的直方图在梯度方向的特征值，得到图像跳跃点，使用标签进行标注，将标签后一时刻的帧图像并行输入语义分析模型和图形分析模型，判断帧图像是否合规，进而判断成段的视频数据流是否合规，本发明能够快速识别和有效处理不合规的视频图像。够快速识别和有效处理不合规的视频图像。够快速识别和有效处理不合规的视频图像。


技术研发人员：韩晓然 李克秋 赵来平
受保护的技术使用者：天津大学
技术研发日：2022.01.17
技术公布日：2022/5/20