一种视频内容识别方法和相关装置与流程

1.本技术涉及视频处理技术领域，特别是涉及一种视频内容识别方法和相关装置。


背景技术：

2.现如今随着硬件和网络的提升，出现了越来越多的视频平台和app。在视频资讯的信息越来越多的环境下，视频已经成为了互联网信息中不可或缺的一部分，在接收信息的占比中越来越高，同样伴随而来的是信息的审核和归类的工作越来越繁重。
3.其中，审核的重要环节就是对视频的内容进行识别。当前的视频系统，主要依靠人工的方式对视频内容进行识别，对视频数据的审核往往是分为多个层面——初审、复审、专家复审等等，通过多个层面来判断视频内容的合规性和属性。这种识别方式审核层次繁多、人力成本高，难以满足当下繁多的视频审核需求。


技术实现要素：

4.为了解决上述技术问题，本技术提供了一种视频内容识别方法，处理设备可以结合视频图像和音频信息这两个维度对待识别视频的图像内容进行综合识别，在保障识别准确度的前提下提高了视频内容的识别效率。
5.本技术实施例公开了如下技术方案：
6.第一方面，本技术实施例公开了一种视频内容识别方法，所述方法包括：
7.获取待识别视频；
8.根据所述待识别视频的图像信息，确定所述待识别视频对应的第一待定视频内容标签；
9.根据所述待识别视频的音频信息，确定所述待识别视频对应的第二待定视频内容标签；
10.根据所述第一待定视频内容标签和所述第二待定视频内容标签，确定所述待识别视频对应的视频内容标签，所述视频内容标签用于标识所述待识别视频对应的视频内容。
11.在一种可能的实现方式中，所述方法还包括：
12.根据所述图像信息，确定所述待识别视频对应的第一待定属性信息，所述第一待定属性信息用于标识所述待识别视频的视频内容与所述第一待定视频内容标签下的多个属性之间的匹配度；
13.根据所述音频信息，确定所述待识别视频对应的第二待定属性信息，所述第二待定属性信息用于标识所述待识别视频的视频内容与所述第二待定视频内容标签下的多个属性之间的匹配度；
14.根据所述第一待定属性信息和所述第二待定属性信息，确定所述待识别视频对应的属性信息，所述属性信息用于标识所述待识别视频的视频内容与所述视频内容标签下的多个属性之间的匹配度。
15.在一种可能的实现方式中，所述图像信息包括所述待识别视频对应的多个连续的
视频帧图像，所述根据所述待识别视频的图像信息，确定所述待识别视频对应的第一待定视频内容标签，包括：
16.确定所述多个连续的视频帧图像中相邻视频帧图像之间的像素平均值差值；
17.响应于目标相邻视频帧图像之间的像素平均值差值大于预设阈值，将所述目标相邻视频帧图像中后一帧的视频帧图像确定为关键帧图像；
18.响应于所述多个连续的视频帧图像中不存在相邻视频帧图像之间的像素平均值差值大于所述预设阈值，将所述多个连续的视频帧图像中位于中间帧的视频帧图像确定为关键帧图像；
19.根据所述关键帧图像，确定所述待识别视频对应的第一待定视频内容标签。
20.在一种可能的实现方式中，所述方法还包括：
21.对所述关键帧图像进行去噪处理；
22.所述根据所述关键帧图像，确定所述待识别视频对应的第一待定视频内容标签，包括：
23.根据去噪处理后的所述关键帧图像，确定所述待识别视频对应的第一待定视频内容标签。
24.在一种可能的实现方式中，根据所述待识别视频的音频信息，确定所述待识别视频对应的第二待定视频内容标签，包括：
25.确定所述音频信息对应的文本信息；
26.对所述文本信息进行分句处理，所述分句处理用于将所述文本信息转换为以句子为单位的文本信息；
27.根据预设字典识别处理后的所述文本信息中的词语信息；
28.根据所述词语信息确定所述待识别视频对应的第二待定视频内容标签。
29.在一种可能的实现方式中，所述根据预设字典识别处理后的所述文本信息中的词语信息，包括：
30.以句子为单位，按照第一顺序浏览所述处理后的所述文本信息；
31.将所述处理后的所述文本信息中匹配所述预设字典的词语确定为第一待定词语信息；
32.以句子为单位，按照第二顺序浏览所述处理后的所述文本信息；
33.将所述处理后的所述文本信息中匹配所述预设字典的词语确定为第二待定词语信息；
34.根据所述第一待定词语信息和所述第二待定词语信息确定所述待识别视频对应的词语信息。
35.第二方面，本技术实施例公开了一种视频内容识别装置，其特征在于，所述装置包括获取单元、第一确定单元、第二确定单元和第三确定单元：
36.所述获取单元，用于获取待识别视频；
37.所述第一确定单元，用于根据所述待识别视频的图像信息，确定所述待识别视频对应的第一待定视频内容标签；
38.所述第二确定单元，用于根据所述待识别视频的音频信息，确定所述待识别视频对应的第二待定视频内容标签；
39.所述第三确定单元，用于根据所述第一待定视频内容标签和所述第二待定视频内容标签，确定所述待识别视频对应的视频内容标签，所述视频内容标签用于标识所述待识别视频对应的视频内容。
40.在一种可能的实现方式中，所述装置还包括第四确定单元、第五确定单元和第六确定单元：
41.所述第四确定单元，用于根据所述图像信息，确定所述待识别视频对应的第一待定属性信息，所述第一待定属性信息用于标识所述待识别视频的视频内容与所述第一待定视频内容标签下的多个属性之间的匹配度；
42.所述第五确定单元，用于根据所述音频信息，确定所述待识别视频对应的第二待定属性信息，所述第二待定属性信息用于标识所述待识别视频的视频内容与所述第二待定视频内容标签下的多个属性之间的匹配度；
43.所述第六确定单元，用于根据所述第一待定属性信息和所述第二待定属性信息，确定所述待识别视频对应的属性信息，所述属性信息用于标识所述待识别视频的视频内容与所述视频内容标签下的多个属性之间的匹配度。
44.在一种可能的实现方式中，所述图像信息包括所述待识别视频对应的多个连续的视频帧图像，所述第一确定单元具体用于：
45.确定所述多个连续的视频帧图像中相邻视频帧图像之间的像素平均值差值；
46.响应于目标相邻视频帧图像之间的像素平均值差值大于预设阈值，将所述目标相邻视频帧图像中后一帧的视频帧图像确定为关键帧图像；
47.响应于所述多个连续的视频帧图像中不存在相邻视频帧图像之间的像素平均值差值大于所述预设阈值，将所述多个连续的视频帧图像中位于中间帧的视频帧图像确定为关键帧图像；
48.根据所述关键帧图像，确定所述待识别视频对应的第一待定视频内容标签。
49.在一种可能的实现方式中，所述装置还包括去噪单元：
50.所述去噪单元，用于对所述关键帧图像进行去噪处理；
51.所述第一确定单元具体用于：
52.根据去噪处理后的所述关键帧图像，确定所述待识别视频对应的第一待定视频内容标签。
53.在一种可能的实现方式中，所述第二确定单元具体用于：
54.确定所述音频信息对应的文本信息；
55.对所述文本信息进行分句处理，所述分句处理用于将所述文本信息转换为以句子为单位的文本信息；
56.根据预设字典识别处理后的所述文本信息中的词语信息；
57.根据所述词语信息确定所述待识别视频对应的第二待定视频内容标签。
58.在一种可能的实现方式中，所述第二确定单元具体用于：
59.以句子为单位，按照第一顺序浏览所述处理后的所述文本信息；
60.将所述处理后的所述文本信息中匹配所述预设字典的词语确定为第一待定词语信息；
61.以句子为单位，按照第二顺序浏览所述处理后的所述文本信息，所述第二顺序与
所述第一顺序相反；
62.将所述处理后的所述文本信息中匹配所述预设字典的词语确定为第二待定词语信息；
63.根据所述第一待定词语信息和所述第二待定词语信息确定所述待识别视频对应的词语信息。
64.由上述技术方案可以看出，在进行视频处理时，可以先获取待识别视频，然后分别根据待识别视频的图像信息和音频信息，确定该待识别视频对应的第一待定视频内容标签和第二待定视频内容标签，该第一待定视频内容标签能够从视频信息维度体现出该待识别视频的视频内容，该第二待定视频内容标签可以从音频信息维度体现出待识别视频的视频内容。从而，处理设备可以根据第一待定视频内容标签和第二待定视频内容标签，确定待识别视频对应的视频内容标签，该视频内容标签用于标识待识别视频对应的视频内容，进而可以结合视频维度和音频维度这两个维度的信息来对该待识别视频的视频内容进行综合识别，在保障视频内容识别准确度的前提下提高了视频内容的识别效率。
附图说明
65.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
66.图1为本技术实施例提供的一种视频内容识别方法的流程图；
67.图2为本技术实施例提供的一种实际应用场景中视频内容识别方法的示意图；
68.图3为本技术实施例提供的一种系统架构的示意图；
69.图4为本技术实施例提供的一种视频内容识别装置的结构框图。
具体实施方式
70.下面结合附图，对本技术的实施例进行描述。
71.在相关技术中，对视频内容进行审核主要是通过人工的方式进行的，例如通过人工浏览视频来识别其中的视频内容等。然而，由于信息技术的不断发展，需要进行识别的视频量也越来越大，单纯凭借人工进行识别难以满足当下的视频内容识别需求。
72.为了解决上述技术问题，本技术提供了一种视频内容识别方法，处理设备可以结合视频图像和音频信息这两个维度对待识别视频的图像内容进行综合识别，在保障识别准确度的前提下提高了视频内容的识别效率。
73.可以理解的是，该方法可以应用于处理设备上，该处理设备为能够进行视频内容识别的处理设备，例如可以为具有视频内容识别功能的终端设备或服务器。该方法可以通过终端设备或服务器独立执行，也可以应用于终端设备和服务器通信的网络场景，通过终端设备和服务器配合执行。其中，终端设备可以为计算机、手机等设备。服务器可以理解为是应用服务器，也可以为web服务器，在实际部署时，该服务器可以为独立服务器，也可以为集群服务器。
74.接下来，将结合附图，对本技术实施例提供的一种视频内容识别方法进行介绍。
75.参见图1，图1为本技术实施例提供的一种视频内容识别方法的流程图，该方法包括：
76.s101：获取待识别视频。
77.其中，待识别视频可以为任意一个需要进行视频内容识别的视频，视频内容是指视频中所展示的内容。
78.s102：根据待识别视频的图像信息，确定待识别视频对应的第一待定视频内容标签。
79.为了在进行视频内容的自动识别时，能够保障内容识别的准确度，在本技术实施例中，处理设备可以结合视频和音频两个信息维度来进行视频内容的综合识别。由于视频的图像信息和音频信息在一定程度上都能够体现出该视频中的具体内容，例如当视频为动物类视频时，通过视频中的动物图像以及音频中的动物叫声等都可以对该动物类视频中的动物进行识别，因此通过结合这两个维度的信息进行视频内容识别有助于视频内容的精确识别。
80.首先，处理设备可以根据该待识别视频的图像信息，确定该待识别视频对应的第一待定视频内容标签，该第一待定视频内容标签能够在视频信息的维度下体现出该待识别视频的视频内容。
81.s103：根据待识别视频的音频信息，确定待识别视频对应的第二待定视频内容标签。
82.其中，该第二待定视频内容标签能够在音频信息的维度下体现出该待识别视频的视频内容。
83.s104：根据第一待定视频内容标签和第二待定视频内容标签，确定待识别视频对应的视频内容标签。
84.其中，该视频内容标签用于标识该待识别视频对应的视频内容。处理设备可以综合该第一待定视频内容标签和第二待定视频内容标签，确定在两个信息维度下分别识别出的信息内容，进而能够得到较为准确和全面的视频内容识别结果。
85.由上述技术方案可以看出，在进行视频处理时，可以先获取待识别视频，然后分别根据待识别视频的图像信息和音频信息，确定该待识别视频对应的第一待定视频内容标签和第二待定视频内容标签，该第一待定视频内容标签能够从视频信息维度体现出该待识别视频的视频内容，该第二待定视频内容标签可以从音频信息维度体现出待识别视频的视频内容。从而，处理设备可以根据第一待定视频内容标签和第二待定视频内容标签，确定待识别视频对应的视频内容标签，该视频内容标签用于标识待识别视频对应的视频内容，进而可以结合视频维度和音频维度这两个维度的信息来对该待识别视频的视频内容进行综合识别，在保障视频内容识别准确度的前提下提高了视频内容的识别效率。
86.为了进一步提高视频内容识别的精确度，在一种可能的实现方式中，处理设备可以在视频内容标签的基础上，对视频内容进行更加细致的识别。处理设备可以根据图像信息，确定待识别视频对应的第一待定属性信息，该第一待定属性信息用于标识待识别视频的视频内容与第一待定视频内容标签下的多个属性之间的匹配度，即该属性是比标签分类更加细致的内容标识。例如，“汽车类内容”可以属于一个内容标签，“跑车”、“轿车”、“卡车”等汽车种类可以为该标签下对应的各种属性。
87.同理，处理设备可以根据音频信息，确定待识别视频对应的第二待定属性信息，该第二待定属性信息用于标识待识别视频的视频内容与第二待定视频内容标签下的多个属性之间的匹配度。处理设备可以根据该第一待定属性信息和第二待定属性信息，确定该待识别视频对应的属性信息，该属性信息用于标识待识别视频的视频内容与视频内容标签下的多个属性之间的匹配度，从而能够得到不同识别颗粒度的识别结果，进一步提高视频内容识别的精确度。
88.其中，在图像信息维度对视频内容进行识别的方法可以包括多种，在一种可能的实现方式中，处理设备可以通过识别视频中的关键帧图像的方式来确定该待识别视频对应的视频内容，关键帧图像是指能够突出显示出视频内容的视频帧图像。
89.在该实施例中，待识别视频的图像信息中可以包括待识别视频对应的多个连续的视频帧图像，该连续是指在时间维度上的连续。处理设备通过如下两种方式来确定多个视频帧图像中的关键帧图像：
90.处理设备可以确定多个连续的视频帧图像中相邻视频帧图像之间的像素平均值差值，该像素平均值差值能够体现出不同视频帧图像的图像内容之间的差异。响应于目标相邻视频帧图像之间的像素平均值差值大于预设阈值，说明该目标相邻视频帧图像之间的图像内容差异较大，待识别视频在这几帧图像中可能发生了换景或者转场。处理设备可以将该目标相邻视频帧图像中后一帧的视频帧图像确定为关键帧图像，该关键帧图像能够准确的体现出待识别视频中的各个场景下的视频内容；
91.此外，响应于多个连续的视频帧图像中不存在相邻视频帧图像之间的像素平均值差值大于该预设阈值，说明该待识别视频在较长时间内没有发生换景或者转场，在一定程度上可以说明这段时间内的视频内容较为重要，因此，处理设备可以将多个连续的视频帧图像中位于中间帧的视频帧图像确定为关键帧图像，该中间帧是指多个连续的视频帧所对应时间段的中间时间点的视频帧，从而可以较为准确的对这段时间的视频内容进行表达。
92.处理设备可以根据关键帧图像，确定待识别视频对应的第一待定视频内容标签，从而无需对每一帧图像都进行内容识别，在保障识别准确度的前提下进一步提高视频内容的识别效率。
93.其中，由于视频本身在数字化成像或者传输的过程中，常受到成像设备与外部环境噪音干扰等影响，会在最终得到的图像中可能产生噪点，为了提高的图像识别的图像精度，在一种可能的实现方式中，处理设备可以对关键帧图像进行去噪处理，然后根据去噪处理后的关键帧图像，确定待识别视频对应的第一待定视频内容标签。
94.同样，在基于音频信息识别视频内容时，也可以具有多种识别方式。在一种可能的实现方式中，处理设备可以先确定该音频信息对应的文本信息，例如可以通过语音识别技术识别该音频信息对应的文本信息。随后，处理设备可以先对该文本信息进行分句处理，该分句处理用于将文本信息转换为以句子为单位的文本信息，例如可以用标点符号(如逗号、句号)来进行分句处理。
95.随后，处理设备可以对根据预设字典识别处理后的文本信息中的词语信息，即将该文本信息进行分词处理，将其拆分为一个个词语，根据该词语信息，处理设备可以确定待识别视频对应的第二待定视频内容标签。
96.其中，为了提高词语信息确定的精确度，在一种可能的实现方式中，处理设备可以
先以句子为单位，按照第一顺序浏览处理后的文本信息，然后将处理后的文本信息中匹配预设字典的词语确定为第一待定词语信息；随后，处理设备可以以句子为单位，按照第二顺序浏览处理后的文本信息，该第二顺序与第一顺序相反，然后将处理后的文本信息中匹配预设字典的词语确定为第二待定词语信息，从而可以实现不同浏览方向上的词语识别。处理设备可以根据第一待定词语信息和第二待定词语信息确定该待识别视频对应的词语信息，提高词语识别的准确度。
97.例如，处理设备可以先从左到右对文本信息中的词语进行识别，得到第一待定词语信息，其中将匹配到最长词语作为最优解；然后，处理设备可以从右到左对文本信息中的词语进行识别，得到第二待定词语信息，保证词语的匹配率。
98.处理设备可以将匹配得到的词语信息基于字典分析语义标签，从而确定这些词语信息对应的内容标签，得到第二待定视频内容标签。
99.为了便于理解本技术实施例提供的技术方案，接下来，将结合一种实际应用场景，对本技术实施例提供的一种视频内容识别方法进行介绍。
100.参见图2，图2为本技术实施例提供的一种实际应用场景中视频内容识别方法的示意图，该方法可以应用与图3所示的系统架构中，其中处理设备可以为服务器，该服务器中具有视频形象识别系统。
101.处理设备可以先在系统对接模块，填写需要进行对接系统的一些参数和接口地址，端口等信息，保存后可以进行对接操作，对接的过程中也需要目标系统的开发对接配置，目标系统的接口也要有识别系统需要的标准化的返回，如果对接完成，才可以进行后面的视频识别过程，该对接用于获取待识别视频。
102.根据配置好的系统对接模块，可以开始视频收集模块。在收集时可分为同服务器对接和不同服务器对接方案，将目标系统的视频文件收集到视频形象识别系统中，通过先前的系统对接，来收集视频数据，保存到视频系统中。
103.在获取了要识别的视频数据后，然后通过视频分析模块，对各个视频进行形象分析，识别其中所包括的视频内容，然后将得到的标签和属性信息保存到各个视频数据中。最后经过数据接口模块，将分析好的视频数据，根据最初配置好的系统对接模块，推送到目标系统中，完成数据传输工作。
104.其中，具体的识别过程如图2所示，在视频方向，处理设备可以先获取关键帧，然后确定关键帧对应的图像信息，进行图片去噪后可以对图像进行识别分析，获取图像信息对应的标签和属性值，然后集合各个图像中的标签和属性值进行分析；在音频方向上，处理设备可以提取视频数据对应的音频，然后将音频提取为文本信息，并对文本进行分局处理和分词处理，在进行语义分析后可以确定出各个词语对应的标签信息和属性信息，然后集合各个词语的标签信息和属性信息进行分析。最后，处理设备可以综合音频方向和视频方向上识别得到的信息，生成该视频对应的视频形象模型以及得到视频内容的识别结果。处理设备可以将该视频形象模型和视频内容识别结果返回给生成该视频的目标系统，从而完成对视频内容的自动识别。
105.基于上述实施例提供的一种视频内容识别方法，本技术实施例还提供了一种视频内容识别装置，参见图4，图4为本技术实施例提供的一种视频内容识别装置400的结构框图，该装置包括获取单元401、第一确定单元402、第二确定单元403和第三确定单元404：
106.所述获取单元401，用于获取待识别视频；
107.所述第一确定单元402，用于根据所述待识别视频的图像信息，确定所述待识别视频对应的第一待定视频内容标签；
108.所述第二确定单元403，用于根据所述待识别视频的音频信息，确定所述待识别视频对应的第二待定视频内容标签；
109.所述第三确定单元404，用于根据所述第一待定视频内容标签和所述第二待定视频内容标签，确定所述待识别视频对应的视频内容标签，所述视频内容标签用于标识所述待识别视频对应的视频内容。
110.在一种可能的实现方式中，所述装置还包括第四确定单元、第五确定单元和第六确定单元：
111.所述第四确定单元，用于根据所述图像信息，确定所述待识别视频对应的第一待定属性信息，所述第一待定属性信息用于标识所述待识别视频的视频内容与所述第一待定视频内容标签下的多个属性之间的匹配度；
112.所述第五确定单元，用于根据所述音频信息，确定所述待识别视频对应的第二待定属性信息，所述第二待定属性信息用于标识所述待识别视频的视频内容与所述第二待定视频内容标签下的多个属性之间的匹配度；
113.所述第六确定单元，用于根据所述第一待定属性信息和所述第二待定属性信息，确定所述待识别视频对应的属性信息，所述属性信息用于标识所述待识别视频的视频内容与所述视频内容标签下的多个属性之间的匹配度。
114.在一种可能的实现方式中，所述图像信息包括所述待识别视频对应的多个连续的视频帧图像，所述第一确定单元402具体用于：
115.确定所述多个连续的视频帧图像中相邻视频帧图像之间的像素平均值差值；
116.响应于目标相邻视频帧图像之间的像素平均值差值大于预设阈值，将所述目标相邻视频帧图像中后一帧的视频帧图像确定为关键帧图像；
117.响应于所述多个连续的视频帧图像中不存在相邻视频帧图像之间的像素平均值差值大于所述预设阈值，将所述多个连续的视频帧图像中位于中间帧的视频帧图像确定为关键帧图像；
118.根据所述关键帧图像，确定所述待识别视频对应的第一待定视频内容标签。
119.在一种可能的实现方式中，所述装置还包括去噪单元：
120.所述去噪单元，用于对所述关键帧图像进行去噪处理；
121.所述第一确定单元402具体用于：
122.根据去噪处理后的所述关键帧图像，确定所述待识别视频对应的第一待定视频内容标签。
123.在一种可能的实现方式中，所述第二确定单元403具体用于：
124.确定所述音频信息对应的文本信息；
125.对所述文本信息进行分句处理，所述分句处理用于将所述文本信息转换为以句子为单位的文本信息；
126.根据预设字典识别处理后的所述文本信息中的词语信息；
127.根据所述词语信息确定所述待识别视频对应的第二待定视频内容标签。
128.在一种可能的实现方式中，所述第二确定单元403具体用于：
129.以句子为单位，按照第一顺序浏览所述处理后的所述文本信息；
130.将所述处理后的所述文本信息中匹配所述预设字典的词语确定为第一待定词语信息；
131.以句子为单位，按照第二顺序浏览所述处理后的所述文本信息，所述第二顺序与所述第一顺序相反；
132.将所述处理后的所述文本信息中匹配所述预设字典的词语确定为第二待定词语信息；
133.根据所述第一待定词语信息和所述第二待定词语信息确定所述待识别视频对应的词语信息。
134.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：rom)、ram、磁碟或者光盘等各种可以存储程序代码的介质。
135.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
136.以上所述，仅为本技术的一种具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。