一种基于内容占比的视频搜索方法、系统、设备及介质与流程

1.本发明涉及视频搜索技术领域，尤其是一种基于内容占比的视频搜索方法、系统、设备及介质。


背景技术：

2.随着信息化时代的兴起，视频平台也在高速发展，尤其是短视频平台领域，大量的视频作品不断涌现，让人目接不暇。然而，这也给人们的日常使用带来了一些困扰，在进行视频搜索时往往难以在大量的视频库中找到用户想要的视频。现有技术通过将一个视频搜索请求进行两次视频搜索或根据用户终端的地理位置信息和视频播放信息进行视频搜索，但是这样的视频搜索方法的检索复杂度过高，影响检索效率，检索准确度不够高。


技术实现要素：

3.有鉴于此，本发明实施例提供一种基于内容占比的视频搜索方法、系统、设备及介质，以实现提高视频检索效率与准确度。
4.一方面，本发明提供了一种基于内容占比的视频搜索方法，包括：
5.获取用户输入的搜索内容，其中，所述搜索内容包括文字信息和图片信息中至少一种；
6.对所述搜索内容进行特征提取，确定搜索特征；
7.对视频库中的视频进行内容占比识别，根据内容占比生成视频标签，确定视频标签库；
8.根据所述搜索特征对所述视频标签库进行搜索，确定目标视频。
9.可选地，所述对所述搜索内容进行特征提取，确定搜索特征，包括：
10.当所述搜索内容包括文字信息时，对所述文字信息进行关键词提取，确定搜索特征。
11.可选地，所述对所述搜索内容进行特征提取，确定搜索特征，还包括：
12.当所述搜索内容包括图片信息时，对所述图片信息进行关键帧提取，确定搜索特征。
13.可选地，所述对视频库中的视频进行内容占比识别，根据内容占比生成视频标签，确定视频标签库，包括：
14.对视频库中的每一个视频分别进行关键帧提取，确定关键帧内容；
15.对所述关键帧内容进行目标内容识别处理，确定视频内容占比；
16.根据所述视频内容占比生成视频标签，确定视频标签库。
17.可选地，所述对所述关键帧内容进行目标内容识别处理，确定视频内容占比，包括：
18.对所述关键帧内容进行目标内容识别，确定目标内容；
19.对所述目标内容进行向量和计算，结合所述关键帧内容的像素面积，确定目标内
容的占比系数；
20.根据所述目标内容占比系数结合视频总帧数，确定视频内容占比。
21.可选地，所述根据所述搜索特征对所述视频标签库进行搜索，确定目标视频，包括：
22.根据搜索特征通过预识别标签字段对所述视频标签库进行搜索，确定匹配标签；
23.根据所述匹配标签进行识别内容匹配度计算，确定目标视频。
24.可选地，所述根据所述匹配标签进行识别内容匹配度计算，确定目标视频，包括：
25.根据所述匹配标签，确定识别内容；
26.根据搜索特征对所述识别内容进行欧几里得度量计算，确定识别内容匹配度；
27.根据所述识别内容匹配度，确定目标视频。
28.另一方面，本发明实施例还公开了一种基于内容占比的视频搜索系统，包括：
29.第一模块，用于获取用户输入的搜索内容，其中，所述搜索内容包括文字信息和图片信息中至少一种；
30.第二模块，用于对所述搜索内容进行特征提取，确定搜索特征；
31.第三模块，用于对视频库中的视频进行内容占比识别，根据内容占比生成视频标签，确定视频标签库；
32.第四模块，用于根据所述搜索特征对所述视频标签库进行搜索，确定目标视频。
33.另一方面，本发明实施例还公开了一种电子设备，包括处理器以及存储器；
34.所述存储器用于存储程序；
35.所述处理器执行所述程序实现如前面所述的方法。
36.另一方面，本发明实施例还公开了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
37.另一方面，本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
38.本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明实施例通过获取用户输入的搜索内容，其中，所述搜索内容包括文字信息和图片信息中至少一种；本发明实施例能够对文字信息和图片信息进行综合搜索，增强了视频搜索的准确度；对所述搜索内容进行特征提取，确定搜索特征；对视频库中的视频进行内容占比识别，根据内容占比生成视频标签，确定视频标签库；另外，本发明还通过内容占比识别对视频进行标签识别，提高了视频内容检索的精度；根据所述搜索特征对所述视频标签库进行搜索，确定目标视频；再者，本发明通过检索特征与视频标签相匹配进行视频检索，提高了视频检索的效率与准确性。
附图说明
39.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他
的附图。
40.图1为本发明实施例的一种视频搜索方法流程图。
具体实施方式
41.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
42.参照图1，本发明实施例提供一种基于内容占比的视频搜索方法，包括：
43.s1、获取用户输入的搜索内容，其中，所述搜索内容包括文字信息和图片信息中至少一种；
44.s2、对所述搜索内容进行特征提取，确定搜索特征；
45.s3、对视频库中的视频进行内容占比识别，根据内容占比生成视频标签，确定视频标签库；
46.s4、根据所述搜索特征对所述视频标签库进行搜索，确定目标视频。
47.进一步作为优选的实施方式，上述步骤s2中，所述对所述搜索内容进行特征提取，确定搜索特征，包括：
48.当所述搜索内容包括文字信息时，对所述文字信息进行关键词提取，确定搜索特征。
49.其中，用户可以输入文字信息和图片信息中至少一种作为搜索内容，当用户输入的搜索内容包括文字信息时，本发明实施例通过识别算法对文字信息进行文字识别，并通过特征提取算法提取识别出的文字信息中的关键词。将提取出的关键词确定为搜索特征，通过搜索特征进行视频搜索。
50.进一步作为优选的实施方式，上述步骤s2中，所述对所述搜索内容进行特征提取，确定搜索特征，还包括：
51.当所述搜索内容包括图片信息时，对所述图片信息进行关键帧提取，确定搜索特征。
52.其中，当用户输入的搜索内容包括图片信息时，本发明实施例通过对图片信息进行关键帧提取，提取出图片信息的关键帧，接着根据特征提取算法对关键帧进行特征提取，提取出图片信息包含的目标内容并确定为搜索特征，目标内容可包括人物信息、物体信息、图案信息等。可以想到的是，结合以上实施例，当用户同时输入文字信息和图片信息时，本发明实施例可分别对文字信息和图片信息进行处理，得到对应的搜索特征。
53.进一步作为优选的实施方式，上述步骤s3中，所述对视频库中的视频进行内容占比识别，根据内容占比生成视频标签，确定视频标签库，包括：
54.对视频库中的每一个视频分别进行关键帧提取，确定关键帧内容；
55.对所述关键帧内容进行目标内容识别处理，确定视频内容占比；
56.根据所述视频内容占比生成视频标签，确定视频标签库。
57.其中，本发明实施例对视频库中的视频进行预处理，提高了视频检索的效率。首先对视频库中的每一个视频进行关键帧提取，根据提取得到的关键帧，确定关键帧中包含的具体内容。通过对关键帧内容进行目标内容识别处理，可以识别得到关键帧的目标内容，以
及根据目标内容可以确定目标内容占识别视频的内容占比。通过视频内容占比可以为每个视频生成视频标签，从而形成视频标签库。例如，本发明实施例提取视频的总帧数l，关键帧f及gop长度lgopf，通过ai库已有模型识别关键帧中内容，识别内容i的相似度为wi，并为识别内容标记模型相应标签。本发明实施例对关键帧中每个识别内容i的像素面积si进行统计，计算每个识别内容中每个像素点到帧中心点的向量，计算得到每个识别内容i中向量和的模长的平方m。获取关键帧f的总像素面积sf，根据识别内容占比公式mfi＝wi*sfi^2/mi计算每个识别内容i的占比mfi，将每个识别内容i的识别内容占比mfi与所属gop长度lgopf的乘积作为每个识别内容i的占比系数mvi。对视频中所有关键帧中含有同一标签的识别物归为同一识别物集合g，g在视频中的占比为集合中所有识别物占比系数的和与视频长度比，将以上计算结果保存到视频标签库中。
58.进一步作为优选的实施方式，所述对所述关键帧内容进行目标内容识别处理，确定视频内容占比，包括：
59.对所述关键帧内容进行目标内容识别，确定目标内容；
60.对所述目标内容进行向量和计算，结合所述关键帧内容的像素面积，确定目标内容的占比系数；
61.根据所述目标内容占比系数结合视频总帧数，确定视频内容占比。
62.其中，本发明实施例对关键帧内容进行目标内容识别，识别得到关键帧中包含的目标内容。对目标内容进行向量和计算，统计每个目标内容的像素面积，并计算每个目标内容中每个像素点到帧中心点的向量和。根据像素面积和向量和的模长平方的比值，可以计算得到目标内容的占比系数，占比系数表示目标内容占关键帧中内容的比例。再计算视频中同一目标内容占比系数的和与视频总帧数的比，确定目标内容在视频中的视频内容占比。
63.进一步作为优选的实施方式，上述步骤s4中，所述根据所述搜索特征对所述视频标签库进行搜索，确定目标视频，包括：
64.根据搜索特征通过预识别标签字段对所述视频标签库进行搜索，确定匹配标签；
65.根据所述匹配标签进行识别内容匹配度计算，确定目标视频。
66.其中，搜索特征包括关键词和目标内容，关键词是从用户输入的搜索内容中提取出来的，目标内容是从用户输入的搜索图片中对关键帧进行识别提取出来的。通过预识别标签字段根据搜索特征对视频标签库进行搜索，匹配到相应的匹配标签。如用户输入一段文字中和两张图片，系统从文字中提取出多个关键词，从图片中提取出多个目标内容。根据关键词和目标内容对视频标签库进行搜索，找到与之匹配的匹配标签，对标签视频进行匹配。根据匹配标签进一步识别标签视频中的内容，根据标签视频中所包含的标签内容占比最大的视频为目标视频。例如，本发明实施例对用户输入的文字进行关键词提取，对用户输入的图片通过ai库模型进行特征标签提取，并将提取到的关键词数或标签数记为ntin，将提取到的关键词数和标签数在视频标签库中通过预识别标签字段进行搜索，根据匹配到的标签数nt对集合g进行初步优先权判定：pg＝mg*nt/ntin，式中，pg表示视频搜索的初步优先权，mg表示集合g在视频中的占比。按照pg的大小顺序对视频进行排序，若用户只输入了文字，则pg为对应视频的最终搜索优先权，否则，根据pg的优先权，将集合g内的匹配标签对应的识别内容i的特征与用户输入图片的特征进行欧几里得度量计算，得到欧式距离di，每
个识别内容i的匹配度记为wi，则wi＝1/(1 di)，集合内每个识别内容i搜索优先权占比为pi＝mvi*wi，mvi表示每个识别内容i在视频中的占比系数，集合g所在视频搜索优选权p为：式中，pg表示初步优先权，i表示正整数，n表示集合g内的匹配标签对应的识别内容数，pi表示集合g内每个识别内容搜索优先权占比。最后根据优先权p的大小顺序确定目标视频，同时本发明实施例也可根据按照优先权排序的视频中根据用户选取确定为目标视频。
67.进一步作为优选的实施方式，所述根据所述匹配标签进行识别内容匹配度计算，确定目标视频，包括：
68.根据所述匹配标签，确定识别内容；
69.根据搜索特征对所述识别内容进行欧几里得度量计算，确定识别内容匹配度；
70.根据所述识别内容匹配度，确定目标视频。
71.其中，在本发明实施例中，通过匹配标签确定识别内容，如匹配标签为“篮球”，确定识别内容为视频内容包含篮球的视频。根据搜索特征即匹配标签对视频中出现篮球的内容进行欧几里得度量计算，计算得到视频中出现篮球的内容占视频的比例，即为识别内容匹配度。将识别内容匹配度最高的视频确定为目标视频，也可根据内容匹配度由高至低进行排序，由用户选择合适的视频作为目标视频。通过对视频内容的占比分析，用户可以输入文字或图片信息进行视频搜索，能够更准确地搜索到相应的视频，通过对视频库的预处理，进行视频内容占比分析，可以提高视频搜索的效率。
72.另一方面，本发明实施例还公开了一种基于内容占比的视频搜索系统，包括：
73.第一模块，用于获取用户输入的搜索内容，其中，所述搜索内容包括文字信息和图片信息中至少一种；
74.第二模块，用于对所述搜索内容进行特征提取，确定搜索特征；
75.第三模块，用于对视频库中的视频进行内容占比识别，根据内容占比生成视频标签，确定视频标签库；
76.第四模块，用于根据所述搜索特征对所述视频标签库进行搜索，确定目标视频。
77.本发明的流程具体包括：通过对用户输入的内容进行分析处理，通过特征提取算法，确定用户的搜索目标，提取得到搜索特征。另外，用户可以输入文字信息和图片信息中至少一种。系统通过对视频库进行预处理，对视频内容的占比进行识别，提取视频中事物标签比重信息，形成视频标签库。根据特征提取得到的搜索特征对视频标签库进行搜索，搜索出包含搜索特征且内容占比较高的视频，从而得到用户想要搜索的目标视频。
78.与图1的方法相对应，本发明实施例还提供了一种电子设备，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如前面所述的方法。
79.与图1的方法相对应，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
80.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
81.综上所述，本发明实施例具有以下优点：
82.(1)本发明实施例能够实现文字和图片的综合条件搜索能力，提高了视频搜索的准确度。
83.(2)本发明实施例通过对视频库进行预处理，计算视频的内容占比，减低了视频搜索时的运算复杂度。
84.(3)本发明实施例对用户输入内容进行特征提取，通过内容特征与视频标签的匹配，提高了视频搜索时的准确度和运算效率。
85.在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
86.此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
87.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
88.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
89.计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的
介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
90.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
91.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
92.尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
93.以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。