视频查询方法及相关装置与流程

摘要: 本技术涉及数据处理,特别涉及一种视频查询方法及相关装置。背景技术:1、随着用户对视频查询需求的增多,用户输入的查询条件越来越多样化。在相关技术中,电子设备通常是...
视频查询方法及相关装置与流程

本技术涉及数据处理,特别涉及一种视频查询方法及相关装置。

背景技术:

1、随着用户对视频查询需求的增多,用户输入的查询条件越来越多样化。在相关技术中,电子设备通常是将用户输入的查询条件输入到训练好的视频查询模型中,通过该视频查询模型对视频数据进行分析处理,从而确定出满足该查询条件的视频片段。

2、然而,由于视频查询模型是利用标注好的训练样本进行训练得到的,因此,视频查询模型支持的查找类型与训练样本紧密相关,且受限于训练样本的类型及数量,导致视频查询方法的泛化能力较差,不支持灵活多变的查询条件,无法实现多样化的视频查询需求。

技术实现思路

1、本技术提供了一种视频查询方法及相关装置,能够处理灵活多变的视频查询条件,进而实现多样化的视频查询需求。所述技术方案如下:

2、第一方面,提供了一种视频查询方法,该方法包括:获取查询条件,该查询条件包括多个待查询对象的属性信息以及该多个待查询对象的时空关系;基于目标视频对应的结构化索引,从目标视频包括的视频帧中筛选出满足查询条件的目标视频帧,该结构化索引用于指示目标视频中的多个视频对象的属性信息、以及该多个视频对象之间的时空关系;输出目标视频帧对应的视频片段。

3、目标视频对应的结构化索引记录有目标视频中多个视频对象的属性信息以及该多个视频对象之间的时空关系,因此,无论查询条件中待查询对象的数量和待查询对象的属性信息的类型如何变化,都可以确定出与该多个待查询对象的属性信息和该多个待查询对象之间的时空关系都匹配的视频对象所在的视频帧,即满足查询条件的目标视频帧。综上可知,无论查询条件中的待查询对象的数量和待查询对象的属性信息的类型如何变化,以及查询条件是否涉及到多个待查询对象之间的时空关系,都可以确定出满足查询条件的目标视频帧,也就是说,能够处理灵活多变的视频查询条件,可以实现多样化的视频查询需求。

4、对于该多个待查询对象中的两个待查询对象来说,这两个待查询对象之间的时空关系包括这两个待查询对象之间的空间关系以及时间关系。这两个待查询对象之间的空间关系包括:两个待查询对象之间的距离和/或两个待查询对象之间的夹角(即空间相对位置),这两个待查询对象之间的时间关系包括:这两个待查询对象之间保持或出现这个空间关系的时间。也就是说,两个待查询对象之间的时空关系可以通过这两个待查询对象之间的距离和/或夹角、以及时间来表征。

5、在一种可能的实现方式中,目标视频包括不重叠的多个视频窗口,每个视频窗口包括多个视频帧,同一视频窗口内的多个视频帧具有关联关系,该结构化索引包括该多个视频对象的属性信息以及该多个视频窗口分别对应的时空关系存储图,该时空关系存储图指示对应的视频窗口中每两个视频对象之间的空间关系以及每两个视频对象所在的视频帧;

6、基于目标视频对应的结构化索引,从目标视频包括的视频帧中筛选出满足查询条件的目标视频帧,包括:基于该多个待查询对象的属性信息,从该多个视频对象中筛选出多个目标视频对象,该多个目标视频对象的属性信息与该多个待查询对象的属性信息相同;从该多个视频窗口中确定同时出现该多个目标视频对象的目标视频窗口;基于该多个待查询对象之间的时空关系,通过目标视频窗口对应的时空关系存储图,从目标视频窗口包括的多个视频帧中筛选出目标视频帧,目标视频帧中该多个目标视频对象之间的时空关系与该多个待查询对象之间的时空关系相匹配。

7、由于该结构化索引记录有目标视频包括的多个视频对象的属性信息,因此,服务器可以将该多个待查询对象的属性信息与目标视频包括的多个视频对象的属性信息进行比较,从而从目标视频包括的多个视频对象中筛选出与该多个待查询对象的属性信息相同的多个目标视频对象。

8、为了提高查询效率,该属性索引结构用于通过结构化的方式存储目标视频包括的多个视频对象的属性信息。这样,服务器可以基于该多个待查询对象的属性信息,通过属性索引结构,从目标视频包括的多个视频对象中筛选出该多个目标视频对象。也可以理解为,服务器以查询条件中的多个待查询对象的属性信息为剪枝条件,对属性索引结构中不满足该多个待查询对象的属性信息的视频对象进行剪枝,得到所有可能符合该多个待查询对象的属性信息的多个目标视频对象。

9、在一种可能的实现方式中,该结构化索引还包括用于存储该多个视频对象的属性信息的属性索引结构,该属性索引结构包括多层属性信息,每层属性信息对应一个属性类型,该每层属性信息包括多对属性信息,该多层属性信息按照该多个视频对象的属性信息建立有关联关系,最后一层属性信息包括的每对属性信息对应该多个视频对象中的至少一对视频对象;

10、基于该多个待查询对象的属性信息,从该多个视频对象中筛选出多个目标视频对象,包括:对该多个待查询对象中的每两个待查询对象进行组合,得到至少一对待查询对象;基于该至少一对待查询对象的属性信息,按照该多层属性信息对应的属性类型的顺序,将该至少一对待查询对象的属性信息与该多层属性信息逐层进行比较,以筛选出属性信息与该至少一对待查询对象的属性信息相同的至少一对目标视频对象。

11、属性索引结构除了包括多层属性信息之外,还包括一层视频对象标识,这层视频对象标识包括目标视频中的多对视频对象的标识,每对视频对象的标识与最后一层属性信息中的一对属性信息建立有关联关系。这样,服务器按照该多层属性信息对应的属性类型的顺序,将该至少一对待查询对象的属性信息与该多层属性信息逐层进行比较后,能够筛选出至少一对目标视频对象的标识。该至少一对目标视频对象的标识即为该多个目标视频对象的标识。

12、通过上述的属性索引结构可以看出,每层属性信息对应一个属性类型,这些属性信息是对目标视频中视频对象的属性信息进行组合得到的,只有最后一层属性信息与至少一对视频对象相对应。但是,通常情况下,不同的视频对象的属性信息可能会部分或全部相同,这样,按照上述的属性索引结构,对于相同的属性信息无需重复存储,可以节省属性信息占用的存储空间。

13、由于目标视频包括互不重叠的多个视频窗口,每个视频窗口包括多个视频帧,同一个视频窗口内的多个视频帧具有关联关系,且视频帧之间的关联关系通常会体现为视频对象的关联关系。而且多个待查询对象通常也具有关联关系,通常也位于同一个视频窗口内,因此,服务器从该多个视频窗口中确定同时出现该多个目标视频对象的目标视频窗口。也可以理解为,服务器以该多个目标视频对象为剪枝条件,对该多个视频窗口中未同时包含该多个目标视频对象的视频窗口进行剪枝,得到同时包含该多个目标视频对象的目标视频窗口。

14、同一个视频窗口内的多个视频帧具有关联关系,也可以理解为,同一个视频窗口内的多个视频帧具有相似性。视频帧的相似性能够体现为视频帧的内容的相似性,而视频帧的内容可以通过视频帧中的视频对象来表征,所以,视频帧之间的相似性能够体现为视频帧中视频对象的相似性。

15、由于该多个待查询对象与该多个目标视频对象的属性信息相同,可以理解为,该多个待查询对象与该多个目标视频对象一一对应。因此,服务器可以基于该多个待查询对象之间的时空关系,确定该多个目标视频对象之间的第一时空关系,即通过该多个待查询对象与该多个目标视频对象的对应关系,将该多个待查询对象之间的时空关系转换为该多个目标视频对象之间的时空关系,为了便于描述,将转换后得到的该多个目标视频对象之间的时空关系称为第一时空关系,第一时空关系包括第一空间关系和第一时间关系。这样,服务器即可基于该多个目标视频对象之间的第一时空关系,通过目标视频窗口对应的时空关系存储图,查找目标视频帧。

16、在一种可能的实现方式中,该时空关系存储图包括与多个频繁子图一一对应的多个时空关系表,该多个时空关系表用于指示对应的视频窗口中每两个视频对象之间的时空关系,该多个频繁子图是按照对应的视频窗口中的多个视频对象构建的;

17、基于该多个待查询对象之间的时空关系,通过目标视频窗口对应的时空关系存储图,从目标视频窗口包括的多个视频帧中筛选出目标视频帧,包括:从该多个时空关系表中筛选出第一时空关系表,该第一时空关系表对应的频繁子图包括该多个目标视频对象;基于该多个待查询对象之间的时空关系,确定该多个目标视频对象之间的第一时空关系;基于该多个目标视频对象之间的第一时空关系,通过该第一时空关系表确定目标视频帧。

18、在第一种可能的实现方式中,每个时空关系表用于指示对应的频繁子图中每两个视频对象之间的时空关系。这样,在筛选出第一时空关系表之后,直接通过第一时空关系表确定满足该多个目标视频对象之间的第一时空关系的目标视频帧。

19、在第二种可能的实现方式中,该多个频繁子图存在包含关系,也就是说,一个频繁子图可能是另一个频繁子图的子集。此时,无需每个时空关系表指示各自对应的频繁子图中每个两个视频对象之间的时空关系,只要视频对象的数量多的频繁子图对应的时空关系表指示相对其子集新增的视频对象之间的时空关系即可。比如,频繁子图1是频繁子图3的子集,那么频繁子图3的时空关系表只需要指示频繁子图3相对于频繁子图1新增的至少一对视频对象之间的时空关系即可。

20、在这种情况下,该时空关系存储图还包括有向频繁结构图,该有向频繁结构图包括与该多个频繁子图一一对应的多个子图顶点,该多个子图顶点按照对应的频繁子图之间的包含关系建立有连接关系,且视频对象的数量少的频繁子图对应的子图顶点为有向边的起点,视频对象的数量多的频繁子图对应的子图顶点为有向边的终点,视频对象的数量最少的频繁子图对应的时空关系表用于指示对应的频繁子图中每两个视频对象之间的时空关系,第一频繁子图对应的时空关系表用于指示该第一频繁子图相较于该第一频繁子图的子集新增的至少一对视频对象之间的时空关系,该第一频繁子图是指除该视频对象的数量最少的频繁子图之外的任意一个频繁子图;

21、基于该多个目标视频对象之间的第一时空关系,通过该第一时空关系表确定目标视频帧,包括:若该第一时空关系表对应的子图顶点不是该有向频繁结构图的起始顶点,则基于该多个目标视频对象之间的第一时空关系,通过该第一时空关系表和至少一个第二时空关系表确定目标视频帧,该至少一个第二时空关系表为该第一时空关系表对应的频繁子图包含的各个子集对应的时空关系表。

22、结合上文描述可以理解,如果第一时空关系表不是该有向频繁结构图的起始顶点对应的时空关系表,则第一时空关系表仅记录第一时空关系表对应的频繁子图相较于该频繁子图的子集新增的至少一对视频对象之间的时空关系,非新增的至少一对视频对象之间的时空关系记录在该频繁子图的子集对应的第二时空关系表中。虽然第一时空关系表对应的频繁子图包括该多个目标视频对象,但是第一时空关系表不一定完全记录有该多个目标视频对象所在的视频帧以及该多个目标视频对象之间的时空关系,因此,需要从第一时空关系表和至少一个第二时空关系表中查找满足该多个目标视频对象之间的第一时空关系的目标视频帧。

23、如果第一时空关系表是有向频繁结构图的起始顶点对应的时空关系表,则第一时空关系表记录有第一时空关系表对应的频繁子图中所有视频对象之间的时空关系,因此,确定出第一时空关系表对应的频繁子图包括多个目标视频对象后,表示第一时空关系表也记录有该多个目标视频对象之间的时空关系。这样,可以直接从第一时空关系表中查找满足该多个目标视频对象之间的第一时空关系的目标视频帧。

24、上面介绍了视频查询的过程,下面对创建结构化索引的过程进行介绍。

25、在一种可能的实现方式中,确定目标视频中的多个视频对象的属性信息、目标视频包括的每个视频帧中多个视频对象之间的空间关系、以及每个视频对象所处的视频帧;基于目标视频中多个视频对象的属性信息、每个视频帧中多个视频对象之间的空间关系、以及每个视频对象所处的视频帧,构建目标视频对应的结构化索引。

26、利用目标检测算法对目标视频中的每个视频帧进行视频对象的检测,得到每个视频帧中多个视频对象分别所属的检测框;基于每个视频帧中多个视频对象分别所属的检测框,利用目标追踪算法对目标视频包括的所有视频帧进行视频对象的追踪,得到目标视频包括的所有视频帧中每个视频对象的标识。提取目标视频中每个视频对象的属性信息。

27、对于目标视频中的每个视频帧来说,确定该视频帧中多个视频对象之间的空间关系的实现过程包括:确定该视频帧中各个视频对象的坐标;基于该视频帧中各个视频对象的坐标,确定该视频帧中每两个视频对象之间的空间关系。

28、在一种可能的实现方式中,该结构化索引包括目标视频中多个视频窗口分别对应的时空关系存储图;

29、基于目标视频中多个视频对象的属性信息、该每个视频帧中多个视频对象之间的空间关系、以及每个视频对象所处的视频帧,构建目标视频对应的结构化索引,包括:将目标视频划分为该多个视频窗口,每个视频窗口包括多个视频帧;对于该多个视频窗口中的每个视频窗口,基于该视频窗口包括的每个视频帧中多个视频对象之间的空间关系以及该视频窗口中每个视频对象所处的视频帧,生成该视频窗口对应的时空关系存储图。

30、在一种可能的实现方式中,将目标视频划分为该多个视频窗口,包括:将目标视频中的第一个视频帧作为该多个视频窗口中第一个视频窗口的起始帧;确定目标视频中的第二个视频帧与第一个视频窗口的起始帧之间的相似度;在该相似度小于相似度阈值的情况下,将第二个视频帧作为该多个视频窗口中第二个视频窗口的起始帧,继续确定目标视频中的第三个视频帧与第二个视频窗口的起始帧之间的相似度;在该相似度大于或等于该相似度阈值的情况下,将第二个视频帧划分到该第一个视频窗口,继续确定第三个视频帧与第一个视频窗口的起始帧之间的相似度。

31、在一种可能的实现方式中,该时空关系存储图包括多个时空关系表;

32、基于该视频窗口包括的每个视频帧中多个视频对象之间的空间关系以及该视频窗口中每个视频对象所处的视频帧,生成该视频窗口对应的时空关系存储图,包括:生成该视频窗口包括的多个视频帧分别对应的完全图,该完全图包括与对应的视频帧中的多个视频对象一一对应的多个对象顶点,该多个对象顶点中每两个对象顶点具有连接关系;基于该视频窗口包括的多个视频帧中的视频对象,确定多个频繁子图,每个频繁子图是该视频窗口包括的多个视频帧分别对应的完全图的子集;基于该视频窗口包括的每个视频帧中多个视频对象之间的空间关系以及该视频窗口中每个视频对象所处的视频帧,确定该多个频繁子图分别对应的时空关系表,得到该多个时空关系表。

33、在一种可能的实现方式中,基于该视频窗口包括的多个视频帧中的视频对象,确定多个频繁子图,包括:确定该多个视频帧分别对应的完全图的出现次数,该完全图的出现次数是指该完全图在该多个视频帧对应的完全图中出现的次数;对该多个视频帧中的任意i个视频对象对应的对象顶点进行组合,来生成多个衍生子图,该多个衍生子图是该任意i个视频对象对应的对象顶点构成的完全图,i的取值为2至n,n为该多个视频帧包括的视频对象的数量;确定该多个衍生子图的出现次数,该衍生子图的出现次数是指该衍生子图在该多个视频帧对应的完全图中出现的次数;基于该多个视频帧分别对应的完全图的出现次数和该多个衍生子图的出现次数,对该多个衍生子图进行过滤,得到该多个频繁子图。

34、对该多个衍生子图进行过滤,得到多个频繁子图的实现过程包括:对于该多个衍生子图中的任意一个衍生子图来说,如果该衍生子图的出现次数小于出现次数阈值(也称为最小支持度),则删除该衍生子图,如果该衍生子图为目标完全图的真子集,且该衍生子图的出现次数和目标完全图的出现次数相同,则删除该衍生子图,目标完全图为该多个视频帧中任意一个视频帧对应的完全图。如果至少两个衍生子图为同一个完全图的真子集,则删除该至少两个衍生子图中除对象顶点的数量最多的衍生子图之外的其他衍生子图。按照这个过程,将删除后剩余的衍生子图确定为该多个频繁子图。

35、在第一种可能的实现方式中,每个时空关系表用于指示对应的频繁子图中每两个视频对象之间的时空关系。这样,对于该多个频繁子图中的每个频繁子图来说,基于该频繁子图中每两个视频对象之间的空间关系、以及该每两个视频对象所在的视频帧,构建该频繁子图对应的时空关系表。

36、在第二种可能的实现方式中,该多个频繁子图存在包含关系,也就是说,一个频繁子图可能是另一个频繁子图的子集。此时,无需每个时空关系表指示各自对应的频繁子图中每个两个视频对象之间的时空关系,只要视频对象的数量多的频繁子图对应的时空关系表指示相对其子集新增的视频对象之间的时空关系即可。

37、在这种情况下,该时空关系存储图还包括有向频繁结构图,该有向频繁结构图包括与该多个频繁子图一一对应的多个子图顶点;基于该多个视频窗口包括的每个视频帧中多个视频对象之间的空间关系以及该视频窗口中每个视频对象所处的视频帧,确定该多个频繁子图分别对应的时空关系表,包括:按照该多个频繁子图之间的包含关系,创建该有向频繁结构图,且视频对象的数量少的频繁子图对应的子图顶点为有向边的起点,视频对象的数量多的频繁子图对应的子图顶点为有向边的终点;对于该多个频繁子图中的每个频繁子图,若该多个频繁子图中不存在该频繁子图的子集,则基于该频繁子图包括的所有对象顶点对应的视频对象中每两个视频对象之间的空间关系以及该每两个视频对象所属的视频帧,生成该频繁子图对应的时空关系表;若该多个频繁子图中存在该频繁子图的子集,则基于该频繁子图包括的所有对象顶点对应的视频对象中每两个视频对象之间的空间关系以及该每两个视频对象所处的视频帧,以及该频繁子图的子集,生成该频繁子图对应的时空关系表,该频繁子图对应的时空关系表用于存储该频繁子图相较于该频繁子图的子集新增的至少一对视频对象之间的空间关系以及该至少一对视频对象所在的视频帧。

38、由于视频对象的数量少的频繁子图对应的子图顶点为有向边的起点,视频对象的数量多的频繁子图对应的子图顶点为有向边的终点,并且每个频繁子图包括的对象顶点的个数等于每个频繁子图对应的视频对象的数量,因此,可以基于该多个频繁子图包括的对象顶点的个数从小到大的顺序,对该多个频繁子图进行排序,得到该多个频繁子图的排序结果,再按照排序结果依次对该多个频繁子图对应的多个子图顶点建立连接关系,得到有向频繁结构图。

39、这里是以该多个频繁子图包括的对象顶点的个数从小到大的顺序,对该多个频繁子图进行排序的,在另一些实施例中,对象顶点的个数少的频繁子图的出现次数通常较多,对象顶点的个数多的频繁子图的出现次数通常较少,频繁子图的出现次数是指该频繁子图在该视频窗口包括的多个完全图中出现的次数。因此,还可以基于该多个频繁子图的出现次数从大到小的顺序,对该多个频繁子图进行排序。

40、可以理解的是,生成的每个频繁子图对应的时空关系表包括两个视频对象的标识、这两个视频对象之间的空间关系、以及这两个视频对象所属的视频帧的标识,那么,如果这两个视频对象在多个视频帧中的空间关系相同,则该时空关系表对这两个视频对象在多个视频帧中的空间关系只记录一次,实现了压缩存储这两个视频对象在多个视频帧中的空间关系,从而实现了压缩时空关系存储图的大小。

41、其次,如果多个频繁子图中存在该频繁子图的子集,该频繁子图对应的时空关系表只包括该频繁子图相较于该频繁子图的子集新增的至少一对视频对象,不包括该频繁子图与该频繁子图的子集包含的相同的至少一对视频对象,也就是说,该频繁子图对应的时空关系表对该频繁子图的子集对应的时空关系表中的至少一对视频对象不再重复存储,可以减少该频繁子图对应的时空关系表所记录的数据量,从而实现了压缩时空关系存储图的大小。

42、在一种可能的实现方式中,该结构化索引还包括属性索引结构,该属性索引结构包括多层属性信息,每层属性信息对应一个属性类型;该方法还包括:对目标视频包括的多个视频对象中的每两个视频对象进行组合,得到多对视频对象;按照该多层属性信息对应的属性类型的顺序,将该多对视频对象的属性信息分别存储至对应的一层属性信息中,并在该多层属性信息中建立同一对视频对象的属性信息的关联关系,以及最后一层属性信息与对应的至少一对视频对象的关联关系。

43、将该多对视频对象的属性信息分别存储至对应的一层属性信息的过程中,如果一对视频对象的属性信息已经保存在属性索引结构中,服务器不再重复保存,服务器只需在多层属性信息中建立这一对视频对象的属性信息的关联关系,以及最后一层属性信息与这一对视频对象的关联关系。也就是说,属性索引结构中每一层属性信息不重复保存相同的属性信息。

44、在通过上述内容得到属性索引结构和该多个视频窗口分别对应的时空关系存储图之后,还可以对该多个视频窗口的标识创建倒排索引结构。然后建立属性索引结构中的视频对象的标识与该多个视频窗口的标识之间的关联关系,以及建立该多个视频窗口的标识与视频窗口对应的时空关系存储图之间的关联关系,得到目标视频对应的结构化索引。

45、视频对象的属性信息以及视频对象之间的时空关系都是非结构化信息,按照上述方法能够对这些非结构化信息转换为结构化信息来存储,这样,在进行视频查询时,能够基于查询条件,通过结构化信息快速、精确地进行检索,提高视频查询效率,而且灵活性和广泛性也较高。另外,通过对细粒度的时空关系进行存储,能够支持细粒度的时空关系的精确查询。

46、第二方面,提供了一种视频查询装置,所述装置具有实现上述第一方面所述方法行为的功能。所述装置包括至少一个模块,该至少一个模块用于实现上述第一方面所提供的方法。

47、第三方面,提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器用于存储执行上述第一方面所提供的方法的计算机程序。所述处理器被配置为用于执行所述存储器中存储的计算机程序,以实现上述第一方面所述的方法。

48、第四方面,提供了一种计算机可读存储介质,所述存储介质内存储有指令,当所述指令在计算机上运行时,使得计算机执行上述第一方面所述的方法。

49、第五方面,提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使得计算机执行上述第一方面所述的方法。

50、上述第二方面至第五方面所获得的技术效果与第一方面中对应的技术手段获得的技术效果近似,在这里不再赘述。