视频搜索方法、装置、电子设备以及存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及自然语言处理、计算机视觉、智能搜索、深度学习技术领域，尤其涉及视频搜索方法、装置、电子设备以及存储介质。


背景技术：

2.相关技术中，主要是根据搜索语句查询短视频库，获取短视频库中对应的标题与搜索语句匹配的短视频，获取与短视频关联的长视频，将匹配的短视频以及关联的长视频，作为搜索结果。其中，需要人工标注标题，成本高，准确率低。


技术实现要素：

3.本公开提供了一种视频搜索方法、装置、电子设备以及存储介质。
4.根据本公开的一方面，提供了一种视频搜索方法，包括：确定待处理的搜索语句以及对应的分词标注结果，其中，所述分词标注结果包括：所述搜索语句中至少一个词语以及对应的标注类型；根据所述至少一个词语以及对应的标注类型，确定所述搜索语句的语句依存树；根据所述语句依存树查询视频库，以获取所述视频库中对应的视频依存树与所述语句依存树匹配的目标视频；根据所述目标视频，生成所述搜索语句的视频搜索结果。
5.根据本公开的另一方面，提供了一种视频搜索装置，包括：第一确定模块，用于确定待处理的搜索语句以及对应的分词标注结果，其中，所述分词标注结果包括：所述搜索语句中至少一个词语以及对应的标注类型；
6.第二确定模块，用于根据所述至少一个词语以及对应的标注类型，确定所述搜索语句的语句依存树；第一查询模块，用于根据所述语句依存树查询视频库，以获取所述视频库中对应的视频依存树与所述语句依存树匹配的目标视频；生成模块，用于根据所述目标视频，生成所述搜索语句的视频搜索结果。
7.根据本公开的又一方面，提供了一种电子设备，包括：
8.至少一个处理器；以及
9.与所述至少一个处理器通信连接的存储器；其中，
10.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开上述一方面提出的视频搜索方法。
11.根据本公开的再一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开上述一方面提出的视频搜索方法。
12.根据本公开的再一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开上述一方面提出的视频搜索方法的步骤。
13.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
14.附图用于更好地理解本方案，不构成对本公开的限定。其中：
15.图1是根据本公开第一实施例的示意图；
16.图2是搜索语句的语句依存树的示意图；
17.图3是根据本公开第二实施例的示意图；
18.图4是搜索语句的更新后的语句依存树的示意图；
19.图5是根据本公开第三实施例的示意图；
20.图6是关键帧图像的示意图；
21.图7是视频的更新后的视频依存树的示意图；
22.图8是根据本公开第四实施例的示意图；
23.图9是视频搜索方法的示意图；
24.图10是根据本公开第五实施例的示意图；
25.图11是根据本公开第六实施例的示意图；
26.图12是实施本公开的实施例的电子设备的框图。
具体实施方式
27.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
28.相关技术中，主要是根据搜索语句查询短视频库，获取短视频库中对应的标题与搜索语句匹配的短视频，获取与短视频关联的长视频，将匹配的短视频以及关联的长视频，作为搜索结果。其中，需要人工标注标题，成本高，准确率低。
29.针对上述问题，本公开提出一种视频搜索方法、装置、电子设备以及存储介质。
30.图1是根据本公开第一实施例的示意图，需要说明的是，本公开实施例的视频搜索方法可应用于视频搜索装置，该装置可被配置于电子设备中，以使该电子设备可以执行视频搜索功能。
31.其中，电子设备可以为任一具有计算能力的设备。其中，具有计算能力的设备例如可以为个人电脑(personal computer，简称pc)、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
32.如图1所示，该视频搜索方法可以包括如下步骤：
33.步骤101，确定待处理的搜索语句以及对应的分词标注结果，其中，分词标注结果包括：搜索语句中至少一个词语以及对应的标注类型。
34.在本公开实施例中，标注类型可以包括以下类型中的至少一种：人物类实体、场景事件、作品类实体、介词、疑问词、定语、状语等，可以根据实际需要进行设定。例如，以搜索语句为“马田大力娇听情非得已在第几集”为例，该搜索语句对应的分词标注结果中的词语以及对应的标注类型可以如以下表1中所示。
35.表1
36.词语位置偏移标注类型马田0人物类实体大力娇2人物类实体听5场景事件情非得已6作品类实体在10介词第几集11疑问词
37.在本公开实施例中，视频搜索装置执行步骤101的过程例如可以为，确定待处理的搜索语句；将搜索语句输入预设的实体识别模型，以获取实体识别模型输出的至少一个词语以及对应的标注类型。
38.步骤102，根据至少一个词语以及对应的标注类型，确定搜索语句的语句依存树。
39.在本公开实施例中，语句依存树具体可以为句法依存树。句法依存树描述了语句中各个词语之间的依存关系。其中，依存关系例如核心关系(hed)、状中关系(adv)、动宾关系(vob)、定中关系(att)、并列关系(coo)、前置宾语(fob)、介宾关系(pob)等。例如，以搜索语句为“马田大力娇听情非得已在第几集”为例，该搜索语句的语句依存树可以如图2所示。在图2中，root表示树的根节点。其中，语句依存树包括搜索语句中的各个词语，以及各个词语之间的依存关系。
40.在本公开实施例中，视频搜索装置执行步骤102的过程例如可以为，将至少一个词语以及对应的标注类型输入预设的依存树模型，以获取依存树模型输出的至少一个词语之间的依存关系。
41.在本公开实施例中，分词标注结果中还可以包括：词语在搜索语句中的偏移位置。因为同一个搜索语句中可能包含两个含义不同的相同词语。例如，以搜索语句为“大海看大海”为例，第一个“大海”的标注类型为人物类实体，第二个“大海”的标注类型为非人物类实体。对应的，视频搜索装置可以将至少一个词语、对应的标注类型以及偏移位置输入依存树模型，以获取依存树模型输出的至少一个词语之间的依存关系。
42.步骤103，根据语句依存树查询视频库，以获取视频库中对应的视频依存树与语句依存树匹配的目标视频。
43.本公开实施例中，视频库例如可以为短视频库，其中包括的视频的时长小于一定时间长度。视频搜索装置可以根据语句依存树查询视频库，获取其中对应的视频依存树与语句依存树中重合节点数量满足一定条件的视频，或者重合节点比例满足一定条件的视频，作为目标视频。
44.其中，视频依存树具体可以为句法依存树。例如，视频依存树中可以包括视频对应的文本摘要中的各个词语，以及各个词语之间的依存关系；或者，视频依存树中可以包括视频中至少一个关键帧图像的识别结果中的各个词语，以及各个词语之间的依存关系。其中，视频对应的文本摘要，根据视频中至少一个关键帧图像的识别结果生成得到。
45.步骤104，根据目标视频，生成搜索语句的视频搜索结果。
46.本公开实施例中，在一种示例中，可以将目标视频作为搜索语句的视频搜索结果。在另一种示例中，获取到目标视频后，还可以获取与目标视频关联的视频，将目标视频以及关联的视频作为搜索语句的视频搜索结果。例如，在视频库为短视频库的情况下，在获取到
目标短视频后，可以获取与目标短视频关联的影视剧长视频、综艺长视频等，进而生成搜索语句的视频搜索结果。
47.综上，通过确定待处理的搜索语句以及对应的分词标注结果，其中，分词标注结果包括：搜索语句中至少一个词语以及对应的标注类型；根据至少一个词语以及对应的标注类型，确定搜索语句的语句依存树；根据语句依存树查询视频库，以获取视频库中对应的视频依存树与语句依存树匹配的目标视频；根据目标视频，生成搜索语句的视频搜索结果，从而通过依存树的比对，确定与搜索语句匹配的视频，避免人工标注视频的标题，成本低，且准确率高。
48.为了准确确定搜索语句中的词语以及对应的标注类型，如图3所示，图3是根据本公开第二实施例的示意图，在本公开实施例中，可以先确定搜索语句中的词语，然后确定词语对应的标注类型。图3所示实施例可包括如下步骤：
49.步骤301，确定待处理的搜索语句。
50.在本公开实施例中，为了减少处理量，避免对非视频需求的搜索语句进行上述处理，以获取视频搜索结果，视频搜索装置确定待处理的搜索语句的过程例如可以为，确定候选搜索语句以及对应的搜索需求；在搜索需求为视频搜索需求时，将候选搜索语句确定为待处理的搜索语句；在搜索需求为非视频搜索需求时，直接根据搜索语句获取对应的搜索结果。
51.其中，候选搜索语句可以为用户在搜索页面的搜索框中输入的语句。其中，视频搜索装置确定候选搜索语句对应的搜索需求的过程例如可以为，将候选搜索语句输入预设的搜索需求模型，获取候选搜索语句属于各个搜索需求的概率；将对应的概率最大的搜索需求，确定为候选搜索语句对应的搜索需求。
52.例如，搜索需求至少包括：作品内容、角色和音乐。其中，作品内容表示视频搜索需求；角色和音乐表示非视频搜索需求。以搜索语句为“马田大力娇听情非得已在第几集”为例，该搜索语句属于作品内容的概率可以为0.983，该搜索语句属于角色的概率可以为0.02183，该搜索语句属于音乐的概率可以为0.01226。因此，确定该搜索语句对应的搜索需求为视频搜索需求。
53.步骤302，对搜索语句进行分词处理，以获取搜索语句中的至少一个词语。
54.步骤303，根据至少一个词语以及搜索语句，确定至少一个词语对应的标注类型。
55.在本公开实施例中，视频搜索装置执行步骤303的过程例如可以为，针对至少一个词语中的每个词语，将该词语以及搜索语句输入预设的标注类型确定模型，获取该词语的标注类型为预设的各个标注类型的概率；将对应的概率最大的标注类型作为该词语对应的标注类型。
56.步骤304，根据至少一个词语以及对应的标注类型，确定搜索语句的语句依存树。
57.其中，语句依存树包括搜索语句中的各个词语，以及各个词语之间的依存关系。
58.在本公开实施例中，为了准确确定搜索语句的语句依存树，进而提高视频搜索的准确度，在步骤304之前，所述的方法还可以包括以下步骤：针对搜索语句中的每个词语，根据词语查询词典，以获取词典中与词语匹配的参考词语；根据参考词语对词语进行校正处理。
59.其中，词典可以为搜索语句所属领域的领域词典。其中，搜索语句所属领域可以为
一个或者多个。根据词典中与词语匹配的参考词语对词语进行校正处理，能够纠正分词错误的情况，或者将词语校正为相同含义的标准词语。例如，以搜索语句为“马田大力娇听情非得已在第几集”为例，若确定得到的至少一个词语中包括“大力”、“娇”，而词典中的标准词语为“大力娇”，则可以为“大力”、“娇”这两个词语进行合并处理。
60.在本公开实施例中，为了进一步提高依存树比对的准确度，可以对搜索语句的语句依存树结合知识图谱进行更新处理，扩展语句依存树中的节点数量或者节点的字段信息。对应的，在步骤304之后，所述的方法还可以包括以下步骤：针对语句依存树中的每个节点，根据节点查询知识图谱，获取节点的扩展字段信息和/或关联节点；根据节点的扩展字段信息和/或关联节点，对语句依存树进行更新。
61.其中，以搜索语句为“马田大力娇听情非得已在第几集”为例，该搜索语句的语句依存树中的节点分别为“在”、“听”、“第几集”、“马田”、“大力娇”和“情非得已”。该搜索语句的更新后的语句依存树可以如图4所示。在图4中，相对于图2，节点“马田”和节点“大力娇”增加了相应的人物描述字段(图4中401和402所示)。节点“情非得己”增加了相应的音乐描述字段(图4中403所示)。
62.其中，节点“马田”的人物描述字段例如可以包括以下内容：character：“马田”；actor：“梁靖康”；actor＿baike＿url：https：//baike.baidu.com/item/％e6％a2％81％e9％9d％96％e5％ba％b7；video：“风犬少年的天空”。
63.其中，节点“大力娇”的人物描述字段例如可以包括以下内容：character：“大力娇”；character＿alias：[“朱玮姣”]；actor：“周依然”；actor＿baike＿url：https：//baike.baidu.com/item/％e5％91％a8％e4％be％9d％e7％84％b6；video：“风犬少年的天空”。
[0064]
其中，节点“情非得己”的音乐描述字段例如可以包括以下内容：type：“音乐”；original＿singer：“庾澄庆”；baike＿url：https：//baike.baidu.com/item/％e6％83％85％e9％9d％9e％e5％be％97％e5％b7％b2/3527117。
[0065]
步骤305，根据语句依存树查询视频库，以获取视频库中对应的视频依存树与语句依存树匹配的目标视频。
[0066]
其中，视频依存树具体可以为句法依存树。例如，视频依存树中可以包括视频对应的文本摘要中的各个词语，以及各个词语之间的依存关系；或者，视频依存树中可以包括视频中至少一个关键帧图像的识别结果中的各个词语，以及各个词语之间的依存关系。其中，视频对应的文本摘要，根据视频中至少一个关键帧图像的识别结果生成得到。
[0067]
步骤306，根据目标视频，生成搜索语句的视频搜索结果。
[0068]
需要说明的是，步骤304至306的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
[0069]
综上，通过确定待处理的搜索语句；对搜索语句进行分词处理，以获取搜索语句中的至少一个词语；根据至少一个词语以及搜索语句，确定至少一个词语对应的标注类型；根据至少一个词语以及对应的标注类型，确定搜索语句的语句依存树；根据语句依存树查询视频库，以获取视频库中对应的视频依存树与语句依存树匹配的目标视频；根据目标视频，生成搜索语句的视频搜索结果，从而通过依存树的比对，确定与搜索语句匹配的视频，避免人工标注视频的标题，成本低，且准确率高。
[0070]
为了准确确定视频库中视频的视频依存树，如图5所示，图5是根据本公开第三实施例的示意图。在本公开实施例中，可以针对视频库中的每个视频进行多种方式的识别，以获取视频中的人物、动作、台词等信息，进而生成视频依存树。图5所示实施例可包括如下步骤：
[0071]
步骤501，针对视频库中的每个视频，获取视频中的至少一个关键帧图像。
[0072]
在本公开实施例中，关键帧图像的数量可以为一个或者多个。在关键帧图像的数量为多个的情况下，多个关联帧图像可以为连续图像或者非连续图像。
[0073]
步骤502，针对每个关键帧图像，对关键帧图像进行识别，以获取关键帧图像的识别结果，其中，识别结果包括：关键帧图像中至少一个识别词语以及对应的标注类型。
[0074]
在本公开实施例中，为了进一步准确确定视频的依存树，视频搜索装置执行步骤502的过程例如可以为，针对每个关键帧图像，对关键帧图像进行人脸识别，以获取人物实体以及对应的标注类型；对关键帧图像进行动作识别，以获取人物实体的动作信息以及动作信息对应的标注类型；对关键帧图像进行台词识别，或者对关键帧图像对应的语音进行语音识别，以获取人物实体的动作对象以及动作对象对应的标注类型；根据人物实体以及对应的标注类型、动作信息以及对应的标注类型、动作对象以及对应的标注类型，生成关键帧图像的识别结果。
[0075]
其中，图6是关键帧图像的示意图。以图6中的关键帧图像为例，对该关键帧图像进行人脸识别，以获取其中的人物实体“马田”和“大力娇”；对该关键帧图像进行动作识别，以获取其中的动作“分享”；对该关键帧图像进行台词识别，或者对该关键帧图像对应的语音进行语音识别，以获取动作对象“情非得已”。其中，“马田”和“大力娇”对应的标注类型为人物类实体；“分享”对应的标注类型为“场景事件”；“情非得已”对应的标注类型为“作品类实体”。
[0076]
步骤503，根据至少一个关键帧图像的识别结果，确定视频的视频依存树。
[0077]
在本公开实施例中，可以将视频中至少一个关键帧图像的识别结果输入预设的依存树模型，以获取视频的视频依存树。
[0078]
其中，视频依存树具体可以为句法依存树。例如，视频依存树中可以包括视频对应的文本摘要中的各个词语，以及各个词语之间的依存关系；或者，视频依存树中可以包括视频中至少一个关键帧图像的识别结果中的各个词语，以及各个词语之间的依存关系。其中，视频对应的文本摘要，根据视频中至少一个关键帧图像的识别结果生成得到。
[0079]
在本公开实施例中，为了进一步提高依存树比对的准确度，可以对视频的视频依存树结合知识图谱进行更新处理，扩展视频依存树中的节点数量或者节点的字段信息。其中，以视频中的关键帧图像为图6中的关键帧图像为例，视频的更新后的视频依存树可以如图7所示。
[0080]
其中，在图7中，以图6中的视频为例，该视频的视频依存树中包括以下节点：“分享”、“马田”、“朱玮姣”、“情非得已”。其中，节点“马田”的扩展字段信息(图7中701所示)例如可以包括以下内容：character：“马田”；actor：“梁靖康”；actor＿baike＿url：https：//baike.baidu.com/item/％e6％a2％81％e9％9d％96％e5％ba％b7；video：“风犬少年的天空”。
[0081]
其中，节点“朱玮姣”的扩展字段信息(图7中702所示)例如可以包括以下内容：
character：“朱玮姣”；character＿alias：[“大力娇”]；actor：“周依然”；actor＿baikeid：https：//baike.baidu.com/item/％e5％91％a8％e4％be％9d％e7％84％b6；https：//baike.baidu.com/item/％e5％91％a8％e4％be％9d％e7％84％b6；video：“风犬少年的天空”。
[0082]
其中，节点“情非得已”的扩展字段信息(图7中703所示)例如可以包括以下内容：type：“音乐”；original＿singer：“庾澄庆”；baike＿url：https：//baike.baidu.com/item/％e6％83％85％e9％9d％9e％e5％be％97％e5％b7％b2/3527117；“歌词”：...。
[0083]
步骤504，确定待处理的搜索语句以及对应的分词标注结果，其中，分词标注结果包括：搜索语句中至少一个词语以及对应的标注类型。
[0084]
步骤505，根据至少一个词语以及对应的标注类型，确定搜索语句的语句依存树。
[0085]
步骤506，根据语句依存树查询视频库，以获取视频库中对应的视频依存树与语句依存树匹配的目标视频。
[0086]
步骤507，根据目标视频，生成搜索语句的视频搜索结果。
[0087]
需要说明的是，步骤504至507的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
[0088]
综上，通过针对视频库中的每个视频，获取视频中的至少一个关键帧图像；针对每个关键帧图像，对关键帧图像进行识别，以获取关键帧图像的识别结果，其中，识别结果包括：关键帧图像中至少一个识别词语以及对应的标注类型；根据至少一个关键帧图像的识别结果，确定视频的视频依存树；确定待处理的搜索语句以及对应的分词标注结果，其中，分词标注结果包括：搜索语句中至少一个词语以及对应的标注类型；根据至少一个词语以及对应的标注类型，确定搜索语句的语句依存树；根据语句依存树查询视频库，以获取视频库中对应的视频依存树与语句依存树匹配的目标视频；根据目标视频，生成搜索语句的视频搜索结果，从而通过依存树的比对，确定与搜索语句匹配的视频，避免人工标注视频的标题，成本低，且准确率高。
[0089]
为了减少视频库中需要比对的视频的数量，减少处理量，可以先根据搜索语句对应的分词标注结果对视频库中视频进行筛选处理，确定候选视频，进而进行比对。如图8所示，图8是根据本公开第四实施例的示意图。图8所示实施例可包括如下步骤：
[0090]
步骤801，确定待处理的搜索语句以及对应的分词标注结果，其中，分词标注结果包括：搜索语句中至少一个词语以及对应的标注类型。
[0091]
步骤802，根据至少一个词语以及对应的标注类型，确定搜索语句的语句依存树。
[0092]
步骤803，根据至少一个词语查询倒排索引库，获取对应有至少一个词语的多个候选视频；其中，倒排索引库中包括词语以及对应的视频。
[0093]
在本公开实施例中，视频搜索装置执行步骤803的过程例如可以为，针对搜索语句中的每个词语，查询倒排索引库，获取该词语对应的多个视频；将搜索语句中各个词语对应的多个视频进行比对，获取其中的相同视频，将该相同视频确定为候选视频。
[0094]
其中，以词语“马田”为例，倒排索引库中可以包括词语“马田”以及对应的视频。以词语“大力娇”为例，倒排索引库中可以包括词语“大力娇”以及对应的视频。
[0095]
在本公开实施例中，视频库中可以包括：视频对应的文本摘要。该文本摘要根据视频中至少一个关键帧图像的识别结果生成。在一种示例中，为了减少对搜索语句的处理量，
在步骤803之前，所述的方法还可以包括以下步骤：根据搜索语句查询视频库，以获取视频库中对应的文本摘要与搜索语句匹配的目标视频；若获取到目标视频，则执行结束；若未获取到目标视频，则执行步骤803。
[0096]
在另一种示例中，在步骤803之后，所述的方法还可以包括以下步骤：根据搜索语句查询视频库，以获取视频库中对应的文本摘要与搜索语句匹配的目标视频；若获取到目标视频，则执行结束；若未获取到目标视频，则执行步骤804。
[0097]
步骤804，根据语句依存树查询多个候选视频，以获取多个候选视频中对应的视频依存树与语句依存树匹配的目标视频。
[0098]
步骤805，根据目标视频，生成搜索语句的视频搜索结果。
[0099]
需要说明的是，步骤801、802和805的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
[0100]
综上，通过确定待处理的搜索语句以及对应的分词标注结果，其中，分词标注结果包括：搜索语句中至少一个词语以及对应的标注类型；根据至少一个词语以及对应的标注类型，确定搜索语句的语句依存树；根据至少一个词语查询倒排索引库，获取对应有至少一个词语的多个候选视频；其中，倒排索引库中包括词语以及对应的视频；根据语句依存树查询多个候选视频，以获取多个候选视频中对应的视频依存树与语句依存树匹配的目标视频；根据目标视频，生成搜索语句的视频搜索结果，从而通过结合搜索语句中至少一个词语以及对应的标注类型，筛选视频库中的候选视频，进而基于依存树的比对，确定候选视频中与搜索语句匹配的视频，避免人工标注视频的标题，成本低，计算量小，且准确率高。
[0101]
为了使本领域技术人员更加清楚地了解本公开，现举例进行说明。
[0102]
举例而言，如图9所示，是视频搜索方法的示意图。在图9中，对搜索语句(query)按照分类策略进行分类，确定搜索语句对应的搜索需求；在搜索需求为视频搜索需求时，对搜索语句按照成分解析策略进行解析，获取搜索语句中至少一个词语以及对应的标注类型；然后结合知识图谱进行字段扩展或者关联词语扩展，进而生成搜索语句的语句依存树(query知识成分语义依存关系树)。针对视频库(长视频资源库)中的每个视频，按照长视频语义理解策略进行关键帧提取以及识别，得到识别结果；根据识别结果生成视频的视频依存树(长视频片段语义库)。然后对搜索语句的语句依存树与视频库中视频的视频依存树按照语义匹配策略进行匹配，确定搜索语句对应的视频。
[0103]
为了实现上述实施例，本公开还提出一种视频搜索装置。
[0104]
如图10所示，图10根据本公开第五实施例的示意图。该视频搜索装置1000包括：第一确定模块1010、第二确定模块1020、第一查询模块1030和生成模块1040。
[0105]
其中，第一确定模块1010，用于确定待处理的搜索语句以及对应的分词标注结果，其中，所述分词标注结果包括：所述搜索语句中至少一个词语以及对应的标注类型；
[0106]
第二确定模块1020，用于根据所述至少一个词语以及对应的标注类型，确定所述搜索语句的语句依存树；
[0107]
第一查询模块1030，用于根据所述语句依存树查询视频库，以获取所述视频库中对应的视频依存树与所述语句依存树匹配的目标视频；
[0108]
生成模块1040，用于根据所述目标视频，生成所述搜索语句的视频搜索结果。
[0109]
作为本公开实施例的一种可能实现方式，所述第一确定模块1010具体用于，确定
待处理的搜索语句；对所述搜索语句进行分词处理，以获取所述搜索语句中的至少一个词语；根据所述至少一个词语以及所述搜索语句，确定所述至少一个词语对应的标注类型。
[0110]
作为本公开实施例的一种可能实现方式，所述第一确定模块1010具体用于，确定候选搜索语句以及对应的搜索需求；在所述搜索需求为视频搜索需求时，将所述候选搜索语句确定为所述待处理的搜索语句。
[0111]
作为本公开实施例的一种可能实现方式，所述装置还包括：第二查询模块和校正模块；所述第二查询模块，用于针对所述搜索语句中的每个词语，根据所述词语查询词典，以获取所述词典中与所述词语匹配的参考词语；所述校正模块，用于根据所述参考词语对所述词语进行校正处理。
[0112]
作为本公开实施例的一种可能实现方式，所述装置还包括：第三查询模块和更新模块；所述第三查询模块，用于针对所述语句依存树中的每个节点，根据所述节点查询知识图谱，获取所述节点的扩展字段信息和/或关联节点；所述更新模块，用于根据所述节点的扩展字段信息和/或关联节点，对所述语句依存树进行更新。
[0113]
作为本公开实施例的一种可能实现方式，所述第一查询模块1030具体用于，根据所述至少一个词语查询倒排索引库，获取对应有所述至少一个词语的多个候选视频；其中，所述倒排索引库中包括词语以及对应的视频；根据所述语句依存树查询所述多个候选视频，以获取所述多个候选视频中对应的视频依存树与所述语句依存树匹配的目标视频。
[0114]
作为本公开实施例的一种可能实现方式，所述视频库中还包括：视频对应的文本摘要；所述装置还包括：第四查询模块；所述第四查询模块，用于根据所述搜索语句查询所述视频库，以获取所述视频库中对应的文本摘要与所述搜索语句匹配的目标视频；对应的，所述第一查询模块1030具体用于，在根据所述搜索语句查询所述视频库未获取到所述目标视频时，根据所述语句依存树查询所述视频库，以获取所述视频库中对应的视频依存树与所述语句依存树匹配的目标视频。
[0115]
综上，通过确定待处理的搜索语句以及对应的分词标注结果，其中，分词标注结果包括：搜索语句中至少一个词语以及对应的标注类型；根据至少一个词语以及对应的标注类型，确定搜索语句的语句依存树；根据语句依存树查询视频库，以获取视频库中对应的视频依存树与语句依存树匹配的目标视频；根据目标视频，生成搜索语句的视频搜索结果，从而通过依存树的比对，确定与搜索语句匹配的视频，避免人工标注视频的标题，成本低，且准确率高。
[0116]
为了准确确定视频库中视频的视频依存树，如图11所示，图11是本公开第六实施例的示意图。该视频搜索装置1100包括：获取模块1110、识别模块1120、第三确定模块1130、第一确定模块1140、第二确定模块1150、第一查询模块1160、生成模块1170。
[0117]
其中，所述获取模块1110，用于针对所述视频库中的每个视频，获取所述视频中的至少一个关键帧图像；
[0118]
所述识别模块1120，用于针对每个所述关键帧图像，对所述关键帧图像进行识别，以获取所述关键帧图像的识别结果，其中，所述识别结果包括：所述关键帧图像中至少一个识别词语以及对应的标注类型；
[0119]
所述第三确定模块1130，用于根据所述至少一个关键帧图像的识别结果，确定所述视频的视频依存树；
[0120]
所述第一确定模块1140，用于确定待处理的搜索语句以及对应的分词标注结果，其中，所述分词标注结果包括：所述搜索语句中至少一个词语以及对应的标注类型；
[0121]
所述第二确定模块1150，用于根据所述至少一个词语以及对应的标注类型，确定所述搜索语句的语句依存树；
[0122]
所述第一查询模块1160，用于根据所述语句依存树查询视频库，以获取所述视频库中对应的视频依存树与所述语句依存树匹配的目标视频；
[0123]
所述生成模块1170，用于根据所述目标视频，生成所述搜索语句的视频搜索结果。
[0124]
作为本公开实施例的一种可能实现方式，所述识别模块1120具体用于，针对每个所述关键帧图像，对所述关键帧图像进行人脸识别，以获取人物实体以及对应的标注类型；对所述关键帧图像进行动作识别，以获取所述人物实体的动作信息以及所述动作信息对应的标注类型；对所述关键帧图像进行台词识别，或者对所述关键帧图像对应的语音进行语音识别，以获取所述人物实体的动作对象以及所述动作对象对应的标注类型；根据所述人物实体以及对应的标注类型、所述动作信息以及对应的标注类型、所述动作对象以及对应的标注类型，生成所述关键帧图像的所述识别结果。
[0125]
需要说明的是，第一确定模块1140、第二确定模块1150、第一查询模块1160、生成模块1170的详细描述可以参考图10中第一确定模块1010、第二确定模块1020、第一查询模块1030和生成模块1040的详细描述，本公开实施例并不对此作出限定，也不再赘述。
[0126]
综上，通过针对视频库中的每个视频，获取视频中的至少一个关键帧图像；针对每个关键帧图像，对关键帧图像进行识别，以获取关键帧图像的识别结果，其中，识别结果包括：关键帧图像中至少一个识别词语以及对应的标注类型；根据至少一个关键帧图像的识别结果，确定视频的视频依存树；确定待处理的搜索语句以及对应的分词标注结果，其中，分词标注结果包括：搜索语句中至少一个词语以及对应的标注类型；根据至少一个词语以及对应的标注类型，确定搜索语句的语句依存树；根据语句依存树查询视频库，以获取视频库中对应的视频依存树与语句依存树匹配的目标视频；根据目标视频，生成搜索语句的视频搜索结果，从而通过依存树的比对，确定与搜索语句匹配的视频，避免人工标注视频的标题，成本低，且准确率高。
[0127]
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均在征得用户同意的前提下进行，并且均符合相关法律法规的规定，且不违背公序良俗。
[0128]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0129]
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0130]
如图12所示，电子设备1200包括计算单元1201，其可以根据存储在只读存储器(rom)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(ram)1203中的计
算机程序，来执行各种适当的动作和处理。在ram 1203中，还可存储电子设备1200操作所需的各种程序和数据。计算单元1201、rom 1202以及ram1203通过总线1204彼此相连。输入/输出(i/o)接口1205也连接至总线1204。
[0131]
电子设备1200中的多个部件连接至i/o接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许电子设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0132]
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如视频搜索方法。例如，在一些实施例中，视频搜索方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由rom1202和/或通信单元1209而被载入和/或安装到电子设备1200上。当计算机程序加载到ram 1203并由计算单元1201执行时，可以执行上文描述的视频搜索方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频搜索方法。
[0133]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0134]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0135]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0136]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机
具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0137]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0138]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0139]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0140]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。