一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

视频数据检索方法、装置、设备、介质及产品与流程

2021-11-22 13:15:00 来源:中国专利 TAG:

技术特征:
1.一种视频数据检索方法,其特征在于,包括:接收终端设备发送的用户语音信息;确定所述用户语音信息对应的语义相关信息;根据所述用户语音信息和所述语义相关信息在预设的视频信息数据库中搜索出匹配的目标视频片段信息;所述预设的视频信息数据库存储有包括所述目标视频片段信息在内的多个视频片段信息,各视频片段信息是根据对应的最终视频片段图片的图片相关特征和所属的视频数据标识生成的,所述最终视频片段图片是属于预设情节类型的视频片段图片;向终端设备发送所述目标视频片段信息,所述目标视频片段信息用于指示终端设备播放对应的目标视频片段。2.根据权利要求1所述的方法,其特征在于,所述语义相关信息包括用户语音信息的分词信息和核心实体信息;所述确定所述用户语音信息对应的语义相关信息,包括:对所述用户语音信息进行分词处理,以确定对应的分词信息;对所述用户语音信息进行命名实体识别,以确定对应的核心实体信息。3.根据权利要求2所述的方法,其特征在于,所述根据所述用户语音信息和所述语义相关信息在预设的视频信息数据库中搜索出匹配的目标视频片段信息,包括:根据所述分词信息和所述核心实体信息在预设的视频信息数据库中搜索出匹配的至少一个候选视频片段信息;将所述用户语音信息和各候选视频片段信息进行语义相似度计算,以确定用户语音信息与各候选视频片段信息之间的相似度;将相似度大于预设相似阈值的候选视频片段信息确定为目标视频片段信息。4.根据权利要求3所述的方法,其特征在于,所述根据所述用户语音信息和所述语义相关信息在预设的视频信息数据库中搜索出匹配的目标视频片段信息之前,还包括:获取待处理的视频数据和对应的视频数据标识;按照预设的抽取去重策略对所述目标视频数据进行抽取去重处理,以生成抽取去重后的多个初始视频片段图片;根据训练至收敛的卷积神经网络和所述初始视频片段图片确定最终视频片段图片;将所述最终视频片段图片的图片相关特征和所属的视频数据标识确定为视频数据对应的视频片段信息,并将视频数据对应的视频片段信息存储在预设的视频信息数据库中,所述图片相关特征包括图片所属预设情节类别及在视频数据中所属视频时间。5.根据权利要求4所述的方法,其特征在于,所述根据训练至收敛的卷积神经网络和所述初始视频片段图片确定最终视频片段图片,包括:将所述初始视频片段图片输入训练至收敛的卷积神经网络,以输出初始视频片段图片对应的所属情节类别和所属情节类别对应的概率数值;判断所述初始视频片段图片所属情节类别对应的概率数值是否大于预设概率阈值;若确定初始视频片段图片所属情节类别对应的概率数值大于预设概率阈值,则将该初始视频片段图片确定为最终视频片段图片。6.根据权利要求4所述的方法,其特征在于,所述按照预设的抽取去重策略对所述目标
视频数据进行抽取去重处理,以生成抽取去重后的多个初始视频片段图片,包括:按照预设的抽取策略对所述目标视频数据进行抽取,以生成多个抽取后的视频片段图片;对各抽取后的视频片段图片进行去重处理,以确定去重后的初始视频片段图片。7.根据权利要求6所述的方法,其特征在于,所述对各抽取后的视频片段图片进行去重处理,以确定去重后的初始视频片段图片,包括:将各所述抽取后的视频片段图片按照所属视频时间进行排序,以生成排序后的视频片段图片;对排序后的视频片段图片分别进行平均哈希处理,以确定各所述抽取后的视频片段图片对应的平均哈希向量;根据各所述抽取后的视频片段图片对应的平均哈希向量确定抽取后的视频片段图片之间的汉明距离,并根据所述汉明距离,对各抽取后的视频片段图片进行去重处理,以确定去重后的初始视频片段图片。8.根据权利要求7所述的方法,其特征在于,所述根据各所述抽取后的视频片段图片对应的平均哈希向量确定抽取后的视频片段图片之间的汉明距离,并根据所述汉明距离,对各抽取后的视频片段图片进行去重处理,以确定去重后的初始视频片段图片,包括:循环执行以下操作,以确定去重后的初始视频片段图片:确定当前抽取后的视频片段图片对应的平均哈希向量与其他剩余的抽取后的视频片段图片对应的平均哈希向量之间的汉明距离;删除汉明距离小于预设距离阈值所对应的其他剩余的抽取后的视频片段图片,将下一抽取后的视频片段图片确定为当前抽取后的视频片段图片。9.根据权利要求7所述的方法,其特征在于,所述根据各所述抽取后的视频片段图片对应的平均哈希向量确定抽取后的视频片段图片之间的汉明距离,并根据所述汉明距离,对各抽取后的视频片段图片进行去重处理,以确定去重后的初始视频片段图片,包括:确定排序首位和第二位的视频片段图片的向量之间的汉明距离是否小于预设距离阈值;若确定排序首位和第二位的视频片段图片的向量之间的汉明距离小于预设距离阈值,则删除第二位视频片段图片;将第三位视频片段图片确定为第二位视频片段图片,并执行所述确定排序首位和第二位的视频片段图片的向量之间的汉明距离是否小于预设距离阈值的步骤;若确定排序首位和第二位的视频片段图片的向量之间的汉明距离大于或等于预设距离阈值,则将首位视频片段图片和第二位视频片段图片确定为初始视频片段图片;将第二位视频片段图片确定为首位视频片段图片,第三位视频片段图片确定为第二位视频片段图片,并执行所述确定排序首位和第二位的视频片段图片的向量之间的汉明距离是否小于预设距离阈值的步骤。10.一种视频数据检索装置,其特征在于,包括:接收模块,用于接收终端设备发送的用户语音信息;确定模块,用于确定所述用户语音信息对应的语义相关信息;搜索模块,用于根据所述用户语音信息和所述语义相关信息在预设的视频信息数据库
中搜索出匹配的目标视频片段信息;所述预设的视频信息数据库存储有包括所述目标视频片段信息在内的多个视频片段信息,各视频片段信息是根据对应的最终视频片段图片的图片相关特征和所属的视频数据标识生成的,所述最终视频片段图片是属于预设情节类型的视频片段图片;发送模块,用于向终端设备发送所述目标视频片段信息,所述目标视频片段信息用于指示终端设备播放对应的目标视频片段。11.一种电子设备,其特征在于,包括:存储器,处理器;存储器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为由所述处理器执行如权利要求1至9任一项所述的视频数据检索方法。12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至9任一项所述的视频数据检索方法。13.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至9任一项所述的视频数据检索方法。

技术总结
本发明实施例提供一种视频数据检索方法、装置、设备、介质及产品,该方法通过预先在视频信息数据库中存储包括目标视频片段信息在内的多个视频片段信息,目标视频片段信息具有视频数据标识和图片相关特征。图片相关特征与用户语音信息相匹配。在接收到终端设备发送的用户语音信息后,可以根据用户语音信息以及语义相关信息直接从预设的视频信息数据库中搜索出匹配的目标视频片段信息。然后向终端设备发送目标视频片段信息,以指示终端设备根据该目标视频片段信息播放对应的目标视频片段,实现对视频内容检索的支持,从而解决了目前的检索方式仅支持视频整体检索如检索某一集视频,并不能较好的支持视频内容检索的问题。不能较好的支持视频内容检索的问题。不能较好的支持视频内容检索的问题。


技术研发人员:李俊彦
受保护的技术使用者:海信电子科技(武汉)有限公司
技术研发日:2021.09.03
技术公布日:2021/11/21
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献