样本生成、模型训练、视频问答方法、装置、智能体、设备、介质和产品与流程

摘要: 本公开涉及人工智能,尤其涉及计算机视觉、深度学习、大模型等,更具体地,涉及一种样本生成、模型训练、视频问答方法、装置、智能体、设备、介质和产品。背景技术:1、长...
样本生成、模型训练、视频问答方法、装置、智能体、设备、介质和产品与流程

本公开涉及人工智能,尤其涉及计算机视觉、深度学习、大模型等,更具体地,涉及一种样本生成、模型训练、视频问答方法、装置、智能体、设备、介质和产品。

背景技术:

1、长视频(如数十分钟至数小时的视频)中包含大量在时间上分散、跨模态的数据,因此,长视频理解与问答任务需要模型在长时间跨度、多模态的信息中检索证据并进行推理回答。

技术实现思路

1、有鉴于此,本公开提供了一种样本生成、模型训练、视频问答方法、装置、智能体、设备、介质和产品。

2、根据本公开的一个方面,提供了一种样本生成方法,包括:根据用于当前轮次训练的引导信息,从样本视频的多个候选样本片段 中,确定用于当前轮次训练的目标样本片段,其中,上述引导信息指示了经上一轮次训练得到的模型在当前轮次训练中需调整的能力维度;根据基于上述目标样本片段得到的样本问题和样本答案,从多个上述候选样本片段中确定干扰样本片段,其中,上述干扰样本片段与上述目标样本片段的语义相匹配、且与上述样本答案的语义未匹配;以及,将上述样本问题、上述样本答案、上述目标样本片段和上述干扰样本片段,作为用于当前轮次训练的训练样本。

3、根据本公开的另一个方面,提供了一种模型训练方法,包括:获取用于当前轮次训练的训练样本,其中,上述训练样本是利用样本生成方法得到的,上述训练样本包括样本问题、样本答案、目标样本片段和干扰样本片段;利用上述训练样本训练经上一轮次训练得到的模型中的检索模块,得到经训练的检索模块;以及,在保持上述经训练的检索模块的模型参数不变的情况下,利用上述样本问题、上述证据片段和上述样本答案训练上述经上一轮次训练得到的模型中的回答模块,得到经当前轮次训练得到的模型。

4、根据本公开的另一个方面,提供了一种视频问答方法,包括:响应于接收到针对目标视频的待处理问题,将上述目标视频和上述待处理问题输入至经训练的模型中的检索模块,得到目标片段,其中,上述目标视频包括多个候选片段,上述经训练的模型是利用视频问答方法得到的;以及,将上述目标问题和上述目标片段输入至上述经训练的模型中的回答模块,得到上述目标答案。

5、根据本公开的另一个方面,提供了一种样本生成装置,包括:第一确定模块,用于根据用于当前轮次训练的引导信息,从样本视频的多个候选样本片段 中,确定用于当前轮次训练的目标样本片段,其中,上述引导信息指示了经上一轮次训练得到的模型在当前轮次训练中需调整的能力维度;第二确定模块,用于根据基于上述目标样本片段得到的样本问题和样本答案,从多个上述候选样本片段中确定干扰样本片段,其中,上述干扰样本片段与上述目标样本片段的语义相匹配、且与上述样本答案的语义未匹配;以及,样本生成模块,用于将上述样本问题、上述样本答案、上述目标样本片段和上述干扰样本片段,作为用于当前轮次训练的训练样本。

6、根据本公开的另一个方面,提供了一种模型训练装置,包括:获取模块,用于获取用于当前轮次训练的训练样本,其中,上述训练样本是利用样本生成装置得到的,上述训练样本包括样本问题、样本答案、目标样本片段和干扰样本片段;第一训练模块,用于利用上述训练样本训练经上一轮次训练得到的模型中的检索模块,得到经训练的检索模块;以及,第二训练模块,用于在保持上述经训练的检索模块的模型参数不变的情况下,利用上述样本问题、上述证据片段和上述样本答案训练上述经上一轮次训练得到的模型中的回答模块,得到经当前轮次训练得到的模型。

7、根据本公开的另一个方面,提供了一种视频问答装置,包括:第一问答模块,用于响应于接收到针对目标视频的待处理问题,将上述目标视频和上述待处理问题输入至经训练的模型中的检索模块,得到目标片段,其中,上述目标视频包括多个候选片段,上述经训练的模型是利用模型训练装置得到的;以及,第二问答模块,用于将上述目标问题和上述目标片段输入至上述经训练的模型中的回答模块,得到上述目标答案。

8、根据本公开的另一个方面,提供了一种基于大模型的智能体,包括:输入模块,用于接收输入信息;处理模块,用于基于上述输入模块接收的上述输入信息确定目标任务,基于上述目标任务确定目标大模型,通过调用上述目标大模型执行上述方法,得到输出信息;以及,输出模块,用于输出上述处理模块得到的上述输出信息。

9、根据本公开的另一方面,提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,其中,上述一个或多个处理器执行上述一个或多个计算机程序以实现上述方法的步骤。

10、根据本公开的另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。

11、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。。

12、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种样本生成方法,包括:

2.根据权利要求1所述的方法,其中,用于当前轮次训练的引导信息是通过以下方式得到的:

3.根据权利要求1所述的方法,其中,所述根据基于所述目标样本片段得到的样本问题和样本答案,从多个所述候选样本片段中确定干扰样本片段,包括:

4.根据权利要求1至3中任一项所述的方法,其中,所述将所述样本问题、所述样本答案、所述目标样本片段和所述干扰样本片段,作为用于当前轮次训练的训练样本,包括:

5.根据权利要求4所述的方法,其中,所述对所述样本问题、所述样本答案、所述目标样本片段和所述干扰样本片段进行质量评估,包括以下至少之一:

6.一种模型训练方法,包括:

7.根据权利要求6所述的方法,其中,所述利用所述训练样本训练经上一轮次训练得到的模型中的检索模块,得到经训练的检索模块,包括:

8.根据权利要求7所述的方法,其中,所述根据所述训练样本,对所述检索模块进行第一阶段训练,得到中间检索模块,包括:

9.根据权利要求7或8所述的方法,其中,所述对所述中间检索模块进行第二阶段训练,得到所述经训练的检索模块,包括:

10.一种视频问答方法,包括:

11.一种样本生成装置,包括:

12.一种模型训练装置,包括:

13.一种视频问答装置,包括:

14.一种基于大模型的智能体,包括:

15.一种电子设备,包括:

16.一种计算机可读存储介质,其上存储有计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现根据权利要求1~10中任一项所述方法的步骤。

17.一种计算机程序产品,包括计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现根据权利要求1~10中任一项所述方法的步骤。