一种全模态时空定位推理数据构建及模型训练方法和系统与流程
本技术涉及人工智能及多模态数据处理,尤其涉及一种全模态时空定位推理数据构建及模型训练方法和系统。
背景技术:
1、随着多模态模型的发展,模型处理对象已经由静态图像与文本逐步扩展至包含连续视频、音频和文本信息的动态场景。在视频检索、智能安防、辅助驾驶及人机交互等应用中,理想的多模态模型不仅需要判断场景中发生的事件,还需要确定事件发生的时间区间和相关实体的空间位置,并根据定位到的视听信息解释事件原因、对象关系或者行为动机。相应地,用于模型训练的数据应当具备跨模态依赖性、时空证据可定位性及推理过程可验证性。
2、现有的一类数据构建方案利用视频类别标签、事件描述、问题模板或者检测结果生成视听问答数据。这类方案能够减少逐条人工标注的工作量,但通常仅根据目标事件是否出现或者生成答案是否符合预设模板判断样本是否有效,不能确认正确回答是否必须同时依赖音频信息和视觉信息。当视频背景、问题文本或者单一模态包含足以推断答案的信息时,模型即使缺失另一模态仍可能得到正确答案。利用此类样本训练模型,容易使模型依赖单一模态中的统计特征,而不能形成音频事件与视觉实体之间的稳定对应关系。
3、另一类方案将时间定位或者空间定位任务与视频问答任务结合,先确定事件发生的时间片段或者目标区域,再生成与事件相关的问题和答案。这类方案能够减少无关视频片段对问答过程的干扰,但定位标注和推理答案通常分别生成或者分别校验。即使模型给出的时间区间或者空间位置不准确,模型仍可能利用定位范围之外的上下文、问题中的先验信息或者单一模态线索得到正确答案。因此,此类方案不能确认第一阶段定位结果是否覆盖第二阶段推理需要的关键事件,也不能确认被定位的音频片段和视觉帧是否为得到推理答案所需要的证据。
4、还有一类方案在群组相对策略优化训练中设置答案奖励、格式奖励、时间定位奖励或者空间定位奖励,用于改善仅依据最终答案训练时奖励过于稀疏的问题。这类方案能够为模型输出提供多个评价维度,但各奖励通常按照固定权重参与训练,或者在组内结果奖励方差较低时直接跳过相应训练样本。当同一问题对应的多个采样结果全部正确时,结果奖励的组内差异趋近于零,但不同采样结果在时间区间和空间位置方面仍可能存在差异,直接跳过此类样本会使该部分定位差异不能转化为训练信号。另一方面,当多个采样结果全部错误时,直接依据定位得分提高相应输出的训练权重,又可能强化答案错误的模型输出。
5、上述数据筛选、证据定位和强化学习训练方案分别面向样本生成、无关片段过滤和奖励构造问题,其处理对象、校验依据及输出数据结构并不相同。将这些方案简单并列使用,不能自然获得同时满足跨模态必要依赖、定位证据与推理答案绑定以及低结果奖励离散度状态下安全形成相对训练信号的数据处理链路。
6、因此,如何构建必须依赖音频信息和视觉信息协同参与、能够由定位证据支持后续推理并能够在答案有效的低结果奖励离散度状态下继续提供定位训练信号的全模态时空定位推理数据,是本领域需要解决的技术问题。
技术实现思路
1、针对现有技术存在的不足,本技术的目的在于提供一种全模态时空定位推理数据构建及模型训练方法和系统,以提高训练样本的跨模态依赖程度,使定位结果与推理答案形成可验证的证据关系,并在同组模型输出的结果奖励缺乏区分度但答案有效性满足要求时,利用时空定位差异形成相对训练信号。
2、为实现上述目的,本技术提供了如下技术方案:
3、一种全模态时空定位推理数据构建方法,所述方法包括:
4、获取时间同步的候选音视频样本和对应的候选问题,分别将候选音视频样本构造成完整音视频输入、仅视觉输入和仅音频输入,并采用校验模型在三种输入条件下执行同一候选问题,根据三种输入条件下任务正确性的差异,从候选音视频样本中筛选需要音频信息与视觉信息协同参与推理的目标样本,其中,三种输入条件采用同一答案判定规则,校验模型在同一数据构建批次内保持参数不变;
5、对目标样本执行第一阶段定位任务,获得与候选问题相关的事件时间范围和目标实体空间位置中的一种或多种,根据第一阶段定位任务的结果从目标样本中提取定位证据;
6、将定位证据对应的音视频内容配置为第二阶段推理任务的限定音视频上下文,基于候选问题和限定音视频上下文构建第二阶段推理任务,使第二阶段推理任务仅基于限定音视频上下文生成目标问题、标准答案和推理路径;
7、建立定位证据与标准答案中的关键结论以及推理路径中的推理节点之间的证据引用关系,并将第一阶段定位任务数据、定位证据、第二阶段推理任务数据和证据引用关系封装为结构化时空定位推理数据。
8、在一优选例中,所述筛选需要音频信息与视觉信息协同参与推理的目标样本,包括:
9、根据由完整音视频输入切换为仅视觉输入时的任务正确性下降程度,确定音频信息对完成候选问题的贡献;根据由完整音视频输入切换为仅音频输入时的任务正确性下降程度,确定视觉信息对完成候选问题的贡献;
10、根据完整音视频输入下的任务正确性相对于两种单模态输入中较高任务正确性的增益,确定音频信息与视觉信息之间的协同贡献;
11、根据音频信息的贡献、视觉信息的贡献和协同贡献确定模态依赖评分;
12、在完整音视频输入下的任务正确性满足完整模态正确性要求、模态依赖评分满足模态依赖要求,并且仅视觉输入和仅音频输入下的任务正确性均不满足单模态可答要求时,将相应的候选音视频样本确定为目标样本。
13、在一优选例中,所述提取定位证据并构建第二阶段推理任务,包括:
14、由第一阶段定位任务输出事件时间范围、与事件相关的目标实体空间位置和定位置信信息中的一种或多种;
15、根据事件时间范围提取对应的音频片段和视频帧,并根据目标实体空间位置在对应视频帧中生成空间定位标注,为音频片段、视频帧和空间定位标注分别配置证据标识;
16、根据定位证据形成关键事件记录,所述关键事件记录包括事件类别、相关实体、时间范围、来源模态和证据标识中的一种或多种;
17、将第二阶段推理任务配置为仅接收定位证据对应的音视频内容,不向第二阶段推理任务提供定位证据范围之外的音视频内容;
18、使标准答案中的关键结论以及推理路径中的推理节点引用对应的关键事件记录和证据标识。
19、在一优选例中,所述方法在封装结构化时空定位推理数据之前还包括:
20、根据标准答案和推理路径确定完成目标问题所需的关键事件,根据定位证据所覆盖的关键事件在所需关键事件中所占的比例确定信息完整度;
21、根据使用完整定位证据时标准答案的正确性、推理路径的完整性和重复推理的一致性确定证据充分性;
22、分别移除音频定位证据和视觉定位证据,根据移除相应模态定位证据前后证据充分性的下降程度,确定音频证据必要性和视觉证据必要性;
23、在信息完整度、证据充分性和模态证据必要性均满足对应校验要求时,将相应数据确定为有效数据;
24、在信息完整度不满足对应校验要求时,通过增加视频帧、扩大事件时间范围和补充空间定位区域中的一项或多项重构定位证据;
25、在信息完整度满足对应校验要求而证据充分性不满足对应校验要求时,通过补充事件变化帧、调整推理路径和重新生成目标问题中的一项或多项进行重构;
26、在模态证据必要性不满足对应校验要求时,重新生成目标问题、标准答案和推理路径,并将重新生成的目标问题返回筛选目标样本的步骤重新执行三种输入条件下的任务,不以原目标问题重复执行三种输入条件下的任务;
27、在达到预设最大重构次数仍未通过校验时,从将相应数据排除出有效数据和将相应数据转入人工复核中选择一项进行处理。
28、在一优选例中,所述方法在封装结构化时空定位推理数据之后还包括:
29、将结构化时空定位推理数据作为模型训练数据,针对同一目标问题控制策略模型生成多个采样输出,每个采样输出包括定位结果和推理答案;
30、根据推理答案确定各采样输出的结果奖励,根据定位结果与标准定位标注之间的一致程度确定各采样输出的时空过程奖励,并确定同一采样组内结果奖励的离散程度和组内答案有效性;
31、在结果奖励的离散程度不低于预设离散度阈值时,采用基础过程奖励权重,根据结果奖励和时空过程奖励确定各采样输出的训练奖励;
32、在结果奖励的离散程度低于预设离散度阈值且组内答案有效性满足预设答案有效条件时,采用高于基础过程奖励权重的增强过程奖励权重,根据结果奖励和时空过程奖励确定各采样输出的训练奖励;
33、根据前述训练奖励确定同一采样组内各采样输出的组内相对优势,并基于组内相对优势更新策略模型;
34、在结果奖励的离散程度低于预设离散度阈值且组内答案有效性不满足预设答案有效条件时,不基于当前采样组执行策略模型的参数更新,并从重新采样、执行纠错数据处理和跳过本次模型参数更新中选择一项进行处理。
35、在一优选例中,所述结果奖励根据推理答案与标准答案之间的一致程度以及采样输出是否满足预设输出格式确定;
36、所述时空过程奖励包括时间定位奖励和空间定位奖励中的一种或多种,时间定位奖励根据预测事件时间范围与标准事件时间范围之间的重合程度确定,空间定位奖励根据预测目标实体空间位置与标准目标实体空间位置之间的重合程度确定;
37、所述结构化时空定位推理数据还包括与目标问题对应的任务掩码,所述任务掩码用于表征目标问题是否要求输出事件时间范围和目标实体空间位置,并用于确定时间定位奖励和空间定位奖励是否参与时空过程奖励;
38、所述基础过程奖励权重为非负权重,所述增强过程奖励权重大于基础过程奖励权重。
39、在一优选例中,将同一采样组内各采样输出的结果奖励的标准差作为结果奖励的离散程度;
40、根据同一采样组内各采样输出的答案正确性平均值和答案有效输出比例确定组内答案有效性;
41、根据同一采样组内各采样输出的训练奖励的均值和标准差确定各采样输出的组内相对优势;
42、在采用增强过程奖励权重后,同一采样组内训练奖励的离散程度仍低于预设训练奖励离散度阈值时,从重新采样、增加同一目标问题对应的采样输出数量和跳过本次模型参数更新中选择一项进行处理;
43、所述纠错数据处理包括根据标准答案和标准定位标注生成对照样本、补充错误定位负例和对相应结构化时空定位推理数据重新标注中的一种或多种。
44、一种全模态时空定位推理数据构建系统,所述系统包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器用于执行所述计算机程序,以使所述系统:
45、获取时间同步的候选音视频样本和对应的候选问题,分别将候选音视频样本构造成完整音视频输入、仅视觉输入和仅音频输入,采用在同一数据构建批次内参数保持不变的校验模型,在三种输入条件下执行同一候选问题,并根据三种输入条件下任务正确性的差异筛选需要音频信息与视觉信息协同参与推理的目标样本;
46、对目标样本执行第一阶段定位任务,根据第一阶段定位任务的结果提取定位证据;
47、将定位证据对应的音视频内容配置为第二阶段推理任务的限定音视频上下文,使第二阶段推理任务仅基于限定音视频上下文生成目标问题、标准答案和推理路径;
48、建立定位证据与标准答案中的关键结论以及推理路径中的推理节点之间的证据引用关系,并将第一阶段定位任务数据、定位证据、第二阶段推理任务数据和证据引用关系封装为结构化时空定位推理数据。
49、在一优选例中,所述处理器还用于:
50、将结构化时空定位推理数据作为模型训练数据,针对同一目标问题控制策略模型生成多个采样输出,每个采样输出包括定位结果和推理答案;
51、根据采样输出中的推理答案确定结果奖励,根据采样输出中的定位结果与标准定位标注之间的一致程度确定时空过程奖励,并确定同一采样组内结果奖励的离散程度和组内答案有效性;
52、在结果奖励的离散程度不低于预设离散度阈值时,采用基础过程奖励权重,根据结果奖励和时空过程奖励确定各采样输出的训练奖励;
53、在结果奖励的离散程度低于预设离散度阈值且组内答案有效性满足预设答案有效条件时,采用高于基础过程奖励权重的增强过程奖励权重确定训练奖励;
54、根据训练奖励确定同一采样组内各采样输出的组内相对优势,并基于组内相对优势更新策略模型;
55、在结果奖励的离散程度低于预设离散度阈值且组内答案有效性满足预设答案有效条件时,采用高于基础过程奖励权重的增强过程奖励权重,根据结果奖励和时空过程奖励确定各采样输出的训练奖励。
56、一种非瞬时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,使所述处理器实现上述的方法。
57、与现有技术相比,本技术的主要技术效果在于:通过参数冻结的校验模型对同一候选样本实施完整音视频、仅视觉和仅音频三种输入条件下的对照测试,将完整模态条件下可回答的样本与必须依赖音视频协同才能回答的样本区分开来;通过将第一阶段定位结果对应的音频片段和视觉帧限定为第二阶段推理的证据输入,并进一步校验关键事件覆盖程度、证据充分性及模态证据必要性,使时间区间、空间位置与推理答案形成可追踪的证据关系;在组内结果奖励缺乏差异但答案有效性满足要求时,根据模型输出之间仍然存在的时间定位差异和空间定位差异形成相对训练信号,同时避免在组内答案有效性不足时仅依据定位差异强化错误答案。
58、进一步地,通过将模态依赖评分作为样本是否进入双阶段数据构建过程的主要判据,并将退化评分作为通过筛选后的分层或者抽检依据,可以减少两个相近评分并列作为必要门槛造成的重复判断。
59、进一步地,通过分别判断信息完整度和证据充分性,并根据二者的组合状态选择关键帧补充、时间窗口扩展、关键事件集合修正或者问题重写,可以区分关键事件数量覆盖不足、证据粒度不足和关键事件集合设置不当等不同失败原因。
60、进一步地,通过同时保留答案得分、时间定位得分、空间定位得分和对应的耦合得分,可以判断模型错误来源于答案生成还是定位过程,并避免仅以单一总分表示模型性能时不同错误相互补偿。
61、进一步地,通过以组内结果奖励离散度和组内答案有效性作为过程奖励权重的共同调节依据,可以在结果奖励已经具有区分度时保留原有答案排序,在结果奖励缺乏区分度但答案有效时利用时空定位精度恢复训练信号,并在结果奖励缺乏区分度且答案无效时停止相应的策略更新。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com