沉浸式内容生成模型快速适配方法、装置、设备及介质与流程

摘要: 本技术涉及人工智能与虚拟现实,具体涉及一种沉浸式内容生成模型快速适配方法、装置、设备及介质。背景技术:1、在沉浸式内容生成领域,针对新场景的模型适配通常采用预训...
沉浸式内容生成模型快速适配方法、装置、设备及介质与流程

本技术涉及人工智能与虚拟现实,具体涉及一种沉浸式内容生成模型快速适配方法、装置、设备及介质。

背景技术:

1、在沉浸式内容生成领域,针对新场景的模型适配通常采用预训练与微调相结合的技术路线。然而,现有技术在面对少样本条件时仍存在不足:一方面,传统微调策略对标注数据依赖较强,在样本稀缺场景下难以充分收敛,且全参数更新方式容易使模型对有限样本产生过拟合,影响预训练阶段获得的通用特征表征;另一方面,现有生成模型通常未对沉浸式内容中的动态运动模式及多模态交互关系进行充分建模,导致生成结果容易出现时间维度跳变、空间结构失真等问题,难以满足虚拟现实等应用场景对高保真度与低延迟的需求。此外,常规数据增强方式缺乏领域先验知识约束,难以在极少量样本条件下生成语义与结构一致的高质量伪数据,进一步限制了模型的适配精度与泛化能力。

技术实现思路

1、本技术的目的在于提供一种沉浸式内容生成模型快速适配方法、装置、设备及介质,以解决现有沉浸式内容生成模型在少样本目标场景下存在的适配效率低、过拟合风险高、生成内容时序稳定性差以及目标场景一致性不足的问题。

2、第一方面,提供一种沉浸式内容生成模型快速适配方法,包括:

3、获取多领域沉浸式数据,构建包含时序片段的元任务数据集,并利用所述元任务数据集对基础生成模型执行元训练;

4、获取目标场景的少样本标注数据,将所述少样本标注数据输入经元训练后的基础生成模型,并在集成有轻量化微调模块的基础生成模型中,根据目标场景时序样本的运动强度对参数更新梯度进行加权,以得到初步适配模型;

5、基于目标场景先验知识对所述初步适配模型生成的候选样本进行约束筛选,得到语义一致的伪样本,并基于所述伪样本构建目标场景扩充数据集;

6、利用所述目标场景扩充数据集对所述初步适配模型进行分层迁移优化,得到适配于目标场景的沉浸式内容生成模型。

7、可选地,所述构建包含时序片段的元任务数据集,包括:

8、从筛选后的多领域沉浸式数据中采样多个不同领域的数据;

9、按照预设时间窗口对采样得到的数据进行切分,得到多个时序片段;

10、在每个采样领域内,将部分时序片段划分为支持集,并将另一部分时序片段划分为查询集;

11、将所述支持集和所述查询集组合为元任务,以构建所述元任务数据集。

12、可选地,所述利用所述元任务数据集对基础生成模型执行元训练,包括:

13、将元任务的支持集输入基础生成模型,计算任务内损失,并基于所述任务内损失对基础生成模型的初始参数进行任务内更新,得到任务特定参数;

14、将所述任务特定参数应用于所述元任务的查询集,计算元损失;

15、基于所述元损失更新基础生成模型的通用参数,直至元验证结果满足预设收敛条件。

16、可选地,所述轻量化微调模块包括设置于基础生成模型的特征提取层与时序编码层之间的自适应特征融合层,以及设置于基础生成模型的输出层之前的时序感知调整层;所述自适应特征融合层用于融合空间特征和目标场景专属特征,所述时序感知调整层用于增强目标场景的时序动态特征。

17、可选地,对所述基础生成模型进行时序感知参数微调时,保持基础生成模型的底层参数冻结,并更新基础生成模型的顶层参数、所述自适应特征融合层的参数以及所述时序感知调整层的参数。

18、可选地,所述根据目标场景时序样本的运动强度对参数更新梯度进行加权,包括:

19、根据目标场景时序样本中相邻帧之间的像素差异计算运动强度;

20、根据所述运动强度确定掩码权重,以构建动态掩码矩阵,其中像素差异越小,对应掩码权重越大;

21、将所述动态掩码矩阵与参数更新过程中的原始梯度向量按元素相乘,得到加权梯度向量;

22、基于所述加权梯度向量更新可训练参数。

23、可选地,所述基于目标场景先验知识对所述初步适配模型生成的候选样本进行约束筛选,包括:

24、将目标场景的场景结构约束、物理运动规律和/或光影约束转化为可量化约束条件;

25、利用所述初步适配模型生成候选样本;

26、将所述候选样本与所述可量化约束条件进行匹配验证;

27、将满足所述可量化约束条件的候选样本确定为所述伪样本。

28、可选地,所述利用所述目标场景扩充数据集对所述初步适配模型进行分层迁移优化,包括:

29、将所述目标场景扩充数据集输入所述初步适配模型,并提取通用特征和目标特征;

30、对所述通用特征施加跨域对比损失约束;

31、对所述目标特征施加目标场景语义损失约束;

32、基于所述跨域对比损失和所述目标场景语义损失对所述初步适配模型进行联合优化。

33、可选地,在分层迁移优化过程中,对用于提取通用特征的网络层采用逐步降低的学习率,对用于提取目标特征的网络层采用逐步提高的学习率。

34、可选地,在得到适配于目标场景的沉浸式内容生成模型之前,所述方法还包括:

35、对经分层迁移优化后的生成模型执行时空一致性和/或细节保真度验证,并在验证通过时,将经分层迁移优化后的生成模型确定为适配于目标场景的沉浸式内容生成模型。

36、第二方面,提供一种沉浸式内容生成模型快速适配装置,包括:

37、元训练模块,用于获取多领域沉浸式数据,构建包含时序片段的元任务数据集,并利用所述元任务数据集对基础生成模型执行元训练;

38、微调模块,用于获取目标场景的少样本标注数据,将所述少样本标注数据输入经元训练后的基础生成模型,并在集成有轻量化微调模块的基础生成模型中,根据目标场景时序样本的运动强度对参数更新梯度进行加权,以得到初步适配模型;

39、扩充模块,用于基于目标场景先验知识对所述初步适配模型生成的候选样本进行约束筛选,得到语义一致的伪样本,并基于所述伪样本构建目标场景扩充数据集;

40、优化模块,用于利用所述目标场景扩充数据集对所述初步适配模型进行分层迁移优化,得到适配于目标场景的沉浸式内容生成模型。

41、第三方面,提供一种通信设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述的方法。

42、第四方面,提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的方法。

43、第五方面,提供一种计算机程序产品,包括计算机程序或指令,所述计算机程序或指令被执行时实现如第一方面所述的方法。

44、在本实施例中,先获取多领域沉浸式数据并构建包含时序片段的元任务数据集,再利用所述元任务数据集对基础生成模型执行元训练。由于元任务数据集包含不同领域的沉浸式数据及其时序片段,基础生成模型能够在元训练阶段学习不同沉浸式场景之间可迁移的空间特征和时序特征,从而为目标场景少样本适配提供较好的参数基础。

45、在完成元训练后,将目标场景的少样本标注数据输入经元训练后的基础生成模型,并在集成有轻量化微调模块的基础生成模型中,根据目标场景时序样本的运动强度对参数更新梯度进行加权。该处理使参数更新过程能够与目标场景时序样本的动态变化程度相匹配,减少剧烈运动片段或异常变化片段对模型参数更新的干扰,并在少样本条件下降低全量参数微调导致的过拟合风险,从而得到具有目标场景初步适配能力的初步适配模型。

46、在得到初步适配模型后,基于目标场景先验知识对初步适配模型生成的候选样本进行约束筛选,并将满足目标场景先验知识的候选样本确定为语义一致的伪样本。由于该伪样本经过场景结构约束、物理运动规律和/或光影约束等先验知识筛选,其与目标场景之间具有更高的一致性,因此能够在真实标注样本数量有限的情况下提高目标场景扩充数据集的有效性。

47、进一步地,利用目标场景扩充数据集对初步适配模型进行分层迁移优化,使模型能够在保持元训练阶段形成的通用迁移能力的同时,进一步强化目标场景专属特征学习。通过对通用特征和目标特征进行分层处理,并结合对应的损失约束和学习率更新策略,可以降低通用特征保持与目标场景适配之间的优化冲突,提高模型对目标场景的适配稳定性。

48、因此,本技术能够在目标场景标注样本较少的情况下,通过元训练、基于运动强度的梯度加权微调、先验约束伪样本扩充以及分层迁移优化之间的协同处理,提高沉浸式内容生成模型的适配效率,降低过拟合风险,并改善生成内容的时序稳定性、空间合理性和目标场景一致性。