一种基于隐空间时序插值与语义资产推荐的XR虚拟预演内容生成方法

摘要: 本发明属于xr虚拟预演、隐空间动画生成、三维资产检索、语义推荐和数字资产复用,具体涉及一种基于隐空间时序插值与语义资产推荐的xr虚拟预演内容生成方法,尤其涉及一...
一种基于隐空间时序插值与语义资产推荐的XR虚拟预演内容生成方法

本发明属于xr虚拟预演、隐空间动画生成、三维资产检索、语义推荐和数字资产复用,具体涉及一种基于隐空间时序插值与语义资产推荐的xr虚拟预演内容生成方法,尤其涉及一种将2d编码器、隐空间向量插值、3d生成器与判别器、lfd光场描述符、cnn/dnn分类和知识图谱推荐与xr虚拟摄制、实时直播、虚实融合或虚拟预演场景结合的工程化方案。

背景技术:

1、随着数字技术和新型数码产品的发展,图像处理、计算机图形学和实时交互技术在影视剧特效、晚会直播、电商直播和虚拟发布会中得到广泛应用。虚实画面实时渲染融合要求真实场景与虚拟场景在空间位置、时间同步、光照风格和输出帧率上保持一致。

2、在实际应用中,系统以数字化展示技术为基础,研发基于双目视觉的ar直播平台系统,围绕虚实画面实时渲染融合、摄像机实时跟踪、绿幕背景下前景实时抠像、动态渲染、动作捕捉、虚拟预演自动布景、虚实交互、角色实时生成和三维模型资产库构建等共性技术,形成实时直播与虚拟预演全流程解决方案。

3、xr虚拟预演需要快速生成烟雾、火焰、水流等动态特效,并从大量三维模型中检索合适资产。传统手工制作和检索方式耗时较长,直接隐空间线性插值又可能造成动画运动突变和模糊,难以支撑直播或影视内容快速预演。

4、现有系统往往只解决单一环节,例如只完成相机跟踪、只完成抠像或只完成渲染,缺少把真实拍摄、算法处理、虚拟场景和应用案例连接起来的完整技术链路。因此,需要围绕xr虚拟摄制实际工程需求提炼系统、方法和实施例。

5、本发明中,xr为extended reality,即扩展现实;ar为augmented reality,即增强现实;clip为contrastive language-image pre-training,即对比语言-图像预训练模型;lfd为light field descriptor,即光场描述符;cnn为convolutional neural network,即卷积神经网络;dnn为deep neural network,即深度神经网络;mlp为multi-layerperceptron,即多层感知机。

技术实现思路

1、本发明的目的在于提供一种基于隐空间时序插值与语义资产推荐的xr虚拟预演内容生成方法,使导演文本、参考图像、烟雾或转场特效、三维资产和场景约束能够在预演阶段快速生成、检索、组合和复用。

2、为实现上述目的,本发明将文本需求、参考图像、关键帧、体积特效数据和三维资产库统一编码为多模态表示,并采用clip语义对齐、latent diffusion潜空间扩散生成、隐空间时序插值和资产排序反馈形成预演内容生成链路。

3、clip多模态语义对齐模块用于计算文本需求、参考图像和资产缩略图之间的相似度,使系统能够理解同义描述、视觉风格和场景关系,减少对关键词匹配的依赖。

4、latent diffusion模块用于在潜空间生成或修正特效关键帧。与直接像素或体素生成相比,潜空间扩散更适合快速预演,可在较低维表示中表达烟雾、光效、转场和虚拟背景的整体结构。

5、隐空间时序插值模块用于在相邻关键帧之间生成连续预演序列。系统可采用线性插值、球面插值或扩散引导插值,并通过时序平滑损失抑制烟雾、火焰或体积特效在关键帧之间发生突变。

6、资产排序反馈模块用于根据clip相似度、lfd形状相似度、cnn/dnn类别特征、场景关系、历史复用稳定性和人工选择结果生成资产推荐得分。被多次采纳的资产提高排序权重,被拒绝或替换的资产降低排序权重。

7、本发明的输入接口包括导演文本需求、参考图像、关键帧、三维模型资产、资产标签、场景关系和人工反馈;输出接口包括候选特效序列、资产推荐列表、生成置信度、时序平滑指标、人工复核任务和预演归档记录。

8、通过上述技术方案,本发明解决了xr预演中关键词检索语义不足、手工制作特效耗时、隐空间插值容易突变和资产复用缺少反馈学习的问题,形成面向虚拟预演内容生成的具体多模态算法链路。

9、知识图谱推荐模块为本发明设置的语义约束模块。系统将三维资产、资产类别、材质风格、适用场景、镜头用途、历史采纳记录和人工拒绝原因组织为图谱节点和关系边,使资产推荐不仅依据关键词或缩略图相似度,还能考虑发布会背景、直播间产品展台、烟雾转场、主视觉元素和辅助道具之间的场景关系。

10、clip语义对齐模块用于把导演文本、参考图像和资产缩略图映射到同一语义空间,解决自然语言描述与视觉素材之间的跨模态匹配问题;latent diffusion模块用于在潜空间生成或细化烟雾、光效、转场或背景关键帧;隐空间时序插值模块用于在关键帧之间生成连续预演序列,并通过时序平滑约束抑制突变。

11、lfd形状检索模块用于补足clip对三维几何外形表达不足的问题。系统从多个视角提取三维模型的光场描述符,并与clip相似度、cnn/dnn类别特征、知识图谱关系得分、历史复用稳定性和人工反馈共同形成推荐排序。输出结果包括候选资产、推荐理由、相似度分项、替代资产和低置信复核标记。

1.一种基于隐空间时序插值与语义资产推荐的xr虚拟预演内容生成方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于隐空间时序插值与语义资产推荐的xr虚拟预演内容生成方法,其特征在于,所述clip多模态语义对齐模型分别对导演文本需求、参考图像、资产缩略图和资产标签进行编码,并用于计算文本-图像、文本-资产和图像-资产相似度,使系统根据自然语言描述、视觉参考和三维资产预览图进行跨模态匹配。

3.根据权利要求1所述的基于隐空间时序插值与语义资产推荐的xr虚拟预演内容生成方法,其特征在于,所述latent diffusion潜空间扩散模型以文本条件、参考图像条件、场景条件中的至少一种作为生成条件,在潜空间中生成或修正烟雾、光效、背景、转场或预演关键帧,并将生成结果送入隐空间时序插值步骤。

4.根据权利要求1所述的基于隐空间时序插值与语义资产推荐的xr虚拟预演内容生成方法,其特征在于,所述隐空间时序插值包括线性插值、球面插值和扩散引导插值中的至少一种;当插值结果的平均绝对误差或时序平滑损失超过预设阈值时,系统补充关键帧、调整插值系数或切换插值方式。

5.根据权利要求1所述的基于隐空间时序插值与语义资产推荐的xr虚拟预演内容生成方法,其特征在于,所述lfd形状特征通过多个视角下的轮廓、深度或投影视图特征构成,其表达式为:

6.根据权利要求1所述的基于隐空间时序插值与语义资产推荐的xr虚拟预演内容生成方法,其特征在于,所述场景关系得分根据三维资产、资产类别、材质风格、适用场景、镜头用途、历史采纳记录和人工拒绝原因构建的知识图谱计算,所述场景关系得分为:

7.根据权利要求1所述的基于隐空间时序插值与语义资产推荐的xr虚拟预演内容生成方法,其特征在于,所述语义推荐排序根据直播预演、影视片场预演、虚拟发布会布景或电商场景配置不同推荐权重;在概念探索阶段提高语义对齐和多样性权重,在关键帧细化阶段提高扩散重建和时序平滑权重,在资产复用阶段提高排序反馈权重。

8.根据权利要求1所述的基于隐空间时序插值与语义资产推荐的xr虚拟预演内容生成方法,其特征在于,所述预演归档包括保存文本需求、参考图像、关键帧、隐向量、扩散种子、条件向量、资产编号、推荐得分、生成模型版本、资产排序模型版本、导演确认结果、替代资产和拒绝原因,并在后续相似预演需求出现时调用所述预演归档作为生成和推荐的先验样本。

9.根据权利要求1所述的基于隐空间时序插值与语义资产推荐的xr虚拟预演内容生成方法,其特征在于,所述资产推荐结果包括候选资产、匹配理由、clip相似度分项、lfd形状相似度分项、场景关系得分、可替代资产和低置信复核标记,以供导演或美术人员对推荐结果进行采纳、替换、拒绝或复核确认。

10.一种xr虚拟预演内容生成系统,其特征在于,用于执行权利要求1至9任一项所述的基于隐空间时序插值与语义资产推荐的xr虚拟预演内容生成方法,所述系统包括预演需求解析模块、clip多模态语义对齐模块、latent diffusion潜空间扩散生成模块、隐空间时序插值模块、三维资产特征检索模块、语义推荐排序模块、置信度判断模块和预演归档复用模块;其中,所述预演需求解析模块用于解析文本需求、参考图像、关键帧、三维资产和场景约束,所述clip多模态语义对齐模块用于获得多模态语义向量,所述latent diffusion潜空间扩散生成模块用于生成或细化特效关键帧,所述隐空间时序插值模块用于生成连续预演序列,所述三维资产特征检索模块和语义推荐排序模块用于检索并推荐三维资产,所述置信度判断模块用于触发输出、重新生成、重新检索或人工复核,所述预演归档复用模块用于输出预演结果并形成归档记录。