一种基于视频模型与世界记忆的高一致性图像生成方法、系统、设备及存储介质与流程
本发明涉及图像处理,尤其涉及一种基于视频模型与世界记忆的高一致性图像生成方法、系统、设备及存储介质。
背景技术:
1、近年来,基于扩散模型的图像生成技术取得了显著进展,能够根据文本描述生成高质量、高分辨率的图像。扩散模型通过逐步去噪的方式从随机噪声中生成图像,在图像质量、多样性和文本对齐方面均表现出色。然而,现有扩散模型在生成同一对象或场景的多个图像时,存在严重的视觉发散问题:即针对相同的对象描述,多次生成的图像在对象的结构形态、材质纹理、环境光影以及空间布局等方面表现出明显的不一致性,无法满足工程级应用对图像精确复现和连续一致的需求。
2、现有方法中通过获取包含目标对象的视频序列,从视频中提取关键帧作为参考图像,并利用扩散模型的交叉注意力机制,将视频帧中提取的隐式特征向量注入到新图像的生成过程中,以维持生成图像的一致性。然而,该技术方案存在以下不足:
3、第一,生成结果的概率性难以消除。该方法采用隐式特征向量缓存与注意力注入机制,本质上仍属于概率性的特征匹配过程。用户输入相同的描述词,每次生成的结果在对象的细微结构、材质纹理的分布、光影的过渡等方面均存在随机偏差,无法实现确定性的精确复现。这使得该技术难以应用于对精度要求严格的工程场景,例如汽车外观设计的连续渲染图生成、室内设计的效果图序列制作等。
4、第二,缺乏对局部关键节点的精确锚定能力。该方法侧重于维持生成图像的整体对象一致性,但未针对图像中具有工程级精度要求的微小局部节点(例如产品的品牌标识、机械部件的关键轮廓、车辆的车灯和轮毂等细节区域)设计专门的锚定机制。在需要对这些局部细节进行跨图像精确对齐的场景中,该方法的生成结果往往出现局部特征的漂移和变形。
5、第三,缺乏可编辑的中间态记忆层。该方法从视频中提取的特征以隐式嵌入向量的形式存在,是一个黑盒化的记忆存储方式,用户无法对其中存储的场景结构、对象属性等信息进行语义层面的理解和编辑。例如,用户无法通过修改记忆中的参数来实现“将场景中的墙壁向后移动三米”或“将灯光的色温从暖色调调整为冷色调”等操作。这限制了生成系统的交互性和可控性,使得图像生成过程仍然是一个“盲盒式”的概率生成过程。
6、第四,缺乏生成结果的自动验证与修正机制。该方法为单向生成流程,对于生成的图像是否真正保持了与视频源的一致性,缺乏多维度、定量化的自动验收手段。当生成结果不满足一致性要求时,系统也无法自动进行修正或重新生成,需要依赖人工的视觉判断和手动调整,效率低下。
7、第五,缺乏对生成图像之间因果逻辑一致性的验证。现有技术包括上述对比文件在内,均仅关注图像之间的像素级或特征级相似度,而忽略了生成图像序列中对象之间空间关系的因果逻辑一致性。例如,当一个室内场景的多张生成图像中,某一图像中门位于左侧墙壁而另一图像中门出现在右侧墙壁时,这种空间逻辑矛盾在像素级相似度指标上可能并不显著,但在人类视觉中却是明显的不一致。现有技术无法自动化检测和修正此类“隐形不一致”。
技术实现思路
1、本发明的目的是为了解决现有技术中生成图像一致性差、缺乏可编辑记忆层和自动验证修正机制的问题,而提出的一种基于视频模型与世界记忆的高一致性图像生成方法、系统、设备及存储介质。
2、为了实现上述目的,本发明采用了如下技术方案:
3、一种基于视频模型与世界记忆的高一致性图像生成方法、系统、设备及存储介质,包括以下步骤:
4、步骤s101,获取包含目标对象的视频序列,对所述视频序列进行多模态结构化解析,提取所述目标对象的几何结构信息、材质属性信息、光照环境信息和相机位姿参数,构建结构化存储的世界记忆数据库;
5、步骤s102,响应于用户标注操作,在参考图像中确定关键节点区域,提取所述关键节点区域的多尺度特征签名,存储为锚定签名;
6、步骤s103,通过世界编译器将所述世界记忆数据库中的结构化数据转化为扩散模型可执行的约束信号,所述约束信号包括由所述几何结构信息生成的条件图、由所述材质属性信息和光照环境信息编码的约束特征、以及由所述锚定签名生成的局部锚定约束;
7、步骤s104,基于所述约束信号和用户输入的文本描述,通过扩散模型生成目标图像;
8、步骤s105,对所述目标图像进行多维度一致性量化验收,所述多维度一致性至少包括几何一致性、材质一致性、光照一致性、锚定一致性和因果一致性;
9、步骤s106,当所述多维度一致性量化验收的综合评分低于预设阈值时,执行自动回退修正流程,所述自动回退修正流程包括定位不一致来源并进行针对性修正后重新生成,直至所述综合评分达到或超过所述预设阈值。
10、优选地,多模态结构化解析包括:
11、通过多视角立体视觉算法或单目深度估计网络提取所述目标对象的三维几何结构信息,以参数化网格数据或点云数据格式存储为几何记忆层;
12、通过双向反射分布函数建模或材质分类神经网络提取所述目标对象表面的材质属性信息,所述材质属性信息包括粗糙度、金属度、反射率和透射率,存储为材质记忆库;
13、通过光照估计网络提取场景中的光照环境信息,所述光照环境信息包括光源位置、光照强度和色温参数,存储为光照参数集;
14、通过视觉里程计或同步定位与建图算法提取所述视频序列中每一帧的相机位姿参数,所述相机位姿参数包括相机位置坐标和旋转角度,存储为相机位姿参数集;
15、所述世界记忆数据库采用json数据结构或图数据库结构之一或两者的组合进行存储。
16、优选地,所述关键节点区域包括品牌标识区域、产品关键轮廓区域或用户指定的工程精度敏感区域;所述多尺度特征签名包括边缘梯度直方图特征、局部二值模式纹理特征和深度卷积神经网络提取的语义特征嵌入中的一种或多种的组合;所述锚定签名在扩散模型的去噪过程中作为硬约束条件,约束关键节点区域的生成结果与所述锚定签名的特征偏差不超过预设阈值。
17、优选地,所述世界编译器将结构化数据转化为约束信号包括:
18、将所述几何结构信息按照指定的相机位姿参数渲染为深度图、法线图和边缘图中的一种或多种,作为条件图输入扩散模型的条件控制网络;
19、将所述材质属性信息和光照环境信息编码为风格特征向量和光照特征向量,注入扩散模型的交叉注意力层;
20、根据所述几何结构信息计算场景中物体之间的空间包含关系和碰撞关系,生成负向约束区域掩码,输入扩散模型的负向提示词编码器;
21、将所述锚定签名编码为局部注意力增强信号,在扩散模型的去噪过程中增强关键节点区域的特征响应强度。
22、优选地,所述多维度一致性量化验收包括:
23、计算几何一致性评分g:将生成图像中提取的几何结构与所述世界记忆数据库中的几何结构数据进行结构相似度比对;
24、计算材质一致性评分m:将生成图像中提取的材质属性参数与所述世界记忆数据库中的材质属性数据进行brdf参数空间的距离比对;
25、计算光照一致性评分l:将生成图像中提取的光照分布特征与所述世界记忆数据库中的光照参数进行相关性比对;
26、计算锚定一致性评分a:将生成图像中关键节点区域提取的特征签名与所述世界记忆数据库中的锚定签名进行特征空间相似度比对;
27、计算因果一致性评分c:将生成图像中对象之间的空间关系构建为空间关系图,将所述空间关系图与视频序列中提取的时序因果图进行图同构比对;
28、综合评分score=w1×g+w2×m+w3×l+w4×a+w5×c,其中w1、w2、w3、w4、w5为预设权重系数。
29、优选地,所述自动回退修正流程包括:
30、通过反向因果追踪定位不一致来源:将生成图像的空间关系图分别与视频原始帧的空间关系图、世界记忆数据库中的结构化几何数据、世界编译器输出的条件图进行差异比对,确定不一致是源于视频解析阶段、世界记忆构建阶段还是编译器转换阶段;
31、根据定位结果执行针对性修正:若不一致源于视频解析阶段则重新执行视频解析,若源于世界记忆构建阶段则更新世界记忆数据库中对应的结构化数据,若源于编译器转换阶段则调整世界编译器的转换参数;
32、修正后重新生成目标图像并重新进行一致性量化验收,直至综合评分达到或超过预设阈值。
33、优选地,还包括时序因果图的构建与编辑预校验步骤:
34、从所述视频序列中提取各对象之间的空间方位关系、相对运动轨迹和遮挡顺序信息,以有向图结构存储所述空间方位关系、相对运动轨迹和遮挡顺序信息,其中图的节点代表各对象,图的有向边代表对象之间的空间方位关系、相对运动关系或遮挡层级关系,所述时序因果图存储于所述世界记忆数据库中;
35、当用户编辑所述世界记忆数据库中的结构化数据后,同步更新所述时序因果图,并在重新生成前对编辑后的时序因果图进行因果冲突检测,若检测到因果冲突则向用户发出预警提示并建议修正方案。
36、一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现基于视频模型与世界记忆的高一致性图像生成方法。
37、一种计算机可读存储介质,其上存储有计算机程序,所述存储介质包括只读存储器、随机存取存储器、固态硬盘、机械硬盘或光盘。
38、一种基于视频模型与世界记忆的高一致性图像生成系统,包括:
39、视频获取模块,用于获取包含目标对象的视频序列;
40、多模态解析模块,用于对所述视频序列进行多模态结构化解析,提取目标对象的几何结构信息、材质属性信息、光照环境信息和相机位姿参数;
41、世界记忆构建模块,用于将所述多模态解析模块提取的信息构建为结构化存储的世界记忆数据库;
42、概念锚定模块,用于响应于用户标注操作,提取参考图像中关键节点区域的多尺度特征签名并存储为锚定签名;
43、时序因果图构建模块,用于从所述视频序列中提取对象之间的空间关系、运动轨迹和遮挡顺序,构建时序因果图;
44、世界编译器模块,用于将所述世界记忆数据库中的结构化数据转化为扩散模型可执行的约束信号;
45、图像生成模块,用于基于所述约束信号和用户输入的文本描述,通过扩散模型生成目标图像;
46、一致性验收模块,用于对生成图像进行多维度一致性量化评分;
47、自动回退修正模块,用于当一致性验收未通过时,通过反向因果追踪定位不一致来源,执行针对性修正,并触发重新生成;
48、增量更新模块,用于响应于用户对世界记忆数据库的编辑操作,增量更新所述数据库,并触发重新生成。
49、与现有技术相比,本发明具备以下优点:
50、1、本发明通过构建包含几何结构信息、材质属性信息、光照环境信息、相机位姿参数、概念锚定签名和时序因果图的结构化世界记忆数据库,将视频信息从隐式黑盒特征转化为显式可读、可编辑的结构化记忆层,使用户能够对记忆中的场景元素进行语义级别的理解和精确编辑,克服现有技术中记忆不可编辑的缺陷,实现图像生成过程从“盲盒式概率生成”向“确定性可控生成”的转变。
51、2、本发明通过概念锚定机制提取关键节点区域的多尺度特征签名,并在扩散模型的去噪过程中以硬约束方式持续约束关键节点区域的生成特征,确保品牌标识、产品关键轮廓、工程精度敏感区域等在跨视角、跨批次的生成结果中保持像素级精确对齐,有效解决现有技术中局部特征漂移和变形的问题,满足工程级应用对局部细节精确复现的严格要求。
52、3、本发明通过世界编译器将结构化的几何、材质、光照和锚定数据转化为扩散模型可执行的多层级约束信号,包括条件图控制、交叉注意力特征注入、负向约束掩码和局部注意力增强,实现从物理世界结构化信息到生成式模型约束信号的精确映射,将生成结果与结构化记忆之间的偏差从现有技术的不可控随机偏差转变为确定性可控的系统偏差,有助于提升生成图像在多批次、多视角下的综合一致性。
53、4、本发明通过五维度一致性量化验收机制和基于反向因果追踪的自动回退修正流程,实现了生成结果的自动质量评估和闭环修正,当综合评分未达预设阈值时自动定位不一致来源并执行针对性修正,无需人工视觉判断和手动调整,有助于提高生成系统的自动化水平和输出结果的可靠性,同时通过时序因果图的图同构比对,首次实现对生成图像之间空间逻辑关系一致性的自动化验证,填补现有技术无法检测“隐形不一致”的技术空白。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com