一种基于顺序像素空间扩散的图像图层分解方法与流程
本发明涉及图像处理,特别涉及一种基于顺序像素空间扩散的图像图层分解方法。
背景技术:
1、图像图层分解技术是计算机图形学与计算机视觉领域的重要研究课题,其核心目标是将单幅已经合成为平面栅格形式的rgb图像,恢复为多个具有前后遮挡关系、透明度信息和颜色信息的可编辑图层。该类技术构成了非破坏式图像编辑、图形设计资产复用、对象替换、背景更换、图层级样式迁移以及生成式图像后处理等应用场景的基础能力。对于海报、动画图、真实拍摄图像、文字图形资产和人工智能生成图像而言,若能够将扁平化图像转换为有序rgba图层栈,用户即可对单独图层进行移动、删除、替换、变色或重新合成操作,而无需重新生成整幅图像,这在大幅提升图像编辑效率的同时,也为设计创作和内容生产提供了更大的灵活性和创造性空间。
2、现有图层分解方案主要包括基于抠图与修复串联的判别式方法,以及基于多图层生成模型的生成式方法两大类。判别式方法通常先通过抠图模型估计最前景对象或区域的透明度遮罩,再利用图像修复模型填补被该前景对象遮挡的背景区域,并按照类似方式递归处理后续图层。该类方案流程直观易懂,但存在固有缺陷:其每一步均依赖前一步的预测结果,容易在抠图边界、图层顺序确定和被遮挡区域修复过程中累积误差;同时,普通图像修复模型往往缺乏对同一物理图层的认知能力,难以生成与目标图层身份一致的被遮挡内容,导致修复结果与原始图层语义不匹配。
3、近年来,随着扩散模型在图像生成领域的成功应用,基于扩散模型的多图层生成方案逐渐被用于图像拆层任务。该类方案通常将输入图像通过rgba变分自编码器或其他编码器压缩到潜空间,在潜空间中同时预测多个图层的颜色通道和透明度通道,再通过解码器恢复rgba图层。该技术路线能够利用大型生成模型的先验能力处理较为复杂的场景,但在实际应用中仍存在多方面的技术限制。首先,有损潜空间压缩过程会削弱或丢失文字笔画、毛发、尖锐边界、半透明过渡等高频结构信息,导致最终图层的边界精度和细节质量难以满足专业图形设计和精细合成的需求。其次,在同一扩散过程中同时回归透明度拓扑和生成被遮挡颜色内容,容易造成结构精度目标与外观生成目标之间的冲突,模型需要在锐利边界和自然外观之间进行折中处理,容易产生边界漂移、图层粘连、颜色泄漏或遮挡区域补全不合理等问题。第三,一次性预测所有图层的全部rgba通道会显著增加每个扩散步的令牌数量、显存占用和推理延迟,使得该类方案难以适配交互式图像编辑场景和批量图像资产处理的应用需求。
4、除上述技术路线本身的问题外,现有技术在实际应用中还存在以下具体缺陷。基于潜空间的多图层生成方法对图像或rgba图层进行编码和解码时,有损压缩过程会模糊文字边缘、细线、毛发、半透明材质边界等关键图形结构,导致最终图层难以满足高精度合成和专业编辑需求。透明度图预测更接近边界敏感的结构估计任务,而被遮挡内容生成更接近语义和纹理补全任务,若在同一模型、同一输出空间中同时预测所有图层的透明度和颜色,模型需要在锐利边界和自然外观之间折中,容易产生边界漂移、图层粘连、颜色泄漏等问题。传统提取前景后再修复背景的递归式拆层流程会将前一层抠图和修复误差传递到后一层,随着图层深度增加,残差图像逐渐偏离真实扁平化图像,导致深层图层的结构和外观恢复质量下降。若在每个扩散步中同时处理所有图层的rgb通道和透明度通道,空间分辨率、图层数量和通道数量会共同增加模型状态规模,使得推理时间和显存开销显著上升,难以适配交互式设计工具和批量图像资产处理的需求。此外,部分现有方法只能得到粗粒度对象遮罩或将可见像素简单复制到图层上,无法为被遮挡区域生成完整的非模态内容,该类图层虽然能够进行有限的遮挡编辑,但难以作为完整、可复用的rgba图形资产使用。
5、综上所述,现有技术仍难以同时兼顾透明度边界精度、被遮挡内容补全质量、整体重合成一致性和推理效率等多方面需求,因此迫切需要一种能够在像素空间中解耦图层结构预测和外观生成的图像图层分解技术方案,以突破现有技术的局限性,满足日益增长的高质量图像编辑和图形设计应用需求。
技术实现思路
1、发明的目的在于提供一种基于顺序像素空间扩散的图像图层分解方法,解决了背景技术中提到的问题。
2、本发明是这样实现的,一种基于顺序像素空间扩散的图像图层分解方法,包括以下步骤:
3、获取输入图像:获取单幅扁平化rgb图像作为输入图像x,该输入图像为已经完成合成渲染的单一栅格图像,包含多个具有前后遮挡关系的图层信息。
4、结构透明度扩散:通过第一像素空间扩散模型预测完整有序透明度图栈a;所述第一像素空间扩散模型采用透明像素扩散网络架构,该网络包含解耦的rgb-透明度嵌入分支,其中rgb分支保留标准的图像块嵌入层用于提取输入图像的空间特征,透明度分支增加专用的透明度图像块嵌入层用于编码透明度通道信息;透明度分支对透明度通道进行编码后,将其输出作为空间偏置信息注入对应的rgb视觉令牌,从而在去噪过程中同时利用图像条件信息和透明度结构信息;第一像素空间扩散模型将输入图像x作为无噪声条件分支,将加噪后的透明度图栈作为去噪分支,基于输入图像x、加噪后的透明度图栈、时间步信息和可选文本条件预测干净的透明度图栈;为每个透明度平面分配离散图层索引,并对图层、高度和宽度三个维度施加三维位置编码,使用联合注意力机制处理条件图像令牌和透明度令牌,使模型能够区分不同深度图层并建模跨层遮挡关系。
5、透明度精修:通过渐进式可见性引导透明度精修提升透明度边界精度;具体为从最前景图层开始,按前景到背景的顺序依次处理各透明度图;对当前图层,使用输入图像x对当前预测透明度图进行引导滤波或边缘保持滤波处理,得到边界精修透明度图;然后根据已精修的前景透明度图计算当前图层的前景遮挡图;在当前图层的直接可见区域采用边界精修透明度图以确保边缘与输入图像对齐,在被前景遮挡区域保留原始扩散预测透明度图以维持不可见结构的合理性。
6、拓扑条件外观扩散:通过第二像素空间扩散模型在固定透明度拓扑条件下逐层生成颜色场;具体为对于第i个目标图层,结构条件包括目标透明度图ai和前景遮挡图mi;第二像素空间扩散模型仅对目标图层的rgb颜色分量进行加噪和去噪操作,保持目标透明度图为干净条件不变,基于去噪输入、输入图像x、前景遮挡图、可选文本条件和图层深度索引输出预测颜色场。
7、进一步地,所述第二像素空间扩散模型包括拓扑感知门控注入模块,该模块将输入图像编码为图像证据特征,将前景遮挡图编码为遮挡拓扑特征,通过可学习门控权重进行特征融合,使得在可见区域中模型更多参考输入图像的实际颜色、纹理和边缘信息,在被遮挡区域中模型更多参考拓扑条件和生成先验进行非模态内容补全。
8、进一步地,所述第二像素空间扩散模型还包括空间门控残差注入模块,该模块根据遮挡拓扑特征生成每个空间位置或图像块的门控权重,将经门控调制的条件残差信号注入扩散网络的一个或多个网络层,使生成过程始终锚定在目标图层的透明度支持区域内,避免跨图层颜色泄漏和语义串扰。
9、无干扰条件打包推理:利用透明度图的支持区域关系,将空间支持区域互不重叠的多个目标图层合并为同一打包组,在一次扩散调用中共同生成;具体为将各目标透明度图叠加为打包透明度条件,将各自限制在对应支持区域内的前景遮挡图叠加为打包遮挡条件;第二像素空间扩散模型基于打包结构条件执行一次去噪轨迹,输出打包颜色场;随后按照各目标图层的支持区域对打包颜色场进行拆分,得到每个目标图层的颜色场。
10、图层生成:输出由多个rgba图层组成的有序图层栈;每个rgba图层包括颜色场和连续透明度图,多个图层按照从背景到前景的顺序排列,并能够通过透明度合成算子重新合成为输入图像。
11、本发明还提供一种基于顺序像素空间扩散的图像图层分解系统,包括:图像获取模块,用于获取单幅扁平化rgb图像;结构透明度扩散模块,用于通过第一像素空间扩散模型预测完整有序透明度图栈;透明度精修模块,用于通过渐进式可见性引导透明度精修提升透明度边界精度;拓扑条件外观扩散模块,用于通过第二像素空间扩散模型在固定透明度拓扑条件下逐层生成颜色场;条件打包模块,用于将空间支持区域互不重叠的多个目标图层合并打包生成;图层输出模块,用于输出有序rgba图层栈。
12、与现有技术相比,本发明具有以下有益效果:
13、本发明直接在像素空间执行透明度拓扑预测和颜色场生成,避免了rgba变分自编码器或其他有损潜空间编码对高频结构、锐利边界和半透明细节的破坏,有利于获得更适合图形设计和精细合成的图层资产。透明像素扩散网络采用解耦的rgb-透明度嵌入方式,保留rgb图像块嵌入分支的同时增加透明度图像块嵌入分支,透明度分支对透明度通道进行编码后将其输出作为空间偏置信息注入对应的rgb视觉令牌,透明度分支在预训练初始阶段进行零初始化,确保网络在训练初期能够稳定学习。
14、本发明将图层分解任务拆分为结构透明度扩散和拓扑条件外观扩散两个阶段。第一阶段专注恢复有序透明度图栈,第二阶段在固定拓扑下逐层生成颜色场,能够有效缓解透明度边界估计和被遮挡内容生成之间的目标冲突,避免在单次扩散过程中同时生成所有rgba通道造成的任务冲突问题。
15、本发明通过前景遮挡图、拓扑感知门控注入和空间门控残差注入三项技术,使第二像素空间扩散模型能够明确区分可见证据区域和遮挡补全区域,显著减少跨图层语义泄漏和颜色串扰问题,提高非模态补全结果与目标图层边界的一致性。拓扑感知门控注入模块将输入图像编码为图像证据特征,将前景遮挡图编码为遮挡拓扑特征,通过可学习门控权重进行融合;空间门控残差注入模块根据遮挡拓扑特征生成每个空间位置或图像块的门控权重,将经门控调制的条件残差信号注入扩散网络层。
16、本发明通过渐进式可见性引导透明度精修,在直接可见区域利用输入图像边缘信息提升透明度边界精度,在被遮挡区域保留扩散模型预测的完整拓扑结构,从而兼顾边界对齐精度和不可见结构合理性。从最前景图层开始按前景到背景顺序处理,根据已精修的前景透明度图计算当前图层的前景遮挡图。
17、本发明通过无干扰条件打包推理技术,将支持区域不重叠的多个图层合并生成,显著降低第二阶段外观扩散的调用次数,有效减少推理延迟和显存消耗,更适合交互式图层编辑和批量aigc资产拆层场景。将各目标透明度图叠加为打包透明度条件,将各自限制在对应支持区域内的前景遮挡图叠加为打包遮挡条件,执行一次去噪轨迹后按支持区域拆分输出。
18、本发明输出的有序rgba图层栈具有直接编辑和重合成能力,可将原本难以修改的扁平化栅格图像转换为可复用、可组合、可自动化处理的图层资产,大幅提升图像编辑、设计创作和生成式内容后处理流程的效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com