基于特效区域分离与透明度重构的AI图像前景提取方法及系统与流程

摘要: 本发明涉及人工智能与数字图像处理,尤其涉及基于特效区域分离与透明度重构的ai图像前景提取方法及系统。背景技术:1、图像前景提取又称图像抠图,其目的在于从包含前景...
基于特效区域分离与透明度重构的AI图像前景提取方法及系统与流程

本发明涉及人工智能与数字图像处理,尤其涉及基于特效区域分离与透明度重构的ai图像前景提取方法及系统。

背景技术:

1、图像前景提取又称图像抠图,其目的在于从包含前景和背景的图像中确定前景颜色及像素透明度,以便将所得前景合成至其他背景。现有方法通常将混合像素表示为前景颜色、背景颜色和单一透明度的线性组合,并通过三分图、颜色采样、边缘优化或者深度学习模型估计透明度图。该类方法在人像、物体轮廓及毛发边缘处理中已有较多应用。

2、例如,中国专利申请cn106952270a公开了一种单一背景图像的快速抠图方法,通过边界采样识别背景色,对前景和背景分别进行腐蚀以生成三分图,再根据前景、背景颜色样本计算未知区域的透明度,并采用引导滤波降低透明度图中的噪声。该方法能够减少人工指定三分图的操作,但主要面向背景颜色相对单一、前景与背景可通过颜色关系分离的场景。

3、中国专利申请cn114187317a公开了一种图像抠图方法,利用第一抠图模型生成先验图和第一透明度图,融合形成第二透明度图,再结合处理图像及第二抠图模型生成更精细的第三透明度图。该方案能够提高主体边缘和高分辨率图像的抠图精度,但其输出仍主要表现为用于区分前景与背景的透明度图。

4、然而,火焰、烟雾、光晕、半透明粒子等视觉特效不同于普通实体前景。在同一特效像素中,既可能存在随背景变化的背景透射贡献,又可能存在火焰颜色、烟雾亮度或者光晕能量等不随背景同步变化的背景独立贡献。采用单一透明度通道对两类贡献统一描述时,容易将原背景颜色固化至特效颜色中;将提取结果更换至明暗程度或色调不同的背景后,可能出现原背景颜色残留、特效亮度突变、边缘硬化或者烟雾孔洞等问题。

5、此外,单幅原始图像提供的观测信息有限,仅利用一个固定背景或者一次模型解码结果,难以判断特效响应中哪些分量随背景传递、哪些分量属于特效自身。现有技术也通常侧重主体轮廓透明度的精细化,缺少在保持主体特征和特效空间位置不变的条件下,利用多个参考背景形成响应差分的约束机制,以及分别记录背景透射贡献和背景独立特效贡献的分层数据结构。对提取结果的校验亦多集中于单一背景下的边缘质量,难以发现跨背景合成时的亮度不连续及背景颜色残留。因此,有必要提出一种适用于复杂视觉特效的前景提取方案,以提高透明前景图像在不同背景下的可复用性和合成稳定性。

技术实现思路

1、本发明旨在解决现有抠图方法难以分离半透明视觉特效中的背景透射贡献与背景独立特效贡献,导致更换背景后出现颜色残留、亮度断裂及边界失真的技术问题。

2、为达到上述技术目的,本发明提供如下技术方案。

3、第一方面,本发明提供一种基于特效区域分离与透明度重构的ai图像前景提取方法,包括以下步骤:

4、s1、获取包含目标主体和视觉特效的待处理图像,提取主体特征、原背景特征和候选特效特征,生成目标主体的初始前景透明度图及候选特效区域;s2、获取多个参考背景特征,将各参考背景特征分别与所述主体特征和候选特效特征输入特效响应解码器,针对各参考背景分别生成候选特效区域的特效响应图;将各参考背景特征及其对应的特效响应图分别转换至统一响应表示空间,获得多个参考背景响应及与其一一对应的多个特效响应;s3、根据不同参考背景响应之间的差异及对应特效响应之间的差异,确定候选特效区域的背景透射系数;s4、根据所述背景透射系数和各参考背景响应确定背景传递量,从对应的特效响应中扣除所述背景传递量,将跨参考背景保持一致的剩余响应确定为背景独立特效贡献;s5、根据所述背景透射系数重构透射特效参数层,根据所述背景独立特效贡献重构特效颜色和特效透明度,结合所述初始前景透明度图生成主体前景层,并按照目标主体与视觉特效的空间位置和遮挡关系输出具有透明背景的前景图像。

5、具体地,步骤s1中,所述视觉特效为与目标主体相关联并具有半透明扩散、亮度叠加或离散延伸特征的非实体图像成分;

6、采用包括共享特征提取单元、主体特征提取分支、背景特征提取分支和特效特征提取分支的图像处理模型处理所述待处理图像;

7、所述主体特征提取分支输出所述初始前景透明度图,所述背景特征提取分支输出原背景特征,所述特效特征提取分支输出候选特效特征及其空间响应位置,并根据所述空间响应位置生成候选特效区域。

8、具体地,步骤s2中:获取至少两个在亮度分布或色度分布上不同的参考背景图像,通过与所述原背景特征相同的特征提取路径,生成对应的参考背景特征;

9、保持主体特征、候选特效特征及其空间位置不变,分别以各参考背景特征替换原背景特征,并通过同一特效响应解码器生成特效响应图;

10、为各参考背景特征和对应的特效响应图建立背景标识,以保持二者之间的一一对应关系。

11、具体地,步骤s3中:从多个参考背景响应中选择背景差分达到预设有效差异条件的参考背景响应对;

12、分别确定每一参考背景响应对在所述同一空间位置的背景差分,以及对应特效响应在该空间位置的响应差分;

13、根据所述响应差分相对于所述背景差分的传递关系得到候选背景透射系数,并根据多个参考背景响应对得到的候选背景透射系数之间的一致程度,确定该像素的背景透射系数;

14、当参考背景响应或特效响应在对应位置出现饱和响应或者背景差分未达到所述有效差异条件时,不采用对应参考背景响应对确定背景透射系数。

15、具体地,步骤s4中:根据所述背景透射系数和各参考背景响应,确定各特效响应对应的背景传递量;

16、在统一响应表示空间中,从各特效响应中扣除对应的背景传递量,得到多个特效剩余响应;

17、对所述多个特效剩余响应进行一致性聚合,将在不同参考背景下均满足预设残差一致条件的响应成分确定为背景独立特效贡献;

18、分别以背景透射贡献图和背景独立特效贡献图记录同一空间位置的两类贡献,并允许所述两类贡献在同一像素处均为有效贡献。

19、具体地,步骤s5中:将所述背景透射系数映射为透射透明度,所述透射透明度用于表征候选特效像素中背景可见贡献;

20、根据背景独立特效贡献的颜色分量、亮度强度和空间衰减关系,分别确定特效颜色和特效透明度;

21、根据初始前景透明度图生成主体前景层,根据透射透明度生成透射特效参数层,根据特效颜色和特效透明度生成背景独立特效层;

22、当多个图层在同一空间位置重叠时,由透射特效参数层控制下层响应的保留比例,以背景独立特效贡献作为预乘响应叠加,并按照视觉特效与目标主体之间的遮挡关系生成前景图像。

23、更具体地,在原图模式下,根据所述背景独立特效贡献直接确定特效颜色,并保持待处理图像中特效颜色之间的相对亮度关系;

24、在色彩还原模式下,根据原背景特征、背景透射系数和背景独立特效贡献,去除特效颜色中随原背景变化的颜色分量,并根据背景独立特效贡献的核心颜色和空间衰减关系重构特效颜色。

25、具体地,在输出所述前景图像之前,还包括:

26、获取未参与背景透射系数及背景独立特效贡献确定的多个校验背景,通过所述特效响应解码器和响应投影单元生成各校验背景对应的校验背景响应和校验目标特效响应;根据所述背景透射系数、背景独立特效贡献和校验背景响应生成校验预测特效响应;比较所述校验目标特效响应与校验预测特效响应,当比较结果未满足预设一致性条件时,修正对应像素的背景透射系数、背景独立特效贡献或特效透明度,重新生成受影响的前景层并再次执行校验。

27、第二方面,本发明还提供一种基于特效区域分离与透明度重构的ai图像前景提取系统,该系统用于实施第一方面所述的ai图像前景提取方法,包括:

28、图像分析模块,用于获取包含目标主体和视觉特效的待处理图像,提取主体特征、原背景特征和候选特效特征,生成初始前景透明度图及候选特效区域;

29、特效响应生成模块,用于在保持候选特效特征及其空间位置不变的情况下,将原背景特征分别替换为多个参考背景特征,生成与各参考背景特征一一对应的特效响应图;

30、透射系数确定模块,用于将各参考背景特征和各特效响应图分别转换至统一响应表示空间,获得相互对应的参考背景响应和特效响应,并根据不同参考背景响应之间的差异及对应特效响应之间的差异,确定候选特效区域中对应像素的背景透射系数;

31、特效贡献分解模块,用于根据背景透射系数从各特效响应中扣除对应的背景传递量,将跨参考背景保持一致的剩余响应确定为背景独立特效贡献;

32、重构输出模块,用于根据背景透射系数重构透射透明度,根据背景独立特效贡献重构特效颜色和特效透明度,并与初始前景透明度图融合,输出具有透明背景的前景图像。

33、第三方面,本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时,实现第一方面所述的ai图像前景提取方法。

34、本发明在保持主体特征、候选特效特征及空间位置不变的情况下,仅替换背景特征并生成多个特效响应,使背景变化成为可控变量;通过背景差分与响应差分确定背景透射系数,并从响应图中扣除背景传递量,能够分别获得背景透射贡献和跨背景保持一致的背景独立特效贡献。由此可在同一像素处同时保留背景可见程度及特效自身颜色、亮度,减少原背景颜色混入前景层的问题。进一步通过多背景校验和限定次数修正,可改善火焰、烟雾、光晕及离散粒子的亮度连续性、边界连续性和跨背景合成稳定性,提高透明前景图像的重构准确性及后续编辑复用能力。