一种涂抹区域定位的素材替换方法与流程

本发明涉及图像处理，具体为一种涂抹区域定位的素材替换方法。

背景技术：

1、图像素材替换属于图像处理技术领域，常用于图像编辑、视觉内容制作及交互式素材调整等场景。在此类应用中，用户通常通过涂抹、框选或其他交互操作在当前显示图像中指定需要处理的局部区域，再根据所确定的区域执行图像分割、内容提取、位置对齐、局部替换或融合处理。现有技术已经能够利用用户涂抹轨迹形成感兴趣区域或掩模，并据此限定后续图像处理范围。例如，中国发明专利申请公开号为cn106898005a“一种实现交互式图像分割的方法、装置及终端”公开了根据原始图像上的涂抹轨迹形成标记区和感兴趣区域，并生成用于交互式图像分割的掩模图的处理方式。

2、对于局部图像内容替换，现有公开技术还可根据目标区域和替换区域的特征点、位置关系及分割结果完成区域对齐和替换。例如，中国发明专利申请公开号为cn107507216a“图像中局部区域的替换方法、装置及存储介质”公开了分别取得基准图像和替换图像中对应区域的特征点及位置信息，对相关区域进行前景分割和几何形变后实施局部区域替换及融合处理。由此可见，现有技术已经能够实现用户交互区域确定以及单一图像区域与替换内容之间的定位、对齐和局部替换。

3、但是，在分层图像编辑场景中，当前显示图像可能由多个可编辑图像内容素材共同形成。当多个素材在同一显示位置存在重叠、局部遮挡、透明叠加，或者受到裁切和素材遮罩限制时，用户在当前显示图像中形成的同一涂抹范围内，不同显示位置实际对应的底层素材对象及其有效图像范围可能并不相同。此时，显示空间中的涂抹区域能够表明用户希望处理的可见位置，但仅依据该显示区域本身难以直接确定其所对应的实际待替换素材对象及相应作用范围。若仍将显示区域直接作为局部替换依据，可能造成替换作用于不对应的素材、层级或素材范围，并在后续素材位置变化、遮挡关系变化、遮罩变化或重新合成时出现漏替换、误替换或者局部内容不一致。因此，在多个素材共同形成当前显示图像的条件下，如何使显示空间中的涂抹区域与实际待替换素材对象及其有效作用区域形成准确对应，仍是该类交互式素材替换过程中需要进一步解决的技术问题。

技术实现思路

1、针对现有技术的不足，本发明提供了一种涂抹区域定位的素材替换方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种涂抹区域定位的素材替换方法，包括：

3、s1、多个保存可修改图像内容的素材按包括空间映射、采样、遮罩、alpha和source-over层级关系的合成关系形成当前显示图像，获取用户涂抹形成的显示空间涂抹范围；

4、s2、依据合成关系，确定涂抹范围内各显示位置实际参与形成的至少一个素材及形成该位置时从各素材读取的至少一个源位置，建立显示位置、素材和源位置的对应；

5、s3、确定涂抹范围内由至少一个素材实际形成的位置，按对应及相同空间映射和采样关系，在各素材自身空间形成替换范围；

6、s4、以显示空间为共同参考确定待替换图像内容，将各素材源位置映射至显示空间，并按映射位置取得待替换图像内容；

7、s5、在各素材替换范围内写入对应待替换内容，并保持合成关系不变；

8、s6、按合成关系将实际修改的源位置重新映射至显示空间，确定实际影响范围，并与涂抹范围内由至少一个素材实际形成的位置范围校核。

9、进一步的，确定实际参与形成显示位置的素材时，按素材由上至下依次处理，以当前素材在该显示位置的有效alpha与尚未被上层素材覆盖的剩余透射量的乘积确定实际贡献；

10、当前素材处理后，将剩余透射量与1减去有效alpha所得值的乘积作为更新后的剩余透射量，并将更新后的剩余透射量用于下一层素材，仅保留实际贡献大于0的素材；

11、有效alpha由当前显示位置对应的素材alpha与素材遮罩覆盖量共同确定，裁切范围外的有效alpha为0。

12、进一步的，确定源位置时，将显示位置反向映射至素材自身空间得到连续源坐标，采用双线性采样读取连续源坐标四周的4个源像素，依据横向距离和纵向距离确定归一化采样权重，并采用相同源像素及采样权重读取颜色、alpha和素材遮罩。

13、进一步的，在各素材自身空间形成替换范围时，汇集实际参与形成涂抹位置的素材对应的源像素，将各源像素中心按当前空间映射正向映射至显示空间，并采用双线性采样读取显示空间涂抹掩模覆盖量，根据覆盖量形成表示对应素材替换范围的灰度掩模。

14、进一步的，以涂抹范围内由至少一个素材实际形成的位置范围的最小轴对齐外接矩形作为目标范围，将待替换素材保持宽高比缩放至覆盖目标范围，使二者中心重合并裁去缩放后的待替换素材超出目标范围的部分；

15、同一源位置对应的源像素参与多个显示位置采样时，仅执行1次内容写入，其待替换图像内容由该源像素中心映射至显示空间的位置确定。

16、进一步的，自涂抹范围形成至各素材内容写入和实际影响范围校核完成期间，保持合成关系中的空间映射、裁切、素材遮罩、alpha和层级顺序不变；

17、空间映射、裁切、素材遮罩、alpha和层级顺序中的任一项发生变化时，不再采用已建立的显示位置、素材和源位置的对应，并依据变化后的合成关系重新确定实际参与形成显示位置的素材、源位置及替换范围。

18、进一步的，以0至255的灰度掩模表示各素材的替换范围，灰度值为255时写入待替换颜色，灰度值为1至254时按照灰度值与255的比值对原颜色和待替换颜色进行线性混合，灰度值为0时保持原颜色；

19、写入保持素材alpha、素材遮罩、裁切、空间映射和层级顺序不变。

20、进一步的，确定实际影响范围时，将灰度掩模按当前空间映射和双线性采样返回显示空间，按素材由上至下依次处理，将当前素材的灰度掩模采样覆盖量、有效alpha及尚未被上层素材覆盖的剩余透射量的乘积进行累计，累计结果按0至255量化后达到至少1个灰度级的显示位置形成实际影响范围；

21、逐显示位置将实际影响范围与涂抹范围内由至少一个素材实际形成的位置范围比较，将后者存在而前者不存在的位置确定为未覆盖位置，将前者存在而后者不存在的位置确定为外延位置。

22、进一步的，对实际影响范围边缘，将累计结果量化所得覆盖灰度与显示空间涂抹掩模对应灰度进行比较；

23、存在未覆盖位置、外延位置、覆盖灰度差超过1个灰度级中的任一情形时，读取对应显示位置的素材及源像素，查找本次涂抹检查范围内以各源像素作为采样支撑的显示位置，将各显示位置的涂抹掩模覆盖量乘以对应源像素的采样权重后求和并除以权重总和，所得值量化至0至255并更新对应灰度掩模，重新写入相关源像素并确定局部实际影响范围。

24、与现有技术相比，本发明具有以下有益效果：

25、1、通过依据当前合成关系确定涂抹范围内各显示位置实际参与形成的素材及源位置，并在各素材自身空间形成替换范围，再以显示空间作为共同参考确定待替换图像内容，使同一涂抹区域内由多个素材共同形成的可见内容能够分别对应至实际底层素材及其作用位置，从而减少仅依据显示区域或单一图层进行替换时产生的素材对象错配和替换范围错位。

26、2、通过在底层素材完成内容写入后，按照与来源确定一致的空间映射、采样、遮罩、alpha及层级关系将实际修改的源位置重新映射至显示空间，并将所得实际影响范围与具有实际可替换素材来源的涂抹位置范围进行校核，使底层修改对当前显示图像的实际作用能够被直接验证，并能够识别未覆盖位置、外延位置及采样边缘的不对应情况。

27、3、通过在同一次涂抹处理期间保持用于来源确定和底层写入的合成关系一致，并在空间映射、裁切、素材遮罩、alpha或层级关系发生变化时重新确定显示位置、素材及源位置的对应，使涂抹输入始终按照实际当前显示状态解释，避免既有对应关系在合成状态变化后继续被错误使用，从而保持显示空间定位、底层素材写入及后续重新合成之间的技术关系一致。