在处理图像时保留图像质感纹理的方法及系统与流程

1.本技术涉及图像处理技术领域，尤其涉及一种在处理图像时保留图像质感纹理的方法及系统。


背景技术：

2.在一些设计领域，用户可能需要在图像中涂抹掉一些物体上的图案，并替换为用户自定义的图案，如将图像中衣服上的logo进行替换。现有技术中，在进行这类图像处理时，一般直接涂抹掉物体表面的图案，然后对涂抹掉的图像部分进行修复处理，但是这样修复后的图像往往会丢失掉修复部分的纹理信息，如去掉衣服上的图案后，衣服的褶皱信息也丢失。


技术实现要素：

3.为至少在一定程度上克服相关技术中进行图像处理时对涂抹掉的图像部分进行修补处理，会导致图像丢失掉修复部分纹理信息的问题，本技术提供一种在处理图像时保留图像质感纹理的方法及系统。
4.本技术的方案如下：
5.根据本技术实施例的第一方面，提供一种在处理图像时保留图像质感纹理的方法，包括：
6.确认待处理图像中的待消除区域，对所述待消除区域进行涂抹，得到涂抹后的遮罩图；
7.对涂抹后的待消除区域进行填充；
8.计算得到所述待处理图像的第一法线贴图；
9.基于预设放缩系数对所述待处理图像进行下采样，计算得到下采样后的待处理图像的第二法线贴图；
10.对所述第一法线贴图和所述第二法线贴图进行处理；
11.将处理后的第一法线贴图和第二法线贴图合并为第三法线贴图；
12.基于所述第三法线贴图对所述遮罩图进行纹理恢复；
13.将纹理恢复后的遮罩图替换到所述待消除区域。
14.优选的，在本技术一种可实现的方式中，所述对涂抹后的待消除区域进行填充，包括：
15.选择所述待消除区域的邻近像素区域对所述待消除区域进行像素填充。
16.优选的，在本技术一种可实现的方式中，所述计算得到所述待处理图像的第一法线贴图，包括：
17.建立第一坐标系，在所述第一坐标系中构建第一法线向量；
18.以所述待处理图像在水平方向上的梯度作为所述第一法线向量在所述第一坐标系x轴上的分向量；
19.以所述待处理图像在竖直方向上的梯度作为所述第一法线向量在所述第一坐标系y轴上的分向量；
20.以第一预设常量作为所述第一法线向量在所述第一坐标系z轴上的分向量；
21.对所述第一法线向量进行归一化；
22.对归一化后的第一法线向量进行处理；
23.根据处理得到的第一法线向量生成所述第一法线贴图。
24.优选的，在本技术一种可实现的方式中，所述计算得到下采样后的待处理图像的第二法线贴图，包括：
25.建立第二坐标系，在所述第二坐标系中构建第二法线向量；
26.以所述下采样后的待处理图像在水平方向上的梯度作为所述第二法线向量在所述第二坐标系x轴上的分向量；
27.以所述下采样后的待处理图像在竖直方向上的梯度作为所述第二法线向量在所述第二坐标系y轴上的分向量；
28.以第二预设常量作为所述第一法线向量在所述第一坐标系z轴上的分向量；其中，所述第二预设常量大于所述第一预设常量；
29.对所述第二法线向量进行归一化；
30.对归一化后的第二法线向量进行处理；
31.根据处理得到的第二法线向量生成所述第二法线贴图。
32.优选的，在本技术一种可实现的方式中，所述对归一化后的第一法线向量进行处理，包括：对归一化后的第一法线向量结果两端的较大值进行抑制；
33.所述对归一化后的第二法线向量进行处理，包括：对归一化后的第二法线向量结果两端的较大值进行抑制。
34.优选的，在本技术一种可实现的方式中，还包括：
35.获取所述待处理图像各点的像素值；
36.根据所述待处理图像各点的像素值，基于梯度算子，计算所述待处理图像各点的梯度。
37.优选的，在本技术一种可实现的方式中，所述对所述第一法线贴图和所述第二法线贴图进行处理，包括：
38.对所述第一法线贴图和所述第二法线贴图进行高斯模糊，平滑所述第一法线贴图和所述第二法线贴图的法线变化。
39.优选的，在本技术一种可实现的方式中，所述将处理后的第一法线贴图和第二法线贴图合并为第三法线贴图，包括：
40.将处理后的第一法线贴图和第二法线贴图进行柔光混合，得到所述第三法线贴图。
41.优选的，在本技术一种可实现的方式中，所述基于所述第三法线贴图对所述遮罩图进行纹理恢复，包括：
42.计算所述第三法线贴图的世界光照射结果，根据所述世界光照射结果恢复所述遮罩图中物体表面褶皱的阴影和梯度变化。
43.根据本技术实施例的第二方面，提供一种在处理图像时保留图像质感纹理的系
统，包括：
44.消除模块，用于确认待处理图像中的待消除区域，对所述待消除区域进行涂抹，得到涂抹后的遮罩图；
45.填充模块，用于对涂抹后的待消除区域进行填充；
46.第一法线贴图生成模块，用于计算得到所述待处理图像的第一法线贴图；
47.第二法线贴图生成模块，用于基于预设放缩系数对所述待处理图像进行下采样，计算得到下采样后的待处理图像的第二法线贴图；
48.法线贴图处理模块，用于对所述第一法线贴图和所述第二法线贴图进行处理；
49.法线贴图合并模块，用于将处理后的第一法线贴图和第二法线贴图合并为第三法线贴图；
50.纹理恢复模块，用于基于所述第三法线贴图对所述遮罩图进行纹理恢复；
51.替换模块，用于将纹理恢复后的遮罩图替换到所述待消除区域。
52.本技术提供的技术方案可以包括以下有益效果：本技术中的在处理图像时保留图像质感纹理的方法，包括：确认待处理图像中的待消除区域，对待消除区域进行涂抹，得到涂抹后的遮罩图，对涂抹后的待消除区域进行填充，计算得到待处理图像的第一法线贴图，基于预设放缩系数对待处理图像进行下采样，计算得到下采样后的待处理图像的第二法线贴图。第一法线贴图由于采用待处理图像的全分辨率进行计算，得到的更多是待处理图像的细节，第二法线贴图采用下采样后的待处理图像进行计算，得到的更多是待处理图像的结构信息。对第一法线贴图和第二法线贴图进行处理，将处理后的第一法线贴图和第二法线贴图合并为第三法线贴图，基于第三法线贴图对遮罩图进行纹理恢复，将纹理恢复后的遮罩图替换到待消除区域。不仅消除了待处理图像中待消除区域的图案，还保留了待消除区域的图像质感纹理。
53.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
54.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
55.图1是本技术一个实施例提供的一种在处理图像时保留图像质感纹理的方法的流程示意图；
56.图2是本技术另一个实施例提供的一种在处理图像时保留图像质感纹理的方法中计算得到待处理图像的第一法线贴图的流程示意图；
57.图3是本技术一个实施例提供的待处理图像示意图；
58.图4是本技术一个实施例提供的涂抹后的遮罩图示意图；
59.图5是本技术一个实施例提供的对待处理图像涂抹后的待消除区域进行填充后的示意图；
60.图6是本技术一个实施例提供的第三法线贴图示意图；
61.图7是本技术一个实施例提供的最终得到的处理后的图像示意图；
62.图8是本技术一个实施例提供的一种在处理图像时保留图像质感纹理的系统的结
构示意图。
63.附图标记：消除模块
‑
21；填充模块
‑
22；第一法线贴图生成模块
‑
23；第二法线贴图生成模块
‑
24；法线贴图处理模块
‑
25；法线贴图合并模块
‑
26；纹理恢复模块
‑
27；替换模块
‑
28。
具体实施方式
64.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
65.一种在处理图像时保留图像质感纹理的方法，参照图1，包括：
66.s11：确认待处理图像中的待消除区域，对待消除区域进行涂抹，得到涂抹后的遮罩图；
67.本实施例及后续实施例中将图3作为待处理图像进行举例说明。涂抹后的遮罩图如图4所示。
68.s12：对涂抹后的待消除区域进行填充；
69.具体的：选择待消除区域的邻近像素区域对待消除区域进行像素填充，使得填充过后的像素具有连续性。使的处理后的图像更具有真实性，质感纹理效果更好。填充后的效果如图5所示。
70.s13：计算得到待处理图像的第一法线贴图；
71.参照图2，具体的：
72.s131：建立第一坐标系，在第一坐标系中构建第一法线向量；
73.s132：以待处理图像在水平方向上的梯度作为第一法线向量在第一坐标系x轴上的分向量；
74.s133：以待处理图像在竖直方向上的梯度作为第一法线向量在第一坐标系y轴上的分向量；
75.s134：以第一预设常量作为第一法线向量在第一坐标系z轴上的分向量；
76.s135：对第一法线向量进行归一化；
77.s136：对归一化后的第一法线向量进行处理；
78.s137：根据处理得到的第一法线向量生成第一法线贴图。
79.第一预设常量的大小决定了第一法线贴图的凹凸程度。当第一预设常量小时，第一法线向量在第一坐标系z轴上的分向量小，使得归一化后的第一法线向量在x，y方向上的分量大，进而使得第一法线贴图的凹凸起伏变化大，反之同理。
80.对第一法线向量归一化的公式如下：
81.n＝(x,y,z)/length((x,y,z))
82.其中n为第一法线向量，x，y，z分别为第一法线向量在x轴上的分向量，第一法线向量在y轴上的分向量和第一预设常量。
83.s14：基于预设放缩系数对待处理图像进行下采样，计算得到下采样后的待处理图像的第二法线贴图；
84.具体的：
85.建立第二坐标系，在第二坐标系中构建第二法线向量；
86.以下采样后的待处理图像在水平方向上的梯度作为第二法线向量在第二坐标系x轴上的分向量；
87.以下采样后的待处理图像在竖直方向上的梯度作为第二法线向量在第二坐标系y轴上的分向量；
88.以第二预设常量作为第一法线向量在第一坐标系z轴上的分向量；其中，第二预设常量大于第一预设常量；
89.对第二法线向量进行归一化；
90.对归一化后的第二法线向量进行处理；
91.根据处理得到的第二法线向量生成第二法线贴图。
92.生成第二法线贴图的过程和生成第一法线贴图的过程基本一致。
93.区别在于，生成第二法线贴图前需要基于预设放缩系数对待处理图像进行下采样。
94.优选的，预设放缩系数为4。
95.下采样就是图像的缩小的过程，对待处理图像进行下采样即将待处理图像进行缩小。
96.本实施例中，使第二预设常量大于第一预设常量，z轴上的第二预设常量设置得更大，更方便得到图像的结构信息。
97.在计算第一法线贴图时，由于采用待处理图像的全分辨率进行计算，得到的更多是待处理图像的细节。计算第二法线贴图时得到的更多是待处理图像的结构信息。计算第二法线贴图的主要目的在于恢复待处理图像较大范围的梯度变换情况。
98.s15：对第一法线贴图和第二法线贴图进行处理；
99.s16：将处理后的第一法线贴图和第二法线贴图合并为第三法线贴图；
100.第三法线贴图如图6所示。
101.s17：基于第三法线贴图对遮罩图进行纹理恢复；
102.s18：将纹理恢复后的遮罩图替换到待消除区域。
103.最终得到的处理后的图像如图7所示。
104.本实施例中的在处理图像时保留图像质感纹理的方法，包括：确认待处理图像中的待消除区域，对待消除区域进行涂抹，得到涂抹后的遮罩图，对涂抹后的待消除区域进行填充，计算得到待处理图像的第一法线贴图，基于预设放缩系数对待处理图像进行下采样，计算得到下采样后的待处理图像的第二法线贴图。第一法线贴图由于采用待处理图像的全分辨率进行计算，得到的更多是待处理图像的细节，第二法线贴图采用下采样后的待处理图像进行计算，得到的更多是待处理图像的结构信息。对第一法线贴图和第二法线贴图进行处理，将处理后的第一法线贴图和第二法线贴图合并为第三法线贴图，基于第三法线贴图对遮罩图进行纹理恢复，将纹理恢复后的遮罩图替换到待消除区域。不仅消除了待处理图像中待消除区域的图案，还保留了待消除区域的图像质感纹理。
105.一些实施例中的在处理图像时保留图像质感纹理的方法，对归一化后的第一法线向量进行处理，包括：对归一化后的第一法线向量结果两端的较大值进行抑制；
106.对归一化后的第二法线向量进行处理，包括：对归一化后的第二法线向量结果两端的较大值进行抑制。
107.由于在进行图像恢复时需要保留的更多是缓变的梯度信息而非剧变的边缘梯度信息，本实施例中还对上述实施例中计算得到法线向量的结果两端的较大值做一次抑制，以用来抑制剧变的边缘信息，来得到抑制后的法线向量。
108.具体地，参照如下公式进行抑制：
109.n’＝max((
‑
smoothstep(0.0,0.35,abs(n)) 1.0,0.0)*n。
110.其中n为归一化后的第一法线向量或第二法线向量，n’为抑制后的第一法线向量或第二法线向量。
111.一些实施例中的在处理图像时保留图像质感纹理的方法，还包括：
112.获取待处理图像各点的像素值；
113.根据待处理图像各点的像素值，基于梯度算子，计算待处理图像各点的梯度。
114.本实施例中，可以基于各种梯度算子来计算待处理图像各点的梯度。梯度算子可以但不限于为sobel算子或者prewitt算子。
115.本实施例中，以sobel算子为例对计算梯度进行说明：
116.在坐标(u,v)处的梯度为：
117.dx＝2*p(u
–
1,v) p(u
‑
1,v 1) p(u
–
1,v
–
1)
–
2*p(u 1,v)
–
p(u 1,v 1)
–
p(u 1,v
–
1)，dy＝p(u
‑
1,v
–
1) 2*p(u,v
‑
1) p(u 1,v
‑
1)
–
p(u
‑
1,v 1)
–
2*p(u,v 1)
–
p(u 1,v 1)
118.其中dx为点(u，v)处的梯度，p(u,v)为点(u，v)处的像素值。
119.一些实施例中的在处理图像时保留图像质感纹理的方法，对第一法线贴图和第二法线贴图进行处理，包括：
120.对第一法线贴图和第二法线贴图进行高斯模糊，平滑第一法线贴图和第二法线贴图的法线变化。
121.高斯模糊，也叫高斯平滑，是在现有图像处理软件中广泛使用的处理效果，通常用它来减少图像噪声以及降低细节层次。本实施例中，对第一法线贴图和第二法线贴图进行高斯模糊，用以平滑第一法线贴图和第二法线贴图的法线变化。
122.一些实施例中的在处理图像时保留图像质感纹理的方法，将处理后的第一法线贴图和第二法线贴图合并为第三法线贴图，包括：
123.将处理后的第一法线贴图和第二法线贴图进行柔光混合，得到第三法线贴图。
124.本实施例中，将平滑后的第一法线贴图和第二法线贴图合并得到最终法线贴图。具体的，基于柔光混合对第一法线贴图和第二法线贴图进行合并。
125.一些实施例中的在处理图像时保留图像质感纹理的方法，基于第三法线贴图对遮罩图进行纹理恢复，包括：
126.计算第三法线贴图的世界光照射结果，根据世界光照射结果恢复遮罩图中物体表面褶皱的阴影和梯度变化。
127.本实施例中，通过计算第三法线贴图的世界光照射结果，用以恢复遮罩图中物体表面褶皱的阴影和梯度变化。
128.具体的，以世界光为白光作为基准进行计算。
129.一种在处理图像时保留图像质感纹理的系统，参照图8，包括：
130.消除模块21，用于确认待处理图像中的待消除区域，对待消除区域进行涂抹，得到涂抹后的遮罩图；
131.填充模块22，用于对涂抹后的待消除区域进行填充；
132.第一法线贴图生成模块23，用于计算得到待处理图像的第一法线贴图；
133.第二法线贴图生成模块24，用于基于预设放缩系数对待处理图像进行下采样，计算得到下采样后的待处理图像的第二法线贴图；
134.法线贴图处理模块25，用于对第一法线贴图和第二法线贴图进行处理；
135.法线贴图合并模块26，用于将处理后的第一法线贴图和第二法线贴图合并为第三法线贴图；
136.纹理恢复模块27，用于基于第三法线贴图对遮罩图进行纹理恢复；
137.替换模块28，用于将纹理恢复后的遮罩图替换到待消除区域。
138.具体的，法线贴图处理模块25，用于对第一法线贴图和第二法线贴图进行高斯模糊，平滑第一法线贴图和第二法线贴图的法线变化。
139.具体的，法线贴图合并模块26，用于将处理后的第一法线贴图和第二法线贴图进行柔光混合，得到第三法线贴图。
140.具体的，纹理恢复模块27，用于计算第三法线贴图的世界光照射结果，根据世界光照射结果恢复遮罩图中物体表面褶皱的阴影和梯度变化。
141.本实施例中的在处理图像时保留图像质感纹理的系统，通过消除模块确认待处理图像中的待消除区域，对待消除区域进行涂抹，得到涂抹后的遮罩图。通过填充模块对涂抹后的待消除区域进行填充。通过第一法线贴图生成模块计算得到待处理图像的第一法线贴图，通过第二法线贴图生成模块基于预设放缩系数对待处理图像进行下采样，计算得到下采样后的待处理图像的第二法线贴图。第一法线贴图由于采用待处理图像的全分辨率进行计算，得到的更多是待处理图像的细节，第二法线贴图采用下采样后的待处理图像进行计算，得到的更多是待处理图像的结构信息。通过法线贴图处理模块对第一法线贴图和第二法线贴图进行处理，通过法线贴图合并模块将处理后的第一法线贴图和第二法线贴图合并为第三法线贴图，通过纹理恢复模块基于第三法线贴图对遮罩图进行纹理恢复，最后通过替换模块将纹理恢复后的遮罩图替换到待消除区域。本实施例中，不仅消除了待处理图像中待消除区域的图案，还保留了待消除区域的图像质感纹理。
142.一些实施例中的在处理图像时保留图像质感纹理的系统，还包括：
143.梯度计算模块，用于获取待处理图像各点的像素值；根据待处理图像各点的像素值，基于梯度算子，计算待处理图像各点的梯度。
144.可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
145.需要说明的是，在本技术的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本技术的描述中，除非另有说明，“多个”的含义是指至少两个。
146.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺
序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
147.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
148.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
149.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
150.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
151.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
152.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。