图像处理方法、装置、电子设备、存储介质及产品与流程

1.本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备、存储介质及产品。


背景技术：

2.随着视频直播技术的发展，幕布抠图技术在视频图像处理领域得到广泛应用。幕布抠图本质上是一种背景幕布与目标对象的分割任务，可以应用于视频编辑、美颜、直播等领域，用来进行背景替换。
3.相关技术中，为了实现背景幕布与目标对象的分割，需要用户手动设置固定的幕布主色和抠除强度，设备根据用户预先设置好的幕布主色、抠除强度，对图像或视频帧中的像素点进行颜色滤除，从而完成背景幕布的分割。
4.相关技术中，背景幕布分割的准确性和效率较低。


技术实现要素：

5.本公开提供一种图像处理方法、装置、电子设备、存储介质及产品，以至少解决相关技术中背景幕布分割的准确性和效率较低的问题。本公开的技术方案如下：
6.根据本公开实施例的第一方面，提供一种图像处理方法，包括：
7.获取待处理图像；
8.对所述待处理图像进行对象分割处理，得到目标对象对应的掩码图像，所述掩码图像包括第一区域和第二区域，所述第一区域是所述目标对象对应的区域，所述第二区域是所述掩码图像中所述第一区域之外的区域；
9.确定所述待处理图像中各像素点对应的第一颜色信息和所述待处理图像中位于所述第二区域的像素点对应的第二颜色信息；
10.基于所述第一颜色信息与所述第二颜色信息，生成颜色距离图像，所述颜色距离图像表征所述第一颜色信息与所述第二颜色信息之间的颜色差异信息；
11.基于所述颜色距离图像，生成所述待处理图像对应的第一图像，所述第一图像表征所述目标对象在所述待处理图像中的位置信息。
12.在一个可能的设计中，所述第一颜色信息包括所述各像素点在目标颜色通道对应的原始像素值，所述第二颜色信息包括所述目标颜色通道对应的目标像素值，所述目标像素值表征所述第二区域对应的区域色调信息，所述基于所述第一颜色信息与所述第二颜色信息，生成颜色距离图像，包括：
13.确定所述原始像素值与所述目标像素值之间的像素值距离；
14.基于所述像素值距离，得到所述颜色距离图像。
15.在一个可能的设计中，所述基于所述颜色距离图像，生成所述待处理图像对应的第一图像，包括：
16.基于所述像素值距离，对所述颜色距离图像中的像素点进行分类处理，得到像素
点类别信息，所述像素点类别信息表征所述颜色距离图像中的像素点与所述目标对象之间的对应关系；
17.基于所述像素点类别信息，生成所述第一图像。
18.在一个可能的设计中，所述基于所述颜色距离图像，生成所述待处理图像对应的第一图像，包括：
19.对所述颜色距离图像进行图像平滑处理，得到平滑图像；
20.对所述平滑图像中的像素点进行分类处理，得到像素点类别信息，所述像素点类别信息表征所述平滑图像中的像素点与所述目标对象之间的对应关系；
21.基于所述像素点类别信息，生成所述第一图像。
22.在一个可能的设计中，所述确定所述待处理图像中各像素点对应的第一颜色信息和所述待处理图像中位于所述第二区域的像素点对应的第二颜色信息，包括：
23.获取所述各像素点在目标颜色通道对应的原始像素值，所述各像素点包括所述第二区域的像素点；
24.对所述第二区域的像素点在所述目标颜色通道对应的原始像素值进行平均处理，得到所述目标颜色通道对应的目标像素值；
25.其中，所述第一颜色信息包括所述原始像素值，所述第二颜色信息包括所述目标像素值。
26.在一个可能的设计中，所述对所述待处理图像进行对象分割处理，得到目标对象对应的掩码图像，包括：
27.将所述待处理图像输入至对象分割模型进行对象分割处理，输出所述掩码图像；
28.其中，所述对象分割模型是基于样本图像和标签信息进行训练得到的机器学习模型，所述样本图像是包括样本对象和样本背景幕布的图像，所述标签信息包括所述样本图像对应的第一掩码图像，所述第一掩码图像表征所述样本对象与样本背景幕布之间的实际分割信息。
29.在一个可能的设计中，所述对象分割模型的训练过程包括：
30.获取所述样本图像和所述第一掩码图像；
31.将所述样本图像输入至待训练的对象分割模型进行对象分割处理，输出第二掩码图像，所述第二掩码图像表征所述样本对象与样本背景幕布之间的预测分割信息；
32.基于所述第一掩码图像和所述第二掩码图像，生成模型损失信息；
33.基于所述模型损失信息，对所述待训练的对象分割模型进行参数调整处理，得到所述对象分割模型。
34.在一个可能的设计中，所述方法还包括：
35.对所述待处理图像和所述第一图像进行融合处理，得到第一融合图像，所述第一融合图像表征所述目标对象在所述待处理图像中的图像信息。
36.在一个可能的设计中，所述对所述待处理图像和所述第一图像进行融合处理，得到第一融合图像，包括：
37.对所述待处理图像和所述第一图像进行融合处理，得到中间融合图像；
38.对所述中间融合图像进行与所述目标颜色信息对应的溢色处理，得到所述第一融合图像，所述溢色处理用于平滑位于所述目标对象的边缘且与所述目标颜色信息相对应的
像素点的像素值。
39.在一个可能的设计中，所述方法还包括：
40.获取目标背景图像；
41.对所述第一图像进行变换处理，得到第二图像，所述第二图像表征所述待处理图像中除所述目标对象之外的图像区域；
42.对所述目标背景图像和所述第二图像进行融合处理，得到第二融合图像，所述第二融合图像表征所述图像区域在所述目标背景图像中对应的图像信息；
43.基于所述第一融合图像和所述第二融合图像，生成合成图像。
44.根据本公开实施例的第二方面，提供一种图像处理装置，包括：
45.图像获取模块，被配置为执行获取待处理图像；
46.对象分割模块，被配置为执行对所述待处理图像进行对象分割处理，得到目标对象对应的掩码图像，所述掩码图像包括第一区域和第二区域，所述第一区域是所述目标对象对应的区域，所述第二区域是所述掩码图像中所述第一区域之外的区域；
47.颜色确定模块，被配置为执行确定所述待处理图像中各像素点对应的第一颜色信息和所述待处理图像中位于所述第二区域的像素点对应的第二颜色信息；
48.差异信息确定模块，被配置为执行基于所述第一颜色信息与所述第二颜色信息，生成颜色距离图像，所述颜色距离图像表征所述第一颜色信息与所述第二颜色信息之间的颜色差异信息；
49.图像生成模块，被配置为执行基于所述颜色距离图像，生成所述待处理图像对应的第一图像，所述第一图像表征所述目标对象在所述待处理图像中的位置信息。
50.在一个可能的设计中，所述第一颜色信息包括所述各像素点在目标颜色通道对应的原始像素值，所述第二颜色信息包括所述目标颜色通道对应的目标像素值，所述目标像素值表征所述第二区域对应的区域色调信息，所述差异信息确定模块，包括：
51.像素距离确定单元，被配置为执行确定所述原始像素值与所述目标像素值之间的像素值距离；
52.距离图像生成单元，被配置为执行基于所述像素值距离，得到所述颜色距离图像。
53.在一个可能的设计中，所述图像生成模块，包括：
54.像素点分类单元，被配置为执行基于所述像素值距离，对所述颜色距离图像中的像素点进行分类处理，得到像素点类别信息，所述像素点类别信息表征所述颜色距离图像中的像素点与所述目标对象之间的对应关系；
55.图像生成单元，被配置为执行基于所述像素点类别信息，生成所述第一图像。
56.在一个可能的设计中，所述图像生成模块，包括：
57.图像平滑单元，被配置为执行对所述颜色距离图像进行图像平滑处理，得到平滑图像；
58.所述像素点分类单元，还被配置为执行对所述平滑图像中的像素点进行分类处理，得到像素点类别信息，所述像素点类别信息表征所述平滑图像中的像素点与所述目标对象之间的对应关系；
59.所述图像生成单元，被配置为执行基于所述像素点类别信息，生成所述第一图像。
60.在一个可能的设计中，所述颜色确定模块，包括：
61.像素值获取单元，被配置为执行获取所述各像素点在目标颜色通道对应的原始像素值，所述各像素点包括所述第二区域的像素点；
62.目标像素值确定单元，被配置为执行对所述第二区域的像素点在所述目标颜色通道对应的原始像素值进行平均处理，得到所述目标颜色通道对应的目标像素值；
63.其中，所述第一颜色信息包括所述原始像素值，所述第二颜色信息包括所述目标像素值。
64.在一个可能的设计中，所述对象分割模块，具体被配置为执行将所述待处理图像输入至对象分割模型进行对象分割处理，输出所述掩码图像；
65.其中，所述对象分割模型是基于样本图像和标签信息进行训练得到的机器学习模型，所述样本图像是包括样本对象和样本背景幕布的图像，所述标签信息包括所述样本图像对应的第一掩码图像，所述第一掩码图像表征所述样本对象与样本背景幕布之间的实际分割信息。
66.在一个可能的设计中，所述对象分割模型的训练过程包括：
67.获取所述样本图像和所述第一掩码图像；
68.将所述样本图像输入至待训练的对象分割模型进行对象分割处理，输出第二掩码图像，所述第二掩码图像表征所述样本对象与样本背景幕布之间的预测分割信息；
69.基于所述第一掩码图像和所述第二掩码图像，生成模型损失信息；
70.基于所述模型损失信息，对所述待训练的对象分割模型进行参数调整处理，得到所述对象分割模型。
71.在一个可能的设计中，所述装置还包括：
72.图像融合模块，被配置为执行对所述待处理图像和所述第一图像进行融合处理，得到第一融合图像，所述第一融合图像表征所述目标对象在所述待处理图像中的图像信息。
73.在一个可能的设计中，所述图像融合模块，包括：
74.图像融合单元，被配置为执行对所述待处理图像和所述第一图像进行融合处理，得到中间融合图像；
75.溢色处理单元，被配置为执行对所述中间融合图像进行与所述目标颜色信息对应的溢色处理，得到所述第一融合图像，所述溢色处理用于平滑位于所述目标对象的边缘且与所述目标颜色信息相对应的像素点的像素值。
76.在一个可能的设计中，所述装置还包括：
77.背景图像获取模块，被配置为执行获取目标背景图像；
78.图像变换模块，被配置为执行对所述第一图像进行变换处理，得到第二图像，所述第二图像表征所述待处理图像中除所述目标对象之外的图像区域；
79.所述图像融合模块，还被配置为执行对所述目标背景图像和所述第二图像进行融合处理，得到第二融合图像，所述第二融合图像表征所述图像区域在所述目标背景图像中对应的图像信息；
80.图像合成模块，被配置为执行基于所述第一融合图像和所述第二融合图像，生成合成图像。
81.根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述
处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的方法。
82.根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面中任一所述方法。
83.根据本公开实施例的第五方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例的第一方面中任一所述方法。
84.本公开的实施例提供的技术方案至少带来以下有益效果：
85.通过对待处理图像进行对象分割处理，可以得到目标对象对应的掩码图像，基于掩码图像可以确定待处理图像中目标对象之外的区域对应的颜色信息，以及该颜色信息与待处理图像中各像素点的颜色信息之间的颜色差异信息，从而确定能够表征目标对象位置信息的图像，实现对象分割，提升了对象分割的准确性和效率。
86.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
87.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
88.图1是根据一示例性实施例示出的一种应用环境的示意图。
89.图2是根据一示例性实施例示出的一种图像处理方法的流程图一；
90.图3示例性示出了一种待处理图像的示意图；
91.图4示例性示出了一种掩码图像的示意图；
92.图5是根据一示例性实施例示出的一种图像处理方法的流程图二；
93.图6是根据一示例性实施例示出的一种对象分割模型训练方法的流程图；
94.图7示例性示出了一种颜色距离图像的示意图；
95.图8是根据一示例性实施例示出的一种图像处理方法的流程图三；
96.图9示例性示出了一种第一平滑图像的示意图；
97.图10示例性示出了一种第二平滑图像的示意图；
98.图11是根据一示例性实施例示出的一种图像处理方法的流程图四；
99.图12示例性示出了一种第一融合图像的示意图；
100.图13是根据一示例性实施例示出的一种图像处理装置框图；
101.图14是根据一示例性实施例示出的一种用于图像处理的电子设备的框图。
具体实施方式
102.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
103.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或
描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
104.需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
105.请参阅图1，图1是根据一示例性实施例示出的一种应用环境的示意图，如图1所示，该应用环境可以包括终端100和服务器200。
106.终端100可以用于面向任一用户提供图像处理服务，如背景幕布分割、替换等服务。具体的，终端100可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、智能可穿戴设备等类型的电子设备，也可以为运行于上述电子设备的软体，例如应用程序等。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、ios系统、linux、windows等。
107.在一个可选的实施例中，服务器200可以为终端100提供后台服务，生成终端100要展示的图像处理结果，如下述实施例中的第一图像、第二图像、融合图像、合成图像等。具体的，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
108.此外，需要说明的是，图1所示的仅仅是本公开提供的一种应用环境，在实际应用中，还可以包括其他应用环境，例如可以包括更多的终端。
109.本说明书实施例中，上述终端100以及服务器200可以通过有线或无线通信方式进行直接或间接地连接，本公开在此不做限制。
110.图2是根据一示例性实施例示出的一种图像处理方法的流程图一，如图2所示，该图像处理方法用于电子设备(如终端或服务器)中，包括以下步骤(210～250)。
111.步骤210，获取待处理图像。
112.可选地，上述待处理图像包括目标对象。目标对象可以是用户预设的目标识别对象。
113.在一种可能的实施方式中，上述待处理图像是以预设幕布为背景对目标对象进行拍摄得到的图像。可选地，上述预设幕布包括绿幕。
114.可选地，上述待处理图像包括视频流中的视频帧，该视频流包括直播视频流、录播视频流、动画视频流等。
115.在一个示例中，如图3所示，其示例性示出了一种待处理图像的示意图。图3示出的待处理图像30中目标对象31。
116.步骤220，对待处理图像进行对象分割处理，得到目标对象对应的掩码图像。
117.可选地，上述掩码图像包括第一区域和第二区域，第一区域是目标对象对应的区域，第二区域是掩码图像中第一区域之外的区域。
118.可选地，上述目标对象是前景对象，前景对象是指待处理图像中除了预设幕布之
外的对象；相应的，在目标对象是前景对象的情况下，上述第一区域为前景区域，即待处理图像中除了预设幕布之外的图像区域(即目标对象对应的图像区域)；相应的，上述第二区域为背景区域，即待处理图像中预设幕布对应的图像区域。
119.可选地，上述掩码图像对应的图像参数，如图像尺寸、图像分辨率等，可以与待处理图像相同，也可以与待处理图像不同。上述掩码图像可以是灰度图像，也可以是二值图像，本公开实施例对此不作限定。
120.在一个示例中，如图4所示，其示例性示出了一种掩码图像的示意图。图4示出了上述待处理图像30对应的掩码图像40，掩码图像40中包括第一区域41和第二区域42。其中，第一区域41是上述目标对象31对应的图像区域，第二区域42目标对象31对应的图像区域之外的图像区域。
121.在示例性实施例中，如图5所示，上述步骤220的实施过程包括如下步骤221，图5是根据一示例性实施例示出的一种图像处理方法的流程图二。
122.步骤221，将待处理图像输入至对象分割模型进行对象分割处理，输出掩码图像。
123.其中，对象分割模型是基于样本图像和标签信息进行训练得到的机器学习模型，样本图像是包括样本对象和样本背景幕布的图像，标签信息包括样本图像对应的第一掩码图像，第一掩码图像表征样本对象与样本背景幕布之间的实际分割信息。
124.可选地，上述对象分割模型包括前景对象分割模型。前景对象分割模型用于分割图像中的前景对象和背景幕布。
125.在一些实际应用中，如视频直播应用场景，经常存在目标对象(前景)所在区域中的像素点的颜色与目标对象之外其他区域的(背景幕布)颜色近似的情况，相关技术进行对象分割时，会将目标对象(前景)所在区域中与其他区域颜色近似的像素点也确定为是其他区域的像素点，并将其像素值进行更改，导致对象分割错误。而本示例性实施例提供的技术方案，通过预先训练好的对象分割模型对待处理图像进行对象分割处理，可以准确地输出目标对象对应的掩码图像，从而有效区分目标对象所在区域与其他区域之间的界限，避免上述对象分割错误，提升了对象分割的准确性。
126.在一种可能的实施方式中，如图6所示，上述对象分割模型的训练过程包括如下步骤(601～604)，图6是根据一示例性实施例示出的一种对象分割模型训练方法的流程图。
127.步骤601，获取样本图像和第一掩码图像。
128.可选地，上述第一掩码图像是根据样本图像中样本对象和样本背景幕布之间的边缘进行标记生成的掩码图像，因此上述第一掩码图像可以表征样本对象与样本背景幕布之间的实际分割信息。
129.可选地，上述样本图像包括至少一种拍摄条件下以样本背景幕布为背景对样本对象进行拍摄得到的图像。可选地，上述拍摄条件包括至少一种光照强度、至少一种光照方向、至少一种光源类型、至少一种拍摄场景等条件。可选地，上述样本对象包括至少一个样本物品、至少一个样本人物等，各个样本图像中的样本对象可以不同，也可以相同，本公开实施例对此不作限定。
130.步骤602，将样本图像输入至待训练的对象分割模型进行对象分割处理，输出第二掩码图像。
131.可选地，第二掩码图像表征样本对象与样本背景幕布之间的预测分割信息。
132.可选地，上述对象分割模型采用unet结构，针对性设计轻量化网络结构。
133.步骤603，基于第一掩码图像和第二掩码图像，生成模型损失信息。
134.可选地，基于第一掩码图像和第二掩码图像，生成二分类交叉熵损失(bceloss)数据，上述模型损失信息包括对比损失数据。
135.步骤604，基于模型损失信息，对待训练的对象分割模型进行参数调整处理，得到对象分割模型。
136.可选地，判断上述二分类交叉熵损失数据是否小于或等于预设损失数据阈值；若二分类交叉熵损失数据大于预设损失数据阈值，则对待训练的对象分割模型进行参数调整处理；若二分类交叉熵损失数据小于或等于预设损失数据阈值，则得到训练好的对象分割模型。
137.本实施方式中，将样本图像中的样本对象对应的实际掩码图像(即上述第一掩码图像)作为样本图像的标签信息，并将待训练的对象分割模型输出的预测掩码图像(即上述第二掩码图像)与实际掩码图像进行比对，从而生成模型损失信息，进而进行模型参数调整，可以得到准确度高的对象分割模型，提升对象分割准确性。
138.步骤230，确定待处理图像中各像素点对应的第一颜色信息和待处理图像中位于第二区域的像素点对应的第二颜色信息。
139.可选地，第一颜色信息包括各像素点在目标颜色通道对应的原始像素值。
140.可选地，第二颜色信息包括目标颜色通道对应的目标像素值。可选地，目标像素值表征第二区域对应的区域色调信息。比如，上述目标像素值可以表征第二区域对应的背景色、平均色或主色，上述背景色、平均色或主色均可以是上述区域色调信息。
141.可选地，上述目标颜色通道包括ycbcr颜色空间和lab颜色空间对应的颜色通道。其中，ycbcr颜色空间对应的颜色通道包括cb通道和cr通道，lab颜色空间对应的颜色通道包括a通道和b通道。
142.在上述ycbcr颜色空间中，y是指亮度分量，cb指蓝色色度分量，而cr指红色色度分量。在lab颜色空间中，l分量用于表示像素的亮度，取值范围是[0，100]，表示从纯黑到纯白；a表示从红色到绿色的范围，取值范围是[127，-128]；b表示从黄色到蓝色的范围，取值范围是[127，-128]。可选地，上述ycbcr颜色空间与lab颜色空间存在对应的颜色空间变换关系。
[0143]
相应的，上述目标颜色通道对应的目标像素值包括cb通道对应的cb通道目标值(keycolor_cb)、cr通道对应的cr通道目标值(keycolor_cr)、a通道对应的a通道目标值(keycolor_a)、b通道对应的b通道目标值(keycolor_b)。
[0144]
在示例性实施例中，如图5所示，上述步骤230的实施过程包括如下步骤(231～232)。
[0145]
步骤231，获取各像素点在目标颜色通道对应的原始像素值。
[0146]
其中，上述各像素点包括第二区域的像素点。获取待处理图像中各像素点在目标颜色通道对应的原始像素值，即获取了待处理图像中位于第二区域的像素点在目标颜色通道对应的原始像素值。
[0147]
步骤232，对第二区域的像素点在目标颜色通道对应的原始像素值进行平均处理，得到目标颜色通道对应的目标像素值。
[0148]
其中，第一颜色信息包括原始像素值，第二颜色信息包括目标像素值。
[0149]
可选地，对待处理图像中位于第二区域的像素点在目标颜色通道对应的像素值进行平均处理，得到待处理图像中位于第二区域的像素点在目标颜色通道对应的平均像素值，将平均像素值确定为上述目标像素值。
[0150]
可选地，对待处理图像中位于第二区域的像素点在cb通道对应的像素值进行平均处理，得到cb通道目标值(keycolor_cb)；对待处理图像中位于第二区域的像素点在cr通道对应的像素值进行平均处理，得到cr通道目标值(keycolor_cb)；对待处理图像中位于第二区域的像素点在a通道对应的像素值进行平均处理，得到a通道目标值(keycolor_a)；对待处理图像中位于第二区域的像素点在b通道对应的像素值进行平均处理，得到b通道目标值(keycolor_b)。
[0151]
本示例性实施例提供的技术方案，通过对待处理图像中位于第二区域的像素点在目标颜色通道对应的像素值进行平均处理，可以自动确定目标颜色通道对应的目标像素值，即待处理图像中第二区域的主色，提升了对象分割的效率，无需用户手动设置图像主色和扣除强度等参数、并且，该目标像素值不仅是自动确定的，还是与待处理图像相对应的，可以适应不同的拍摄条件的变化，如光照变化和拍摄场景变化，有效避免图像噪声干扰，有利于提升对象分割的准确性。
[0152]
步骤240，基于第一颜色信息与第二颜色信息，生成颜色距离图像。
[0153]
可选地，颜色距离图像表征第一颜色信息与第二颜色信息之间的颜色差异信息。
[0154]
在示例性实施例中，如图5所示，上述步骤240的实施过程可以包括如下步骤(241～242)。
[0155]
步骤241，确定原始像素值与目标像素值之间的像素值距离。
[0156]
可选地，对原始像素值与目标像素值进行相减，得到原始像素值与目标像素值之间的差值，即上述像素值距离。
[0157]
步骤242，基于像素值距离，得到颜色距离图像。
[0158]
可选地，将待处理图像中的像素点对应的像素值距离，确定为相应像素点在目标颜色通道上的像素值，从而得到上述颜色距离图像。
[0159]
在一个示例中，如图7所示，其示例性示出了一种颜色距离图像的示意图。图7示出了上述待处理图像30对应的颜色距离图像70。颜色距离图像70中各个像素点在目标颜色通道对应的像素值是各个像素点在目标颜色通道对应的原始像素值与目标颜色通道对应的目标像素值之间的差值。
[0160]
本示例性实施例提供的技术方案，通过确定待处理图像中各像素点对应的原始像素值与目标像素值之间的像素值距离，可以准确生成能够表征上述颜色差异信息的颜色距离图像，提升了颜色距离图像的准确性和可靠性，从而确保后续步骤的正确性，确保了对象分割的准确性。
[0161]
步骤250，基于颜色距离图像，生成待处理图像对应的第一图像。
[0162]
可选地，第一图像表征目标对象在待处理图像中的位置信息。
[0163]
可选地，上述颜色距离图像中的像素点在目标颜色通道上对应的像素值是上述像素值距离，因此可以基于上述像素值距离确定各个像素点与目标对象之间的对应关系，比如像素值距离小于或等于像素值距离阈值的像素点为背景幕布对应的像素点，像素值距离
大于像素值距离阈值的像素点为目标对象对应的像素点，进而可以根据上述对应关系，确定上述第一图像。
[0164]
可选地，上述第一图像的类型包括但不限于遮罩图像、透明度图像、二值化图像、灰度图像等类型的图像，具体可以根据实际应用场景进行配置，本技术实施例对此不作限定。相应的，由于上述第一图像可以表征目标对象在待处理图像中的位置信息，因此第一图像可以用于遮罩，还可以用于分割，本技术实施例对此不作限定。
[0165]
在一种可能的实施方式中，如图5所示，上述步骤250的实施过程可以包括如下步骤(251～252)。
[0166]
步骤251，基于像素值距离，对颜色距离图像中的像素点进行分类处理，得到像素点类别信息。
[0167]
像素点类别信息表征颜色距离图像中的像素点与目标对象之间的对应关系。
[0168]
可选地，基于上述像素值距离，对颜色距离图像中的像素点进行聚类，可以得到至少两类像素点，其中至少两类像素点包括第一类像素点和第二类像素点，第一类像素点是目标对象对应的像素点，第二类像素点是目标对象之外的像素点。上述像素点类别信息包括上述第一类像素点和第二类像素点。
[0169]
步骤252，基于像素点类别信息，生成第一图像。
[0170]
可选地，将上述第一类像素点对应的像素值设置为第一像素值，将上述第二类像素点对应的像素值设置为第二像素值，得到上述第一图像。其中，上述第一像素值与其他像素值进行融合后得到的像素值为其他像素值，以便于提取待处理图像中目标对象对应的图像信息；上述第二像素值与其他像素值进行融合后的得到的像素值仍为上述第二像素值，以便于滤除待处理图像中目标对象之外的图像信息。
[0171]
本实施方式提供的技术方案，通过像素值距离对像素点分类，可以确定能够表征像素点与目标对象之间的对应关系的像素点类别信息，进而可以根据像素点类别信息，准确生成上述第一图像，提升了对象分割的准确性。
[0172]
在另一种可能的实施方式中，如图8所示，上述步骤250的实施过程可以包括如下步骤(25a～25c)，图8是根据一示例性实施例示出的一种图像处理方法的流程图三。
[0173]
步骤25a，对颜色距离图像进行图像平滑处理，得到平滑图像。
[0174]
可选地，基于平滑阶梯函数(smoothstep)对颜色距离图像进行平滑，得到第一平滑图像。在一个示例中，如图9所示，其示例性示出了一种第一平滑图像的示意图。图9中示出了上述颜色距离图像70对应的第一平滑图像90。
[0175]
可选地，对上述第一平滑图像进行高斯平滑，并对其进行图像腐蚀操作，使其内缩，得到第二平滑图像。在一个示例中，如图10所示，其示例性示出了一种第二平滑图像的示意图。图10中示出了上述颜色距离图像70对应的第二平滑图像100。
[0176]
步骤25b，对平滑图像中的像素点进行分类处理，得到像素点类别信息。
[0177]
可选地，像素点类别信息表征平滑图像中的像素点与目标对象之间的对应关系。
[0178]
可选地，获取平滑图像中的像素点对应的像素值，基于该像素值对平滑图像中的像素点进行聚类，得到上述第一类像素点和第二类像素点。
[0179]
步骤25c，基于像素点类别信息，生成第一图像。
[0180]
本实施方式提供的技术方案，通过对颜色距离图像进行平滑，可以得到目标对象
边缘平滑的平滑图像，提升了图像分割效果，再对平滑后的图像进行像素点分类，可以确定能够表征像素点与目标对象之间的对应关系的像素点类别信息，进而可以根据像素点类别信息，准确生成上述第一图像，提升了对象分割的图像分割效果和准确性。
[0181]
综上所述，本公开实施例提供的技术方案，通过对待处理图像进行对象分割处理，可以得到目标对象对应的掩码图像，基于掩码图像可以确定待处理图像中目标对象之外的区域对应的颜色信息，以及该颜色信息与待处理图像中各像素点的颜色信息之间的颜色差异信息，从而确定能够表征目标对象位置信息的图像，实现对象分割，提升了对象分割的准确性和效率。
[0182]
图11是根据一示例性实施例示出的一种图像处理方法的流程图四，如图2所示，该图像处理方法用于电子设备(如终端或服务器)中，包括以下步骤(210～300)。
[0183]
步骤210，获取待处理图像。
[0184]
步骤220，对待处理图像进行对象分割处理，得到目标对象对应的掩码图像。
[0185]
步骤230，确定待处理图像中各像素点对应的第一颜色信息和待处理图像中位于第二区域的像素点对应的第二颜色信息。
[0186]
步骤240，基于第一颜色信息与第二颜色信息，生成颜色距离图像。
[0187]
步骤250，基于颜色距离图像，生成待处理图像对应的第一图像。
[0188]
对于步骤210至步骤250的说明内容可以参见上一方法实施例，这里不再赘述。
[0189]
步骤260，对待处理图像和第一图像进行融合处理，得到第一融合图像。
[0190]
可选地，第一融合图像表征目标对象在待处理图像中的图像信息。
[0191]
可选地，上述第一图像包括第一类像素点和第二类像素点，由于第一类像素点对应的第一像素值与其他像素值进行融合后得到的像素值为其他像素值，第二类像素点对应的第二像素值与其他像素值进行融合后的得到的像素值仍为上述第二像素值，所以将上述待处理图像和第一图像进行融合，即可实现待处理图像中目标对象对应的图像信息的提取以及待处理图像中目标对象之外的图像信息的滤除，从而得到能够表征目标对象在待处理图像中的图像信息的第一融合图像。
[0192]
在一个示例中，如图12所示，图12示例性示出了一种第一融合图像的示意图。图12示出了上述待处理图像30对应的第一融合图像120，第一融合图像120中只保留了待处理图像30中目标对象31对应的图像信息。
[0193]
在示例性实施例中，对待处理图像和第一图像进行融合处理，得到中间融合图像；对中间融合图像进行与目标颜色信息对应的溢色处理，得到第一融合图像，溢色处理用于平滑位于目标对象的边缘且与目标颜色信息相对应的像素点的像素值。
[0194]
在一些实际应用场景中，待处理图像中除目标对象之外的区域是背景幕布，可对上述中间融合图像使用despill进行溢色处理，消除背景幕布边(目标对象边缘处与背景幕布颜色近似或相同的边)。
[0195]
本示例性实施例公开的技术方案，通过对基于待处理图像和第一图像进行融合得到的中间融合图像进行溢色处理，可以消除融合图像中目标对象边缘处的背景区域边，提升图像融合质量。
[0196]
步骤270，获取目标背景图像。
[0197]
可选地，上述目标背景图像是预设的背景图像，可用于替换待处理图像中目标对
象之外的图像区域的图像信息，如替换待处理图像中的背景幕布。
[0198]
步骤280，对第一图像进行变换处理，得到第二图像。
[0199]
可选地，第二图像表征待处理图像中除目标对象之外的图像区域。可选地，与上述第一图像类似，上述第二图像的类型包括但不限于遮罩图像、透明度图像、二值化图像、灰度图像等类型的图像，具体可以根据实际应用场景进行配置，本技术实施例对此不作限定。相应的，由于上述第二图像可以表征待处理图像中除目标对象之外的图像区域，因此第二图像可以用于遮罩，还可以用于分割，本技术实施例对此不作限定。
[0200]
在一种可能的实施方式中，对上述第一图像进取反处理，得到上述第二图像。可选地，将第一图像中的第一类像素点对应的像素值更新为第二像素值，将上述第二类像素点对应的像素值更新为第一像素值，得到上述第二图像。上述第二图像中，上述第一像素值与其他像素值进行融合后得到的像素值为其他像素值，以便于提取目标背景图像中目标对象对应的图像区域之外的背景信息；上述第二像素值与其他像素值进行融合后的得到的像素值仍为上述第二像素值，以便于滤除目标背景图像中目标对象对应的图像区域的图像信息。
[0201]
步骤290，对目标背景图像和第二图像进行融合处理，得到第二融合图像。
[0202]
可选地，第二融合图像表征图像区域在目标背景图像中对应的图像信息。
[0203]
可选地，上述第二图像包括第一类像素点和第二类像素点，由于第一类像素点对应的第二像素值与其他像素值进行融合后的得到的像素值仍为上述第二像素值，第二类像素点对应的第一像素值与其他像素值进行融合后得到的像素值为其他像素值，所以将上述目标背景图像和第二图像进行融合，即可实现对目标背景图像中目标对象对应的图像区域之外的图像信息进行提取，以及对目标背景图像中目标对象对应的图像区域的图像信息进行滤除，从而得到能够表征目标对象之外的图像区域在目标背景图像中对应的图像信息的第二融合图像。
[0204]
步骤300，基于第一融合图像和第二融合图像，生成合成图像。
[0205]
可选地，对上述第一融合图像和第二融合图像进行融合处理，可以生成合成图像，上述合成图像中包括目标对象和目标背景图像对应的背景信息。
[0206]
可选地，将上述第一融合图像中的第二类像素点对应的像素值设置为0或透明，将上述第二融合图像中的第一类像素点对应的像素值设置为0或透明，并对设置后的第一融合图像和设置后的第二融合图像进行叠加，可以得到上述合成图像，实现对待处理图像的背景替换。
[0207]
综上所述，本公开实施例提供的技术方案，通过对待处理图像进行对象分割处理，可以得到目标对象对应的掩码图像，基于掩码图像可以确定待处理图像中目标对象之外的区域对应的颜色信息，以及该颜色信息与待处理图像中各像素点的颜色信息之间的颜色差异信息，从而确定能够表征目标对象位置信息的第一图像，进而对待处理图像和第一图像进行融合，得到能够表征目标对象在待处理图像中的图像信息的第一融合图像，实现目标对象的分割提取，提升了对象分割提取的准确性和效率。
[0208]
此外，本公开实施例提供的技术方案，还通过对第一图像进行变换，得到第二图像，由于第二图像能够表征待处理图像中除目标对象之外的图像区域，因此将第二图像与目标背景图像进行融合，即可得到能够表征该图像区域在目标背景图像中对应的图像信息
的第二融合图像，基于上述第一融合图像和第二融合图像，即可生成合成图像，实现对待处理图像的背景替换，提升了图像背景替换的效率和准确性。
[0209]
下面结合具体的应用场景对本公开实施例提供的技术方案的有益效果进行说明。视频直播场景是本公开实施例提供的技术方案对应的一种典型应用场景，尤其是随着视频直播的快速发展，绿幕抠图技术在视频图像处理领域得到广泛应用。绿幕抠图技术可以应用于视频编辑、美颜、直播等，用来进行背景替换。
[0210]
绿幕抠图本质上是一种前景背景分割任务，相关技术中，设备根据用户设定的背景主色，对图像或视频帧中的像素点进行颜色滤除。此种方式下通常需要用户手动设置图像主色、抠除强度等，这对于用户来说是较为困难的，且当发生光照变化等时，设置的主色、抠除强度等均需要重新设置，不利于调试。并且，由于用户设定的背景主色是固定的，导致相关技术进行分割时无法应对溢色、反光、光照不均匀导致存在阴影区域等问题，得到的抠图结果会产生黑边及大块阴影区域等。此外，在视频直播场景下经常存在目标对象前景颜色与幕布颜色近似的问题，相关技术中会将目标对象前景也抠除，严重影响视觉效果。
[0211]
而本公开实施例提供的技术方案，采用对象分割模型进行辅助，自动输出对象分割结果并可以根据该对象分割结果自动计算图像背景主色，来降低调参数成本、参数配置量以及操作复杂度。并且，相比于相关技术中需要手工设置主色的方案，本公开实施例提供的技术方案自动提取的主色更鲁棒，本公开实施例还结合溢色处理方案，在多人、不同光照、变化光照等场景都可鲁棒运行，抠图效果更好。本公开实施例提供的技术方案还利用上述图像背景主色，对图像像素点进行聚类，在对应颜色空间中离主色像素值近的像素点聚类为背景，否则聚类为前景，从而可以实现精确地前景背景分割，提升图像分割效率和准确性，进而实现精准的背景替换，得到合成图像，提升了合成图像的质量。
[0212]
图13是根据一示例性实施例示出的一种图像处理装置框图。参照图13，该装置1300包括：图像获取模块1310、对象分割模块1320、颜色确定模块1330、差异信息确定模块1340以及图像生成模块1350。
[0213]
图像获取模块1310，被配置为执行获取待处理图像；
[0214]
对象分割模块1320，被配置为执行对所述待处理图像进行对象分割处理，得到目标对象对应的掩码图像，所述掩码图像包括第一区域和第二区域，所述第一区域是所述目标对象对应的区域，所述第二区域是所述掩码图像中所述第一区域之外的区域；
[0215]
颜色确定模块1330，被配置为执行确定所述待处理图像中各像素点对应的第一颜色信息和所述待处理图像中位于所述第二区域的像素点对应的第二颜色信息；
[0216]
差异信息确定模块1340，被配置为执行基于所述第一颜色信息与所述第二颜色信息，生成颜色距离图像，所述颜色距离图像表征所述第一颜色信息与所述第二颜色信息之间的颜色差异信息；
[0217]
图像生成模块1350，被配置为执行基于所述颜色距离图像，生成所述待处理图像对应的第一图像，所述第一图像表征所述目标对象在所述待处理图像中的位置信息。
[0218]
在一个可能的设计中，所述第一颜色信息包括所述各像素点在目标颜色通道对应的原始像素值，所述第二颜色信息包括所述目标颜色通道对应的目标像素值，所述目标像素值表征所述第二区域对应的区域色调信息，所述差异信息确定模块1340，包括：
[0219]
像素距离确定单元，被配置为执行确定所述原始像素值与所述目标像素值之间的
像素值距离；
[0220]
距离图像生成单元，被配置为执行基于所述像素值距离，得到所述颜色距离图像。
[0221]
在一个可能的设计中，所述图像生成模块1350，包括：
[0222]
像素点分类单元，被配置为执行基于所述像素值距离，对所述颜色距离图像中的像素点进行分类处理，得到像素点类别信息，所述像素点类别信息表征所述颜色距离图像中的像素点与所述目标对象之间的对应关系；
[0223]
图像生成单元，被配置为执行基于所述像素点类别信息，生成所述第一图像。
[0224]
在一个可能的设计中，所述图像生成模块1350，包括：
[0225]
图像平滑单元，被配置为执行对所述颜色距离图像进行图像平滑处理，得到平滑图像；
[0226]
所述像素点分类单元，还被配置为执行对所述平滑图像中的像素点进行分类处理，得到像素点类别信息，所述像素点类别信息表征所述平滑图像中的像素点与所述目标对象之间的对应关系；
[0227]
所述图像生成单元，被配置为执行基于所述像素点类别信息，生成所述第一图像。
[0228]
在一个可能的设计中，所述颜色确定模块1330，包括：
[0229]
像素值获取单元，被配置为执行获取所述各像素点在目标颜色通道对应的原始像素值，所述各像素点包括所述第二区域的像素点；
[0230]
目标像素值确定单元，被配置为执行对所述第二区域的像素点在所述目标颜色通道对应的原始像素值进行平均处理，得到所述目标颜色通道对应的目标像素值；
[0231]
其中，所述第一颜色信息包括所述原始像素值，所述第二颜色信息包括所述目标像素值。
[0232]
在一个可能的设计中，所述对象分割模块1320，具体被配置为执行将所述待处理图像输入至对象分割模型进行对象分割处理，输出所述掩码图像；
[0233]
其中，所述对象分割模型是基于样本图像和标签信息进行训练得到的机器学习模型，所述样本图像是包括样本对象和样本背景幕布的图像，所述标签信息包括所述样本图像对应的第一掩码图像，所述第一掩码图像表征所述样本对象与样本背景幕布之间的实际分割信息。
[0234]
在一个可能的设计中，所述对象分割模型的训练过程包括：
[0235]
获取所述样本图像和所述第一掩码图像；
[0236]
将所述样本图像输入至待训练的对象分割模型进行对象分割处理，输出第二掩码图像，所述第二掩码图像表征所述样本对象与样本背景幕布之间的预测分割信息；
[0237]
基于所述第一掩码图像和所述第二掩码图像，生成模型损失信息；
[0238]
基于所述模型损失信息，对所述待训练的对象分割模型进行参数调整处理，得到所述对象分割模型。
[0239]
在一个可能的设计中，所述装置1300还包括：
[0240]
图像融合模块，被配置为执行对所述待处理图像和所述第一图像进行融合处理，得到第一融合图像，所述第一融合图像表征所述目标对象在所述待处理图像中的图像信息。
[0241]
在一个可能的设计中，所述图像融合模块，包括：
[0242]
图像融合单元，被配置为执行对所述待处理图像和所述第一图像进行融合处理，得到中间融合图像；
[0243]
溢色处理单元，被配置为执行对所述中间融合图像进行与所述目标颜色信息对应的溢色处理，得到所述第一融合图像，所述溢色处理用于平滑位于所述目标对象的边缘且与所述目标颜色信息相对应的像素点的像素值。
[0244]
在一个可能的设计中，所述装置1300还包括：
[0245]
背景图像获取模块，被配置为执行获取目标背景图像；
[0246]
图像变换模块，被配置为执行对所述第一图像进行变换处理，得到第二图像，所述第二图像表征所述待处理图像中除所述目标对象之外的图像区域；
[0247]
所述图像融合模块，还被配置为执行对所述目标背景图像和所述第二图像进行融合处理，得到第二融合图像，所述第二融合图像表征所述图像区域在所述目标背景图像中对应的图像信息；
[0248]
图像合成模块，被配置为执行基于所述第一融合图像和所述第二融合图像，生成合成图像。
[0249]
综上所述，本公开实施例提供的技术方案，通过对待处理图像进行对象分割处理，可以得到目标对象对应的掩码图像，基于掩码图像可以确定待处理图像中目标对象之外的区域对应的颜色信息，以及该颜色信息与待处理图像中各像素点的颜色信息之间的颜色差异信息，从而确定能够表征目标对象位置信息的图像，实现对象分割，提升了对象分割的准确性和效率。
[0250]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0251]
图14是根据一示例性实施例示出的一种用于图像处理的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图14所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0252]
本领域技术人员可以理解，图14中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0253]
在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的图像处理方法。
[0254]
在示例性实施例中，还提供了一种计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的图像处理方法。
[0255]
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上
运行时，使得计算机执行本公开实施例中的图像处理方法。
[0256]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0257]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0258]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。