图像处理方法、装置、设备及存储介质与流程

1.本公开涉及计算机视觉技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。


背景技术：

2.对图像进行目标检测，包括语义分割和实例分割。实例分割具有挑战性，因为它需要正确检测图像中的所有对象，同时也精确地分割每个实例。因此，它结合了来自目标检测的经典计算机视觉任务的元素，其目标是对各个对象进行分类并使用边界框对每个对象进行定位。语义分割，需要区分到图中每一点像素点，以区分不同的对象，同一对象的不同实例不需要单独分割出来。
3.maskrcnn框架是实例分割领域经典的框架，在fasterrcnn的基础上演变而来。目前，maskrcnn框架对目标图像中实体对象的分割效果较差。


技术实现要素：

4.本公开提供一种图像处理方法、装置、设备及存储介质，以至少解决相关技术中对目标图像的实例分割效果较差的问题。本公开的技术方案如下：
5.本技术实施例提供一种图像处理方法，包括：
6.获取目标图像；
7.对所述目标图像进行实体对象区域特征提取操作，得到所述目标图像包含的实体对象区域的特征图；
8.根据所述实体对象区域的特征图，确定实例分割质量；
9.若所述实例分割质量未达到设定的质量条件，利用预先训练好的语义分割模型对所述目标图像进行语义分割，得到所述实体对象区域对应的语义分割结果。
10.可选地，所述对所述目标图像进行实体对象区域特征提取操作，得到所述目标图像包含的实体对象区域的特征图，包括：
11.对所述目标图像进行特征提取操作，得到共享特征图；
12.对所述共享特征图进行所述实体对象区域的框选操作，得到所述实体对象区域对应的第一候选框；
13.从所述第一候选框中筛选出满足设定条件的第二候选框；
14.对所述第二候选框进行特征聚集操作，得到所述目标图像包含的所述实体对象区域的特征图。
15.可选地，所述从所述第一候选框中筛选出满足设定条件的第二候选框，包括：
16.根据所述第一候选框和共享特征图，计算所述第一候选框是所述实体对象区域的概率值；
17.从所述第一候选框中选择出概率值大于设定概率阈值的候选框，作为所述第二候选框。
18.可选地，所述根据所述实体对象区域的特征图，确定实例分割质量，包括：
19.将所述实体对象区域的特征图输入分割质量预测模型，通过所述分割质量预测模型的卷积层和全连接层得到所述实体对象区域的预测掩膜与真实掩膜之间的重合度；
20.根据分割质量预测模型的分类子网预测的真实置信度与所述预测掩膜与真实掩膜之间的重合度，确定所述实例分割质量。
21.可选地，在所述对所述目标图像进行实体对象区域特征提取操作，得到所述目标图像包含的实体对象区域的特征图之后，所述方法还包括：
22.将所述实体对象区域的特征图输入预先训练好的实例分割模型，得到实体对象区域对应的实例分割结果；
23.对所述实例分割结果进行边界优化处理，得到边界优化后的实例分割结果。
24.可选地，所述对所述实例分割结果进行边界优化处理，得到边界优化后的实例分割结果，包括：
25.将所述实例分割结果对应的实例掩膜进行上采样，得到所述实例掩膜对应的多个特征子图的特征概率值；
26.从所述实例掩膜对应的多个特征子图中选择出特征概率值属于设定概率范围内的目标特征子图；
27.对所述目标特征子图上的特征做线性变换得到优化后的特征概率值；
28.利用所述优化后的特征概率值替换目标特征子图的特征概率值，得到边界优化后的实例分割结果。
29.可选地，在所述利用预先训练好的语义分割模型对所述目标图像进行语义分割，得到所述实体对象区域对应的语义分割结果之前，所述方法还包括：
30.根据所述实例分割质量，确定所述实例分割质量是否达到设定的质量条件；
31.若所述实例分割质量未达到设定的质量条件，则将所述目标图像输入预先训练好的语义分割模型，得到所述实体对象区域对应的语义分割结果。
32.可选地，所述根据所述实例分割质量，确定所述分割质量是否达到设定的质量条件，包括：
33.若实例分割质量大于等于所述设定质量阈值，则分割质量达到设定的质量条件；
34.若实例分割质量小于所述设定质量阈值，则分割质量未达到设定的质量条件。
35.本技术实施例还提供一种图像处理装置，包括：
36.获取模块，用于获取目标图像；
37.特征提取模块，用于对所述目标图像进行实体对象区域特征提取操作，得到所述目标图像包含的实体对象区域的特征图；
38.确定模块，用于根据所述实体对象区域的特征图，确定实例分割质量；
39.语义分割模块，若所述实例分割质量未达到设定的质量条件，利用预先训练好的语义分割模型对所述目标图像进行语义分割，得到所述实体对象区域对应的语义分割结果。
40.可选地，所述特征提取模块包括：特征提取子模块，框选子模块，筛选子模块和特征聚集子模块；
41.所述特征提取子模块，用于对所述目标图像进行特征提取操作，得到共享特征图；
42.所述框选子模块，用于对所述共享特征图进行所述实体对象区域的框选操作，得到所述实体对象区域对应的第一候选框；
43.所述筛选子模块，用于从所述第一候选框中筛选出满足设定条件的第二候选框；
44.特征聚集子模块，用于对所述第二候选框进行特征聚集操作，得到所述目标图像包含的所述实体对象区域的特征图。
45.可选地，所述筛选子模块在从所述第一候选框中筛选出满足设定条件的第二候选框时，用于根据所述第一候选框和共享特征图，计算所述第一候选框是所述实体对象区域的概率值；从所述第一候选框中选择出概率值大于设定概率阈值的候选框，作为所述第二候选框。
46.可选地，所述确定模块在根据所述实体对象区域的特征图，确定实例分割质量时，用于将所述实体对象区域的特征图输入分割质量预测模型，通过所述分割质量预测模型的卷积层和全连接层得到所述实体对象区域的预测掩膜与真实掩膜之间的重合度；根据分割质量预测模型的分类子网预测的真实置信度与所述预测掩膜与真实掩膜之间的重合度，确定所述实例分割质量。
47.可选地，所述特征提取模块包括：实例分割子模块和边界优化子模块；
48.所述实例分割子模块，用于将所述实体对象区域的特征图输入预先训练好的实例分割模型，得到实体对象区域对应的实例分割结果；
49.所述边界优化模块，用于对所述实例分割结果进行边界优化处理，得到边界优化后的实例分割结果。
50.可选地，所述边界优化模块在对所述实例分割结果进行边界优化处理，得到边界优化后的实例分割结果时，用于将所述实例分割结果对应的实例掩膜进行上采样，得到所述实例掩膜对应的多个特征子图的特征概率值；从所述实例掩膜对应的多个特征子图中选择出特征概率值属于设定概率范围内的目标特征子图；对所述目标特征子图上的特征做线性变换得到优化后的特征概率值；利用所述优化后的特征概率值替换目标特征子图的特征概率值，得到边界优化后的实例分割结果。
51.可选地，在所述利用预先训练好的语义分割模型对所述目标图像进行语义分割，得到所述实体对象区域对应的语义分割结果之前，还用于：根据所述实例分割质量，确定所述实例分割质量是否达到设定的质量条件；若所述实例分割质量未达到设定的质量条件，则将所述目标图像输入预先训练好的语义分割模型，得到所述实体对象区域对应的语义分割结果。
52.可选地，所述语义分割模块在根据所述实例分割质量，确定所述实例分割质量是否达到设定的质量条件，用于：
53.若实例分割质量大于等于所述设定质量阈值，则分割质量达到设定的质量条件；
54.若实例分割质量小于所述设定质量阈值，则生成需要对所述目标图像进行语义分割的判断结果。
55.本技术实施例还提供一种电子设备，包括：
56.处理器；
57.用于存储所述处理器可执行指令的存储器；
58.其中，所述处理器被配置为执行所述指令，以实现上述的方法中的各步骤。
59.本技术实施例还提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的方法中的各步骤。
60.本公开的实施例提供的技术方案至少带来以下有益效果：
61.在本公开的一些实施例中，图像处理装置获取目标图像，对目标图像进行实体对象区域特征提取操作，得到目标图像包含的实体对象区域的特征图；图像处理装置根据实体对象区域的特征图，确定实例分割质量；图像处理装置在实例分割质量未达到设定的质量条件时，利用预先训练好的语义分割模型对目标图像进行语义分割，得到实体对象区域对应的语义分割结果，在对目标图像采用实例分割方式的分割效果较差时，对目标图像进行语义分割，提高对目标图像中实体对象的分割效果。
62.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
63.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
64.图1为现有技术maskrcnn模型的结构框图。
65.图2为本公开示例性实施例提供的一种图像处理方法的流程示意图；
66.图3为本公开示例性实施例提供的一种maskrcnn模型的框架图；
67.图4为本公开示例性实施例提供的另一种图像处理方法的流程示意图；
68.图5为本公开示例性实施例提供的另一种图像处理方法的流程示意图；
69.图6a为本公开示例性实施例提供的一种图像处理装置的结构框图；
70.图6b为本公开示例性实施例提供的一种图像处理装置的结构框图；
71.图7示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
72.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
73.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
74.图1为现有技术maskrcnn模型10的结构框图。如图1所示，maskrcnn模型10包括特征提取模块11，候选框提取模块12，特征聚集模块13，分类模块14，回归模块15和实例分割模块16。
75.其中，特征提取模块11，用于对输入maskrcnn模型10的目标图像进行特征提取操作，得到共享特征图；
76.候选框提取模块12，用于对共享特征图进行实体对象区域的框选操作，得到实体
对象区域对应的候选框；
77.特征聚集模块13，用于对候选框内的图像特征进行特征聚集操作，得到目标图像包含的实体对象区域的特征图；
78.分类模块14，用于根据目标图像包含的实体对象区域的特征图，对目标图像包含的实体对象进行分类，得到分类结果；
79.回归模块15，用于调整实体对象区域对应的候选框的位置，得到每个实体对象对应的候选框；
80.实例分割模块16，用于对目标图像包含的实体对象进行实例分割，得到每个实体对象对应的实例掩膜。
81.在上述实施例中，特征提取模块11为backbone模型，backbone模型是一系列的卷积层用于提取图像的特征特征图，以得到共享特征图，backbone模型的实现方式，例如，vgg16，vgg19，goolenet，resnet50，resnet101。
82.在上述实施例中，候选框提取模块12为rpn网络，用于从共享特征图中提取候选框。rpn网络为了实现更好的特征图融合，不同于rpn网络的其他网络使用最后一层的特征图，最后一层的特征图语义较强，但是位置和分辨率都比较低，容易检测不到比较小的物体，rpn网络融合了底层到高层的特征图，从而充分的利用了提取到的各个阶段的特征。
83.在上述实施例中，特征聚集模块为roialign模块。
84.在上述实施例中，用于实例分割模块输出尺寸有限，maskrcnn使用28*28的输出，造成分割的实体对象的边界比较粗糙。此外，当目标图像中的实体对象重叠时，实例分割模块仍会尝试分割单个实例，造成对目标图像中的实体对象的分割效果较差。
85.针对上述存在的技术问题，在本公开的一些实施例中，图像处理装置获取目标图像，对目标图像进行实体对象区域特征提取操作，得到目标图像包含的实体对象区域的特征图；图像处理装置根据实体对象区域的特征图，确定实例分割质量；若所述实例分割质量未达到设定的质量条件，利用预先训练好的语义分割模型对目标图像进行语义分割，得到实体对象区域对应的语义分割结果，在对目标图像采用实例分割方式的分割效果较差时，对目标图像进行语义分割，提高对目标图像中实体对象的分割效果。
86.以下结合附图，详细说明本公开各实施例提供的技术方案。
87.图2为本公开示例性实施例提供的一种图像处理方法的流程示意图。如图2所示，该方法包括：
88.s201：获取目标图像；
89.s202：对目标图像进行实体对象区域特征提取操作，得到目标图像包含的实体对象区域的特征图；
90.s203：根据实体对象区域的特征图，确定实例分割质量；
91.s204：若实例分割质量未达到设定的质量条件，利用预先训练好的语义分割模型对目标图像进行语义分割，得到实体对象区域对应的语义分割结果。
92.在本实施例中，上述方法的执行主体为图像处理装置，图像处理装置可以为智能终端或者服务器。
93.当图像处理装置为智能终端时，智能终端包括但不限于以下任意一种：个人电脑，平板电脑，笔记本电脑，手机，智能手环，智能电视，智能手表以及智能音响。
94.当图像处理装置为服务器时，本实施例不限定服务器的实现形式，服务器可以是常规服务器、云服务器、云主机、虚拟中心等服务器设备。其中，服务器设备的构成主要包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似。
95.在本实施例中，图像处理装置获取目标图像；图像处理装置对目标图像进行实体对象区域特征提取操作，得到目标图像包含的实体对象区域的特征图；图像处理装置根据实体对象区域的特征图，确定实例分割质量。图像处理装置在实例分割质量未达到设定的质量条件时，利用预先训练好的语义分割模型对目标图像进行语义分割，得到实体对象区域对应的语义分割结果，在对目标图像采用实例分割方式的分割效果较差时，对目标图像进行语义分割，提高对目标图像中实体对象的分割效果。
96.在上述实施例中，实例分割装置获取目标图像后，对目标图像进行实体对象区域特征提取操作，得到目标图像包含的实体对象区域的特征图。一种可实现的方式为，实例分割装置对目标图像进行特征提取操作，得到共享特征图；实例分割装置对共享特征图进行实体对象区域的框选操作，得到实体对象区域对应的第一候选框；实例分割装置从第一候选框中筛选出满足设定条件的第二候选框；实例分割装置对第二候选框进行特征聚集操作，得到目标图像包含的实体对象区域的特征图。本技术实施例对共享特征图进行框选，得到实体对象区域对应的第一候选框，并对第一候选框进行筛选，对筛选后的第二候选框进行特征聚集操作，减少计算量，提高图像处理速度。
97.例如，实例分割装置利用backbone模型对目标图像进行特征提取操作，得到共享特征图；利用rpn网络对共享特征图进行实体对象区域的框选操作，得到实体对象区域对应的第一候选框；从第一候选框中筛选出满足设定条件的第二候选框；利用roialign模块对第二候选框进行特征聚集操作，得到目标图像包含的实体对象区域的特征图。
98.在一种可选实施例中，实例分割装置从第一候选框中筛选出满足设定条件的第二候选框。一种可实现的方式为，根据第一候选框和共享特征图，计算第一候选框是实体对象区域的概率值；从第一候选框中选择出概率值大于设定概率阈值的候选框，作为第二候选框。需要说明的是，本技术对设定概率阈值不作限定，设定概率阈值可以根据实际情况作出调整，例如，设定概率阈值可以为0.9、0.95和0.92中的任意一个。
99.例如，实例分割装置根据第一候选框和共享特征图，计算第一候选框是实体对象区域的概率值；从第一候选框中选择出概率值大于设定概率阈值0.9的候选框，作为第二候选框。
100.在上述实施例中，实例分割装置根据实体对象区域的特征图，确定实例分割质量。包括但不限于以下几种确定方式：
101.确定方式一：将实体对象区域的特征图，输入预先训练好的分割质量预测模型中，得到实例分割质量。
102.确定方式二：根据实体对象区域的特征图，利用实例分割质量算法，计算得到实例分割质量。
103.在上述确定方式一中，在使用实例分割质量模型之前，首先需要训练的得到实例分割质量模型。以下对实例分割质量模型的训练过程作出说明：首先，收集大量的图像样本，尽可能地覆盖多种图像目标检测场景中可能遇到的不同实体对象，以提升样本覆盖率。接着，可对图像样本上的实体对象进行标注，以标注得到目标图像上的实体对象的实际分
布情况。接着，可将标注好的图像样本进行实体对象区域特征提取操作，得到目标图像包含的实体对象区域的特征图，将实体对象区域的特征图，输入一神经网络模型。在神经网络模型内部，可根据模型参数对训练样本进行特征提取以及计算等操作，并由神经网络模型的输出层输出实例分割结果。接着，神经网络模型的损失函数层，可根据输出层输出的实例分割结果和图像样本上的真实实体对象的差别，计算损失函数。若损失函数不满足设定的要求，则可调整模型参数，继续迭代训练。当神经网络模型的损失函数满足设定的要求时，可得到训练完成的分割质量预测模型中。
104.在将实体对象区域的特征图输入分割质量预测模型，通过分割质量预测模型的卷积层和全连接层得到实体对象区域的预测掩膜与真实掩膜之间的重合度；根据分割质量预测模型的分类子网预测的真实置信度与预测掩膜与真实掩膜之间的重合度，确定实例分割质量。例如，将实体对象区域的特征图输入分割质量预测模型，通过分割质量预测模型的卷积层和全连接层得到实体对象区域的预测掩膜与真实掩膜之间的交并比；将分割质量预测模型的分类子网预测的真实置信度与预测掩膜与真实掩膜之间的交并比相乘，得到实例分割质量。
105.在上述确定方式二中，根据实体对象区域的特征图，利用mask iou算法计算对目标图像的实例分割质量。在采用实例分割方式下，提前对实例分割质量进行预估，以决定是否切换至语义分割，提高实例分割效果。
106.在上述实施例中，实例分割装置在实例分割质量未达到设定的质量条件时，利用预先训练好的语义分割模型对目标图像进行语义分割，得到实体对象区域对应的语义分割结果。一种可实现的方式为，根据实例分割质量，确定实例分割质量是否达到设定的质量条件；若实例分割质量未达到设定的质量条件，则将目标图像输入预先训练好的语义分割模型，得到实体对象区域对应的语义分割结果。
107.需要说明的是，本公开实施例在实例分割质量达到设定的质量条件时，采用实例分割方式，得到实例分割结果。在在实例分割质量未达到设定的质量条件时，采用语义分割方式，得到语义分割结果，显而易见的是，也可以对目标图像采用其他的分割方式，以保证更优的图像分割结果。
108.在本公开的一些实施例中，根据实例分割质量，确定分割质量是否达到设定的质量条件。一种可实现的方式为，若实例分割质量大于等于设定质量阈值，则分割质量达到设定的质量条件；若实例分割质量小于设定质量阈值，则分割质量未达到设定的质量条件。例如，实例分割装置得到对目标图像的实例分割质量为95分，实例分割质量95分大于设定质量阈值90分，则生成不需要对目标图像进行语义分割的实例分割分类结果。需要说明的是，本技术对设定质量阈值不作限定，设定质量阈值可以根据实际情况作出调整。
109.在本公开的一些实施例中，实例分割装置在对目标图像进行实体对象区域特征提取操作，得到目标图像包含的实体对象区域的特征图之后，将实体对象区域的特征图输入预先训练好的实例分割模型，得到实体对象区域对应的实例分割结果，对实例分割结果进行边界优化处理，得到边界优化后的实例分割效果。
110.其中，对实例分割结果进行边界优化处理，得到边界优化后的实例分割结果。将实例分割结果对应的实例掩膜进行上采样，得到实例掩膜对应的多个特征子图的特征概率值；从实例掩膜对应的多个特征子图中选择出特征概率值属于设定概率范围内的目标特征
子图；对目标特征子图上的特征做线性变换得到优化后的特征概率值；利用优化后的特征概率值替换目标特征子图的特征概率值，得到边界优化后的实例分割结果。例如，将实例分割结果对应的实例掩膜进行两倍双线性插值上采样，得到实例掩膜对应的多个特征子图的特征概率值；从实例掩膜对应的多个特征子图中选择出特征概率值属于设定概率范围内的目标特征子图；对目标特征子图上的特征做线性变换得到优化后的特征概率值；利用优化后的特征概率值替换目标特征子图的特征概率值，得到边界优化后的实例分割结果。
111.可选地，将实例分割结果输入预先训练好的边界优化模型中，得到边界优化后的实例分割结果。本技术实施例对进行实例分割的实例分割结果再次进行边界优化处理，得到边界优化后的实例分割结果，从而达到精细化边界的效果，增加实例分割的效果。例如，将实例分割结果输入预先训练好得pointrend模型，得到边界优化后的实例分割结果，利用pointrend模型，通过逐步上采样图片，寻找不确定的位置进行细分预测，从而达到精细化边界的效果。
112.图3为本公开示例性实施例提供的一种maskrcnn模型30的框架图。结合图3对本技术实施例图像处理方法作出说明。如图3所示，maskrcnn模型30包括特征提取模块31，候选框提取模块32，特征聚集模块33，分类模块34，回归模块35、实例分割模块36、边界优化模块37和分割质量预测模块38。
113.其中，特征提取模块31，用于对输入maskrcnn模型30的目标图像进行特征提取操作，得到共享特征图；
114.候选框提取模块32，用于对共享特征图进行实体对象区域的框选操作，得到实体对象区域对应的候选框；
115.特征聚集模块33，用于对候选框内的图像特征进行特征聚集操作，得到目标图像包含的实体对象区域的特征图；
116.分类模块34，用于根据目标图像包含的实体对象区域的特征图，对目标图像包含的实体对象进行分类，得到分类结果；
117.回归模块35，用于调整实体对象区域对应的候选框的位置，得到每个实体对象对应的候选框；
118.实例分割模块36，用于对目标图像包含的实体对象进行实例分割，得到每个实体对象对应的实例掩膜；
119.边界优化模块37，用于对每个实体对象对应的实例掩膜进行边界优化处理，得到边界优化后的实例分割结果；
120.分割质量预测模块38，用于根据实体对象区域的特征图，对实例分割质量进行预测，得到实例分割质量。
121.在一种可实现的方式中，特征提取模块31为backbone模型，候选框提取模块32为rpn网络；特征聚集模块33为roialign模块，边界优化模块37为pointrend模型，分割质量预测模块38为mask iou算法模块。
122.例如，maskrcnn模型30中的backbone模型对输入的目标图像进行特征提取操作，得到共享特征图；rpn网络对共享特征图进行实体对象区域的框选操作，得到实体对象区域对应的候选框；roialign模块对候选框内的图像特征进行特征聚集操作，得到目标图像包含的实体对象区域的特征图；分类模块34，用于根据目标图像包含的实体对象区域的特征
图，对目标图像包含的实体对象进行分类，得到分类结果；回归模块35，用于调整实体对象区域对应的候选框的位置，得到每个实体对象对应的候选框；实例分割模块36，用于对目标图像包含的实体对象进行实例分割，得到每个实体对象对应的实例掩膜；pointrend模型用于对每个实体对象对应的实例掩膜进行边界优化处理，得到边界优化后的实例分割结果，提高实例分割结果；mask iou算法模块根据实体对象区域的特征图，对实例分割质量进行预测，得到实例分割质量；根据实例分割质量，生成实例分割分类结果；若实例分割分类结果为需要对目标图像进行语义分割，则将目标图像输入预先训练好的语义分割模型，得到实体对象区域对应的语义分割结果。
123.基于以上各实施例的描述，图4为本公开示例性实施例提供的另一种图像处理方法的流程示意图。如图4所示，该方法包括：
124.s401：获取目标图像；
125.s402：对目标图像进行实体对象区域特征提取操作，得到目标图像包含的实体对象区域的特征图；
126.s403：根据实体对象区域的特征图，确定实例分割质量；
127.s404：根据实例分割质量，生成实例分割分类结果；
128.s405：若实例分割分类结果为需要对目标图像进行语义分割，则将目标图像输入预先训练好的语义分割模型，得到实体对象区域对应的语义分割结果；
129.s406：输出语义分割结果。
130.在本实施例中，上述方法的执行主体为图像处理装置，图像处理装置可以为智能终端或者服务器。
131.当图像处理装置为智能终端时，智能终端包括但不限于以下任意一种：个人电脑，平板电脑，笔记本电脑，手机，智能手环，智能电视，智能手表以及智能音响。
132.当图像处理装置为服务器时，本实施例不限定服务器的实现形式，服务器可以是常规服务器、云服务器、云主机、虚拟中心等服务器设备。其中，服务器设备的构成主要包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似。
133.在本实施例中，上述图像处理方法的各步骤的实现方式可参见前述各实施例的描述，本实施例中不再赘述。相应地，本实施例也能取得前述各实施例的有效效果。
134.基于以上各实施例的描述，图5为本公开示例性实施例提供的另一种图像处理方法的流程示意图。如图5所示，该方法包括：
135.s501：获取目标图像；
136.s502：对目标图像进行实体对象区域特征提取操作，得到目标图像包含的实体对象区域的特征图；
137.s503：根据实体对象区域的特征图，确定实例分割质量；
138.s504：根据实例分割质量，生成实例分割分类结果；
139.s505：若实例分割分类结果为需要对目标图像进行语义分割，则将目标图像输入预先训练好的语义分割模型，得到实体对象区域对应的语义分割结果；
140.s506：利用语音分割结果进行图像合成。
141.在本实施例中，上述方法的执行主体为图像处理装置，图像处理装置可以为智能终端或者服务器。
142.当图像处理装置为智能终端时，智能终端包括但不限于以下任意一种：个人电脑，平板电脑，笔记本电脑，手机，智能手环，智能电视，智能手表以及智能音响。
143.当图像处理装置为服务器时，本实施例不限定服务器的实现形式，服务器可以是常规服务器、云服务器、云主机、虚拟中心等服务器设备。其中，服务器设备的构成主要包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似。
144.在本实施例中，上述图像处理方法中步骤s501至步骤s505的实现方式可参见前述各实施例的描述，在此不再赘述。
145.在上述实施例中，图像处理装置在得到实体对象区域对应的语义分割结果，即得到目标图像包含的每个实体对象对应的实例掩膜。图像处理装置从目标图像提取出每个实体对象的区域图像，将每个实体对象的区域图像与其他图像进行合成。
146.在本公开的上述方法实施例中，图像处理装置获取目标图像，对目标图像进行实体对象区域特征提取操作，得到目标图像包含的实体对象区域的特征图；图像处理装置根据实体对象区域的特征图，确定实例分割质量；图像处理装置在实例分割质量未达到设定的质量条件时，利用预先训练好的语义分割模型对目标图像进行语义分割，得到实体对象区域对应的语义分割结果，在对目标图像采用实例分割方式的分割效果较差时，对目标图像进行语义分割，提高对目标图像中实体对象的分割效果。
147.图6a为本公开示例性实施例提供的一种图像处理装置60的结构框图。如图6a所示，该图像处理装置60包括：获取模块61，特征提取模块62，确定模块63和语义分割模块64。
148.其中，获取模块61，用于获取目标图像；
149.特征提取模块62，用于对目标图像进行实体对象区域特征提取操作，得到目标图像包含的实体对象区域的特征图；
150.确定模块63，用于根据实体对象区域的特征图，确定实例分割质量；
151.语义分割模块64，若实例分割质量未达到设定的质量条件，利用预先训练好的语义分割模型对目标图像进行语义分割，得到实体对象区域对应的语义分割结果。
152.可选地，如图6b所示，特征提取模块62包括：特征提取子模块621，框选子模块622，筛选子模块623和特征聚集子模块624；
153.特征提取子模块621，用于对目标图像进行特征提取操作，得到共享特征图；
154.框选子模块622，用于对共享特征图进行实体对象区域的框选操作，得到实体对象区域对应的第一候选框；
155.筛选子模块623，用于从第一候选框中筛选出满足设定条件的第二候选框；
156.特征聚集子模块624，用于对第二候选框进行特征聚集操作，得到目标图像包含的实体对象区域的特征图。
157.可选地，筛选子模块623在从第一候选框中筛选出满足设定条件的第二候选框时，用于根据第一候选框和共享特征图，计算第一候选框是实体对象区域的概率值；从第一候选框中选择出概率值大于设定概率阈值的候选框，作为第二候选框。
158.可选地，确定模块63在根据实体对象区域的特征图，确定实例分割质量时，用于将实体对象区域的特征图输入分割质量预测模型，通过分割质量预测模型的卷积层和全连接层得到实体对象区域的预测掩膜与真实掩膜之间的重合度；根据分割质量预测模型的分类子网预测的真实置信度与预测掩膜与真实掩膜之间的重合度，确定实例分割质量。
159.可选地，如图6b所示，特征提取模块62还包括：实例分割子模块625和边界优化子模块626；
160.实例分割子模块625，用于将实体对象区域的特征图输入预先训练好的实例分割模型，得到实体对象区域对应的实例分割结果；
161.边界优化子模块626，用于对实例分割结果进行边界优化处理，得到边界优化后的实例分割结果。
162.可选地，边界优化子模块626在对实例分割结果进行边界优化处理，得到边界优化后的实例分割结果时，用于将实例分割结果对应的实例掩膜进行上采样，得到实例掩膜对应的多个特征子图的特征概率值；从实例掩膜对应的多个特征子图中选择出特征概率值属于设定概率范围内的目标特征子图；对目标特征子图上的特征做线性变换得到优化后的特征概率值；利用优化后的特征概率值替换目标特征子图的特征概率值，得到边界优化后的实例分割结果。
163.可选地，语义分割模块64在利用预先训练好的语义分割模型对目标图像进行语义分割，得到实体对象区域对应的语义分割结果之前，还用于：根据实例分割质量，确定实例分割质量是否达到设定的质量条件；若实例分割质量未达到设定的质量条件，则将目标图像输入预先训练好的语义分割模型，得到实体对象区域对应的语义分割结果。
164.可选地，语义分割模块64在根据实例分割质量，确定分割质量是否达到设定的质量条件时，用于：若实例分割质量大于等于设定质量阈值，则分割质量达到设定的质量条件；若实例分割质量小于设定质量阈值，则分割质量未达到设定的质量条件。
165.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
166.图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
167.如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元707加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
168.设备700中的多个部件连接至i/o接口705，包括：输入单元707，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元707，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
169.计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及
任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如文本处理方法。例如，在一些实施例中，文本处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元707。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的文本处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行文本处理方法。
170.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
171.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
172.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
173.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
174.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数
字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、互联网和区块链网络。
175.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
176.相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质。当计算机可读存储介质存储计算机程序，且计算机程序被一个或多个处理器执行时，致使一个或多个处理器执行图2方法实施例中的各步骤。
177.相应地，本技术实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序/指令，计算机程序/指令被处理器执行图2的方法实施例中的各步骤。
178.在本公开的上述装置、设备、存储介质及计算机程序产品实施例中，图像处理装置获取目标图像，对目标图像进行实体对象区域特征提取操作，得到目标图像包含的实体对象区域的特征图；图像处理装置根据实体对象区域的特征图，确定实例分割质量；图像处理装置在实例分割质量未达到设定的质量条件时，利用预先训练好的语义分割模型对目标图像进行语义分割，得到实体对象区域对应的语义分割结果，在对目标图像采用实例分割方式的分割效果较差时，对目标图像进行语义分割，提高对目标图像中实体对象的分割效果。
179.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
180.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。