图像分割方法、装置、设备及存储介质与流程

1.本发明涉及人工智能领域，尤其涉及一种图像分割方法、装置、设备及存储介质。


背景技术：

2.当前，随着深度学习技术的快速发展，基于深度学习的图像分割技术以其快速、精准的图像分割能力广泛应用于保险、金融等领域。现有图像分割算法大多是通过采用人工标注的图像集训练全监督学习模型，并利用该模型将未标注图像进行分割预测得到的预测标签直接作为未标注图像的伪标签。但是，这种方法由于全监督学习模型的预测结果并不完全准确，一些准确度较差的伪标签会影响图像分割结果较差，导致图像分割的准确率较低。


技术实现要素：

3.本发明提供一种图像分割方法、装置、设备及存储介质，其主要目的是提高图像分割的准确率。
4.为实现上述目的，本发明提供了一种图像分割方法，包括：获取未标注图像集、标注图像集及所述标注图像集对应的真实图像标签，利用训练完成的图像分割模型将所述未标注图像集进行分割，得到第一图像置信度；将所述第一图像置信度进行类别激活操作，得到所述未标注图像集的类别激活图；将所述类别激活图进行上采样，得到第二图像置信度；将所述第一图像置信度与所述第二图像置信度进行融合，得到所述未标注图像集的伪标签；将所述真实图像标签与所述伪标签进行整合，得到最终标签，并将所述未标注图像集及所述标注图像集做为训练数据集，利用所述训练数据集及所述最终标签将预设的目标图像分割模型进行训练，得到训练完成的目标图像分割模型；获取待分割图像，利用所述训练完成的目标图像分割模型将所述待分割图像进行分割，得到所述待分割图像的图像分割结果。
5.可选地，所述将所述第一图像置信度进行类别激活操作，得到所述未标注图像集的类别激活图，包括：获取所述未标注图像集的卷积特征图，将所述卷积特征图的激活值置零，得到所述未标注图像集的激活图像置信度；计算所述第一图像置信度与所述激活图像置信度的差值集，从所述差值集筛选出大于零的正差值，并将所述正差值除以所述类别激活置信度对应的像素点的数量，得到融合权重；利用所述融合权重将所述卷积特征图进行加权，并将加权后的特征图输入预设的激活函数中，得到所述类别激活图。
6.可选地，所述将所述第一图像置信度与所述第二图像置信度进行融合，得到所述未标注图像集的伪标签，包括：获取所述第一图像置信度的第一权重系数，将所述第一权重系数与所述第一图像置信度相乘，得到第一参数；获取所述第二图像置信度的第二权重系数，将所述第二权重系数与所述第二图像置信度相乘，得到第二参数；将所述第一参数与所述第二参数进行求和，得到融合参数；判断所述融合参数是否小于预设阈值；当所述融合参数小于预设阈值，则将所述融合参数对应的标签进行筛除；当所述融合参数不小于预设阈值，则将所述融合参数对应的标签作为所述伪标签。
7.可选地，所述将所述类别激活图进行上采样，得到第二图像置信度，包括：依次选取所述类别激活图的四个相邻像素值，并利用所述四个相邻像素值分别在水平和垂直两个方向上对未标注图像中对应的各个像素值进行线性内插，得到所述第二图像置信度。
8.可选地，所述利用所述训练数据集及所述最终标签将预设的目标图像分割模型进行训练，得到训练完成的目标图像分割模型，包括：利用预设的目标图像分割模型中的空洞卷积层提取所述训练数据集的特征并进行特征融合，得到特征融合图像集；利用所述预设的目标图像分割模型中的金字塔池化层对所述特征融合图像集进行目标物识别，得到目标物识别图像集；将所述目标物识别图像集输入至所述预设的目标图像分割模型中的激活函数，得到所述激活函数输出的所述训练数据集的预测图像分割标签；利用所述预设的目标图像分割模型中的损失函数计算预测图像分割标签和所述最终标签的损失值，根据所述损失值调整所述预设的目标图像分割模型的参数，直到所述损失值满足预设条件时，得到训练完成的目标图像分割模型。
9.可选地，所述利用训练完成的图像分割模型将所述未标注图像集进行分割，得到第一图像置信度，包括：利用所述训练完成的图像分割模型将所述未标注图像集进行卷积操作，得到图像特征数据集；将所述图像特征数据集进行池化操作，得到池化数据集；利用激活函数对所述池化数据集进行激活操作，得到所述池化数据集中池化数据对应的第一图像置信度。
10.为了解决上述问题，本发明还提供一种图像分割装置，所述装置包括：第一图像分割模块，用于获取未标注图像集、标注图像集及所述标注图像集对应的真实图像标签，利用训练完成的图像分割模型将所述未标注图像集进行分割，得到第一图像置信度；图像类别激活模块，用于将所述第一图像置信度进行类别激活操作，得到所述未标注图像集的类别激活图；
图像上采样模块，用于将所述类别激活图进行上采样，得到第二图像置信度；图像伪标签生成模块，用于将所述第一图像置信度与所述第二图像置信度进行融合，得到所述未标注图像集的伪标签；目标图像分割模型训练模块，用于将所述真实图像标签与所述伪标签进行整合，得到最终标签，并将所述未标注图像集及所述标注图像集做为训练数据集，利用所述训练数据集及所述最终标签将预设的目标图像分割模型进行训练，得到训练完成的目标图像分割模型；图像分割模块，用于获取待分割图像，利用所述训练完成的目标图像分割模型将所述待分割图像进行分割，得到所述待分割图像的图像分割结果。
11.为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：存储器，存储至少一个计算机程序；及处理器，执行所述存储器中存储的计算机程序以实现上述所述的图像分割方法。
12.为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的图像分割方法。
13.本发明实施例中，首先通过所述利用训练完成的图像分割模型将所述未标注图像集进行分割，得到第一图像置信度，可以便于后续判断未标注图像集中哪些图像区域接近未标注图像的真实标签分布；其次，通过将所述第一图像置信度进行类别激活操作，可以确定未标注分割图中各个图像像素的重要程度，进一步地，将所述类别激活图进行上采样，得到第二图像置信度，可以将类别激活图尺寸恢复到与未标注图像大小一致的尺寸，进一步确定各个图像像素的重要程度，提高后续伪标签筛选的准确率，再通过将所述第一图像置信度与所述第二图像置信度进行融合，得到所述未标注图像集的伪标签，可以将置信度较低的图像像素标签筛除，以去掉准确度较差的伪标签，还可以避免在筛除低置信度像素的同时，保证图像信息的完整性，提高后续图像分割的准确率；最后通过真实图像标签、伪标签、未标注图像集及标注图像集训练目标图像分割模型，可以利用完整、准确的图像信息来训练目标图像分割模型，提高该模型在图像分割时的准确率，并利用该模型将待分割图像进行图像分割，得到图像分割结果，可以提高图像分割的准确率。因此本发明实施例提出的图像分割方法、装置、设备及存储介质可以提高图像分割的准确率。
附图说明
14.图1为本发明一实施例提供的图像分割方法的流程示意图；图2为本发明一实施例提供的图像分割方法中一个步骤的详细流程示意图；图3为本发明一实施例提供的图像分割方法中一个步骤的详细流程示意图；图4为本发明一实施例提供的图像分割装置的模块示意图；图5为本发明一实施例提供的实现图像分割方法的电子设备的内部结构示意图；本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
15.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
16.本发明实施例提供一种图像分割方法。所述图像分割方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之，所述图像分割方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
17.参照图1所示的本发明一实施例提供的图像分割方法的流程示意图，在本发明实施例中，所述图像分割方法包括以下步骤s1-s6：s1、获取未标注图像集、标注图像集及所述标注图像集对应的真实图像标签，利用训练完成的图像分割模型将所述未标注图像集进行分割，得到第一图像置信度。
18.本发明实施例中，所述未标注图像集是指无标签的分割图像集合；所述标注图像集是指有标签的分割图像集合；所述真实图像标签是通过人工将所述标注图像集进行标注后得到的图像分割的真实结果；所述第一图像置信度是指在未标注图像集中存在目标物的概率，比如，在车险场景中，未标注图像集可以为识别到目标车辆的划痕即凹凸处的概率。
19.本发明实施例中，所述训练完成的图像分割模型是通过标注图像集训练的模型，该模型主要是通过深度学习算法对未标注图像集进行图像分割，从而识别出未标注图像集中存在目标物的第一图像置信度。其中，所述训练完成的图像分割模型包括：卷积层、池化层及激活函数。
20.本发明实施例通过利用训练完成的图像分割模型将所述未标注图像集进行分割，得到第一图像置信度，可以便于后续判断未标注图像集中哪些图像区域接近未标注图像的真实标签分布，提高后续图像分割的准确率。
21.作为本发明的一个实施例，所述利用训练完成的图像分割模型将所述未标注图像集进行分割，得到第一图像置信度，包括：利用所述训练完成的图像分割模型将所述未标注图像集进行卷积操作，得到图像特征数据集；将所述图像特征数据集进行池化操作，得到池化数据集；利用激活函数对所述池化数据集进行激活操作，得到所述池化数据集中池化数据对应的第一图像置信度。
22.其中，所述卷积操作可以提取未标注图像集中的图像特征数据；所述池化操作可以对图像特征数据集进行降维操作，在保留图像关键信息的同时，可以减少计算量提高图像分割效率；所述激活函数可以为sigmoid函数，可以将未标注图像集激活，得到所述激活函数输出的未标注图像集的第一图像置信度。
23.s2、将所述第一图像置信度进行类别激活操作，得到所述未标注图像集的类别激活图。
24.本发明实施例中，所述类别激活图是指与未标注分割图像大小一致的二值图。所述类别激活操作可以通过ablation-cam（消融-可视化技术）进行处理。
25.进一步地，本发明实施例通过将所述第一图像置信度进行类别激活操作，得到所述未标注图像集的类别激活图，可以确定未标注分割图中各个图像像素的重要程度，便于提高后续图像分割的准确率。
26.作为本发明的一个实施例，参考图2所示，所述将所述第一图像置信度进行类别激活操作，得到所述未标注图像集的类别激活图，包括以下步骤s21-s23：s21、获取所述未标注图像集的卷积特征图，将所述卷积特征图的激活值置零，得
到所述未标注图像集的激活图像置信度；s22、计算所述第一图像置信度与所述激活图像置信度的差值集，从所述差值集筛选出大于零的正差值，并将所述正差值除以所述类别激活置信度对应的像素点的数量，得到融合权重；s23、利用所述融合权重将所述卷积特征图进行加权，并将加权后的特征图输入预设的激活函数中，得到所述类别激活图。
27.其中，所述卷积特获图的获取可以从图像分割模型卷积后得到的图像特征数据集中提取最后一层卷积对应的特征图；将所述卷积特征图的激活值置零即将卷积通道的激活值置0，可以避免未标注分割图像失真。
28.本发明一实施例中，所述融合权重的作用是确定未标注分割图中各个图像位置的重要程度，且所述融合权重可以通过下述公式实现：其中，表示融合权重；m
pred
表示第一图像置信度；表示第k个卷积通道中第i个图像像素的类别激活置信度；表示第一图像置信度与激活图像置信度的正差值；pi表示第i个图像像素值。
29.进一步地，所述类别激活图可以通过下述公式实现：其中，li表示类别激活图；relu表示激活函数；k是指卷积通道；表示第k个卷积通道中第i个图像像素的融合权重；表示第k个通道中第i个图像像素的特征图。
30.s3、将所述类别激活图进行上采样，得到第二图像置信度。
31.本发明实施例中，所述第二图像置信度是指在类别激活图中存在目标物的概率。进一步地，由于类别激活图是通过卷积特征图得到的，而该特征图的尺寸相比原图往往会变小，需要将图像恢复到原来的尺寸便于进行后续的图像分割，且将图像恢复到原来尺寸的过程则称为做上采样。
32.本发明实施例通过将所述类别激活图进行上采样，得到第二图像置信度，可以将类别激活图尺寸恢复到与未标注图像大小一致的尺寸，进一步确定各个图像像素的重要程度，提高后续伪标签筛选的准确率。
33.作为本发明的一个实施例，所述将所述类别激活图进行上采样，得到第二图像置信度，包括：依次选取所述类别激活图的四个相邻像素值，并利用所述四个相邻像素值分别在水平和垂直两个方向上对未标注图像中对应的各个像素值进行线性内插，得到所述第二图像置信度。
34.其中，所述利用所述四个相邻像素值分别在水平和垂直两个方向上对未标注图像
中对应的各个像素值进行线性内插，即通过四个相邻像素值将对应的像素值进行两次水平方向上的单线性插值，将水平方向得到的插值代入垂直方向上的单线性插值，可以得到四个相邻像素点对应的权重，并将四个相邻像素点中每个像素点与权重分别进行乘积并求和，得到该像素值对应的置信度。
35.具体地，未标注图像集中有一个像素值为f(x,y)，类别激活图中所述四个相邻像素值分别为f(q
11
)=(x1,y1)，f(q
12
)=(x1,y2)，f(q
21
)=(x2,y1)及f(q
22
)=(x2,y2)。
36.本发明一实施例中，根据上述像素值可以得到在水平方向上的线性内插值：本发明一实施例中，根据上述像素值可以得到在水平方向上的线性内插值：根据上述像素值可以得到在垂直方向上的线性内插值：根据上述像素值可以得到在垂直方向上的线性内插值：其中，所述x
2-x1=1，y
2-y1=1，则所述像素值f(x,y)可以表示为：其中，(x
2-x)(y
2-y)可以表示为f(q
11
)对应的权重，(x-x1)(y
2-y)可以表示为f(q
21
)对应的权重，(x
2-x)(y-y1)表示为f(q
12
)对应的权重，(x-x1)(y-y1)表示为f(q
22
)对应的权重。
37.其中，f(x,y)表示未标注图像集中任意一个像素点，x表示像素点的横坐标，y表示像素点的纵坐标；f(q
11
)表示与类别激活图中左上角图像像素位置重合的像素点，且f(q
11
)像素点的选取可以逐步水平右移或垂直下移，直到与类别激活图中右下角图像像素位置重合，像素点x1表示像素点的横坐标，y1表示像素点的纵坐标；f(q
12
)表示在类别激活图中与f(q
11
)水平方向上相邻的像素点，x1表示像素点的横坐标，y1表示像素点的纵坐标；f(q
21
)表示在类别激活图中与f(q
11
)垂直方向上相邻的像素点，x2表示像素点的横坐标，y1表示像素点的纵坐标；f(q
22
)表示在类别激活图中与f(q
21
)水平方向上相邻的像素点，x2表示像素点的横坐标，y2表示像素点的纵坐标。
38.s4、将所述第一图像置信度与所述第二图像置信度进行融合，得到所述未标注图像集的伪标签。
39.本发明实施例中，所述伪标签是指未标注图像集对应的分割图像标签。
40.本发明实施例通过将所述第一图像置信度与所述第二图像置信度进行融合，得到所述未标注图像集的伪标签，可以将置信度较低的图像像素标签筛除，以去掉准确度较差的伪标签，还可以根据融合的置信度最终确定各个图像像素的置信度对应的伪标签，以避免在筛除低置信度像素的同时，丢失图像中的有用信息，保证图像信息的完整性，提高后续
图像分割的准确率。
41.作为本发明的一个实施例，参考图3所示，所述将所述第一图像置信度与所述第二图像置信度进行融合，得到所述未标注图像集的伪标签，包括以下步骤s41-s46：s41、获取所述第一图像置信度的第一权重系数，将所述第一权重系数与所述第一图像置信度相乘，得到第一参数；s42、获取所述第二图像置信度的第二权重系数，将所述第二权重系数与所述第二图像置信度相乘，得到第二参数；s43、将所述第一参数与所述第二参数进行求和，得到融合参数；s44、判断所述融合参数是否小于预设阈值；s45、当所述融合参数小于预设阈值，则将所述融合参数对应的标签进行筛除；s46、当所述融合参数不小于预设阈值，则将所述融合参数对应的标签作为所述伪标签。
42.其中，所述第一权重系数表示所述第一图像置信度的重要程度；所述第二权重系数表示所述第二图像置信度的重要程度，且第一权重系数与第二权重系数相加的值为1。
43.本发明一实施例中，所述预设阈值可以根据具体场景进行自定义，比如，在车险领域的车辆图片的识别场景中，预设阈值可以为0.7，若融合参数超过0.7，说明识别到未分割图像集中存在车辆；若融合参数不超过0.7，说明没有识别到未分割图像集中的车辆信息。
44.s5、将所述真实图像标签与所述伪标签进行整合，得到最终标签，并将所述未标注图像集及所述标注图像集做为训练数据集，利用所述训练数据集及所述最终标签将预设的目标图像分割模型进行训练，得到训练完成的目标图像分割模型。
45.本发明实施例中，所述预设的目标图像分割模型可以为深度学习模型cnn或rnn。
46.本发明一实施例中，所述最终标签中的伪标签是未标注图像集对应的标签，且由于已经去除准确度较差的图像像素标签，可以保证伪标签的准确性，即保证最终标签的准确性，在利用所述训练数据集及所述最终标签将预设的目标图像分割模型进行训练时，提高了模型的精度。
47.本发明实施例通过将所述真实图像标签与所述伪标签进行整合，得到最终标签，并将所述未标注图像集及所述标注图像集做为训练数据集，利用所述训练数据集将预设的目标图像分割模型进行训练，得到训练完成的目标图像分割模型，可以实现基于半监督的图像分割模型训练，提高模型训练效率，并利用完整、准确的图像信息来训练目标图像分割模型，提高该模型在图像分割时的准确率。
48.作为本发明的一个实施例，所述利用所述训练数据集及所述最终标签将预设的目标图像分割模型进行训练，得到训练完成的目标图像分割模型，包括：利用预设的目标图像分割模型中的空洞卷积层提取所述训练数据集的特征并进行特征融合，得到特征融合图像集；利用所述预设的目标图像分割模型中的金字塔池化层对所述特征融合图像集进行目标物识别，得到目标物识别图像集；将所述目标物识别图像集输入至所述预设的目标图像分割模型中的激活函数，得到所述激活函数输出的所述训练数据集的预测图像分割标签；利用所述预设的目标图像分割模型中的损失函数计算预测图像分割标签和所述最终标签的损失值，根据所述损失值调整所述预设的目标图像分割模型的参数，直到所述损失值满足预设条件时，得到训练完成的目标图像分割模型。
49.其中，所述空洞卷积层相比一般卷积层多了一些特殊的洞，视野更开阔，使得在提取特征时，可以使得图像缩小同样倍数的情况下通过特征融合可以掌握更多图像的全局信息。进一步地，所述金字塔池化层可以代替一般的池化层，不管输入的图像的大小是怎样的，都会输出图像大小一致的分割图像。进一步地，本发明实施例中，所述激活函数可以为sigmoid函数，可以将目标物识别图像集激活，得到所述激活函数输出的所述训练数据集的预测图像分割标签。
50.本发明实施例中，所述预设条件可以根据所述实际模型训练场景设置，例如，预设条件可以为所述损失值小于预设阈值。
51.详细地，所述利用所述预设的目标图像分割模型中的损失函数计算预测图像分割标签和所述最终标签的损失值，包括：利用下述损失函数计算预测图像分割标签和所述最终标签的损失值：其中，l(s)表示损失值；k表示预测图像分割标签的数量；j表示预测图像分割标签数量的变量；yi表示第i个预测图像分割标签；表示第i个最终标签。
52.s6、获取待分割图像，利用所述训练完成的目标图像分割模型将所述待分割图像进行分割，得到所述待分割图像的图像分割结果。
53.本发明实施例中，所述待分割图像可以为有车险的车辆损坏图像，可以从客户端平台的数据库中获取。
54.本发明实施例中，利用所述训练完成的目标图像分割模型可以将车辆损坏图像中的车辆信息、车辆划痕集车辆撞击处进行分割，得到车辆损坏细节图像。
55.本发明实施例中，首先通过所述利用训练完成的图像分割模型将所述未标注图像集进行分割，得到第一图像置信度，可以便于后续判断未标注图像集中哪些图像区域接近未标注图像的真实标签分布；其次，通过将所述第一图像置信度进行类别激活操作，可以确定未标注分割图中各个图像像素的重要程度，进一步地，将所述类别激活图进行上采样，得到第二图像置信度，可以将类别激活图尺寸恢复到与未标注图像大小一致的尺寸，进一步确定各个图像像素的重要程度，提高后续伪标签筛选的准确率，再通过将所述第一图像置信度与所述第二图像置信度进行融合，得到所述未标注图像集的伪标签，可以将置信度较低的图像像素标签筛除，以去掉准确度较差的伪标签，还可以避免在筛除低置信度像素的同时，保证图像信息的完整性，提高后续图像分割的准确率；最后通过真实图像标签、伪标签、未标注图像集及标注图像集训练目标图像分割模型，可以利用完整、准确的图像信息来训练目标图像分割模型，提高该模型在图像分割时的准确率，并利用该模型将待分割图像进行图像分割，得到图像分割结果，可以提高图像分割的准确率。因此本发明实施例提出的图像分割方法可以提高图像分割的准确率。
56.本发明所述图像分割装置100可以安装于电子设备中。根据实现的功能，所述图像分割装置可以包括第一图像分割模块101、图像类别激活模块102、图像上采样模块103、图像伪标签生成模块104、目标图像分割模型训练模块105、图像分割模块106，本发明所述模
块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
57.在本实施例中，关于各模块/单元的功能如下：所述第一图像分割模块101，用于获取未标注图像集、标注图像集及所述标注图像集对应的真实图像标签，利用训练完成的图像分割模型将所述未标注图像集进行分割，得到第一图像置信度。
58.本发明实施例中，所述未标注图像集是指无标签的分割图像集合；所述标注图像集是指有标签的分割图像集合；所述真实图像标签是通过人工将所述标注图像集进行标注后得到的图像分割的真实结果；所述第一图像置信度是指在未标注图像集中存在目标物的概率，比如，在车险场景中，未标注图像集可以为识别到目标车辆的划痕即凹凸处的概率。
59.本发明实施例中，所述训练完成的图像分割模型是通过标注图像集训练的模型，该模型主要是通过深度学习算法对未标注图像集进行图像分割，从而识别出未标注图像集中存在目标物的第一图像置信度。其中，所述训练完成的图像分割模型包括：卷积层、池化层及激活函数。
60.本发明实施例通过利用训练完成的图像分割模型将所述未标注图像集进行分割，得到第一图像置信度，可以便于后续判断未标注图像集中哪些图像区域接近未标注图像的真实标签分布，提高后续图像分割的准确率。
61.作为本发明的一个实施例，所述第一图像分割模块101通过执行下述操作利用训练完成的图像分割模型将所述未标注图像集进行分割，得到第一图像置信度，包括：利用所述训练完成的图像分割模型将所述未标注图像集进行卷积操作，得到图像特征数据集；将所述图像特征数据集进行池化操作，得到池化数据集；利用激活函数对所述池化数据集进行激活操作，得到所述池化数据集中池化数据对应的第一图像置信度。
62.其中，所述卷积操作可以提取未标注图像集中的图像特征数据；所述池化操作可以对图像特征数据集进行降维操作，在保留图像关键信息的同时，可以减少计算量提高图像分割效率；所述激活函数可以为sigmoid函数，可以将未标注图像集激活，得到所述激活函数输出的未标注图像集的第一图像置信度。
63.所述图像类别激活模块102，用于将所述第一图像置信度进行类别激活操作，得到所述未标注图像集的类别激活图。
64.本发明实施例中，所述类别激活图是指与未标注分割图像大小一致的二值图。所述类别激活操作可以通过ablation-cam（消融-可视化技术）进行处理。
65.进一步地，本发明实施例通过将所述第一图像置信度进行类别激活操作，得到所述未标注图像集的类别激活图，可以确定未标注分割图中各个图像像素的重要程度，便于提高后续图像分割的准确率。
66.作为本发明的一个实施例，所述图像类别激活模块102通过执行下述操作将所述第一图像置信度进行类别激活操作，得到所述未标注图像集的类别激活图，包括：获取所述未标注图像集的卷积特征图，将所述卷积特征图的激活值置零，得到所述未标注图像集的激活图像置信度；计算所述第一图像置信度与所述激活图像置信度的差值集，从所述差值集筛选出大于零的正差值，并将所述正差值除以所述类别激活置信度对应的像素点的数量，得到融
合权重；利用所述融合权重将所述卷积特征图进行加权，并将加权后的特征图输入预设的激活函数中，得到所述类别激活图。
67.其中，所述卷积特获图的获取可以从图像分割模型卷积后得到的图像特征数据集中提取最后一层卷积对应的特征图；将所述卷积特征图的激活值置零即将卷积通道的激活值置0，可以避免未标注分割图像失真。
68.本发明一实施例中，所述融合权重的作用是确定未标注分割图中各个图像位置的重要程度，且所述融合权重可以通过下述公式实现：其中，表示融合权重；m
pred
表示第一图像置信度；表示第k个卷积通道中第i个图像像素的类别激活置信度；表示第一图像置信度与激活图像置信度的正差值；pi表示第i个图像像素值。
69.进一步地，所述类别激活图可以通过下述公式实现：其中，li表示类别激活图；relu表示激活函数；k是指卷积通道；表示第k个卷积通道中第i个图像像素的融合权重；表示第k个通道中第i个图像像素的特征图。
70.所述图像上采样模块103，用于将所述类别激活图进行上采样，得到第二图像置信度。
71.本发明实施例中，所述第二图像置信度是指在类别激活图中存在目标物的概率。进一步地，由于类别激活图是通过卷积特征图得到的，而该特征图的尺寸相比原图往往会变小，需要将图像恢复到原来的尺寸便于进行后续的图像分割，且将图像恢复到原来尺寸的过程则称为做上采样。
72.本发明实施例通过将所述类别激活图进行上采样，得到第二图像置信度，可以将类别激活图尺寸恢复到与未标注图像大小一致的尺寸，进一步确定各个图像像素的重要程度，提高后续伪标签筛选的准确率。
73.作为本发明的一个实施例，所述图像上采样模块103通过执行下述操作将所述类别激活图进行上采样，得到第二图像置信度，包括：依次选取所述类别激活图的四个相邻像素值，并利用所述四个相邻像素值分别在水平和垂直两个方向上对未标注图像中对应的各个像素值进行线性内插，得到所述第二图像置信度。
74.其中，所述利用所述四个相邻像素值分别在水平和垂直两个方向上对未标注图像中对应的各个像素值进行线性内插，即通过四个相邻像素值将对应的像素值进行两次水平方向上的单线性插值，将水平方向得到的插值代入垂直方向上的单线性插值，可以得到四
个相邻像素点对应的权重，并将四个相邻像素点中每个像素点与权重分别进行乘积并求和，得到该像素值对应的置信度。
75.具体地，未标注图像集中有一个像素值为f(x,y)，类别激活图中所述四个相邻像素值分别为f(q
11
)=(x1,y1)，f(q
12
)=(x1,y2)，f(q
21
)=(x2,y1)及f(q
22
)=(x2,y2)。
76.本发明一实施例中，根据上述像素值可以得到在水平方向上的线性内插值：本发明一实施例中，根据上述像素值可以得到在水平方向上的线性内插值：根据上述像素值可以得到在垂直方向上的线性内插值：根据上述像素值可以得到在垂直方向上的线性内插值：其中，所述x
2-x1=1，y
2-y1=1，则所述像素值f(x,y)可以表示为：其中，(x
2-x)(y
2-y)可以表示为f(q
11
)对应的权重，(x-x1)(y
2-y)可以表示为f(q
21
)对应的权重，(x
2-x)(y-y1)表示为f(q
12
)对应的权重，(x-x1)(y-y1)表示为f(q
22
)对应的权重。
77.其中，f(x,y)表示未标注图像集中任意一个像素点，x表示像素点的横坐标，y表示像素点的纵坐标；f(q
11
)表示与类别激活图中左上角图像像素位置重合的像素点，且f(q
11
)像素点的选取可以逐步水平右移或垂直下移，直到与类别激活图中右下角图像像素位置重合，像素点x1表示像素点的横坐标，y1表示像素点的纵坐标；f(q
12
)表示在类别激活图中与f(q
11
)水平方向上相邻的像素点，x1表示像素点的横坐标，y1表示像素点的纵坐标；f(q
21
)表示在类别激活图中与f(q
11
)垂直方向上相邻的像素点，x2表示像素点的横坐标，y1表示像素点的纵坐标；f(q
22
)表示在类别激活图中与f(q
21
)水平方向上相邻的像素点，x2表示像素点的横坐标，y2表示像素点的纵坐标。
78.所述图像伪标签生成模块104，用于将所述第一图像置信度与所述第二图像置信度进行融合，得到所述未标注图像集的伪标签。
79.本发明实施例中，所述伪标签是指未标注图像集对应的分割图像标签。
80.本发明实施例通过将所述第一图像置信度与所述第二图像置信度进行融合，得到所述未标注图像集的伪标签，可以将置信度较低的图像像素标签筛除，以去掉准确度较差的伪标签，还可以根据融合的置信度最终确定各个图像像素的置信度对应的伪标签，以避免在筛除低置信度像素的同时，丢失图像中的有用信息，保证图像信息的完整性，提高后续图像分割的准确率。
81.作为本发明的一个实施例，所述图像伪标签生成模块104通过执行下述操作将所
述第一图像置信度与所述第二图像置信度进行融合，得到所述未标注图像集的伪标签，包括：获取所述第一图像置信度的第一权重系数，将所述第一权重系数与所述第一图像置信度相乘，得到第一参数；获取所述第二图像置信度的第二权重系数，将所述第二权重系数与所述第二图像置信度相乘，得到第二参数；将所述第一参数与所述第二参数进行求和，得到融合参数；判断所述融合参数是否小于预设阈值；当所述融合参数小于预设阈值，则将所述融合参数对应的标签进行筛除；当所述融合参数不小于预设阈值，则将所述融合参数对应的标签作为所述伪标签。
82.其中，所述第一权重系数表示所述第一图像置信度的重要程度；所述第二权重系数表示所述第二图像置信度的重要程度，且第一权重系数与第二权重系数相加的值为1。
83.本发明一实施例中，所述预设阈值可以根据具体场景进行自定义，比如，在车险领域的车辆图片的识别场景中，预设阈值可以为0.7，若融合参数超过0.7，说明识别到未分割图像集中存在车辆；若融合参数不超过0.7，说明没有识别到未分割图像集中的车辆信息。
84.所述目标图像分割模型训练模块105，用于将所述真实图像标签与所述伪标签进行整合，得到最终标签，并将所述未标注图像集及所述标注图像集做为训练数据集，利用所述训练数据集及所述最终标签将预设的目标图像分割模型进行训练，得到训练完成的目标图像分割模型。
85.本发明实施例中，所述预设的目标图像分割模型可以为深度学习模型cnn或rnn。
86.本发明一实施例中，所述最终标签中的伪标签是未标注图像集对应的标签，且由于已经去除准确度较差的图像像素标签，可以保证伪标签的准确性，即保证最终标签的准确性，在利用所述训练数据集及所述最终标签将预设的目标图像分割模型进行训练时，提高了模型的精度。
87.本发明实施例通过将所述真实图像标签与所述伪标签进行整合，得到最终标签，并将所述未标注图像集及所述标注图像集做为训练数据集，利用所述训练数据集将预设的目标图像分割模型进行训练，得到训练完成的目标图像分割模型，可以实现基于半监督的图像分割模型训练，提高模型训练效率，并利用完整、准确的图像信息来训练目标图像分割模型，提高该模型在图像分割时的准确率。
88.作为本发明的一个实施例，所述目标图像分割模型训练模块105通过执行下述操作利用所述训练数据集及所述最终标签将预设的目标图像分割模型进行训练，得到训练完成的目标图像分割模型，包括：利用预设的目标图像分割模型中的空洞卷积层提取所述训练数据集的特征并进行特征融合，得到特征融合图像集；利用所述预设的目标图像分割模型中的金字塔池化层对所述特征融合图像集进行目标物识别，得到目标物识别图像集；将所述目标物识别图像集输入至所述预设的目标图像分割模型中的激活函数，得到所述激活函数输出的所述训练数据集的预测图像分割标签；利用所述预设的目标图像分割模型中的损失函数计算预测图像分割标签和所述最终标签的损失值，根据所述损失值调整所述预设的目标图像分割模型
的参数，直到所述损失值满足预设条件时，得到训练完成的目标图像分割模型。
89.其中，所述空洞卷积层相比一般卷积层多了一些特殊的洞，视野更开阔，使得在提取特征时，可以使得图像缩小同样倍数的情况下通过特征融合可以掌握更多图像的全局信息。进一步地，所述金字塔池化层可以代替一般的池化层，不管输入的图像的大小是怎样的，都会输出图像大小一致的分割图像。进一步地，本发明实施例中，所述激活函数可以为sigmoid函数，可以将目标物识别图像集激活，得到所述激活函数输出的所述训练数据集的预测图像分割标签。
90.本发明实施例中，所述预设条件可以根据所述实际模型训练场景设置，例如，预设条件可以为所述损失值小于预设阈值。
91.详细地，所述利用所述预设的目标图像分割模型中的损失函数计算预测图像分割标签和所述最终标签的损失值，包括：利用下述损失函数计算预测图像分割标签和所述最终标签的损失值：其中，l(s)表示损失值；k表示预测图像分割标签的数量；j表示预测图像分割标签数量的变量；yi表示第i个预测图像分割标签；表示第i个最终标签。
92.所述图像分割模块106，用于获取待分割图像，利用所述训练完成的目标图像分割模型将所述待分割图像进行分割，得到所述待分割图像的图像分割结果。
93.本发明实施例中，所述待分割图像可以为有车险的车辆损坏图像，可以从客户端平台的数据库中获取。
94.本发明实施例中，利用所述训练完成的目标图像分割模型可以将车辆损坏图像中的车辆信息、车辆划痕集车辆撞击处进行分割，得到车辆损坏细节图像。
95.本发明实施例中，首先通过所述利用训练完成的图像分割模型将所述未标注图像集进行分割，得到第一图像置信度，可以便于后续判断未标注图像集中哪些图像区域接近未标注图像的真实标签分布；其次，通过将所述第一图像置信度进行类别激活操作，可以确定未标注分割图中各个图像像素的重要程度，进一步地，将所述类别激活图进行上采样，得到第二图像置信度，可以将类别激活图尺寸恢复到与未标注图像大小一致的尺寸，进一步确定各个图像像素的重要程度，提高后续伪标签筛选的准确率，再通过将所述第一图像置信度与所述第二图像置信度进行融合，得到所述未标注图像集的伪标签，可以将置信度较低的图像像素标签筛除，以去掉准确度较差的伪标签，还可以避免在筛除低置信度像素的同时，保证图像信息的完整性，提高后续图像分割的准确率；最后通过真实图像标签、伪标签、未标注图像集及标注图像集训练目标图像分割模型，可以利用完整、准确的图像信息来训练目标图像分割模型，提高该模型在图像分割时的准确率，并利用该模型将待分割图像进行图像分割，得到图像分割结果，可以提高图像分割的准确率。因此本发明实施例提出的图像分割装置可以提高图像分割的准确率。
96.如图5所示，是本发明实现图像分割方法的电子设备的结构示意图。
97.所述电子设备可以包括处理器10、存储器11、通信总线12和通信接口13，还可以包
括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如图像分割程序。
98.其中，所述存储器11至少包括一种类型的介质，所述介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：sd或dx存储器等）、磁性存储器、本地磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（smart media card，smc）、安全数字（secure digital，sd）卡、闪存卡（flash card）等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如图像分割程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
99.所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（central processing unit，cpu）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（control unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如图像分割程序等），以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
100.所述通信总线12可以是外设部件互连标准（peripheral component interconnect，简称pci）总线或扩展工业标准结构（extended industry standard architecture，简称eisa）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述通信总线12总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
101.图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
102.例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
103.可选地，所述通信接口13可以包括有线接口和/或无线接口（如wi-fi接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。
104.可选地，所述通信接口13还可以包括用户接口，用户接口可以是显示器（display）、输入单元（比如键盘（keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled（organic light-emitting diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
105.应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
106.所述电子设备中的所述存储器11存储的图像分割程序是多个计算机程序的组合，在所述处理器10中运行时，可以实现：获取未标注图像集、标注图像集及所述标注图像集对应的真实图像标签，利用训练完成的图像分割模型将所述未标注图像集进行分割，得到第一图像置信度；将所述第一图像置信度进行类别激活操作，得到所述未标注图像集的类别激活图；将所述类别激活图进行上采样，得到第二图像置信度；将所述第一图像置信度与所述第二图像置信度进行融合，得到所述未标注图像集的伪标签；将所述真实图像标签与所述伪标签进行整合，得到最终标签，并将所述未标注图像集及所述标注图像集做为训练数据集，利用所述训练数据集及所述最终标签将预设的目标图像分割模型进行训练，得到训练完成的目标图像分割模型；获取待分割图像，利用所述训练完成的目标图像分割模型将所述待分割图像进行分割，得到所述待分割图像的图像分割结果。
107.具体地，所述处理器10对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
108.进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取介质中。所述计算机可读介质可以是非易失性的，也可以是易失性的。所述计算机可读介质可以包括：能够携待所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）。
109.本发明实施例还可以提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：获取未标注图像集、标注图像集及所述标注图像集对应的真实图像标签，利用训练完成的图像分割模型将所述未标注图像集进行分割，得到第一图像置信度；将所述第一图像置信度进行类别激活操作，得到所述未标注图像集的类别激活图；将所述类别激活图进行上采样，得到第二图像置信度；将所述第一图像置信度与所述第二图像置信度进行融合，得到所述未标注图像集的伪标签；将所述真实图像标签与所述伪标签进行整合，得到最终标签，并将所述未标注图像集及所述标注图像集做为训练数据集，利用所述训练数据集及所述最终标签将预设的目标图像分割模型进行训练，得到训练完成的目标图像分割模型；获取待分割图像，利用所述训练完成的目标图像分割模型将所述待分割图像进行分割，得到所述待分割图像的图像分割结果。
110.进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
111.在本发明所提供的几个实施例中，应该理解到，所揭露的介质、设备、装置和方法，
可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
112.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
113.另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
114.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
115.因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
116.本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
117.此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
118.最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。