带顶点图像的分割模型训练方法及带顶点图像的分割方法与流程

1.本技术涉及图像分割技术，特别涉及带顶点图像的分割模型训练和带顶点图像的分割技术。


背景技术：

2.基于栅格图的高精度地图制作，一般要经过地图采集、地图要素矢量化、地图数据生产等步骤。其中，地图要素矢量化步骤至关重要。
3.目前的图像分割方法，主要包括人工矢量化的方法、传统图像处理提取目标边界的方法和现有基于深度学习图像分割技术提取目标边界的方法。首先，对于采用人工矢量法的方法，效率低且易出错，极大地增加人力成本。其次，对于采用传统图像处理提取目标边界的方法，因为该方法对成像质量要求高、对复杂环境适应能力较差，而高精度地图采集过程中，获取的图像(栅格图)质量普遍较低，实际场景大多较为复杂，使得采用该方法提取目标边界效果不稳定、边界提取结果的准确性也普遍较低。再次，对于采用现有基于深度学习图像分割技术提取目标边界的方法，虽然性能比较稳定，但是提取结果中的目标边界普遍较粗糙、与目标的真实边界有较大的差异。
4.然而，对于方向箭头、菱形减速标志、三角形减速标志等带顶点的地图要素，由于其数量多、种类多、顶点多、部分箭头存在曲线边缘等原因，上述各方法都无法满足其高效的精细分割要求。
5.因此，方向箭头、菱形减速标志、三角形减速标志等带顶点的地图要素迫切需要实现高精度的自动矢量化。


技术实现要素：

6.本技术的目的在于提供一种带顶点图像的分割模型训练方法及带顶点图像的分割方法，能够实现带顶点图像的自动分割，且分割结果的质量佳、精度高。
7.本技术公开了一种带顶点图像的分割模型训练方法，包括：
8.获取训练样本集，其中训练样本集具有真值掩膜，所述训练样本集的每个图像具有至少一个顶点；
9.将所述训练样本集输入粗分割模型得到每个图像的粗分割结果掩膜，所述粗分割结果掩膜中包括对应的粗分割结果；
10.在所述训练样本集的所述真值掩膜上提取图像的顶点，为每个顶点分配一个邻域范围，将所述真值掩膜上每个顶点及相应的邻域范围映射到对应的粗分割结果掩膜中，计算位于该映射的邻域范围内的粗分割结果与该映射的顶点的最小距离，对每个图像的所有邻域范围的所述最小距离累加求和作为顶点距离损失参数；
11.根据所述顶点距离损失参数作为约束条件迭代优化所述粗分割模型以得到细分割模型。
12.在一个优选例中，还包括：
13.如果某个所述邻域范围内无粗分割结果，放大所述邻域范围以包含至少部分的粗分割结果。
14.在一个优选例中，所述每个顶点的所述邻域范围的大小相同。
15.在一个优选例中，还包括：
16.根据所述每个图像的粗分割结果掩膜和真值掩膜提取对应的粗分割结果外轮廓和真值外轮廓；
17.根据所述粗分割结果外轮廓和真值外轮廓计算两个外轮廓之间的形状相似性；
18.根据所有图像的所述外轮廓之间的形状相似性获取几何损失参数；
19.所述根据所述顶点距离损失参数作为约束条件迭代优化所述粗分割模型以得到细分割模型，进一步包括：
20.根据所述顶点距离损失参数和所述几何损失参数的组合作为约束条件迭代优化所述粗分割模型以得到细分割模型。
21.在一个优选例中，根据所述粗分割结果外轮廓和真值外轮廓计算两个外轮廓之间的形状相似性时，还包括：
22.根据所述粗分割结果外轮廓和真值外轮廓计算两个外轮廓之间的交并比和/或距离；
23.所述根据所有图像的所述外轮廓之间的形状相似性获取几何损失参数，进一步包括：
24.根据所有图像的所述外轮廓之间的形状相似性、交并比和/或距离，获取所述几何损失参数。
25.在一个优选例中，还包括：
26.根据每个图像的粗分割结果掩膜逐像素计算交叉熵损失参数；
27.所述根据所述顶点距离损失参数和所述几何损失参数的组合作为约束条件迭代优化所述粗分割模型以得到细分割模型，进一步包括：
28.根据所述顶点距离损失参数、所述几何损失参数和所述交叉熵损失参数的组合作为约束条件迭代优化所述粗分割模型以得到细分割模型。
29.在一个优选例中，还包括：
30.根据每个图像的粗分割结果掩膜逐像素计算交叉熵损失参数；
31.所述根据所述顶点距离损失参数作为约束条件迭代优化所述粗分割模型以得到细分割模型，进一步包括：
32.根据所述顶点距离损失参数和所述交叉熵损失参数的组合作为约束条件迭代优化所述粗分割模型以得到细分割模型。
33.在一个优选例中，所述粗分割模型是mask-rcnn、cascade-rcnn或cascade mask-rcnn。
34.本技术还公开了一种带顶点图像的分割方法包括：
35.获取待分割的带顶点图像；
36.将所述待分割的带顶点图像输入预先训练好的细分割模型得到该图像的分割结果，其中，所述细分割模型根据前文描述的带顶点图像的分割模型训练方法训练得到。
37.在一个优选例中，所述分割结果包括分割形状、置信度和类别，当所述分割结果中
的置信度低于预设阈值时，将所述分割结果中同一类别的分割形状输入到一目标分类模型，以筛选所述分割结果。
38.本技术实施方式中，与现有技术相比，至少包括以下优点和效果：
39.针对带顶点图像的分割，尤其针对地图要素中方向箭头、菱形标志、三角形标志等图像的分割，提出一种顶点距离损失约束的算法，即在模型训练时，将计算得到的顶点距离损失参数作为约束条件迭代优化粗分割模型，使得基于该优化后的粗分割模型对待分割图像进行分割时，起到了对粗分割结果的顶点距离约束，确保了待分割图像中各顶点分割的准确性，提高了图像分割结果的质量和精度。
40.进一步地，提出一种几何约束的算法，并将其与上述顶点距离损失约束的算法组合使用，即在模型训练时，将计算得到的顶点距离损失参数和几何约束参数的组合作为约束条件迭代优化上述粗分割模型，使得基于该优化后的粗分割模型对待分割图像进行分割时，同时起到了对粗分割结果的顶点距离约束和几何形状约束，在确保了待分割图像中各顶点分割的准确性的同时，提升了图像分割结果的形状完整性及准确性，进一步提高了图像分割结果的质量和精度。并且，在进行几何约束时，配置外轮廓之间的形状相似性、交并比和/或距离的比重系数，例如可适当加大外轮廓之间的距离所占比重，进一步提高图像分割结果的准确性。
41.进一步地，将上述几何约束的算法、顶点距离损失约束的算法和交叉熵约束的算法组合使用，并配置于三者合适比重系数，可以进一步提高图像分割的质量和精度，即在模型训练时，将具有合适配比的顶点距离损失参数、几何约束参数和交叉熵约束的组合作为约束条件迭代优化所述粗分割模型，可以进一步提高图像分割结果的质量和精度。
42.进一步地，在根据上述优化后的粗分割模型进行带顶点图像的精细分割时，该分割结果还包括分割形状、置信度和类别，当该分割结果中的置信度低于预设阈值时，将该分割结果中同一类别的分割形状输入到一目标分类模型，可以滤除误检目标，进一步提高了分割结果的准确性和可靠性。
43.使用本技术的实施方式进行地图要素的图像分割，可以实现图像的自动分割，且分割结果的质量佳、精度高，可以为例如自动驾驶、行车记录仪等系统提供有力支撑。
44.本技术的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本技术所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本技术上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征a b c，在另一个例子中公开了特征a b d e，而特征c和d是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征e技术上可以与特征c相组合，则，a b c d的方案因技术不可行而应当不被视为已经记载，而a b c e的方案应当视为已经被记载。
附图说明
45.图1是根据本技术第一实施方式的带顶点图像的分割模型训练方法流程示意图；
46.图2是根据本技术第二实施方式的带顶点图像的分割方法流程示意图；
47.图3是根据一个示例的地图要素分类示意图；
48.图4(a)是一示例直行加右转箭头的初始图像示意图；
49.图4(b)是图4(a)的示例初始图像的粗分割结果掩膜示意图；
50.图5(a)是图4(a)的示例初始图像的真值掩膜；
51.图5(b)是图5(a)的真值掩膜的各顶点及其相应的邻域范围示意图；
52.图5(c)是图5(b)中的该真值掩膜的各顶点及其相应的邻域范围映射到对应的粗分割结果掩膜中后的示意图；
53.图6是一示例待分割图像示意图；
54.图7是根据本技术的示例细分割模型得到的精细分割结果示意图；
55.图8是根据本技术的示例粗分割模型得到的粗分割结果示意图。
具体实施方式
56.在以下的叙述中，为了使读者更好地理解本技术而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
57.部分概念的说明：
58.地图要素：本文所提到的地图要素，是指高精度地图制作过程中，需要绘制提取的内容，如车道、车道线、方向箭头、地面印刷物标志等等。
59.方向箭头：指交通场景路面印刷的方向箭头标志，用以指引车辆的转向。例如，直行箭头、左转箭头、右转箭头等等。
60.减速标志：指交通场景路面印刷的减速标志，用以提示车辆减速行驶。一般包括菱形减速标志、三角形减速标志两种。
61.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术的实施方式作进一步地详细描述。
62.本技术的第一实施方式涉及一种带顶点图像的分割模型训练方法，其流程如图1所示，该方法包括以下步骤：
63.在步骤101中，获取训练样本集，其中训练样本集具有真值掩膜，该训练样本集的每个图像具有至少一个顶点。
64.之后，进入步骤102，将该训练样本集输入粗分割模型得到每个图像的粗分割结果掩膜，该粗分割结果掩膜中包括对应的粗分割结果。
65.该粗分割模型的种类是多种多样的。该粗分割模型可以是mask-rcnn、cascade-rcnn或cascade mask-rcnn等，但不限于此。
66.之后，进入步骤103，在该训练样本集的该真值掩膜上提取图像的顶点，为每个顶点分配一个邻域范围，将该真值掩膜上每个顶点及相应的邻域范围映射到对应的粗分割结果掩膜中，计算位于该映射的邻域范围内的粗分割结果与该映射的顶点的最小距离，对每个图像的所有邻域范围的该最小距离累加求和作为顶点距离损失参数。
67.优选地，在步骤103中，各顶点的邻域范围独立、不相交。
68.可选地，步骤103中“在该训练样本集的真值掩膜上提取图像的顶点”时，可以对每个图像的真值掩膜进行harris角点检测，并针对角点检测结果，结合图像轮廓边缘是直线
或曲线的先验信息来确定图像轮廓的各顶点。
69.可选地，步骤103时，还可以包括以下步骤：
70.如果某个该邻域范围内无粗分割结果，放大该邻域范围以包含至少部分的粗分割结果。
71.可选地，步骤103中的该每个顶点的该邻域范围的大小相同。
72.可选地，该带顶点图像的分割模型训练方法还包括以下步骤
①②③
：
73.①
根据该每个图像的粗分割结果掩膜和真值掩膜提取对应的粗分割结果外轮廓(polygon)和真值外轮廓；
74.②
根据该粗分割结果外轮廓和真值外轮廓计算两个外轮廓之间的形状相似性；
75.③
根据所有图像的该外轮廓之间的形状相似性获取几何损失参数。
76.可选地，上述步骤
②
中的“真值外轮廓和粗分割结果外轮廓(polygon)的形状相似性”可以根据两个外轮廓的hu不变矩确定。具体的，如果两个外轮廓的hu不变矩值为0，表示两个外轮廓完全相似，且值越大越不相似。其中hu不变矩属于已有的技术，本文不再赘述。
77.可选地，上述步骤
②
时，还可以包括以下步骤：
78.根据该粗分割结果外轮廓和真值外轮廓计算两个外轮廓之间的交并比和/或距离。
79.可选地，上述“真值外轮廓和粗分割结果外轮廓的距离”可以采用逐点计算欧氏距离的方法确定。具体的，对粗分割结果外轮廓的每一个点，依次找到真值掩膜中与该点距离最近的点，然后计算两个点的欧氏距离；粗分割结果外轮廓中的每一个点都对应一个距离值，计算所有距离的均值作为两个外轮廓之间的距离。
80.可选地，上述“真值外轮廓和粗分割结果外轮廓的交并比”可以根据两个外轮廓的重叠面积、两个外轮廓的面积和与所述重叠面积的差值确定。在一个实施例中，该交并比可以采用以下公式计算来确定：
81.两个外轮廓的iou＝两个外轮廓的重叠面积/(两个外轮廓的面积和-两个外轮廓的重叠面积)。
82.可选地，上述步骤
③
可以进一步实现为以下步骤：
83.根据所有图像的该外轮廓之间的形状相似性、交并比(iou)和/或距离，获取该几何损失参数。
84.在一个具体实施例中，可以将图像的外轮廓之间的形状相似性、iou、距离分别表示为poly_shape_similarity、poly_iou、poly_dist，该几何损失参数loss_geometry＝x*poly_shape_similarity y*poly_iou z*poly_dist，其中x、y、z为比重系数。其中，可以默认取值x＝y＝z＝1，也可以进行设置x、y、z的值。例如可适当加大外轮廓之间的距离所占比重，因为相比于外轮廓之间的形状相似性和外轮廓之间的iou，两个外轮廓之间的距离更能够表现此两个外轮廓的一致程度。
85.可选地，该带顶点图像的分割模型训练方法还可以包括以下步骤：
86.根据每个图像的粗分割结果掩膜逐像素计算交叉熵损失参数。
87.之后，进入步骤104，根据该顶点距离损失参数作为约束条件迭代优化该粗分割模型以得到细分割模型。
88.可选地，该步骤104可以进一步实现为以下步骤：
89.根据该顶点距离损失参数和该几何损失参数的组合作为约束条件迭代优化该粗分割模型以得到细分割模型。
90.可以理解，上述顶点距离损失参数和该几何损失参数的组合方式是多种多样的。例如，可以为二者依次配置a、b的权重来进行组合，且a和b的大小可以进行设置，其中a＞0，b＞0。可选地，可以设置a＝b，例如a＝b＝1等。可选地，可以设置a＞b，例如但不限于a＝2，b＝1等。
91.可选地，该步骤104还可以进一步实现为以下步骤：
92.根据该顶点距离损失参数和该交叉熵损失参数的组合作为约束条件迭代优化该粗分割模型以得到细分割模型。
93.可以理解，上述顶点距离损失参数和该交叉熵损失参数的组合方式是多种多样的。例如，可以为二者依次配置a、b的权重来进行组合，且a和b的大小可以进行设置，其中a＞0，b＞0。可选地，可以设置a＝b，例如a＝b＝1等。可选地，可以设置a＞b，例如但不限a＝3，b＝1等。
94.可选地，该步骤104可以进一步实现为以下步骤：
95.根据该顶点距离损失参数、该几何损失参数和该交叉熵损失参数的组合作为约束条件迭代优化该粗分割模型以得到细分割模型。
96.可以理解，上述顶点距离损失参数、该几何损失参数和该交叉熵损失参数的组合方式是多种多样的。例如，可以为三者依次配置a、b、c的权重来进行组合，且a和b的大小可以进行设置，其中a＞0，b＞0，c＞0。可选地，可以设置a＝b＝c。可选地，可以设置a＝b＞c，例如但不限于a＝b＝2，c＝1等。可选地，可以设置a＞b＞c，例如但不限于a＝3，b＝2，c＝1等。
97.本技术的第二实施方式涉及一种带顶点图像的分割模型训练方法，其流程如图2所示，该方法包括以下步骤：
98.在步骤201中，获取待分割的带顶点图像。
99.之后，进入步骤202，将该待分割的带顶点图像输入预先训练好的细分割模型得到该图像的分割结果，其中，该细分割模型根据本技术第一实施方式涉及的带顶点图像的分割模型训练方法训练得到。可以理解，第一实施方式中的技术细节可以应用于本实施方式。
100.在一个实施例中，该分割结果包括分割形状、置信度和类别，当该分割结果中的置信度低于预设阈值时，将该分割结果中同一类别的分割形状输入到一目标分类模型，以筛选该分割结果。其中，该预设阈值可以根据经验进行预配置。其中，该目标分类模型可以是任意现有或待开发的目标分类模型。
101.需要说明的是，本技术的实施方式可以用于地图要素(包括但不限于方向箭头、菱形减速标志、三角形减速标志等)图像的精细分割，并自动输出精细分割结果，该精细分割结果可以作为这些地图要素自动矢量化的基础数据，并且，本技术的实施方式不只限于地图要素的图像精细分割，还可以推广到包含箭头、多边形等的各类带顶点图像精细分割。并且，本技术涉及的初始图像优选地是单通道或三通道的栅格图。
102.为了能够更好地理解本技术的技术方案，以地图要素中的方向箭头、菱形减速标志、三角形减速标志的图像精细分割为示例来进行说明，该示例中罗列的细节主要是为了便于理解，不作为对本技术保护范围的限制。
103.该示例的训练样本集中包括如图3所示的15种方向箭头、1种菱形减速标志和1种三角形减速标志，共17种类别的图像。
104.首先，获取该训练样本集，其中该训练样本集具有真值掩膜。具体的，将该训练样本集中的初始图像可视化为掩膜(mask)作为真值掩膜(ground truth mask)。
105.之后，将该训练样本集输入示例粗分割模型(例如mask-rcnn)得到每个图像的粗分割结果掩膜，该粗分割结果掩膜中包括对应的粗分割结果。以训练样本集中一直行加右转箭头图像为示例，如图4(a)为该示例直行加右转箭头的初始图像示意图，如图4(b)为图4(a)的示例初始图像的粗分割结果掩膜。其中，从图4(b)可以看出：粗分割结果不够精确，箭头边界和箭头顶点都存在较大偏差，而高精度地图制作过程中，对各图像的顶点和边界都要求非常精确，这也说明了仅使用粗分割结果无法满足高精度地图的制作要求。
106.之后，计算顶点距离损失参数。具体的，在该训练样本集的真值掩膜上提取图像的顶点，为每个顶点分配一个邻域范围，将该真值掩膜上每个顶点及相应的邻域范围映射到对应的粗分割结果掩膜中，计算位于该映射的邻域范围内的粗分割结果与该映射的顶点的最小距离，对每个图像的所有邻域范围的该最小距离累加求和作为顶点距离损失参数。继续以上述直行加右转箭头图像为例，图5(a)为图4(a)的示例初始图像的真值掩膜，图5(b)为图5(a)的真值掩膜的各顶点及其相应的邻域范围示例示意图，图5(c)为将图5(b)中的该真值掩膜的各顶点及其相应的邻域范围映射到对应的粗分割结果掩膜中后的示意图。其中，顶点距离损失参数越小，表明箭头顶点分割质量越好。
107.之后，计算几何损失参数。具体的，根据示例训练样本集中每个图像的粗分割结果掩膜和真值掩膜提取对应的粗分割结果外轮廓和真值外轮廓，根据该粗分割结果外轮廓和真值外轮廓计算两个外轮廓之间的形状相似性，根据所有图像的该外轮廓之间的形状相似性获取几何损失参数。
108.之后，计算交叉熵损失参数。具体的，根据示例训练样本集中每个图像的粗分割结果掩膜逐像素计算交叉熵损失参数。
109.之后，根据计算得到的该顶点距离损失参数、该几何损失参数和该交叉熵损失参数的组合(例如组合比重依次为2：2：1)作为约束条件迭代优化该示例粗分割模型以得到示例细分割模型。
110.最终，将如图6所示的一示例待分割图像输入到该示例细分割模型，得到了图7所示的精细分割结果，为了验证本技术的可靠性，同时将图6所示的待分割图像输入到该示例粗分割模型，并得到了图8所示的粗分割结果，比较图7的精细分割结果和图8粗分割结果，可以看出：根据本技术的带顶点图像的分割模型训练方法及带顶点图像的分割方法能够实现带顶点图像的自动分割，且得到的分割结果较传统的mask-rcnn等模型的分割质量更佳、精度更高。
111.需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不
排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
112.在本技术提及的所有文献都被认为是整体性地包括在本技术的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。