一种基于多任务学习的特征点提取与语义分割方法与流程

1.本发明属于图像处理技术领域，涉及一种基于多任务学习的特征点提取与语义分割方法。


背景技术：

2.在图像处理、计算机视觉以及模式识别等领域，图像特征点提取是一个重要研究内容，它是许多问题的基础。它可应用于图像间的配准、图像的拼接、目标识别、目标跟踪、基于特征点的3维重建以及视频镜头检测等。几十年来，人们对特征点提取算法不断的深入研究，提出了大量成功的特征点提取算法，为计算机视觉领域中的图像匹配、图像配准和目标跟踪等应用提供了基础。随着深度学习和神经网络的发展，基于神经网络技术的应用开始在该领域表现得具有竞争力。
3.语义分割(semantic segmentation)是指为图像中的每个像素分配一个类别标签,使之不但能分割出区域,还能对区域进行内容标注。随着越来越多的视觉应用如自动驾驶、医学影像分析、视频监控、增强现实等急需精确且高效的分割技术,以精度和细度著称的图像语义分割在计算机视觉和机器学习领域受到越来越多的关注,成为该领域的研究热点之一。
4.当前图像拼接算法大多依赖于传统的特征点提取方法，如sift，surf等；这类算法的特征来自于手工设计，同时在运行时主要依赖于cpu，速度较慢。使用深度学习的新型方法则需要依赖于gpu，会额外占用gpu的运算能力。


技术实现要素：

5.为了解决相关技术中特征点提取速度较低的问题，本技术目的在于提供一种基于多任务学习的特征点提取与语义分割方法。本技术在同一网络结构中完成了特征提取和语义分割两个任务，在几乎不增加运算量的同时提升了特征点提取的速度。
6.为实现上述目的，本发明的基于多任务学习的特征点提取与语义分割方法，包括：
7.获取目标图像；
8.将所述目标图像输入预先训练的多任务网络，得到所述目标图像的特征点提取结果和语义分割结果；
9.其中，所述多任务网络包括第一任务分支和第二任务分支，所述第一任务分支用于计算所述特征点提取结果，所述第二任务分支用于计算所述语义分割结果；所述第一任务分支和所述第二任务分支通过联合训练得到。
10.可选地，所述第一任务分支和所述第二任务分支为网络结构相同的解码器；相应地，所述多任务网络还包括编码器，所述第一任务分支和所述第二任务分支共用所述编码器。
11.可选地，所述编码器位于所述第一任务分支和所述第二任务分支之前、且分别与所述第一任务分支和所述第二任务分支相连。
12.可选地，所述第一任务分支的输出通道数与surf特征点描述子的维度相同。
13.可选地，所述第二任务分支的输出通道数为类别数。
14.可选地，所述第一任务分支使用度量学习中的三元组损失函数训练得到；所述第二任务分支使用deeplab v3 的训练方式和focal loss函数训练得到。
15.可选地，所述三元组损失函数参照d2net损失函数，并通过下式表示：
[0016][0017]
其中，i1和i2表示不同的图像，sc
(1)
和sc
(2)
为在i1和i2中a点和b点的关键点得分，集合c为i1和i2所有匹配点的集合；p(c)和n(c)分别表示最大化正确匹配和最小化错误匹配。
[0018]
可选地，所述focal loss函数通过下式表示：
[0019]
fl(p
t
)＝
‑
(1
‑
p
t
)γlog(p
t
)
[0020][0021]
其中，所述γ因子用于减少易分类样本的损失，更关注困难的，错分的样本；p为预测概率。
[0022]
可选地，所述多任务网络的整体损失函数基于所述三元组损失函数和所述focal loss函数确定。
[0023]
可选地，所述整体损失函数通过下式表示：
[0024]
l＝λl1 (1
‑
λ)l2[0025]
其中l1为特征点提取的三元组损失函数，l2为语义分割的focalloss损失函数，0<λ<1，λ为加权平均系数。
[0026]
本技术的基于多任务学习的特征点提取与语义分割方法，通过获取目标图像；将目标图像输入预先训练的多任务网络，得到目标图像的特征点提取结果和语义分割结果。本技术在同一网络结构中完成了特征提取和语义分割两个任务，可以解决相关技术中特征点提取速度较低的问题，实现在几乎不增加运算量的同时提升了特征点提取的速度。
[0027]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
[0028]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
[0029]
图1是本发明一个实施例提供的基于多任务学习的特征点提取与语义分割方法的流程图；
[0030]
图2是本发明一个实施例提供的多任务网络的结构示意图。
具体实施方式
[0031]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
[0032]
本技术实施例提供了一种基于多任务学习的特征点提取与语义分割方法，如图1所示，该方法至少包括以下几个步骤：
[0033]
步骤101，获取目标图像。
[0034]
目标图像为待进行处理的图像，目标图像的数量为一张或多张，本实施例不对目标图像的数量作限定。
[0035]
目标图像为具有待检测目标的图像，该待识别目标可以为人脸、车辆、动物、人体组织等，本实施例不对待检测目标的类型作限定。
[0036]
步骤102，将目标图像输入预先训练的多任务网络，得到目标图像的特征点提取结果和语义分割结果；其中，多任务网络包括第一任务分支和第二任务分支，第一任务分支用于计算特征点提取结果，第二任务分支用于计算语义分割结果；第一任务分支和第二任务分支通过联合训练得到。
[0037]
其中，第一任务分支和第二任务分支有一个相同的特点，就是最后输出的特征图需要保证在感受野尽可能大的情况下，有着较高的分辨率，因此可以用于联合训练。
[0038]
在一个示例中，参考图2，多任务网络的基础网络为残差网络(resnet)，整个多任务网络的结构类似于deeplab v3 。第一任务分支和第二任务分支为网络结构相同的解码器；相应地，多任务网络还包括编码器，第一任务分支和第二任务分支共用编码器。
[0039]
其中，第一任务分支和第二任务分支共用编码器是指：编码器位于第一任务分支和第二任务分支之前、且分别与第一任务分支和第二任务分支相连。
[0040]
第一任务分支的输出通道数与surf特征点描述子的维度相同，具体为输出通道数为64维。
[0041]
第二任务分支的输出通道数为类别数。语义分割结果的类别数是根据分类需求设置的，本实施例不对类别数的取值作限定。
[0042]
在多任务网络的训练阶段会同时训练第一任务分支和第二任务分支两个任务。
[0043]
可选地，第一任务分支使用度量学习中的三元组损失函数训练得到；第二任务分支使用deeplab v3 的训练方式和focal loss函数训练得到。
[0044]
focal loss函数可以有效避免在背景类别与其他类别样本数不均衡的问题。
[0045]
度量学习中的三元组损失函数主要思想为：最小化不同图像(训练过程中使用的样本图像)中相同点的输出的差异，同时最大化不同图中看起来相似的点但实际上不是一个点的输出的差异，最后还要提高匹配点的概率，其训练的过程和损失函数可以参照d2
‑
net。需要注意的是在提高匹配点的概率方面，d2
‑
net使用了一种比较复杂的打分机制。首先用9个相邻区域进行局部softmax，然后对于每个channel进行非极大值抑制，单个特征图像素的得分为两者乘积的最大值，之后再对整张图像进行归一化，得到最后的分数。为了平衡两者损失函数的值，我们引入一个系数来融合两个网络的损失函数的值。
[0046]
可选地，三元组损失函数参照d2net损失函数，对于一个图像找关键点。首先，找到
特征向量响应最大的那个通道的d
k
，再次找到最大响应通道中的，局部(neigorhourd)响应最大的位置d
kij
。并通过下式表示：
[0047][0048]
其中，i1和i2表示不同的图像，sc
(1)
和sc
(2)
为在i1和i2中a点和b点的关键点得分，集合c为i1和i2所有匹配点的集合；p(c)和n(c)分别表示最大化正确匹配和最小化错误匹配。
[0049]
可选地，focal loss函数通过下式表示：
[0050]
fl(p
t
)＝
‑
(1
‑
p
t
)γlog(p
t
)
[0051][0052]
其中，γ因子用于减少易分类样本的损失，更关注困难的，错分的样本；p为预测概率。
[0053]
可选地，多任务网络的整体损失函数基于三元组损失函数和focal loss函数确定。
[0054]
整体损失函数通过下式表示：
[0055]
l＝λl1 (1
‑
λ)l2[0056]
其中l1为特征点提取的三元组损失函数，l2为语义分割的focalloss损失函数，0<λ<1，λ为加权平均系数。
[0057]
在训练得到多任务网络之后，多任务网络进行推断的阶段：第二任务分支的输出即为各类别的概率。第一任务分支的输出为每个像素的特征点描述子。在取得特征点描述子之后，可以选取每一个像素点响应最大的通道，如果这个通道在周围的局部响应也是最大的，则确定这个点是关键点。
[0058]
综上所述，本技术实施例提供的基于多任务学习的特征点提取与语义分割方法，通过获取目标图像；将目标图像输入预先训练的多任务网络，得到目标图像的特征点提取结果和语义分割结果；其中，多任务网络包括第一任务分支和第二任务分支，第一任务分支用于计算特征点提取结果，第二任务分支用于计算语义分割结果；第一任务分支和第二任务分支通过联合训练得到；可以解决相关技术中特征点提取速度较低的问题；可以在同一网络结构中完成了特征提取和语义分割两个任务，实现在几乎不增加运算量的同时提升了特征点提取的速度。
[0059]
本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
[0060]
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。