一种基于多任务学习的特征点提取与语义分割方法与流程

技术特征：
1.一种基于多任务学习的特征点提取与语义分割方法，其特征在于，包括：获取目标图像；将所述目标图像输入预先训练的多任务网络，得到所述目标图像的特征点提取结果和语义分割结果；其中，所述多任务网络包括第一任务分支和第二任务分支，所述第一任务分支用于计算所述特征点提取结果，所述第二任务分支用于计算所述语义分割结果；所述第一任务分支和所述第二任务分支通过联合训练得到。2.根据权利要求1所述的方法，其特征在于，所述第一任务分支和所述第二任务分支为网络结构相同的解码器；相应地，所述多任务网络还包括编码器，所述第一任务分支和所述第二任务分支共用所述编码器。3.根据权利要求2所述的方法，其特征在于，所述编码器位于所述第一任务分支和所述第二任务分支之前、且分别与所述第一任务分支和所述第二任务分支相连。4.根据权利要求1所述的方法，其特征在于，所述第一任务分支的输出通道数与surf特征点描述子的维度相同。5.根据权利要求1所述的方法，其特征在于，所述第二任务分支的输出通道数为类别数。6.根据权利要求1所述的方法，其特征在于，所述第一任务分支使用度量学习中的三元组损失函数训练得到；所述第二任务分支使用deeplab v3 的训练方式和focal loss函数训练得到。7.根据权利要求6所述的方法，其特征在于，所述三元组损失函数参照d2net损失函数，并通过下式表示：其中，i1和i2表示不同的图像，sc
(1)
和sc
(2)
为在i1和i2中a点和b点的关键点得分，集合c为i1和i2所有匹配点的集合；p(c)和n(c)分别表示最大化正确匹配和最小化错误匹配。8.根据权利要求6所述的方法，其特征在于，所述focal loss函数通过下式表示：fl(p
t
)＝
‑
(1
‑
p
t
)
γ
log(p
t
)其中，所述γ因子用于减少易分类样本的损失，更关注困难的，错分的样本；p为预测概率。9.根据权利要求6所述的方法，其特征在于，所述多任务网络的整体损失函数基于所述三元组损失函数和所述focalloss函数确定。10.根据权利要求9所述的方法，其特征在于，所述整体损失函数通过下式表示：l＝λl1 (1
‑
λ)l2其中l1为特征点提取的三元组损失函数，l2为语义分割的focalloss损失函数，0<λ<1，λ为加权平均系数。

技术总结
本申请揭示了一种基于多任务学习的特征点提取与语义分割方法，包括：获取目标图像；将目标图像输入预先训练的多任务网络，得到目标图像的特征点提取结果和语义分割结果；其中，多任务网络包括第一任务分支和第二任务分支，第一任务分支用于计算特征点提取结果，第二任务分支用于计算语义分割结果；第一任务分支和第二任务分支通过联合训练得到；可以解决相关技术中特征点提取速度较低的问题；可以在同一网络结构中完成了特征提取和语义分割两个任务，实现在几乎不增加运算量的同时提升了特征点提取的速度。点提取的速度。点提取的速度。


技术研发人员：裴浩然 张云翔
受保护的技术使用者：北京机械设备研究所
技术研发日：2021.06.25
技术公布日：2021/10/28