一种基于边缘特征提取的深度学习图像分割方法及系统与流程

1.本发明涉及计算机视觉应用中的图像分割领域，具体涉及一种基于边缘特征提取的深度学习图像分割方法及系统。


背景技术：

2.图像分割是场景理解的基础性技术，对智能驾驶、机器人认知层面的自主导航、无人机着陆系统以及智慧安防监控等无人系统具有至关重要的作用。图像分割目的是将图像中的每个像素点划分一个语义类别和一个实例标签，生成全局的、统一的分割图像，实现像素级分割。图像分割的关键是识别图像中物体的边缘像素，对不同物体进行区分，因此边缘特征的提取对图像分割任务至关重要。
3.传统的边缘特征提取方法侧重于图像的纹理梯度，计算量小，但是需要人工提取图像特征，且检测效果受到噪声的干扰严重，在检测图片的边缘时经常会发生误检或漏检的情况。随着半导体行业、计算机硬件的发展，算力瓶颈已被打破，推动了深度学习的发展，基于深度学习的边缘特征提取方法推动了边缘提取的新一轮潮流，许多基于深度学习的边缘特征提取方法取得了令人印象深刻的效果。名称为一种基于神经网络的图像边缘检测方法、装置及其设备，公开号为cn109118504a的发明专利申请利用卷积网络先对输入图像进行初级特征提取，然后提取不同层次的特征执行反卷积操作，最后将对不同层次的特征进行融合。名称为一种基于多粒度注意力分层网络的边缘检测系统和方法，公开号为cn112927250a的发明专利申请结合了注意力模块和多粒度特征分层模块，以解决深度神经网络预测边界过厚和背景干扰的问题，能够自然提取图像中清晰的边缘。以上网络都是通过复杂的卷积网络结构，融合不同深度的特征来提取边缘特征，容易引起网络计算量的大大增加，导致这些方法的移植性低，应用难度大。


技术实现要素：

4.针对现有技术存在上述问题，本技术提供一种基于边缘特征提取的深度学习图像分割方法及系统，利用边缘卷积网络和特征提取网络的组合来完成图像分割任务，其结构灵活、即插即用，可被广泛应用于各类对边缘特征有需求的视觉感知任务中。
5.为实现上述目的，本技术的技术方案为：一种基于边缘特征提取的深度学习图像分割方法，包括：
6.通过同侧卷积特征提取网络对输入图像x进行预处理，获得初级特征和
7.将所述初级特征和送入语义型边缘卷积网络，得到特征和
8.将所述初级特征和经整合处理后送入实例型边缘卷积网络，得到特征
9.将所述特征送入异侧卷积特征提取网络，得到特征
10.将所述特征送入异侧卷积特征提取网络，得到特征
11.再将所述特征和所述特征进行分割预测，获取分割结果。
12.进一步的，所述同侧卷积特征提取网络中，卷积结构函数a对其输入信息x的计算表示为：
13.a(x)＝f
k*k
(f
k*k
(f
k*k
(f
k*k
(x))))
ꢀꢀꢀꢀ
(1)
14.同侧卷积特征提取网络对输入图像x进行预处理，得到初级特征其中，l1*w1为25*38，c1为256；具体实现公式为：
[0015][0016][0017][0018][0019]
进一步的，所述语义型边缘卷积网络的第一个支路对输入该结构的初级特征的运算处理表示为：
[0020][0021][0022][0023]
对得到的特征向量进行非线性激活操作：
[0024]
[0025][0026][0027]
将和进行加法融合，并对融合结果执行批标准化操作，得到特征
[0028][0029]
将特征和经批处理操作处理后的初级特征进行加法融合，得到特征
[0030][0031]
同理，语义型边缘卷积网络的第二、三、四个支路分别对输入该结构的进行运算后，得到特征
[0032]
进一步的，将所述初级特征和经整合处理后送入实例型边缘卷积网络，得到特征具体过程如式(14)～(22)所示，其中，l3*w3可以为14*14，c3可以为256。
[0033][0034][0035][0036][0037]
[0038][0039][0040]
对得到的特征向量进行非线性激活操作：
[0041][0042][0043]
进一步的，所述异侧卷积特征提取网络对输入该结构的特征进行特征萃取，得到特征具体为：
[0044][0045][0046][0047]
同理，异侧卷积特征提取网络分别对进行特征萃取，得到特征
[0048]
将特征进行合并获取特征
[0049]
进一步的，所述异侧卷积特征提取网络对特征进行特征萃取，得到特征具体为：
[0050][0051][0052][0053]
式(1)～(28)中，表示尺寸大小为l*w，通道数为c的特征向量x，f为卷积函数，
f
k*k
和分别表示卷积核为k*k的标准卷积和扩张率为r、卷积核大小为k*k的空洞卷积；r为非线性激活函数；b为批标准化函数；c为整合处理函数。
[0054]
本技术还提供一种基于边缘特征提取的深度学习图像分割系统，包括：
[0055]
边缘卷积网络，用于提取输入图像的边缘特征；按处理对象不同，分为语义型边缘卷积网络和实例型边缘卷积网络，所述语义型边缘卷积网络处理图像中的天空、道路等背景填充对象，所述实例型边缘卷积网络处理图像中的人物、车辆等前景实例对象；
[0056]
特征提取网络，是融合单元的堆叠结构，根据堆叠方式不同，分为同侧卷积特征提取网络和异侧卷积特征提取网络，所述同侧卷积特征提取网络中各个融合单元的卷积结构位于网络的同侧，此种连接方式可实现对特征的逐层提取，保留不同层次下的特征属性，形成完整的特征层次体系；所述异侧卷积特征提取网络中相邻的融合单元卷积结构分别位于网络的两侧，与同侧卷积特征提取网络不同，此种连接方式没有对特征进行传统地逐层提取，而是通过改变卷积结构和捷径的连接方法实现跨层次特征的融合，这有利于激发特征提取网络的学习潜力，达到特征提取能力的提升。
[0057]
进一步的，所述语义型边缘卷积网络包括四支相同的并行处理支路，每条支路由两层扩张率分别为1和2的空洞卷积层、一层标准卷积层和一条捷径并联而成。
[0058]
进一步的，所述实例型边缘卷积网络由三层相同的标准卷积层串联而成，通过卷积层的堆叠对实例目标边缘特征进行提取。
[0059]
本发明由于采用以上技术方案，能够取得如下的技术效果：
[0060]
(1)适用于自动驾驶、自主机器人等技术领域
[0061]
本发明能够对视觉环境中的行人、车辆、建筑、道路等目标边缘进行准确识别，可应用于自动驾驶和自主机器人技术领域，为无人车、无人机和自主机器人等提供视觉辅助和安全保障，防止危险的发生。
[0062]
(2)即插即用，使用灵活
[0063]
本发明包含的边缘卷积网络和特征提取网络具有即插即用的特点，适用于所有具有边缘特征需求的任务，插入到网络模型中即可使用。
[0064]
(3)边缘卷积网络检测图像边缘特征
[0065]
边缘卷积网络通过构建空间关系模型来模拟图像中的边缘特征，对其进行检测。
[0066]
(4)特征提取网络具备图像预处理和特征深层萃取的功能
[0067]
同侧卷积特征提取网络适用于通用场景下的特征提取任务，能够对输入图像进行预处理，为后续操作提供良好的特征输入；异侧卷积特征提取网络适用于相对复杂场景下的特征提取任务，异侧卷积特征提取网络往往通过融合单元的深度堆叠对特征进行深层萃取。
[0068]
(5)小目标分割精度高，适用于家居智能设备
[0069]
基于特征提取网络的深度堆叠能力，本发明能够对日常生活目标甚至多数小目标进行准确提取，适用于各种家居智能设备。
[0070]
(6)适用公共交通监控系统
[0071]
本发明对行人和车辆边缘特征的提取满足了道路交通场景的视觉感知要求，为驾驶人员提供了安全驾驶的辅助手段；针对违章车辆、违章驾驶车辆的驾驶员(违规操作)和不守交通规则的行人都可以进行有效识别，改善公共监控系统的工作效率。
附图说明
[0072]
图1是本发明的网络结构示意图；
[0073]
图2是语义型边缘卷积网络中处理支路的结构图；
[0074]
图3是实例型边缘卷积网络的结构图；
[0075]
图4是同侧卷积特征提取网络结构图；
[0076]
图5是异侧卷积特征提取网络结构图；
[0077]
图6是实施实例1的实验结果图；
[0078]
图7是实施实例2的实验结果图；
[0079]
图8是实施实例3的实验结果图。
具体实施方式
[0080]
本发明的实施例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。
[0081]
如图1
‑
5所示，本实施例提供一种基于边缘特征提取的深度学习图像分割方法及系统，其包括边缘卷积网络和特征提取网络，所述边缘卷积网络具备将输入映射为边缘信息的能力；特征提取网络位于网络首端时具备图像预处理的功能、其他情况下执行特征萃取的功能。具体的，利用同侧卷积对输入图像进行预处理操作，然后，将所得特征分两路进行传递，一路送入语义型边缘卷积网络，对图像中背景填充目标的边缘特征进行检测，并使用异侧卷积特征提取网络对所获边缘特征进行深层萃取，得到一个待预测的语义型深层边缘特征信息；另一路被传递到实例型边缘卷积网络，对图像中前景实例目标的边缘特征进行检测，并使用异侧卷积特征提取网络对所获边缘特征进行深层萃取，得到一个待预测的实例型深层边缘特征信息。接着，将等待预测的语义型深层边缘特征信息和实例型深层边缘特征信息进行融合和分割预测，最终得到图像分割结果。
[0082]
边缘卷积网络的约束条件可以为：
[0083]
(1)语义型边缘卷积网络的四支并行处理支路接收的四个输入信息必须是对同一图像进行特征粗提取的四个结果，四个输入信息尺寸大小可以分别为[25*38*256]、[50*76*256]、[100*152*256]和[200*304*256]的三维矩阵。
[0084]
(2)语义型边缘卷积网络的每条支路中空洞卷积层的卷积核大小可以为3*3，标准卷积层的卷积核大小可以为1*1，且空洞卷积层和标准卷积层不改变输入该结构特征的尺寸大小和维度。
[0085]
(3)实例型边缘卷积网络的输入为尺寸大小可以为[14*14*256]的三维矩阵。
[0086]
(4)实例型边缘卷积网络中的标准卷积层的卷积核大小可以为3*3，并且标准卷积层不改变输入该结构特征的尺寸大小和维度。
[0087]
特征提取网络的约束条件可以为：
[0088]
(1)同侧卷积特征提取网络中，卷积结构位于网络同侧，融合单元中卷积支路分两路传递输出特征信息：一路输出与捷径支路进行融合，融合结果作为下一个融合单元捷径支路的输入；另一路输出作为下一个融合单元卷积支路的输入。
[0089]
(2)同侧卷积特征提取网络可以由四个融合单元构成，融合单元中的卷积结构可以由三层卷积核大小为3*3的标准卷积层构成。
[0090]
(3)异侧卷积特征提取网络中，卷积结构位于网络异侧，融合单元中卷积支路分两路传递输出特征信息：一路输出与捷径支路进行融合，融合结果作为下一个融合单元卷积支路的输入；另一路输出作为下一个融合单元捷径支路的输入。
[0091]
(4)异侧卷积特征提取网络可以由两个融合单元构成，每个融合单元中的卷积结构可以由三层卷积核大小为3*3的标准卷积层构成，且卷积结构中的标准卷积层不改变输入该结构的特征尺寸的大小和维度。
[0092]
实施例1：高复杂度环境
[0093]
本实施例针对高复杂度环境(包含较多物体且物体间空间位置关系复杂，边缘信息多的视觉环境，如影院、教室、街道等场景)，将高复杂度的交通场景输入到基于边缘特征提取的深度学习图像分割系统，得到图像分割结果如6所示。
[0094]
实施例2：低复杂度环境
[0095]
本实施例针对低复杂度环境(包含较少物体且物体间空间位置关系简单，边缘信息少的视觉环境，如书桌、天空、草地等场景)，将低复杂度的交通场景输入到基于边缘特征提取的深度学习图像分割系统，得到图像分割结果如图7所示。
[0096]
实施例3：普通环境
[0097]
本实施例针对普通环境(日常的工作和生活场景，如办公室，篮球场、公园等)，将普通环境下的交通场景输入到基于边缘特征提取的深度学习图像分割系统，得到图像分割结果如图8所示。
[0098]
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。