用于高分辨率图像的基于深度学习的亚像素边缘提取算法的制作方法

1.本发明属于图像处理技术领域，具体涉及用于高分辨率图像的基于深度学习的亚像素边缘提取算法。


背景技术：

2.边缘提取是计算机视觉的一个基础研究领域，在工业检测、视觉测量、目标分割等领域具有广泛的应用。物体边缘主要是描述物体边界区域的灰度变化，通常采用灰阶梯度进行表示。传统的边缘表示主要采用边缘算子如sobel、canny等进行表示。sobel采用简单的卷积核对图像进行处理，对于成像清晰、灰度变化明显的区域具有良好的提取效果，然而当图像存在噪声、光线不均匀的场景容易提取“伪边缘”。canny算子采用双阈值进行噪声抑制，并采用非极大值剔除噪声边缘，可以取得更好的提取效果，但由于传统边缘提取算法均采用固定常数的卷积核，因此无法适应光照条件复杂、边缘模糊或噪声较多的图像。同时，由于边缘提取仅仅以灰度信息为依据，因此无法直接应用于存在物体遮挡及轮廓提取等具有语义边缘的使用场景。
3.在实际的工业应用中，人们更关注的是如物体轮廓等感兴趣区域的边缘，此类边缘的特点就是具有更强的语义特征，边缘忽略目标不同区域的灰度变化而将物体视作整体。传统算法由于以灰度为基础，因此需要对边缘进行进一步处理才能获得目标边缘，这无疑增加了边缘处理的复杂程度。随着深度学习算法在计算机视觉领域的快速发展，深度学习算法在边缘提取领域也进行了广泛的应用。虽然这些方法无需进行边缘提取，并且边缘提取精度取得了超越传统方法的效果，但仍存在一些亟待解决的问题：
4.首先是无法适用不同尺寸分辨率，尤其是高分辨率图像。目前已知的深度学习算法均采用相同的输入和输出分辨率，因此仅能获取像素级的边缘分辨率。由于网络参数与分辨率呈指数关系，在高分辨输入容易造成显存溢出，因此网络主干均采用简单的vgg网络，这极大的限制了神经网络的泛化能力，降低了边缘提取的准确率。其次，目前神经网络算法的推演速度较低，这同样是受限于等分辨率的输入和输出；同时由于复杂的跨尺度融合模块、反卷积操作均极大的降低了网络的速度，无法实现理想的速度和精度的平衡。最后，目前的神经网络算法的获得的边缘图像均为粗边缘，需要进行后处理才能得到像素级的边缘，边缘存在锯齿，无法满足亚像素级的更高精度的边缘提取要求。
5.综上所述，目前无论是传统的边缘提取算法还是基于深度学习的算法均存在不足。


技术实现要素：

6.为解决现有技术中存在的技术问题，本发明的目的在于提供一种用于高分辨率图像的基于深度学习的亚像素边缘提取算法，提升边缘提取的精度和速度。
7.为实现上述目的，达到上述技术效果，本发明采用的技术方案为：
8.用于高分辨率图像的基于深度学习的亚像素边缘提取算法，用于从高分辨率的边
缘检测神经网络的降尺寸输出中恢复亚像素全尺寸边缘，包括以下步骤：
9.对全尺寸分辨率图像进行灰度归一化处理，随后输入至神经网络，通过神经网络中的特征提取网络依次进行编码处理和解码处理，输出降采样的特征图，降采样的特征图包括降采样边缘输出特征图和降采样偏移量输出特征图，对特征提取网络输出的特征图进行全尺寸边缘恢复，得到全尺寸的边缘图像，降采样边缘输出特征图采用热力图损失函数进行监督，降采样偏移量输出特征图采用偏移量损失函数进行监督，最终恢复得到的全尺寸边缘采用像素平滑的损失函数监督，三个监督损失进行融合得到整体损失。
10.进一步的，所述特征提取网络包括编码模块和解码模块，通过编码模块对输入神经网络的全尺寸分辨率图像进行编码处理，通过解码模块对编码模块传输的图像进行解码处理。
11.进一步的，所述特征提取网络输出的特征图的尺寸为输入神经网络的全尺寸分辨率图像尺寸的1/2n倍，n不小于1；
12.所述特征提取网络以降采样1/2n的边缘图像的高斯热力图作为输出真值，高斯热力图满足以下条件：边缘图像是连续的，对于相邻区域的高斯图像采用像素级的最大化，保障边缘的高斯热力图的连续性。
13.进一步的，所述偏移量损失函数采用以下步骤得到：
14.通过预测局部的像素偏移进行弥补降采样造成的离散化损失，设点是原始尺寸上的一点，点为降采样后边缘坐标，该点x轴方向的数值为整数，按照下述公式进行恢复：通过添加2n个局部偏移值进行补偿该点y轴方向的偏移值，局部偏移值记为：采用focal损失函数进行训练，得到偏移量损失函数l
off
：
[0015][0016]
其中，表示降采样后边缘点真值。
[0017]
进一步的，所述像素平滑的损失函数l
smooth
为：
[0018][0019]
其中，vi和分别表示边缘上每个点的对应实际曲线梯度值和每点对应的真实曲线梯度值。
[0020]
进一步的，所述降采样边缘输出采用热力图损失函数进行监督，降采样偏移量输
出采用偏移量损失函数进行监督，最终恢复得到的全尺寸边缘采用像素平滑的损失函数监督，三个监督损失按照公式4进行融合：
[0021]
l＝l
hm
λ
off
l
off
λ
smooth
l
smooth
ꢀꢀ
公式4
[0022]
其中，λ
off
、λ
smooth
为对应的调节参数；l
hm
为focal损失函数。
[0023]
与现有技术相比，本发明的有益效果为：
[0024]
本发明公开了用于高分辨率图像的基于深度学习的亚像素边缘提取算法，包括以下步骤：对全尺寸分辨率图像进行灰度归一化处理，随后输入至神经网络，通过神经网络中的特征提取网络依次进行编码处理和解码处理，输出降采样的特征图，降采样的特征图包括降采样边缘输出特征图和降采样偏移量输出特征图，对特征提取网络输出的特征图进行全尺寸边缘恢复，得到全尺寸的边缘图像，降采样边缘输出特征图采用热力图损失函数进行监督，降采样偏移量输出特征图采用偏移量损失函数进行监督，最终恢复得到的全尺寸边缘采用像素平滑的损失函数监督，三个监督损失进行融合得到整体损失。本发明解决了高分辨率下图像下的边缘提取，实现无须对输入图像进行尺寸缩小情况下(输出特征相对于输入尺寸缩小情况下)恢复同等尺寸的边缘提取结果；在保障边缘提取精度的同时，提高网络推演速度；本发明发明了全新的亚像素级的边缘平滑损失函数，克服了亚像素级的边缘不够平滑的缺点，进一步提升了亚像素提取的精度；摒弃目前边缘提取后处理方法，实现更高效的亚像素级别的边缘提取。
附图说明
[0025]
图1为本发明的流程图；
[0026]
图2为本发明的网络框架图；
[0027]
图3为本发明的像素平滑的原理图。
具体实施方式
[0028]
下面结合对本发明进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
[0029]
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
[0030]
如图1-3所示，用于高分辨率图像的基于深度学习的亚像素边缘提取算法，为一种从高分辨率的边缘检测神经网络的降尺寸输出中恢复亚像素全尺寸边缘的有效方法，该方法包括以下步骤：
[0031]
对全尺寸分辨率图像进行灰度归一化处理，作为神经网络的输入，随后通过神经网络中的特征提取网络依次进行编码处理和解码处理，随后输出降采样的特征图，降采样的特征图包括降采样边缘输出特征图和降采样偏移量输出特征图，对两者进行恢复为全尺寸的边缘图像。其中，降采样边缘输出特征图采用热力图表示，采用focal损失函数(公式1) 进行监督，降采样偏移量输出特征图采用偏移量损失函数(公式2)进行监督，最终恢复得到的全尺寸边缘采用像素平滑的损失函数(公式3)监督，三个监督损失的总体损失采用公式4
进行融合，得到整体损失。
[0032]
focal损失函数l
hm
的计算公式为：
[0033][0034]
其中，α和β是超参数，m表示边缘点的总数。为保证边缘的连续性，邻域点的重叠区域采用逐像素的值最大化。
[0035]
更具体的，特征提取网络包括编码模块和解码模块，通过编码模块进行编码，通过解码模块进行解码。
[0036]
不同于目前现有的神经网络的等分辨率的输入和输出，即仅能采用vgg主干网络n 次下采样进行特征提取并采用n次上采样恢复同样尺寸，本发明的特征图的输出尺寸可以是输入尺寸的1/2n倍，n不小于1，本发明的特征提取网络可采用vgg16、resnet、dla和 hourglass等，上采样采用与之对应的反卷积模块，上采样的次数为n-n次，可以根据不同的精度、速度的应用需求而采用不同的主干特征提取网络和上采样次数，具有更强的灵活性，上采样的次数通常为n-2，即输出分辨率是输入分辨率的1/4。
[0037]
不同于目前现有的神经网络算法以等分辨率的边缘图像作为输出真值，本发明以降采样1/2n的边缘图像的高斯热力图作为输出真值，高斯热力图满足以下条件：
[0038]
由于边缘是连续的，对于相邻区域的高斯图像采用像素级的最大化，保障边缘的高斯热力图的连续性。
[0039]
本发明采用的高斯核函数为：
[0040][0041]
其中，p＝(p
x
,py)
t
表示边缘点坐标，σ表示高斯标准差，通常取σ＝2。对应的目标损失函数为focal损失函数。
[0042]
为了克服降采样造成的离散化损失，本发明采用通过预测局部的像素偏移进行弥补。设点p＝(p
x
,py)是原始尺寸上的一点，点为降采样后边缘坐标，通常情况下该点x轴方向的数值为整数，可以按照下述公式进行恢复：而该点y轴方向的偏移值，本发明另外添加2n个局部偏移值进行补偿，局部偏移值采用focal损失函数进行训练，得到如下偏移量损失函数l
off
：
[0043][0044]
其中，分别表示降采样后边缘点真值；w、h、c分别表示全尺寸分辨率图像的宽度、高度、长度。
[0045]
局部偏移值可以实现亚像素级的像素坐标，但由于邻域像素的局部偏移值之间相互独立，不可避免的会出现不平滑的现象，为克服此问题，本发明提出了像素平滑的损失函数 l
smooth
，如图3所示：
[0046][0047]
其中，vi和分别表示边缘上每个点的对应实际曲线梯度值和每点对应的真实曲线梯度值。公式的损失值随真实梯度和实际梯度的偏差的变大而增大，可以有效解决邻域像素的偏差问题。
[0048]
因此，网络的总体损失函数为：
[0049]
l＝l
hm
λ
off
l
off
λ
smooth
l
smooth
ꢀꢀ
公式4
[0050]
其中，λ
off
、λ
smooth
为对应的调节参数。因此，该网络一共有c 2n个网络输出，其中，c为不同种类的边缘总数量，2n表示边缘y方向的局部偏移值。整个输出是在上采样后的网络后通过一个3
×
3的卷积核和relu操作后实现的。
[0051]
不同于目前边缘提取算法的后处理操作，本发明的后处理操作无需采用最大值抑制法，本发明中边缘点的提取是通过3
×
1的最大池化操作，并通过与原始数据进行与操作完成，从而获得细的单像素边缘，这样优点在于可以直接使用gpu强大的并行处理能力。
[0052]
本发明未具体描述的部分或结构采用现有技术或现有产品即可，在此不做赘述。
[0053]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。