一种深度细化的多重信息嵌套边缘检测方法与流程

1.本发明涉及图像处理领域，具体涉及一种深度细化的多重信息嵌套边缘检测方法。


背景技术：

2.轮廓检测是图像处理及计算机视觉中一个很重要组成部分。从复杂的背景中正确地检测物体轮廓是一个非常重要而困难的工作。在众多传统的图像处理方法中，应用于轮廓检测较成功的有canny算子、活动轮廓模型和基于机器学习的轮廓模型等。这些方法主要利用了图像中的亮度，颜色，对比度信息进行检测，难以区分目标轮廓和其他杂乱边界。所以在面对图像中的对比度变化比较大、背景干扰比较多的情况时，这些方法很难得到比较满意的结果。上述算法需要相当多的领域专业知识和精细的处理算法设计，把原始图像数据转换成合适的表示或者特征向量，来构造一个轮廓分类器或者轮廓模型。近几年来，深度学习技术已经成为从原始数据中自动学习特征表示的高效方法。借助深度学习工具，尤其是卷积神经网络，轮廓检测任务有显著的性能提高。
3.近年来，深度学习的相关研究已形成较为完整的体系。其中，hed为我们展现了vgg16 网络五层侧面图的检测效果，发现浅层的轮廓效果较差，含有大量的纹理和噪声，传递过程中导致错误率上升，对实验效果产生巨大影响。且现有深度学习算法只是将卷积层直接相加或融合，缺乏生物视觉机制的理论支撑，而仿生学算法用数学模型描述细胞响应，不足以模拟视觉机制中各层间复杂的传递方式。


技术实现要素：

4.本发明旨在提供一种深度细化的多重信息嵌套边缘检测方法，该方法克服现有技术缺陷，可以使轮廓更加清晰、准确。
5.本发明的技术方案如下：
6.所述的深度细化的多重信息嵌套边缘检测方法，包括以下步骤：
7.a、构建深度神经网络结构，深度神经网络结构具体如下：
8.编码网络、解码网络；编码网络为vgg16网络，该vgg16网络去除了所有全连接层、 pool5池化层，只保留了vgg16网络主体；解码网络分为三层，第一层包括压缩模块、重塑模块、调整模块；第二层为信息提取融合模块a、信息提取融合模块b、信息提取融合模块信息c、信息提取融合模块d；第三层为在横向细分轮廓网络模块；
9.b、原始图像先经过vgg16网络卷积处理，获得vgg16的5个侧面输出图，然后将vgg16 的5个侧面输出图分别输入压缩模块和信息提取融合模块a；
10.在信息提取融合模块a中，将第1～5侧面输出图，经过再次卷积处理，使得输出通道数一致，获得第1
‑
5侧面输出图的再次卷积图像；然后第2～5侧面输出图的再次卷积图像分别以第1侧面输出图再次卷积图像为基准，统一分辨率，获得2～5侧面输出图再次卷积图像的分辨率调整图像，将第1侧面输出图再次卷积图像与2～5侧面输出图再次卷积图像的
分辨率调整图像融合，获得信息提取融合图像a，输入横向细分轮廓网络模块中；
11.c、在压缩模块中：对第1～5侧面输出图像进行二次卷积，其中1、2层卷积图像的二次卷积采用3*3卷积，3、4、5层卷积图像的二次卷积采用1*1卷积，统一特征通道数；将二次卷积后的1、2、3、4、5层卷积图像，依次两两组合形成4个组，每组中将高分辨率的输出图使用最大值池化至与低分辨率输出图相同，然后相加，获得四幅一次结合图像，分别为1
‑
2、2
‑
3、3
‑
4、4
‑
5结合图像，将该四幅图像分别输入重塑模块和信息提取融合模块b；
12.在信息提取融合模块b中，将1
‑
2、2
‑
3、3
‑
4、4
‑
5结合图像，分别经过再次卷积处理，使得输出通道数一致，获得1
‑
2、2
‑
3、3
‑
4、4
‑
5的再次卷积图像；然后2
‑
3、3
‑
4、4
‑
5的再次卷积图像分别以1
‑
2再次卷积图像为基准，统一分辨率，获得2
‑
3、3
‑
4、4
‑
5的分辨率调整图像，将1
‑
2再次卷积图像与2
‑
3、3
‑
4、4
‑
5的分辨率调整图像融合，获得信息提取融合图像b，输入横向细分轮廓网络模块中；
13.d、重塑模块设有两层，第一层的处理过程为：对1
‑
2、2
‑
3结合图像分别采用1*1、3*3、 5*5进行三次平行卷积；将1
‑
2结合图像的三次平行卷积结果进行融合，获得融合1
‑
2结合图像；将2
‑
3结合图像的三次平行卷积结果进行融合，获得融合2
‑
3结合图像；对3
‑
4、4
‑
5结合图像采用1*1卷积；将融合1
‑
2结合图像、融合2
‑
3结合图像、卷积后的3
‑
4、4
‑
5结合图像依次两两组合形成3个组，每组中将高分辨率的输出图使用最大值池化至与低分辨率输出图相同，然后相加，获得1
‑
3结合图像、2
‑
4结合图像、3
‑
5结合图像，分别输入第二层和信息提取融合模块c中；
14.在第二层的处理过程为：对1
‑
3、2
‑
4结合图像分别采用1*1、3*3、5*5进行三次平行卷积；将1
‑
3结合图像的三次平行卷积结果进行融合，获得融合1
‑
3结合图像；将2
‑
4结合图像的三次平行卷积结果进行融合，获得融合2
‑
4结合图像；对3
‑
5结合图像采用1*1卷积；将融合1
‑
3结合图像1
‑
3、融合2
‑
4结合图像、卷积后的3
‑
5结合图像统一分辨率，将高分辨率的输出图使用最大值池化至与低分辨率输出图相同，然后组合相加，获得1
‑
4结合图像、2
‑
5 结合图像，输入调整模块；
15.在信息提取融合模块c中，将1
‑
3、2
‑
4、3
‑
5结合图像，分别经过再次卷积处理，使得输出通道数一致，获得1
‑
3、2
‑
4、3
‑
5的再次卷积图像；然后2
‑
4、3
‑
5再次卷积图像分别以1
‑
3 再次卷积图像为基准，统一分辨率，获得2
‑
4、3
‑
5的分辨率调整图像，将1
‑
3再次卷积图像与2
‑
4、3
‑
5的分辨率调整图像融合，获得信息提取融合图像c，输入横向细分轮廓网络模块中；
16.e、在调整模块中，将1
‑
4结合图像，2
‑
5结合图像统一分辨率，将低分辨率的输出图使用双线性差值化至高分辨率输出图相同，然后组合相加，获得1
‑
5结合图像，输入信息提取融合模块d中；
17.在信息提取融合模块d中，将1
‑
5结合图像经过再次卷积处理，获得1
‑
5再次卷积图像，输入横向细分轮廓网络模块中；
18.f、在横向细分轮廓网络模块中，进行如下操作：
19.f1、将信息提取融合图像a、信息提取融合图像b、信息提取融合图像c、信息提取融合图像d分别进行卷积、激活，乘以自适应随机权重，获得一次权重图像a、一次权重图像b、一次权重图像c、一次权重图像d，将这四个图像依次两两组合，形成3个组，每组中将低分辨率的输出图使用双线性差值上采样至高分辨率输出图相同，然后相加，获得一次相加权重图像a、一次相加权重图像b、一次相加权重图像c；
20.f2、将一次相加权重图像a、一次相加权重图像b、一次相加权重图像c分别进行卷积、激活，乘以自适应随机权重，获得二次权重图像a、二次权重图像b、二次权重图像c，将这三个图像依次两两组合，形成2个组，每组中将低分辨率的输出图使用双线性差值上采样至高分辨率输出图相同，然后相加，获得二次相加权重图像a、二次相加权重图像b；
21.f3、将二次相加权重图像a、二次相加权重图像b分别进行卷积、激活，乘以自适应随机权重，获得三次权重图像a、三次权重图像b，将这两幅图像统一分辨率，将低分辨率的输出图使用双线性差值上采样至高分辨率输出图相同，然后相加，最后经1*1卷积改变特征通道数为1后输出，获得最终边缘图像。
22.所述的各步骤涉及的卷积表达式为m*n
‑
k conv relu，其中，m*n表示卷积核的大小，k 表示输出通道数，conv表示卷积公式，relu表示激活函数；m*n、k均为预设值；所述的最终融合层的卷积表达式为m*n
‑
k conv。
23.所述的vgg16网络包括包含5个阶段，分别为阶段ⅰ～阶段
ⅴ
，每个阶段中分别设置有一个以上的卷积层；
24.所述的阶段ⅰ的第一卷积层的输入响应为原始图像，阶段ⅰ的其他卷积层的输入响应为该阶段上一卷积层的输出响应；阶段ⅱ～阶段
ⅴ
中，除了该阶段中的第一卷积层的输入响应之外，该阶段中的其他卷积层的输入响应为上一卷积层的输出响应；阶段ⅰ～阶段ⅳ中最后一个卷积层的输出响应，一方面经过最大值池化后作为下一个阶段的第一卷积层的输入响应；另一方面，作为输入响应输入到压缩模块和信息提取融合模块a中；阶段
ⅴ
中最后一个卷积层的输出响应，经过最大值池化后输入到压缩模块和信息提取融合模块a中；
25.所述的vgg16网络中的卷积均为3*3卷积。
26.所述的步骤b～e中的再次卷积为1*1卷积。
27.所述的步骤c中，统一特征通道数为200。
28.所述的步骤b
‑
e中，信息提取融合图像a的特征通道数为64，信息提取融合图像b的特征通道数为100，信息提取融合图像c的特征通道数为200，信息提取融合图像d的特征通道数为300。
29.所述的步骤b
‑
e中，在信息提取融合模块a、信息提取融合模块b、信息提取融合模块c、信息提取融合模块d中统一分辨率的方法为：低分辨率的输出图使用双线性差值化至高分辨率输出图相同。
30.所述的步骤f1
‑
3中，所述的卷积为3*3卷积，所述的激活为采用下述relu函数进行，所述的自适应随机权重的权重参数范围为0～1；
[0031][0032]
所述的最大值池化为2*2最大值池化。
[0033]
本发明设计了一种基于新型解码网络的边缘检测方法，该方法适用于大部分网络，并可以表现出良好的成绩。在nyud
‑
v2数据集上，以vgg16为编码网络时，获得了ods为0.773 的f
‑
score，相较于lrcnet提升了1.6％。本发明提出的方法为后续轮廓检测的研究提出了一个新的思路，并进一步有助于改进其他视觉任务。
附图说明
[0034]
图1本发明实施例1提供的vgg16网络图；
[0035]
图2为本发明实施例1方案与文献1方案的轮廓检测效果对比图；
[0036]
图1中的“3*3
‑
64”、“3*3
‑
128”等表示卷积核的参数，其中“3*3”为卷积核的大小尺寸，
“‑
64”、
“‑
128”等表示卷积核的个数即输出的特征通道数为64或128等。
具体实施方式
[0037]
下面结合附图和实施例具体说明本发明。
[0038]
实施例1
[0039]
本实施例提供的一种深度细化的多重信息嵌套边缘检测方法，包括以下步骤：
[0040]
a、构建深度神经网络结构，深度神经网络结构具体如下：
[0041]
编码网络、解码网络；编码网络为vgg16网络，该vgg16网络去除了所有全连接层、 pool5池化层，只保留了vgg16网络主体；解码网络分为三层，第一层包括压缩模块、重塑模块、调整模块；第二层为信息提取融合模块a、信息提取融合模块b、信息提取融合模块信息c、信息提取融合模块d；第三层为在横向细分轮廓网络模块；
[0042]
b、原始图像先经过vgg16网络卷积处理，获得vgg16的5个侧面输出图，然后将vgg16 的5个侧面输出图分别输入压缩模块和信息提取融合模块a；
[0043]
在信息提取融合模块a中，将第1～5侧面输出图，经过再次卷积处理，使得输出通道数一致，获得第1
‑
5侧面输出图的再次卷积图像；然后第2～5侧面输出图的再次卷积图像分别以第1侧面输出图再次卷积图像为基准，统一分辨率，获得2～5侧面输出图再次卷积图像的分辨率调整图像，将第1侧面输出图再次卷积图像与2～5侧面输出图再次卷积图像的分辨率调整图像通过concat函数进行融合，获得信息提取融合图像a，输入横向细分轮廓网络模块中；
[0044]
c、在压缩模块中：对第1～5侧面输出图像进行二次卷积，其中1、2层卷积图像的二次卷积采用3*3卷积，3、4、5层卷积图像的二次卷积采用1*1卷积，统一特征通道数；将二次卷积后的1、2、3、4、5层卷积图像，依次两两组合形成4个组，每组中将高分辨率的输出图使用2*2最大值池化至与低分辨率输出图相同，然后相加，获得四幅一次结合图像，分别为1
‑
2、2
‑
3、3
‑
4、4
‑
5结合图像，将该四幅图像分别输入重塑模块和信息提取融合模块b；
[0045]
在信息提取融合模块b中，将1
‑
2、2
‑
3、3
‑
4、4
‑
5结合图像，分别经过再次卷积处理，使得输出通道数一致，获得1
‑
2、2
‑
3、3
‑
4、4
‑
5的再次卷积图像；然后2
‑
3、3
‑
4、4
‑
5的再次卷积图像分别以1
‑
2再次卷积图像为基准，统一分辨率，获得2
‑
3、3
‑
4、4
‑
5的分辨率调整图像，将1
‑
2再次卷积图像与2
‑
3、3
‑
4、4
‑
5的分辨率调整图像通过concat函数进行融合，获得信息提取融合图像b，输入横向细分轮廓网络模块中；
[0046]
d、重塑模块设有两层，第一层的处理过程为：对1
‑
2、2
‑
3结合图像分别采用1*1、3*3、 5*5进行三次平行卷积；将1
‑
2结合图像的三次平行卷积结果通过concat函数进行融合，获得融合1
‑
2结合图像；将2
‑
3结合图像的三次平行卷积结果通过concat函数进行融合，获得融合2
‑
3结合图像；对3
‑
4、4
‑
5结合图像采用1*1卷积；将融合1
‑
2结合图像、融合2
‑
3结合图像、卷积后的3
‑
4、4
‑
5结合图像依次两两组合形成3个组，每组中将高分辨率的输出图使用2*2最大值池化至与低分辨率输出图相同，然后相加，获得1
‑
3结合图像、2
‑
4结合图像、3
‑
中最后一个卷积层的输出响应，一方面经过2*2最大值池化后作为下一个阶段的第一卷积层的输入响应；另一方面，作为输入响应输入到压缩模块和信息提取融合模块a中；阶段
ⅴ
中最后一个卷积层的输出响应，经过2*2最大值池化后输入到压缩模块和信息提取融合模块a中；
[0058]
所述的vgg16网络中的卷积均为3*3卷积。
[0059]
所述的步骤b～e中的再次卷积为1*1卷积。
[0060]
所述的步骤c中，统一特征通道数为200。
[0061]
所述的步骤b
‑
e中，信息提取融合图像a的特征通道数为64，信息提取融合图像b的特征通道数为100，信息提取融合图像c的特征通道数为200，信息提取融合图像d的特征通道数为300。
[0062]
所述的步骤b
‑
e中，在信息提取融合模块a、信息提取融合模块b、信息提取融合模块c、信息提取融合模块d中统一分辨率的方法为：低分辨率的输出图使用双线性差值化至高分辨率输出图相同。
[0063]
所述的步骤f1
‑
3中，所述的卷积为3*3卷积，所述的激活为采用下述relu函数进行，所述的自适应随机权重的权重参数范围为0～1；
[0064][0065]
实施例2
[0066]
将本实施例方法与以下文献1的方法进行边缘检测结果的对比；
[0067]
文献1：hed：s.xieandz.tu,"holistically
‑
nestededgedetection,"ininternationalcomferenceoncomputervision,2015,pp.1395
‑
1403.；
[0068]
文献2：lrcnet：c.lin,l.cui,f.li,andy.cao,"lateralrefinementnetworkforcontourdetection,"neurocomputing,vol.409,2020.；
[0069]
基于实施例1的神经网络模型进行训练和边缘检测。本发明训练和测试都是使用公开的pytorch框架完成的。本发明使用已经在imagenet预训练好的vgg16模型来初始化本发明的网络。在训练中，使用零均值高斯分布初始化卷积核，其中标准差为0.01，偏置项初始化为0。随机梯度下降法(sgd)超参数，全局学习率设置为1e
‑
6，动量和权重衰减分别设定为0.9和0.0002。当采用nyud数据集时，将容忍度maxdist调整为0.011。
[0070]
我们使用精确
‑
回归(precision
‑
recall，pr)曲线和调和平均数f值来评判轮廓检测模型的性能。f值的定义如下:
[0071]
f＝2pr/(p r)
[0072]
其中，p和r分别代表精确度和回归度，这里tp、fp和fn分别代表轮廓像素的正确个数，错误检测个数和漏检测个数。
[0073]
实验数据：
[0074]
nyud
‑
v2数据集。如图9所示，本发明网络相较于其他学习网络都有较好的检测结果。本发明实施例1以vgg16为编码网络时，hha图像与rgb图像相结合后的ods为0.773。相比
于lrc分别提高了1.6％。从表1实验的效果来看，本发明(ddm)检测方法优于文献1(hed)、文献2(lrcnet)的检测方法。
[0075]
nyud
‑
v2数据集。如表1所示，本发明网络相较于其他学习网络都有较好的检测结果。本发明实施例1以vgg16为编码网络时，hha图像与rgb图像相结合后的ods为0.773。相比于lrc分别提高了1.6％。从表1实验的效果来看，本发明(ddm)检测方法优于文献1(hed)、文献2(lrcnet)的检测方法。
[0076]