一种基于编码-解码网络的向量场引导精细化分割方法与流程

一种基于编码
‑
解码网络的向量场引导精细化分割方法
技术领域
1.本发明涉及图像分割技术领域，尤其是一种基于编码
‑
解码网络的向量场引导精细化分割方法。


背景技术：

2.图像分割技术是计算机视觉的基础之一，也是对图像进行语义理解的难点之一。随着深度学习理论的蓬勃发展和计算资源的不断增长，极大地提升了图像分割的效率和精度。 long等人在2015年提出了全卷积神经网络(fcn)，将一般分类网络最后的全连接层修改成卷积层，并在特征融合的过程中采用逐点相加的策略；同年，navab等人提出了在通道层面上拼接并融合特征的u
‑
net；此后，何恺明等人提出了残差网络(resnet)学习层间的残差表示，在一定程度上解决了zisserman在2014年提出的vggnet网络过深而导致的学习退化问题。然而，当前现有的工作对不同尺度特征的融合方式还有待改进，处理过程中还存在信息的损失，而且由于多尺度的特征可以被视为序列数据，rnn比cnn更具有在层次结构中处理多尺度特征的优势。


技术实现要素：

3.本发明的目的是针对现有技术的不足而设计的一种基于编码
‑
解码网络的向量场引导精细化分割方法，采用卷积循环神经网络对卷积神经网络提取的多尺度特征图进行向量场细化和预测分数图的方法，利用cnn来提取多尺度特征图，以及fru处理每一尺度的特征图，通过融合操作聚合全尺度的特征图，然后利用fru进一步融合多尺度分数图，并连接在一起，得到初始预测的分割，其边缘分割在方向场模块中通过方向场进行矫正，从而最大限度地利用全尺度的特征信息，得到最终的分割结果，该方法不仅结合了cnn和rnn 的优势，还结合了向量场中的流场和方向场来引导精细化分割，网络的编码器依赖基于cnn 的骨干网络，而解码器则依赖于由卷积循环神经网络(convrnn)和流场构成的细粒度循环单元(fru)，融合操作和方向场模块，较好解决了图像分割中多尺度特征融合和利用的问题，具有广泛的应用前景。
4.实现本发明目的的具体技术方案是：一种基于编码
‑
解码网络的向量场引导精细化分割方法，其特点是不仅结合了卷积神经网络(cnn)和循环神经网络(rnn)的优势，还结合了向量场中的流场和方向场来引导精细化分割，编码器利用cnn作为骨干网络来提取多尺度特征图(feature map)，解码器利用了卷积循环神经网络(convrnn)和向量场的优势，分两个阶段来分别细化特征图和预测分数图(score map)，以更好地利用多尺度语义特征并获得更精细的分割结果，其具体过程包括如下步骤：
5.a步骤：将图像划分成训练集和测试集；
6.b步骤：预处理所有图像；
7.c步骤：构建一个编码
‑
解码结构的分割网络；
8.d步骤：利用训练集中的图像训练网络；
9.e步骤：利用训练好的网络对测试集中的图像进行分割。
10.所述图像为待分割图像的原始图像。
11.所述a步骤中随机选取图像的60％组成有标签的训练集，其余40％组成没有标签的测试集，标签是像素点以类别编号表示的图像且和对应的训练图像具有相同大小。
12.所述b步骤中所述预处理是将所有图像的灰度归一化。
13.所述c步骤中根据资源限制和需求选择合适的基于cnn的骨干作为编码器，而解码器的结构是固定的。
14.所述d步骤中利用训练集中的图像训练网络，具体计算包括如下步骤：
15.步骤d1：利用编码器中的cnn生成图像的特征图；
16.步骤d2：在解码器的第一个阶段，利用由convrnn和流场构成的细粒度循环单元(fru) 来融合上下文的特征信息，然后利用全尺度融合模块进行全尺度的特征融合；
17.步骤d3：在解码器的第二个阶段，将各尺度的特征通过卷积操作变换成预测分数图，再次利用fru融合上下文的特征信息，将获得的多个分数图拼接起来并卷积，得到一个初始的分割预测结果，然后利用方向场信息矫正边缘的分割，得到最终的分割结果；
18.步骤d4：用迭代的方式进行训练，每一轮迭代都重复上述步骤d1到步骤d3，通过前向传播来计算由交叉熵损失和角损失构成的目标函数，并通过反向传播来更新模型参数，直到目标函数收敛才停止训练。
19.所述e步骤中将测试图像输入训练好的网络，重复步骤d1到步骤d3，得到分割的预测结果。
20.本发明与现有技术相比具有充分融合和利用不同尺度的特征信息，可以在基于 cnn的不同骨干网络上灵活工作，有效地增强了对图像中不同变化的鲁棒性，进一步提高了分割精度，较好解决了图像分割中多尺度特征融合和利用的问题，具有广泛的应用前景。
附图说明
21.图1为本发明流程图；
22.图2为分割网络中的fru结构示意图；
23.图3为全尺度融合模块结构示意图；
24.图4为方向场示意图；
25.图5为方向场模块结构示意图；
26.图6为分割结果对比图。
具体实施方式
27.结合以下部分人脸识别的具体实施例，对本发明做进一步的详细说明。
28.参阅图1，本发明包括：图像划分与预处理、构建网络、训练网络和测试网络四个部分，其图像分割的具体步骤如下：
29.步骤a：将图像划分成训练集和测试集
30.随机选取60％待分割图像的原始图像组成有标签的训练集，其余40％组成没有标签的测试集，标签是像素点以类别编号表示的图像且和对应的训练图像具有相同大小。
31.步骤b：预处理所有图像
32.由于图像采集的过程中受到光照等因素的影响，图像灰度可能集中在一个或几个灰度段的范围内，较大的图像灰度分布差异将会影响到特征提取和识别，所以在预处理中需要将所有图像的灰度归一化。对于每个图像i，利用灰度拉伸的方法按下述a式将其中的每个像素点i(x,y)的灰度变换到0～255的范围内：
[0033][0034]
式中：max(i)和min(i)分别表示计算图像i中所有像素点中的最大灰度值和最小灰度值。
[0035]
步骤c：构建一个编码
‑
解码结构的分割网络
[0036]
根据资源限制和需求选择合适的基于cnn的骨干网络作为编码器，一般选择应用较为成熟的网络例如u
‑
net，vggnet和resnet等。而解码器的结构是固定的，它包含细化特征图和细化分数图两个阶段。在第一个阶段细化特征图的过程中，包含由 convrnn和流场构成的fru和融合操作，在第二个阶段细化预测分数图的过程中，包含fru和方向场模块。
[0037]
步骤d：利用训练集中的图像训练网络
[0038]
步骤d1：利用编码器中的cnn生成图像的特征图(feature map)，假定cnn编码的层数为l，则可以得到l个特征图的{f1,f2,
…
,f
l
}；
[0039]
步骤d2：在解码器的第一个阶段，对于第i个特征图f
i
，利用fru融合上下文特征信息，其计算如下述b式：
[0040]
p
i
＝fru(p
i
‑1,f
i
),i＝1,2,
…
l
ꢀꢀ
(b)；
[0041]
式中：p0是初始化为全零的张量。
[0042]
参阅图2，fru需要学习一个二维向量表示的流场δ用于修正p
i
‑1在上采样过程中产生的信息损失，其计算如下述c式：
[0043][0044]
式中：下标x和y分别表示特征图上每个像素点p的坐标。
[0045]
所述fru中convrnn由下述d式为：
[0046][0047]
式中：σ(
·
)表示sigmoid激活函数；表示卷积操作；w
p
和w
f
分别表示和f
i
的权重。
[0048]
参阅图3，对于p
i
(i>1)，按下述e式进行全尺度的特征融合：
[0049]
p
′
i
＝fuse(p
′1,p
′2,
…
,p
i
,p
i 1
,
…
,p
l
),i>1
ꢀꢀ
(e)。
[0050]
步骤d3：在解码器的第二个阶段，为了获得分数图用于预测分割，将上一阶段得到的各尺度的特征{p1,p
′2,
…
,p
′
l
}通过卷积操作变换成分数图(score map)，即 {h1,h2,
…
,h
l
}。对于h
i
，再次利用fru由下述f式进行融合上下文的特征信息：
[0051]
s
i
＝fru(h
i
,h
l
),i＝1,2,
…
l
‑1ꢀꢀ
(f)；
[0052]
将获得的分数图s
i
拼接起来并卷积，可以得到一个初始的分割预测结果y
init
。
[0053]
参阅图4，对于y
init
的每个前景像素点p，找到一个离它最近的在分割组织边缘的像素点f
p
，得到由下述g式二维向量表示的方向场，由从f
p
指向p的向量组成：
[0054][0055]
参阅图5，在方向场模块中由下述h式利用方向场来矫正边缘的分割：
[0056][0057]
得到由下述i式表示的分割结果y
f
：
[0058][0059]
式中：
[0060]
步骤d4：用迭代的方式进行训练，每一轮迭代都重复上述步骤d1到步骤d3，通过前向传播来计算由交叉熵损失和角损失构成的目标函数，并通过反向传播来更新模型参数，直到目标函数收敛才停止训练。
[0061]
步骤e：利用训练好的网络对测试集中的图像进行分割。
[0062]
将测试图像输入上述训练好的网络，重复步骤d1到步骤d3，以得到分割的预测结果。
[0063]
参阅图6，其中，图6a为mrbrains数据库中待分割图像的原始图像；图6b是用 sfnet网络(li等人于eccv 2020提出)得到的分割结果；图6c是用crdn网络(wen 等人于aaai 2020提出)得到的分割结果；图6d是实施例1采用本发明得到的分割结果；图6e是待分割图像的真实分割结果。实施例1的分割结果(图6d)与其它神经网络的分割结果(图6b和图6c)的对比，可以看出本发明的分割结果与真实结果更加接近，分割效果更好。
[0064]
以上实施例只是对本发明做进一步说明，并非用以限制本发明专利，凡为本发明等效实施，均应包含于本发明专利的权利要求范围之内。