一种用于菊花存储仓库的图像超分辨率重建方法及设备与流程

1.本发明属于菊花和图像处理技术领域，具体地说，涉及一种用于菊花存储仓库的图像超分辨率重建方法及设备。


背景技术：

2.菊花经过加工后，存储在仓库中，等待分类包装。菊花在仓库存放过程中，受多种环境因素影响，可能会发生变质。而且一旦变质，会传染周围的菊花，导致损失扩大。可以将摄像头安装在仓库顶部，结合计算机视觉技术监控仓库中的菊花状态。但是，由于摄像头距离菊花距离较远，受分辨率限制，变质的菊花在图像中只占据很小的面积，导致目标检测网络识别精度低。


技术实现要素：

3.本发明提供了一种用于菊花存储仓库的图像超分辨率重建方法及设备，采用超分辨率重建技术对图像进行重建，提升自动检测质变菊花的准确率。
4.为了解决上述技术问题，本发明采用了如下的技术方案：一种用于菊花存储仓库的图像超分辨率重建方法，包括以下步骤：
5.p100、在计算机上根据设计的结构搭建cnn网络，所述cnn网络沿着深度方向依次设有低级信息提炼模块、高级信息提炼模块和超分辨率映射模块，多个所述高级信息提炼模块顺次连接；
6.所述高级信息提炼模块的数学模型为：
7.n1＝γ1(j1c3(tm))
8.n2＝γ2(j1d3(tm))
9.n3＝fu(n1,n2)
10.n4＝jb(n3,sm)*n1
11.n5＝jd(n3,lm)*n2
12.c
m 1
＝jc(||n4,n5||,cm)
×
||n4,n5||
13.s
m 1
＝γ3(j2c3(c
m 1
))
14.l
m 1
＝γ4(j2d3(c
m 1
))
15.t
m 1
＝γ5(j3c1(||s
m 1
,l
m 1
||))
16.其中，tm表示从核心输入端输入高级信息提炼模块的特征图，sm表示从第一旁路输入端输入高级信息提炼模块的特征图，lm表示从第二旁路输入端输入高级信息提炼模块的特征图，cm表示从中部输入端输入高级信息提炼模块的特征图；j1c3()和j2c3()均表示卷积核大小为3*3的普通卷积运算，j1d3()和j2d3()均表示卷积核大小为3*3、膨胀率为2的膨胀卷积运算，j3c1()表示卷积核大小为1*1的普通卷积运算，γ1()、γ2()、γ3()、γ4()和γ5()均代表激活函数relu，jb()表示第一旁路空间注意力模块，jd()表示第二旁路空间注意力模块，*表示利用空间校准图去校准特征图(也就是将空间校准图分别与特征图
的各个图层做元素对应乘积运算)，jc()表示中部通道注意力模块，
×
表示利用通道校准图去校准特征图(也就是将特征图的各个图层中分别与通道校准图中对应的数值相乘)，||
·
||表示将其中的特征图做拼接操作，fu()表示将特征图n1与特征图n2融合，c
m 1
表示从中部输出端输出高级信息提炼模块的特征图，s
m 1
表示从第一旁路输出端输出高级信息提炼模块的特征图，l
m 1
表示从第二旁路输出端输出高级信息提炼模块的特征图，t
m 1
表示从核心输出端输出高级信息提炼模块的特征图；
17.p200、获取训练数据集，利用所述训练数据集训练所述cnn网络，所述训练数据集中包括高分辨率仓库菊花图像及其对应的低分辨率仓库菊花图像；
18.p300、获取需要进行重建的现场菊花图像，将所述现场菊花图像输入步骤p200中训练完毕的cnn网络，所述现场菊花图像依次经过所述低级信息提炼模块和各个所述高级信息提炼模块后，最后一个所述高级信息提炼模块的核心输出端输出综合特征图；
19.p400、将所述综合特征图输入所述超分辨率映射模块，所述超分辨率映射模块对所述综合特征图进行超分辨率重建，然后输出分辨率大于所述现场菊花图像的目标菊花图像。
20.进一步地，所述cnn网络中设有中间信息融合模块，所述中间信息融合模块将各个所述高级信息提炼模块中部输出端输出的特征信息与所述综合特征图融合后，再输入所述超分辨率映射模块。
21.进一步地，所述中间信息融合模块的数学模型为：
22.ccs＝jr1c1(c1) jr2c1(c2) ... jr
m 1
c1(c
m 1
)
23.cstl＝||ccs,cvt||
24.其中，c1、c2、
…
、c
m 1
表示各个所述高级信息提炼模块中部输出端输出的特征图，jr1c1()、jr2c1()、
…
、jr
m 1
c1()均表示卷积核大小为1*1的普通卷积运算，||
·
||表示将其中的特征图做拼接操作，cvt表示综合特征图，cstl表示中间信息融合模块融合操作后输出的特征图。
25.进一步地，特征图n1与特征图n2的融合过程表示为如下数学公式：
26.nt＝ta1(j1t(n1)) ta2(j2t(n2)) ||n1,n2||
27.n3＝lc(j3t(nt))
28.其中，||
·
||表示将其中的特征图做拼接操作，j1t()、j2t()和j3t()均表示卷积核大小为1*1的普通卷积运算，ta1()和ta2()均表示tanh激活函数，lc()表示logistics激活函数，n3表示特征图n1与特征图n2融合后得到的特征图。
29.进一步地，所述第一旁路空间注意力模块的数学模型为：
[0030][0031]
pv2＝sme(sm)
[0032]
pv3＝sme(n3)
[0033]
pv4＝svr(n3)
[0034]
s1t＝δ1(ja1c(||pv1,pv2,pv3,pv4||))
[0035]
其中，特征图sm和特征图n3为所述第一旁路空间注意力模块的输入，sma()表示对特征图做全通道最大池化操作(也就是通道方向上的全局最大池化操作)，sme()表示对特征图做全通道平均池化操作(也就是通道方向上的全局平均池化操作)，svr()表示对特征
图做全通道方差池化操作(也就是通道方向上的全局方差池化操作)，表示元素对应乘积，||
·
||表示将其中的特征图做拼接操作，ja1c()表示卷积核大小为1*1的普通卷积运算，δ1()表示sigmoid函数，s1t表示所述第一旁路空间注意力模块输出的第一旁路空间校准图。
[0036]
进一步地，所述第二旁路空间注意力模块的数学模型为：
[0037][0038]
zo2＝sme(lm)
[0039]
pv3＝sme(n3)
[0040]
pv4＝svr(n3)
[0041]
s2t＝δ2(ja2c(||zo1,zo2,pv3,pv4||))
[0042]
其中，特征图lm和特征图n3为所述第二旁路空间注意力模块的输入，sma()表示对特征图做全通道最大池化操作，sme()表示对特征图做全通道平均池化操作，svr()表示对特征图做全通道方差池化操作，表示元素对应乘积，||
·
||表示将其中的特征图做拼接操作，ja2c()表示卷积核大小为1*1的普通卷积运算，δ2()表示sigmoid函数，s2t表示所述第二旁路空间注意力模块输出的第二旁路空间校准图。
[0043]
进一步地，所述中部通道注意力模块的数学模型为：
[0044]
cw1＝cmak(||n4,n5||) cmak(jw1c(cm))
[0045]
ctw＝δ3(fc2(γ6(fc1(cw1))))
[0046]
其中，特征图||n4,n5||和特征图cm为所述中部通道注意力模块的输入，||
·
||表示将其中的特征图做拼接操作，cmak()表示对特征图的各个图层做全空间mak池化操作，jw1c()表示卷积核大小为1*1的普通卷积运算，fc1()和fc2()均表示全连接操作，γ6()代表激活函数relu，δ3()表示sigmoid函数，ctw表示所述中部通道注意力模块输出的通道校准图。
[0047]
由于常规的超声图像中含有相当多的噪声，这些噪声会对中部通道注意力模块产生较大的干扰，容易引起错误校准。所以本发明在中部通道注意力模块中采用全空间mak池化操作。进一步地，所述全空间mak池化操作的过程包括如下步骤：
[0048]
p1、将矩阵中的元素按照从大到小的顺序排列，得到序列u；
[0049]
p2、获取序列u中前三个元素的数值，按照如下公式计算结果：
[0050]
gk＝0.6lag1 0.3lag2 0.1lag3
[0051]
其中，lag1表示序列u中第一个元素的数值大小，lag2表示序列u中第二个元素的数值大小，lag3表示序列u中第三个元素的数值大小，gk表示全空间mak池化操作后的输出值。对比实验测试表明，三个参数分别设置为0.6、0.3和0.1时，中部通道注意力模块的表现最好。
[0052]
本发明还提供了一种用于菊花存储仓库的图像超分辨率重建设备，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如上所述的用于菊花存储仓库的图像超分辨率重建方法。
[0053]
本发明的有益效果是：
[0054]
(1)在高级信息提炼模块中，先采用两个空间注意力机制对特征图不同空间位置的信息进行校准，再采用通道注意力机制对特征图不同通道上的信息进行二次校准，校准
的针对性强，极大地提升了卷积操作输出特征图中特征信息的质量；
[0055]
(2)j1c3()与j1d3()并联设置，在不同视野上提取图像的特征信息，使得融合后的n3特征图中保留了多个视野下的关键信息，排除了部分无效信息，n3特征图作为空间注意力模块的其中一个输入，为空间注意力模块提供了视野差异化的视觉信息，视觉信息更丰富，生成的第一旁路空间校准图和第二旁路空间校准图具有更精准的空间信息校准效果；
[0056]
(3)空间注意力模块不仅以n3特征图作为输入，同时还以上游高级信息提炼模块输出的特征图(sm/lm)作为输入，这样空间注意力模块中拥有不同层级的特征信息，这些差异化的层级信息提升了空间注意力模块获取的信息质量，进而有利于提升空间校准图对空间信息的校准准确性；类似地，中部通道注意力模块同时以本级高级信息提炼模块中特征图和上一级模块中的特征图作为输入，与单一的信息输入相比，其输出的通道校准图也能更好地校准不同通道的信息；
[0057]
(4)在空间注意力模块中，对两个特征图分别做全通道最大池化操作后，将两个矩阵做元素对应乘积，与两个矩阵拼接降维相比，这样能更大程度强化重要信息，测试结果表明，本发明提供的空间注意力模块具有出色的校准效果。
附图说明
[0058]
图1为本发明的cnn网络结构示意图；
[0059]
图2为图1所示cnn网络中高级信息提炼模块的结构示意图；
[0060]
图3为特征图n1与特征图n2融合过程示意图；
[0061]
图4为图2所示高级信息提炼模块中第一旁路空间注意力模块的结构示意图；
[0062]
图5为图2所示高级信息提炼模块中中部通道注意力模块的结构示意图；
[0063]
图6为图1所示cnn网络中超分辨率映射模块的结构示意图；
[0064]
图7为对比例1中修改后的第一旁路空间注意力模块的结构示意图；
[0065]
图8为对比例2中修改后的中部通道注意力模块的结构示意图；
[0066]
附图中：
[0067]
1-现场菊花图像，2-低级信息提炼模块，3-高级信息提炼模块，31-第一旁路空间注意力模块，32-第二旁路空间注意力模块，33-中部通道注意力模块，4-超分辨率映射模块，41-预调卷积层，42-pixelshuffle层，43-后调卷积层，5-中间信息融合模块，6-目标菊花图像。
具体实施方式
[0068]
下面结合附图对本发明作进一步的详细说明。
[0069]
实施例1：
[0070]
基于tensorflow框架，在计算机上编程实现对存储仓库中菊花图像进行重建的cnn网络，具体结构如图1所示。该cnn网络包括低级信息提炼模块2、高级信息提炼模块3、中间信息融合模块5和超分辨率映射模块4。
[0071]
低级信息提炼模块2采用卷积核大小为3*3的普通卷积运算实现，现场菊花图像1输入低级信息提炼模块2经过卷积运算后，输出的特征图通道数量为32。
[0072]
高级信息提炼模块3的数量设置为6个，高级信息提炼模块3的具体结构如图2所示。每个高级信息提炼模块3接收多个特征图作为输入，其中，tm特征图(通道数为32)从其核心输入端输入，sm特征图(通道数为32)从其第一旁路输入端输入，lm特征图(通道数为32)从其第二旁路输入端输入，cm特征图从其中部输入端输入。对于第一个高级信息提炼模块3，从其四个输入端输入的特征图均为低级信息提炼模块2的输出。
[0073]
每个高级信息提炼模块3同时也会输出多个特征图，c
m 1
特征图(通道数为64)从其中部输出端输出，c
m 1
特征图不仅会输入中间信息融合模块5，c
m 1
特征图还作为下游高级信息提炼模块3中中部通道注意力模块33的输入。s
m 1
特征图(通道数为32)从其第一旁路输出端输出，s
m 1
特征图作为下游高级信息提炼模块3第一旁路输入端的输入，l
m 1
特征图(通道数为32)从其第二旁路输出端输出，l
m 1
特征图作为下游高级信息提炼模块3第二旁路输入端的输入，t
m 1
特征图(通道数为32)从其核心输出端输出，t
m 1
特征图作为下游高级信息提炼模块3核心输入端的输入。
[0074]
tm特征图、n1特征图、n2特征图和n3特征图四者的尺寸完全相同。请参考图3，n1特征图与n2特征图融合时，首先分三路操作，即n1特征图与n2特征图拼接(输出特征图通道数量为64)，n1特征图经过1*1卷积和tanh函数激活(输出特征图通道数量为64)，n2特征图经过1*1卷积和tanh函数激活(输出特征图通道数量为64)。然后将三个特征图相加，经过j3t()卷积和logistics函数激活，输出得到n3特征图。本发明在融合n1特征图与n2特征图过程中，同时采用了拼接和相加两种方式，在这个过程中，n1特征图和n2特征图均是先升维后降维，很好地克服了拼接和相加两种融合方式各自存在的缺陷，提高了特征融合效果。
[0075]
第一旁路空间注意力模块31和第二旁路空间注意力模块32内部的操作过程几乎一样，请参考图4，以第一旁路空间注意力模块31为例。特征图sm输入第一旁路空间注意力模块31后，经过全通道最大池化操作和全通道平均池化操作，得到两个矩阵。同样地，特征图n3输入第一旁路空间注意力模块31后，经过全通道最大池化操作、全通道平均池化操作和全通道方差池化操作，得到三个矩阵。然后两个全通道最大池化操作输出的矩阵做元素对应乘积运算，得到pv1。最后pv1、pv2、pv3和pv4拼接，并依次经过ja1c()卷积和δ1()激活，得到第一旁路空间校准图(二维矩阵)。
[0076]
请参考图5，n4特征图和n5特征图拼接并输入中部通道注意力模块33后，各个图层经过全空间mak池化操作，输出得到一个长度为64的向量。特征图cm输入中部通道注意力模块33，则先经过jw1c()卷积操作，再对其各个图层做全空间mak池化操作，同样输出得到一个长度为64的向量。对于第一个高级信息提炼模块3，jw1c()卷积操作前特征图通道数为32，卷积后通道数为64；对于其他高级信息提炼模块3，jw1c()卷积操作前后特征图通道数均为64。两个向量相加后，顺次经过fc1()、γ6()、fc2()和δ3()，得到通道校准图。对于fc1()，其输入节点数为64，输出节点数为12；对于fc2()，其输入节点数为12，输出节点数为64。
[0077]
为了避免信息丢失和梯度消失，本实施例的cnn网络中设置了中间信息融合模块5，高级信息提炼模块3中部输出端输出的特征图c
m 1
分别经过1*1卷积后(通道数量均为64)，相加，然后与综合特征图拼接，作为超分辨率映射模块4的输入。需要强调的是，本实施例中输入中间信息融合模块5的特征图来自中部输出端(c
m 1
)，而非核心输出端(t
m 1
)，这样能够使得输入超分辨率映射模块4的特征图中包含更多差异化的信息，有利于提高重建得
到的目标菊花图像6质量。
[0078]
如图6所示，超分辨率映射模块4内部包括顺次连接的预调卷积层41、pixelshuffle层42和后调卷积层43。当图像分辨率增大倍数为a时，预调卷积层41输出特征图通道数量为32a2，pixelshuffle层42输出特征图的通道数量为32，但是其长度方向和宽度方向像素值为预调卷积层41输出特征图的a倍。最后后调卷积层43输出通道数量为3的目标菊花图像6。
[0079]
收集获得568张高分辨率仓库菊花图像，随机抽出150张图像作为测试集，剩下的图像作为训练集。采用双三次下采样方式制作与高分辨率仓库菊花图像对应的低分辨率仓库菊花图像。采用同样的上述训练集，分别训练本发明提供的cnn网络、cs-nl模型(出自文章image super-resolution with cross-scale non-local attention and exhaustive self-exemplars mining)和srfeat(出自文章srfeat:single image super-resolution with feature discrimination)，然后在同样的上述测试集上测试，结果展示如下：
[0080]
在相同测试集上的测试结果如下：
[0081][0082][0083]
从峰值信噪比和结构相似性两个参数的测量结果可以看出，与现有的模型相比，实施例1中提供的cnn网络能够更好地重建出高分辨率的仓库现场菊花图像，有利于更精准地检测发现质变菊花。
[0084]
实施例2：
[0085]
为了验证本发明提供的空间注意力模块和全空间mak池化操作带来的有益效果，本实施例将第一旁路空间注意力模块31和第二旁路空间注意力模块32内部均设置为常规的结构，修改后的空间注意力模块结构如图7所示。不改变实施例1中cnn网络的其他部分，将得到的模型命名为实施例2a网络。
[0086]
类似地，同样在实施例1的基础上，将中部通道注意力模块33中全空间mak池化操作修改为常规的全空间最大池化操作，修改后的通道注意力模块结构如图8所示。不改变实施例1中cnn网络的其他部分，将得到的模型命名为实施例2b网络。
[0087]
在上述相同的训练集上分别训练实施例2a网络和实施例2b网络，然后分别在上述测试集上进行测试，结果展示如下：
[0088][0089][0090]
从峰值信噪比和结构相似性两个参数的测量结果可以看出，以现有技术替换掉本发明提供的空间注意力模块和全空间mak池化操作后，网络重建现场菊花图像1的性能均有不同程度下降，很好地说明了本发明提供的空间注意力模块和全空间mak池化操作对于提升菊花图像重建质量具有积极作用。
[0091]
以上仅是本发明优选的实施方式，需指出的是，对于本领域技术人员在不脱离本技术方案的前提下，作出的若干变形和改进的技术方案应同样视为落入本权利要求书要求保护的范围。