一种用于仓库顶棚检查的图像增强方法及装置与流程

1.本发明属于图像增强技术领域，具体地说，涉及一种用于仓库顶棚检查的图像增强方法及装置。


背景技术：

2.随着我国经济的发展，仓储面积保有量快速增长，市场上的大型仓库也随之日渐增多。大型仓库造价高，顶棚面积巨大，受各种环境因素影响大，需要定期进行检查，及时发现潜在的故障点，并及时维护修正，以防止故障扩大造成严重经济损失。目前通常利用无人机采集顶棚的图像，通过人工目视结合人工智能进行全面检查。不管是人工目视检查，还是利用人工智能技术自动检测识别故障点，都依赖于高质量的图像输入。但是，为了保证飞行安全和拍摄视野，无人机采集仓库顶棚图像时，摄像头与仓库顶棚之间存在一定的距离，这使得一些细节在图像中所占像素较少，视觉表现不明显，难以被发现，从而降低了检查作业结果的可靠性。


技术实现要素：

3.针对现有技术中上述的不足，本发明提供一种用于仓库顶棚检查的图像增强方法及装置，通过提高获取的仓库顶棚图像分辨率，增加对一些细微故障的识别概率，提升检查作业的可靠性。
4.为了达到上述目的，本发明采用的解决方案是：一种用于仓库顶棚检查的图像增强方法，包括以下步骤：s100、获取采集到的仓库顶棚图像，获取已经训练好的图像重建网络；所述图像重建网络中设有多个顺次连接的特征提制模块，所述特征提制模块用于提制所述仓库顶棚图像的特征信息；s200、将所述仓库顶棚图像输入所述图像重建网络，然后图像信息依次经过各个所述特征提制模块，各个所述特征提制模块依次进行特征提制操作后，输出相应的层级特征图；s300、获取步骤s200中各个特征提制模块输出的层级特征图，将各个层级特征图融合后，得到综合特征图；s400、获取步骤s200中各个特征提制模块输出的层级特征图，分别对各个层级特征图进行上采样，以增大层级特征图宽度和高度方向的尺寸，生成得到多个高阶特征图；s500、利用所述综合特征图生成多个通道调制图，所述通道调制图与步骤s400中生成的高阶特征图一一对应；s600、分别利用各个所述通道调制图对相应的高阶特征图进行调制；s700、将步骤s600中调制后的各个高阶特征图融合，生成重制图像，所述重制图像的分辨率大于所述仓库顶棚图像的分辨率。
5.进一步地，步骤s400中，对所述层级特征图上采样包括以下步骤：
a1、对获得的所述层级特征图进行亚像素卷积操作，生成一制特征图；a2、对所述一制特征图进行卷积操作，生成二制特征图；a3、所述二制特征图经过旁路激活函数激活，然后生成所述高阶特征图。
6.进一步地，步骤s300中，将各个层级特征图融合包括以下步骤：b1、将获得的各个所述层级特征图拼接起来，得到全级特征图；b2、对所述全级特征图进行卷积操作，然后将卷积后生成的特征图输入融合激活函数，生成得到所述综合特征图。
7.进一步地，步骤s500中，利用所述综合特征图生成多个通道调制图的过程包括以下步骤：c1、对所述综合特征图在空间方向进行全局最大池化操作，生成得到初步向量；c2、所述初步向量顺次经过第一全连接层、初步激活函数和第二全连接层，生成得到前驱向量；c3、将所述前驱向量分别输入多个综合激活函数，然后生成多个通道调制图；所述综合激活函数和所述通道调制图的数量均与所述特征提制模块的数量相等。
8.进一步地，步骤s700中，融合各个所述高阶特征图的方法包括以下步骤：d1、将各个所述高阶特征图拼接起来，得到全阶特征图；d2、对所述全阶特征图进行末端卷积操作，生成得到所述重制图像。
9.进一步地，所述图像重建网络中设有空间注意力模块，所述空间注意力模块以各个所述高阶特征图作为输入，生成空间调制图，所述空间调制图对所述全阶特征图进行调制后，再进行末端卷积操作，生成重制图像。
10.进一步地，所述空间注意力模块的数学模型为：其中，hf1、hf2和hfn分别表示各个所述高阶特征图，wc表示对特征图在空间方向做全局最大池化操作，∣
•
∣表示将其中的特征图拼接起来，hv表示拼接后得到的特征图，fh表示卷积运算，δh表示sigmoid激活函数，hm表示所述空间注意力模块生成的空间调制图。
11.进一步地，所述特征提制模块提制仓库顶棚图像特征信息的过程表示为如下数学模型：其中，tm代表输入特征提制模块的特征图，cs1、cs2、cs3、cs4和cs5均表示普通卷积操作，re1、re2、re3、re4、re5和re6均表示relu激活函数，∣
•
∣表示对其中的特征图做拼接
操作，
×
表示元素对应乘积运算，ut1、ut2、ut3、ut4、ut5和ut6分别表示函数re1、re2、re3、re4、re5和re6激活后生成的特征图，t
m 1
代表特征提制模块最后输出的特征图。
12.进一步地，卷积操作cs1和cs3的卷积核尺寸均为3*3，卷积操作cs2和cs4的卷积核尺寸均为3*3，卷积操作cs5的卷积核尺寸为1*1。
13.本发明还提供了一种用于仓库顶棚检查的图像增强装置，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如上所述的用于仓库顶棚检查的图像增强方法。
14.本发明的有益效果是：（1）现有的超分辨率重建神经网络模型中，通常采用一个特征融合模块将网络中各个特征提制模块输出的特征图融合，然后直接利用融合后的特征图超分辨率重建出增强后的图像，由于超分辨率重建时，输入网络中的图像本身分辨率就偏低，输入图像中所携带的信息量有限，而常规方法在融合特征过程中，会对通道进行降维，舍去大量的信息，使得输入上采样模块的信息不是很全面；此外，特征融合模块融合特征的效果直接决定了后续重建图像时接收到的信息质量，模型重建效果容易受到干扰，鲁棒性不是很好；针对仓库顶棚图像的特点，本发明先直接对各个特征提制模块输出的层级特征图进行上采样，然后再将上采样得到的高阶特征图进行融合，避免了特征融合模块影响上采样操作的输入信息，提高了模型的鲁棒性；（2）常规的注意力机制都是对局部的特征信息进行调制，但局部的调制目标与网络整体的映射目标存在一定的不一致性，调制效果有待提升；发明人考虑到融合各个层级特征图后的综合特征图中包含了不同尺度的信息，具有全局化的视野，创造性地利用综合特征图生成调制图，调制效果更加倾向于使得网络整体的映射效果更好，从而提升最终重制图像的质量；（3）有研究表明，图像在不同的视角下会表现出有所不同的特征，本发明的特征提制模块中不仅采用了并联的多卷积结构，还在其中设置了中心交织结构，利用元素对应乘积操作和矩阵加法操作复用特征图tm、特征图ut1和特征图ut2，从更加全面的角度去学习和提取特征，与之配合地，在模块后部设置了cs3、cs4和cs5三个卷积操作，同样以多样的方式提取和融合不同的特征信息，使得多种特征都能够在网络中很好地传递，降低特征丢失的可能性；（4）本发明的空间注意力模块分别对各个高阶特征图进行全局池化操作，由于高阶特征图来自不同的层级特征图，这样空间注意力模块能够更加细腻地学习到不同尺度下不同空间位置的特征响应关系，后面通过拼接操作和3*3卷积将各个池化结果融合，不同的池化结果之间能够在一定程度上达到互补的效果，提升空间注意力机制调制质量。
附图说明
15.图1为实施例1的图像重建网络数据处理过程示意图；图2为图1中特征提制模块数据处理过程示意图；图3为图1中上采样模块数据处理过程示意图；图4为图1中第一特征融合模块数据处理过程示意图；图5为图1中通道注意力模块数据处理过程示意图；
图6为图1中第二特征融合模块数据处理过程示意图；图7为对比网络数据处理过程示意图；附图中：1-初级卷积层，2-特征提制模块，3-上采样模块，31-输出模块，4-第一特征融合模块，41-第三特征融合模块，5-通道注意力模块，6-第二特征融合模块，61-空间注意力模块，7-仓库顶棚图像，8-重制图像。
具体实施方式
16.以下结合附图对本发明作进一步描述：实施例1：图1展示了本实施例中图像重建网络数据处理过程示意图，其中设置了上采样模块3、第一特征融合模块4、通道注意力模块5、第二特征融合模块6和六个特征提制模块2，网络的前端还设置了初级卷积层1（卷积核尺寸为3*3，步长为1），通过初级卷积层1提制仓库顶棚图像7的浅层特征信息，生成浅层特征图，然后浅层特征图沿着网络的深度方向传递，各个特征提制模块2依次进行特征提制操作。浅层特征图的通道数量可以根据实际情况设置，设仓库顶棚图像7的宽、高和通道尺寸分别为w、h和3，则本实施例中浅层特征图的尺寸为w*h*16n2，其中n表示图像重建网络将仓库顶棚图像7分辨率放大的倍数（n=1,2,3,4,
•••
），也就是重制图像8分辨率大小与仓库顶棚图像7分辨率大小的比值。
17.图2中展示了本实施例中特征提制模块2处理数据的过程，每个特征提制模块2的输入特征图tm和输出特征图t
m 1
尺寸均与浅层特征图一致，均为w*h*16n2。卷积操作cs1、cs2、cs3、cs4和cs5的步长均为1，特征提制模块2内部生成的特征图ut1、ut2、ut3、ut4、ut5和ut6尺寸同样为w*h*16n2。在其他的一些实施例中，特征提制模块2也可以采用其他结构实现对图像进行特征提制操作。
18.图3可视化地展示了本实施例中上采样模块3内部处理数据的过程，上采样模块3用于实现对各个层级特征图进行上采样操作。上采样模块3包括依次设置的亚像素卷积层、3*3卷积层（步长为1）和旁路激活函数，层级特征图经过亚像素卷积后，生成的一制特征图尺寸为nw*nh*16，卷积操作后生成的二制特征图尺寸为nw*nh*16。旁路激活函数采用relu函数，激活后生成的各个高阶特征图尺寸均为nw*nh*16。
19.图4可视化地展示了本实施例中第一特征融合模块4内部处理数据的过程，第一特征融合模块4用于实现将各个层级特征图融合，生成综合特征图。第一特征融合模块4包括依次设置的拼接操作层、1*1卷积层（步长为1）和融合激活函数。六个层级特征图经过拼接生成的全级特征图尺寸为w*h*96n2，1*1卷积层卷积运算后输出的特征图尺寸为w*h*16。融合激活函数采用relu实现，第一特征融合模块4输出的综合特征图尺寸为w*h*16。
20.图5可视化地展示了本实施例中通道注意力模块5内部处理数据的过程，通道注意力模块5用于实现将综合特征图生成多个通道调制图。通道注意力模块5包括顺次连接的全局池化层、第一全连接层、relu函数、第二全连接层和多个综合激活函数。全局池化层对综合特征图在空间方向进行全局最大池化操作后，生成得到长度为16的初步向量，第一全连接层输入节点数为16，输出节点数为4。初步激活函数为relu，第二全连接层输入节点数为4，输出节点数为16，因此，第二全连接层输出的前驱向量长度为16。各个综合激活函数均采
skip connections,”in iccv,2017）替换特征提制模块2，网络其他结构与实施例1保持不变。每个dense block输出的特征图通道数量与实施例1相同，训练和测试过程中的数据集和学习率等条件均保持与实施例1一致。对比例的测试结果如下表所示：表2 对比例重建图像测试结果对比表1和表2的测试数据可以看出，采用本发明提供的特征提制模块2能够比使用dense block取得更好的重建效果，说明与现有技术相比，特征提制模块2具有实质的特点，并取得了明显的进步。
26.以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。