一种图像目标检测方法及相关设备

1.本发明涉及图像识别技术领域，特别涉及一种图像目标检测方法及相关设备。


背景技术：

2.随着智慧海关的建设不断推进，图像目标检测技术成为了海关智能监管服务不可或缺的组成元素。图像目标检测技术应用于海关的视频监控系统，具体实现包括集装箱箱号检测在内的物流监管、异常人员与车辆的识别与跟踪以及简单商品的辨别等，图像目标检测可在多个方面提升海关的工作效率和效能。
3.但是在现实中，由于海关这一应用场景的复杂性，目标检测的效果仍待提升，如在阴、雨、雾、夜等不同自然环境下，监控拍摄会因为环境能见度低、光照不足、视线遮挡等，影响拍摄图像的清晰度、亮度、色彩对比度等，影响目标检测的准确率。所以，视线对图像降低噪声影响、提升亮度和色彩信息等的图像增强处理对目标检测具有重要作用，而目前传统图像增强方法大多是直接将用于灰度图像的增强方法扩展到低照度图像中，没有充分考虑到彩色图像中多种色彩通道信息的复杂性，不能获得较为满意的效果。


技术实现要素：

4.本发明提供了一种图像目标检测方法及相关设备，其目的是为了提高在能见度低的环境下对目标检测的准确率。
5.为了达到上述目的，本发明提供了一种图像目标检测方法，包括：步骤1，获取待检测的低照度图像；步骤2，通过改进后的retinex模型对低照度图像进行亮度分量去除处理，得到增强图像；步骤3，将增强图像输入googlenet神经网络模型进行目标检测，得到检测结果；googlenet神经网络模型的初始特征提取模块包括第一卷积层、第二卷积层和第一池化层；第一卷积层的输入端为googlenet神经网络模型的输入端，第一卷积层的输出端与第二卷积层的输入端连接，第二卷积层的输出端与第一池化层的输入端连接，第一池化层的输出端与googlenet神经网络模型中的局部响应归一化层的输入端连接。
6.进一步来说，步骤2包括：将低照度图像转换至颜色空间，提取亮度分量作为光照图像；通过改进后的retinex模型对低照度图像进行亮度分量去除处理，得到增强图像；改进后的retinex模型为：将低照度图像和调整后的光照图像相除，得到增强图像：其中，表示低照度图像，表示光照图像，表示增强图像，表示逐元素乘法，/表
示逐元素除法，表示图像像素空间坐标。
7.进一步来说，步骤2包括：将低照度图像从rgb颜色空间转换至lms空间：将低照度图像从lms空间转换为以10为底的对数空间：将低照度图像从对数空间转换到颜色空间：将颜色空间的亮度分量作为光照图像。
8.进一步来说，步骤2还包括：利用gamma校正对光照图像进行调整，得到调整后的光照图像，表达式为：其中，表示伽马变换参数，。
9.进一步来说，在步骤3之前还包括：对增强图像进行锐化过滤处理，得到锐化后的增强图像，表达式如下：其中，表示锐化后的图像，表示增强图像，表示高斯滤波器，表示正比例因子。
10.进一步来说，在步骤4之前还包括：对锐化后的增强图像进行零均值化处理；将零均值化处理后的增强图像输入googlenet神经网络模型进行目标检测。
11.本发明还提供了一种图像目标检测装置，包括：获取模块，用于获取待检测的低照度图像；处理模块，用于通过改进后的retinex模型对所述低照度图像进行亮度分量去除处理，得到增强图像；检测模块，用于将增强图像输入googlenet神经网络模型进行目标检测，得到检测结果；googlenet神经网络模型的初始特征提取模块包括第一卷积层、第二卷积层和第一池化层；第一卷积层的输入端为googlenet神经网络模型的输入端，第一卷积层的输出端
与第二卷积层的输入端连接，第二卷积层的输出端与第一池化层的输入端连接，第一池化层的输出端与googlenet神经网络模型中的局部响应归一化层的输入端连接。
12.本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现图像目标检测方法。
13.本发明还提供了一种图像目标检测设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现图像目标检测方法。
14.本发明的上述方案有如下的有益效果：本发明获取的待检测的低照度图像，通过改进后的retinex模型对所述低照度图像进行亮度分量去除处理，得到增强图像，将增强图像输入googlenet神经网络模型进行目标检测，得到检测结果；采用改进的retinex模型对低照度图像进行增强，通过对图像的色彩空间转换使亮度信息与色彩信息分离，以便模型对彩色图像增强时彩色分量的信息更加完整，最后采用googlenet神经网络模型进行目标检测，可以更好挖掘目标特征，提高了在能见度低的环境下对目标检测的准确率。
15.本发明的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
16.图1为本发明实施例的方法流程图；图2为本发明实施例中网络的初始特征提取模块连接图；图3为本发明实施例中网络结构图；图4为本发明实施例中网络的组合子网（3a）的内部连接图。
具体实施方式
17.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
19.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是锁定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
20.此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
21.本发明针对现有的问题，提供了一种图像目标检测方法及相关设备。
22.如图1所示，本发明的实施例提供了一种图像目标检测方法，包括：步骤1，获取待检测的低照度图像；步骤2，通过改进后的retinex模型对低照度图像进行亮度分量去除处理，得到增强图像；步骤3，将增强图像输入googlenet神经网络模型进行目标检测，得到检测结果；googlenet神经网络模型的初始特征提取模块包括第一卷积层、第二卷积层和第一池化层；第一卷积层的输入端为googlenet神经网络模型的输入端，第一卷积层的输出端与第二卷积层的输入端连接，第二卷积层的输出端与第一池化层的输入端连接，第一池化层的输出端与googlenet神经网络模型中的局部响应归一化层的输入端连接。
23.其中，步骤2将低照度图像从rgb颜色空间转换至颜色空间，引入色度信息，颜色空间可以将图像的亮度和色度信息分离出来，通道包含了图像的亮度信息，表示黄-蓝通道，表示红-绿通道，具体包括：将低照度图像从rgb颜色空间转换至lms空间，转换公式如下：（1）为了使数据分布更加聚敛，且更符合人类对颜色的感知，需要进一步将低照度图像从lms空间转换为以10为底的对数空间：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）将低照度图像从对数空间转换到颜色空间： （3）将颜色空间的亮度分量作为光照图像。
24.具体来说，步骤2还包括：为了调整光照图像亮度，获得更好的图像增强效果，利用gamma校正对光照图像进行调整，得到调整后的光照图像，表达式为：（4）其中，表示伽马变换参数，实验证明当时，获得的光照图像效果最优。
25.具体来说，步骤3包括：首先，确定确定改进后的retinex模型为：（5）然后将低照度图像和调整后的光照图像相除，得到增强了亮度及色彩的增强图像：
（6）其中，表示低照度图像，表示光照图像，表示增强图像，表示逐元素乘法，/表示逐元素除法，表示图像像素空间坐标。
26.本发明实施例中retinex的基本思想是入射光决定了一幅图像中的所有像素点的动态范围的大小，而物体的颜色是由物体表面的反射属性决定，与光照情况无关。算法物理意义即观察到的低照度图像可分解为所需增强图像与光照图像，retinex模型旨在通过数学方法去除图像中的光照图像，而获得其增强图像，因此需要先得到光照图像。
27.而传统retinex算法先在r、g和b通道中找到最大值来单独估计每个像素的光照分量，整合后作为该图像的光照图像分量，这样图像增强只是整体提升了亮度，对其他如颜色、边缘等信息没有增强效果。
28.与传统retinex算法相比，本发明实施例中的retinex模型不是直接由图像的rgb值来估计光照图像，而是将图像由rgb颜色空间通过式（1）-（3）转到颜色空间，提取分量作为光照图像。因为与rgb颜色空间相比，颜色空间具有可以将亮度信号与色差信号、分离的特性，这样提取的光照图像分离了色彩分量，在求其反射图象或反射分量时，颜色信息更加完整。
29.具体来说，为了使得到的增强图像能突出显示图像的细节，使目标检测更为准确，本发明实施例在步骤4之前，还需要对增强图像进行锐化过滤处理，过程如下：（7）其中，是锐化后的增强图像，是增强图像，表示高斯滤波器，是正比例因子，可以通过优化来调整锐化程度以获得更好的目标检测性能。
30.具体来说，在步骤4之前还包括：对锐化后的增强图像进行零均值化处理；将零均值化处理后的增强图像输入googlenet神经网络模型进行目标检测。
31.在本发明实施例中，为了减少训练时间，实现良好的训练效果，同时考虑到googlnet神经网络的模型参数较少、过拟合的风险较低的特点，因此选择使用基于googlenet神经网络作为主干网络来构建神经网络实现数据集的训练；为了尽可能保留更多特征信息以及更好更快地实现初步的特征提取，故而选择vgg的前两个卷积层和第一池化层来实现初始图像的第一步的特征信息提取，如图2所示，具体的googlenet神经网络模型的结构如图3所示，其模型参数统计如下表所示：
训练前分别读取训练数据和验证数据，其中训练集采用的是网络搜集的模糊图片及个别视频分帧得到的人像目标检测图片，总计10864张，再采取4个测试集，每个测试集包含1800左右张图片。模型训练过程如下：将训练集的图像大小调整为224
×
224
×
3，且都进行零均值化处理，及图像的每个像素减去均值，输入如图3所示的googlenet神经网络中，使用3
×
3的第一卷积层和第二卷积层，滑动步长2，64通道，输出为112
×
112
×
64，卷积后进行relu操作，经过3
×
3的第一最大池化层，步长为2，输出为((112-3 1)/2) 1=56，即56
×
56
×
64，再进行relu操作后输入使用3
×
3的第三卷积层、第四卷积层，滑动步长为2，192通道，输出为56
×
56
×
192，卷积后进行relu操作，经过3
×
3的第二最大池化层，步长为2，输出为((56-3 1)/2) 1=28，即28
×
28
×
192，再进行relu操作，再输入组合子网（3a）中，分为四个分支，采用不同尺度的卷积核来进行处理；（1）64个1
×
1的卷积核，然后rulu，输出28
×
28
×
64；（2）96个1
×
1的卷积核，作为3
×
3卷积核之前的降维，变成28
×
28
×
96，然后进行relu计算，再进行128个3
×
3的卷积（padding为1），输出28
×
28
×
128；（3）16个1
×
1的卷积核，作为5
×
5卷积核之前的降维，变成28
×
28
×
16，进行relu计算后，再进行32个5
×
5的卷积（padding为2），输出28
×
28
×
32；（4）pool层，使用3
×
3的核（padding为1），输出28
×
28
×
192，然后进行32个1
×
1的卷积，输出28
×
28
×
32。
32.将四个结果进行连接，对这四部分输出结果的第三维并联，即64＋128 32 32=256，最终输出为256
×
28
×
28，然后输入组合子网（3b）进行处理：（1）128个1
×
1的卷积核，然后rulu，输出28
×
28
×
128；
（2）128个1
×
1的卷积核，作为3
×
3卷积核之前的降维，变成28
×
28
×
128，进行relu，再进行192个3
×
3的卷积（padding为1），输出28
×
28
×
192；（3）32个1
×
1的卷积核，作为5
×
5卷积核之前的降维，变成28
×
28
×
32，进行relu计算后，再进行96个5
×
5的卷积（padding为2），输出28
×
28
×
96；（4）pool层，使用3
×
3的核（padding为1），输出28
×
28
×
256，然后进行64个1
×
1的卷积，输出28
×
28
×
64。
33.将四个结果进行连接，对这四部分输出结果的第三维并联，即128 192 96 64=480，最终输出为28
×
28
×
480。
34.其中，组合子网（4a、4b、4c、4d、4e）、组合子网（5a，5b）与3a类似，结构也相同，包括四个1*1的卷积层、一个3*3的最大池化层、一个5*5的卷积层、一个3*3的卷积层和一个聚合层，输出维度如上表所示，具体连接关系如图4所示。
35.将四个结果进行连接，对这四部分输出结果的第三维并联，即64 128 32 32=256，最终输出28
×
28
×
256。
36.设计组合子网的目的是为了方便添加和修改结构。
37.本发明实施例中改进的googlenet神经网络的主干网络主要有以下几个特点：（1）26层的深度网络结构；（2）前3层结构来进行初步特征提取的迁移学习；（3）通过googlenet神经网络的后21层来完成后续的图像的特征提取。
38.本发明实施例首先获取的待检测的低照度图像，通过改进后的retinex模型对所述低照度图像进行亮度分量去除处理，得到增强图像，将增强图像输入googlenet神经网络模型进行目标检测，得到检测结果；采用改进后的retinex模型对低照度图像进行增强，通过对图像的色彩空间转换使亮度信息与色彩信息分离，以便模型对彩色图像增强时彩色分量的信息更加完整，最后采用googlenet神经网络模型进行目标检测，可以更好挖掘目标特征，提高了在能见度低的环境下对目标检测的准确率。对于大多地处沿海地区的海关，在所面临的雨、雾、阴、夜等环境下，仍可适应海关图像目标的精准检测，如对货运集装箱的编号、对异常人员与车辆的检测、对大小商品的监测记录，均可精准识别，有利于智能海关的建设。
39.本发明实施例还提供了一种图像目标检测装置，包括：获取模块，用于获取待检测的低照度图像；处理模块，用于通过改进后的retinex模型对低照度图像进行亮度分量去除处理，得到增强图像；检测模块，用于将增强图像输入googlenet神经网络模型进行目标检测，得到检测结果；googlenet神经网络模型的初始特征提取模块包括第一卷积层、第二卷积层和第一池化层；第一卷积层的输入端为googlenet神经网络模型的输入端，第一卷积层的输出端与第二卷积层的输入端连接，第二卷积层的输出端与第一池化层的输入端连接，第一池化层的输出端与googlenet神经网络模型中的局部响应归一化层的输入端连接。
40.本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计
算机程序，计算机程序被处理器执行时实现图像目标检测方法。
41.本发明实施例还提供了一种图像目标检测设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现图像目标检测方法。
42.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。