适用于复杂水下环境的端到端生物目标检测方法与流程

1.本发明属于图像处理技术领域，具体涉及一种适用于复杂水下环境的端到端生物目标检测方法。


背景技术：

2.随着计算机视觉和图像处理技术的发展，图像处理方法的应用以提高水下图像质量来满足人类视觉系统和机器识别的要求已逐渐成为热点。随着人工智能的发展，深度学习的方法逐渐被应用到了水下目标识别中。但是受到水下光线不均匀的影响，水下图像存在颜色失真和曝光不足等问题，传统的深度学习目标检测方法缺乏足够的能力来处理水下目标。在水下环境中，低质量图像的增强对于计算机视觉来说是必需的。
3.对于水下图像增强，传统的图像处理方法包括颜色校正算法和对比度增强算法，白平衡方法，灰色世界理论和灰色边缘理论是典型的颜色校正方法。但对于水下视觉而言，这些方法的处理结果并不令人满意。对于水下图像的目标检测任务还有待进一步研究。


技术实现要素：

4.鉴于以上存在的技术问题，本发明用于提供一种适用于复杂水下环境的端到端生物目标检测方法，先对数据预处理，提高分类器准确性，再通过生成网络对水下图像进行增强，然后通过一个深度神经网络进行特征提取，最后进行识别和分类。
5.为解决上述技术问题，本发明采用如下的技术方案：
6.s1，使用的水下数据集由水下机器人抓取，划分为训练集和测试集，水下数据集包括海参、海胆、扇贝和海星的水下目标，其中20％作为测试集，80％作为训练集，先将水下图像通过上采样或下采样统一尺寸，然后进行归一化；
7.s2，从已有水下数据集中挑选出成像质量较差的水下图像，通过直方图均衡的方法增强图像，形成增强网络的数据集；
8.s3，将较差的水下图像作为增强网络的输入，增强后的图像作为真实值，训练水下图像增强网络；
9.s4，使用全卷积网络提取经过网络增强后的水下训练集图像的特征，然后使用一阶段检测网络对水下图像的特征图进行目标识别和分类，得到已训练完的模型；
10.s5，将处理后的水下测试集送入已经训练完的模型中测试。
11.优选地，s1进一步包括：
12.s101，假设xi是图像像素点值，min(xi)和max(xi)分别表示图像像素的最大值和最小值。归一化后的水下图像为：
[0013][0014]
优选地，s2进一步包括：
[0015]
使用直方图均衡的获得较差图像的真实值用于增强网络的训练，首先统计图像中
各灰度级的像素数目nk，k的范围为[o，l-1]，图像直方图初始概率密度函数为p(rk)，则变换函数为：
[0016][0017]
通过变换函数即可得到均衡化后的概率密度函数p(sk)，应用到实际图像中获取成对的水下数据集。
[0018]
优选地，s3进一步包括：
[0019]
s301，使用生成对抗网络做图像增强，将经过质量较差水下图像的x输入到生成网络之中，每一层的卷积模块中包含了卷积，批处理归一化和relu三个过程，输入的x经过n个kernel_size为3*3的卷积核，得到输出n表示总的通道数，i表示第i个通道，提取到的特征为：
[0020][0021]
式中表示卷积操作，一共通过5个卷积层，第3个卷积层的输出和第五个卷积层的输出叠加；
[0022]
s302，卷积层后的数据需要进一步处理，为了使模型易于收敛，网络训练过程更加稳定，在卷积之后加入了批归一化，通过计算每个批次中数据的均值和方差，假设一个小批次中有nm个样本，那么定义输出为其中fn表示第n个样本对应的卷积输出，在每个小批次中，对中的数据进行批归一化得到表示为：
[0023][0024]
其中，fn(k，l)表示批归一化之前的样本对应的卷积层输出中，第k个通道中的第l个元素，即为批归一化之后的数据，αk和βk为可训练的对应于第k个通道的参数，ε是一个很小的数，防止除数为0，e(.)为求均值操作，var(.)表示求方差操作；
[0025]
s303，之后使用激活函数relu对中每一个元素进行非线性激活得到若输入为则经过relu之后对应的输出表示为：
[0026][0027]
s304，将生成网络生成的图像输入对抗网络中判别生成网络的输出是否达到增强的目的，判别器由3个简单的卷积层组成，每个卷积层也有卷积，批处理归一化和relu三个过程；
[0028]
s305，为了保证结果有一个好的视觉和定量的成绩，损失函数由对抗损失l1和特征损失l2两部分组成，对抗损失是为了让生成器生成更好效果的输出，假设d表示判别器网络，xr和xf分别是从真实分布和伪分布中的采样值，则对抗损失为：
[0029]
[0030]
特征损失是输入和生成图像分别通过vgg16的卷积层中抽取的特征数据的欧式距离，能降低生成器网络的不稳定性，假设i
l
表示偏色的输入，g(i
l
)表示生成网络的输出，φi表示从特征提取网络中获得的特征图，i表示它的第i个池化后的特征图，wi，hi是提取的特征图的维数，则特征损失为：
[0031][0032]
优选地，s4进一步包括：
[0033]
s401，特征提取层使用resnet50模块，resnet50网络结构首先对输入做了卷积操作，之后包含4个残差块，一共50次卷积操作，各个残差块有跳跃连接解决梯度消散或爆炸的问题，假设残差块的输入是x，卷尺网络的输出为h，则输出为：
[0034]
y＝h(x) x
[0035]
s402，低层的特征语义信息比较少，但是目标位置准确；而高层的特征语义信息比较丰富，但是目标位置比较粗略，首先采用自顶向下的路径，将高层的强语义特征传递下来，然后再添加一个自底向上的路径，对特征图进行补充，将低层的强定位特征传递上去。
[0036]
优选地，s5进一步包括：
[0037]
s501，检测模块主要由两个子网络，分类子网络和边框回归子网络组成，分类子网络为每个锚点预测每个空间位置的目标存在概率及类别概率。这个子网络是一个简单的全卷积模块，由四个全卷积层构成，此子网络的参数在所有不同尺度的特征图之间共享；最后使用sidmoid进行分类，假设pi为经网络判断当前第i个锚点可能为目标的概率，为第i个锚点标记为目标的概率，则分类损失函数为：
[0038][0039]
s502，与目标分类子网络并行，使用另一个简单的全卷机网络将每个锚框的偏移量回归到附近的真实值，目标分类子网络和边框回归子网络虽然结构相同，但使用参数不同。假设ti为正样本预测框相对于锚点的偏移量，为真实值相对于锚点的偏移量，则边框回归损失为：
[0040]
附图说明
[0041]
图1为本发明实施例的适用于复杂水下环境的端到端生物目标检测方法的整体算法步骤流程图。
具体实施方式
[0042]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施
例，都属于本发明保护的范围。
[0043]
参照图1，所示为本发明实施例的适用于复杂水下环境的端到端生物目标检测方法步骤流程图，其包括以下步骤：
[0044]
s1，使用的水下数据集由水下机器人抓取，划分为训练集和测试集，水下数据集包括海参、海胆、扇贝和海星的水下目标，其中20％作为测试集，80％作为训练集，由于水下图像尺寸不一，无法直接进入网络，先将水下图像通过上采样或下采样统一尺寸，然后进行归一化。
[0045]
s2，针对实际工程中无法获得成对用于图像增强网络训练的水下数据集问题，从已有水下数据集中挑选出成像质量较差的水下图像，通过直方图均衡的方法增强图像，形成增强网络的数据集；
[0046]
s3，将较差的水下图像作为增强网络的输入，增强后的图像作为真实值，训练水下图像增强网络；
[0047]
s4，使用全卷积网络提取经过网络增强后的水下训练集图像的特征，然后使用一阶段检测网络对水下图像的特征图进行目标识别和分类，得到已训练完的模型；
[0048]
s5，将处理后的水下测试集送入已经训练完的模型中测试。
[0049]
具体应用实例中，s1进一步包括：
[0050]
图像归一化，归一化的目标是找到某种映射关系，归一化后，不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。假设xi是图像像素点值，min(xi)和max(xi)分别表示图像像素的最大值和最小值。归一化后的水下图像为：
[0051][0052]
具体应用实例中，s2进一步包括：
[0053]
实际工程中无法获得成对水下数据集，使用直方图均衡的获得较差图像的真实值用于增强网络的训练。首先统计图像中各灰度级的像素数目nk，k的范围为[o，l-1]，图像直方图初始概率密度函数为p(rk)，则变换函数为：
[0054][0055]
通过变换函数即可得到均衡化后的概率密度函数p(sk)，应用到实际图像中获取成对的水下数据集。
[0056]
具体应用实例中，s3进一步包括：
[0057]
s301，使用生成对抗网络做图像增强。将经过质量较差水下图像的x输入到生成网络之中，每一层的卷积模块中包含了卷积，批处理归一化和relu三个过程，输入的x经过n个kernel_size为3*3的卷积核，得到输出n表示总的通道数，i表示第i个通道，提取到的特征为：
[0058][0059]
式中表示卷积操作，一共通过5个卷积层，第3个卷积层的输出和第五个卷积层的输出叠加；
[0060]
s302，卷积层后的数据需要进一步处理，为了使模型易于收敛，网络训练过程更加稳定，在卷积之后加入了批归一化，通过计算每个批次中数据的均值和方差，假设一个小批次中有nm个样本，那么定义输出为其中fn表示第n个样本对应的卷积输出，在每个小批次中，对中的数据进行批归一化得到表示为：
[0061][0062]
其中，fn(k，l)表示批归一化之前的样本对应的卷积层输出中，第k个通道中的第l个元素，即为批归一化之后的数据，αk和βk为可训练的对应于第k个通道的参数，ε是一个很小的数，防止除数为0，e(.)为求均值操作，var(.)表示求方差操作；
[0063]
s303，之后使用激活函数relu对中每一个元素进行非线性激活得到若输入为则经过relu之后对应的输出表示为：
[0064][0065]
s304，将生成网络生成的图像输入对抗网络中判别生成网络的输出是否达到增强的目的。判别器由3个简单的卷积层组成，每个卷积层也有卷积，批处理归一化和relu三个过程。
[0066]
s305，为了保证结果有一个好的视觉和定量的成绩，我们的损失函数由对抗损失l1和特征损失l2两部分组成。对抗损失是为了让生成器生成更好效果的输出。假设d表示判别器网络，xr和xf分别是从真实分布和伪分布中的采样值。则对抗损失为：
[0067][0068]
特征损失是输入和生成图像分别通过vgg16的卷积层中抽取的特征数据的欧式距离，能降低生成器网络的不稳定性。假设i
l
表示偏色的输入，g(i
l
)表示生成网络的输出，φi表示从特征提取网络中获得的特征图。i表示它的第i个池化后的特征图。wi，hi是提取的特征图的维数。则特征损失为：
[0069][0070]
具体应用实例中，s4进一步包括：
[0071]
s401，特征提取层使用resnet50模块。resnet50网络结构首先对输入做了卷积操作，之后包含4个残差块，一共50次卷积操作。各个残差块有跳跃连接解决梯度消散或爆炸的问题。假设残差块的输入是x，卷尺网络的输出为h，则输出为：
[0072]
y＝h(x) x
[0073]
s402，低层的特征语义信息比较少，但是目标位置准确；而高层的特征语义信息比较丰富，但是目标位置比较粗略。首先采用自顶向下的路径，将高层的强语义特征传递下来，然后再添加一个自底向上的路径，对特征图进行补充，将低层的强定位特征传递上去。
[0074]
具体应用实例中，s5进一步包括：
[0075]
s501，检测模块主要由两个子网络：分类子网络和边框回归子网络组成。分类子网络为每个锚点预测每个空间位置的目标存在概率及类别概率。这个子网络是一个简单的全卷积模块，由四个全卷积层构成，此子网络的参数在所有不同尺度的特征图之间共享。最后使用sidmoid进行分类。假设pi为经网络判断当前第i个锚点可能为目标的概率，为第i个锚点标记为目标的概率，则分类损失函数为：
[0076][0077]
s502，与目标分类子网络并行，我们使用另一个简单的全卷机网络将每个锚框的偏移量回归到附近的真实值。目标分类子网络和边框回归子网络虽然结构相同，但使用参数不同。假设ti为正样本预测框相对于锚点的偏移量，为真实值相对于锚点的偏移量，则边框回归损失为：
[0078][0079]
应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。