渔网检测模型的训练方法、装置、计算机设备和存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种渔网检测模型的训练方法、装置、计算机设备和存储介质。


背景技术：

2.随着渔业的多源化发展，在近海海域内存在大量的渔网，渔网散落在海域内，容易缠绕螺旋桨，对船只的安全航行造成了极大的潜在威胁。
3.传统的渔网检测方法是在获取航拍图像后，通过canny边缘检测算子对航拍图像中的渔网进行边缘检测，而由于航拍图像中的渔网通常较小，通过边缘检测确定渔网的方法难以实现对渔网的准确检测。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高渔网检测准确性的渔网检测模型的训练方法、装置、计算机设备和存储介质。
5.第一方面，本技术提供了一种渔网检测模型的训练方法。渔网检测模型的训练方法包括：
6.获取样本图像；
7.对样本图像中的渔网进行标注，得到第一图像；
8.对第一图像进行预处理，得到第二图像；
9.将第二图像进行小波变换，得到多个光谱特征图；
10.将第二图像和多个光谱特征图输入到ssd检测框架中进行训练，得到渔网检测模型。
11.在其中一个实施例中，将第二图像进行小波变换，得到多个光谱特征图，包括：
12.利用haar小波将第二图像进行三层分解，依次得到第一光谱特征图、第二光谱特征图和第三光谱特征图。
13.在其中一个实施例中，ssd检测框架的主干网络是vgg网络，将第二图像和多个光谱特征图输入到ssd检测框架中进行训练，包括：
14.将第二图像输入至vgg网络中进行卷积特征提取和池化，得到第一特征图；
15.将第一特征图和第一光谱特征图进行合并，得到第二特征图；
16.将第二特征图进行卷积特征提取和池化，得到第三特征图；
17.将第三特征图和第二光谱特征图进行合并，得到第四特征图；
18.将第四特征图进行卷积特征提取和池化，得到第五特征图；
19.将第五特征图和第三光谱特征图进行合并，得到第六特征图；
20.利用第六特征图进行训练。
21.在其中一个实施例中，对样本图像中的渔网进行标注，得到第一图像之后，方法还包括：
22.确定第一图像的颜色分布信息；
23.根据颜色分布信息对第一图像进行标准化处理。
24.在其中一个实施例中，对第一图像进行预处理，得到第二图像，包括：
25.利用均值模板对第一图像进行卷积运算；
26.对卷积运算后得到的数据进行对数变换，得到第二图像。
27.在其中一个实施例中，渔网检测模型的训练方法还包括：
28.获取包含有渔网的图像数据；
29.将图像数据输入至渔网检测模型，得到渔网检测模型输出的渔网信息。
30.第二方面，本技术还提供了一种渔网检测模型的训练装置。渔网检测模型的训练装置包括：
31.样本获取模块，用于获取样本图像；
32.图像标注模块，用于对样本图像中的渔网进行标注，得到第一图像；
33.预处理模块，用于对第一图像进行预处理，得到第二图像；
34.小波变换模块，用于将第二图像进行小波变换，得到光谱特征图；
35.模型训练模块，用于将第二图像和光谱特征图输入到ssd检测框架中进行训练，得到渔网检测模型。
36.第三方面，本技术还提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
37.获取样本图像；
38.对样本图像中的渔网进行标注，得到第一图像；
39.对第一图像进行预处理，得到第二图像；
40.将第二图像进行小波变换，得到多个光谱特征图；
41.将第二图像和多个光谱特征图输入到ssd检测框架中进行训练，得到渔网检测模型。
42.第四方面，本技术还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
43.获取样本图像；
44.对样本图像中的渔网进行标注，得到第一图像；
45.对第一图像进行预处理，得到第二图像；
46.将第二图像进行小波变换，得到多个光谱特征图；
47.将第二图像和多个光谱特征图输入到ssd检测框架中进行训练，得到渔网检测模型。
48.第五方面，本技术还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
49.获取样本图像；
50.对样本图像中的渔网进行标注，得到第一图像；
51.对第一图像进行预处理，得到第二图像；
52.将第二图像进行小波变换，得到多个光谱特征图；
53.将第二图像和多个光谱特征图输入到ssd检测框架中进行训练，得到渔网检测模
型。
54.上述渔网检测模型的训练方法、装置、计算机设备、存储介质和计算机程序产品，通过获取样本图像；对样本图像中的渔网进行标注，得到第一图像；对第一图像进行预处理，得到第二图像；将第二图像进行小波变换，得到多个光谱特征图；将第二图像和多个光谱特征图输入到ssd检测框架中进行训练，得到渔网检测模型。其中，由于小波变换后得到的光谱特征图中具有较多的渔网特征，将光谱特征图和第二图像加入到ssd检测框架中进行融合训练，增加了训练时信息编码的复杂度，从而提升了渔网检测模型的识别率。
附图说明
55.图1为一个实施例中渔网检测模型的训练方法的流程示意图；
56.图2为一个实施例中对图像进行第一层haar小波分解的示意图；
57.图3为一个实施例中vgg网络的训练示意图；
58.图4为另一个实施例中渔网检测模型的训练方法的流程示意图；
59.图5为一个实施例中渔网检测模型的训练装置的结构框图；
60.图6为一个实施例中计算机设备的内部结构图。
具体实施方式
61.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
62.图1为一个实施例中渔网检测模型的训练方法的流程示意图，如图1所示，提供了一种渔网检测模型的训练方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法可以包括以下步骤：
63.步骤102，获取样本图像。
64.其中，样本图像指用于训练模型需要用到的原始图像。本实施例中，样本图像可以是由无人机在历史船舶航运巡视任务中采集的巡视图像。
65.具体地，可以在无人机上设置图像采集设备，由图像采集设备采集巡视图像。在图像采集设备采集到的巡视图像中，有些图像的拍摄距离较远，渔网的有效信息较少，不适用于后期的渔网区域的识别，也有些图像的拍摄距离较近，渔网的有效信息比较详细，可以用于后期对渔网区域的高精度识别及应用。因此，样本图像也可以是根据包含渔网的有效信息的多少对巡视图像进行筛选后得到的图像。
66.终端可以通过多种方式获取样本图像，例如，当无人机上的图像采集设备在无人机的飞行线路上拍摄到样本图像后，终端可以从图像采集设备直接获取样本图像，也可以在无人机将样本图像发送至服务器后，从服务器获取样本图像。
67.需要说明的是，终端可以但不限于是无人机、飞行器、个人计算机、笔记本电脑、智能手机、平板电脑和物联网设备等设备。
68.步骤104，对样本图像中的渔网进行标注，得到第一图像。
69.本实施例中需要通过监督学习策略对模型进行训练，因此需要对样本图像中的渔
网进行标注，以在训练过程中提供标注后的信息。
70.应当理解的是，图像物体检测通常包含两个方面的内容：首先是定位出图像中物体所出现的位置，其次是确定物体的类型。为了使训练出的渔网检测模型可以检测出渔网，需要对样本图像中的渔网进行标注，例如，对渔网的类型信息和位置信息进行标注。其中，渔网的位置信息可以但不限于是渔网区域左上点的图像坐标、渔网区域的宽度、渔网区域的高度等信息。渔网的类型信息为渔网区域的类型，具体地，可以根据渔网区域的形状特征确定渔网区域的类型，例如圆形渔网、线形渔网和方形渔网等。
71.当然，在对渔网区域的类型进行标注后，还可以对渔网区域的数量进行统计，得到不同渔网区域的类型信息和数量的对应关系，如下表1所示：
72.表1
73.类型圆形渔网线形渔网方形渔网合计数量1168112814713767
74.步骤106，对第一图像进行预处理，得到第二图像。
75.其中，预处理的主要目的是消除第一图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据。
76.具体地，可以采用多种方式对第一图像进行预处理，得到第二图像，例如，可以对第一图像进行缩放、卷积、统计分析、增强等处理。
77.其中，对于缩放和卷积处理，可以利用卷积模板实现第一图像的卷积运算，在卷积运算过程中将第一图像缩放到分辨率为32的倍数，例如416*416的分辨率。在一个示例中，卷积运算的数学表达式如下：
78.i(x,y)＝s(x,y)*t(x,y)；
79.其中，s为输入的原始图像，i为卷积操作的输出结果，t为卷积模板，x和y分别为图像坐标系中像素点的横坐标和纵坐标。
80.对于统计分析处理，可以对第一图像的标注框尺寸和颜色分布信息进行统计分析，并将统计分析结果作为渔网检测模型的超参数的先验值，较好的模型参数值有助于提高模型在训练过程中的收敛速度，加速找到模型的最优解。
81.对于增强处理，应当理解的是，图像增强是通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者掩盖图像中某些不需要的特征，使图像与视觉响应特性相匹配，具体地，采用线性函数对图像的灰度值进行变换，实现图像的对比度提升；可以采用非线性函数对图像的灰度值进行变换，以实现对感兴趣的图像区域进行展宽，对不感兴趣的背景区域进行压缩等。
82.步骤108，将第二图像进行小波变换，得到多个光谱特征图。
83.其中，小波变换是一种信号的时间尺度分析方法，也是一种窗口大小固定不变、形状可变，时间窗和频率窗都可以改变的时频局部化分析方法，它具有多分辨率分析的特点，且在时频两域都具有表征信号局部特征的能力。
84.小波变换对不同的频率在时域上的取样步长是可调节的，在低频时，小波变换的时间分辨率较低，频率分辨率较高；在高频时，小波变换的时间分辨率较高，而频率分辨率较低，这个特点符合第二图像中低频信号变化缓慢而高频信号变化快速的特点。使用小波变换处理第二图像时，可以选取适当的小波函数对第二图像进行分解，得到多个光谱特征
图。
85.具体地，可以使用cmor小波、fbsp小波、shan小波或者haar小波等对第二图像进行分解，以从第二图像中提取光谱特征。
86.其中，cmor小波是复小波morlet的缩写形式，具有较好的时-频分析精度，cmor小波的时频和频域分析能力是有差别的，总体上，该小波的频域分析能力良好，时域分析能力并不突出。而haar小波是基于haar小波函数的小波变换，其具备有较好的频域分析能力和时域分析能力。
87.应当理解的是，采用不同的小波函数进行小波变换时，得到的光谱特征图的数量并不相同，光谱特征图所包含的渔网信息的数量也不相同。
88.步骤110，将第二图像和多个光谱特征图输入到ssd检测框架中进行训练，得到渔网检测模型。
89.其中，ssd(全称single shot multibox detector)检测框架是一种单阶多层的目标检测模型，通过在多个不同深度的特征图上进行priorbox生成、分类、回归，最终融合得到最终的预测结果。ssd检测框架相比于faster r-cnn模型有明显的速度优势，相比于yolo模型又有明显的精度优势。
90.应当理解的是，基于图像的物体检测方法可以分为两个大的类型：1、基于特征工程的物体检测方法；2、基于深度神经网络的回归方法。其中，基于特征工程的物体检测方法包括区域选择、特征提取、分类三个步骤，算法的运算量较大，区域选择的策略效果差，手工提取特征的自适应程度低，导致算法的时间和空间复杂度较高，而且物体的检测精度最高只能达到35.1％。而由于通过增加神经网络的节点数量可以拟合任意形式的函数，基于神经网络的物体检测算法利用神经网络的强大拟合能力，可以自动的学习到图像中待检测目标的特征，将神经网络提取的特征输入到全连接网络中，对其进行位置回归和分类，物体的检测精度可以达到92％。在检测精度和处理速度的相互权衡下，本实施例中采用ssd检测框架进行模型训练。
91.具体地，ssd检测框架中的骨干网络，可以是vgg(全称visual geometry group)、resnet或mobilenets等，本实施例对此不加以限制。
92.其中，vgg网络是一种深度卷积神经网络，主要探究了卷积神经网络的深度和其性能之间的关系，通过反复堆叠3*3的小卷积核和2*2的最大池化层，成功的搭建了16-19层的深度卷积神经网络，具有错误率和泛化能力好等特点。
93.resnet是残差网络，该系列网络被广泛用于目标分类等领域，并作为计算机视觉任务主干经典神经网络的一部分，是一个典型的卷积网络。resnet根据层数不同可以分为resnet18、resnet50等。resnet50网络首先对输入做卷积操作，之后经过4个残差模块，最后进行一个全连接操作用于分类任务，resnet50包含50个卷积操作。
94.mobilenets是一组移动端优先的计算机视觉模型，其基于流线型结构设计，利用深度可分离卷积来建立轻量级深度神经网络。mobilenets引入了两个超参数，可以根据不同任务的条件约束，自由选择模型的尺度规模，通过这两个简单的全局超参数，mobilenets在速度和精度两方面实现了很好的均衡。作为轻量级深度网络，mobilenets在识别、定位、检测等计算机视觉任务中都具有普适性和有效性。
95.在具体实现中，可以将第二图像作为输入图像，并将多个光谱特征图输入到ssd检
测框架的骨干网络的不同阶段层中进行训练，得到渔网检测模型。
96.上述渔网检测模型的训练方法中，通过获取样本图像；对样本图像中的渔网进行标注，得到第一图像；对第一图像进行预处理，得到第二图像；将第二图像进行小波变换，得到多个光谱特征图；将第二图像和多个光谱特征图输入到ssd检测框架中进行训练，得到渔网检测模型。其中，由于小波变换后得到的光谱特征图中具有较多的渔网特征，将光谱特征图和第二图像加入到ssd检测框架中进行融合训练，增加了训练时信息编码的复杂度，从而提升了渔网检测模型的识别率。
97.在一个实施例中，将第二图像进行小波变换，得到多个光谱特征图的步骤，包括：利用haar小波将第二图像进行三层分解，依次得到第一光谱特征图、第二光谱特征图和第三光谱特征图。
98.其中，haar小波是基于haar小波函数的小波变换，对于二维图像的haar变换，是从水平和竖直两个方向进行低通和高通滤波，因此会生成低频特征和高频特征，高频特征类似于图像中的边缘，就是图片中变化剧烈的区域，例如渔网区域。
99.图2为一个实施例中对图像进行第一层haar小波分解的示意图，如图2所示，对第二图像进行第一层haar小波分解时，由于第二图像通常是可见光图像，即由三元色(red、green、blue，rgb)组成的三通道图像，利用haar小波分别对r、g、b三个通道进行一次分解，每个通道会产生4个子图，子图的分辨率变为原来的0.5倍，三个通道共生成12个子图(3*4＝12)，将12个子图堆叠起来可以构成12通道的第一光谱特征图。
100.具体地，可以基于以下公式对图像进行haar小波分解：
[0101][0102]
其中，t为自变量，j为一组非负整数，k代表haar小波尺度函数的平移量。
[0103]
在使用haar小波提取到第一光谱特征图、第二光谱特征图和第三光谱特征图后，可以将这些特征图输入到ssd检测框架的骨干网络的不同阶段层。
[0104]
本实施例通过利用haar小波将第二图像进行三层分解，依次得到第一光谱特征图、第二光谱特征图和第三光谱特征图，可以得到较多的渔网区域信息，提高了模型的输入数据的多样性和全面性。
[0105]
在一个实施例中，ssd检测框架的主干网络是vgg网络，将第二图像和多个光谱特征图输入到ssd检测框架中进行训练的步骤，包括：将第二图像输入至vgg网络中进行卷积特征提取和池化，得到第一特征图；将第一特征图和第一光谱特征图进行合并，得到第二特征图；将第二特征图进行卷积特征提取和池化，得到第三特征图；将第三特征图和第二光谱特征图进行合并，得到第四特征图；将第四特征图进行卷积特征提取和池化，得到第五特征图；将第五特征图和第三光谱特征图进行合并，得到第六特征图；利用第六特征图进行训练。
[0106]
图3为一个实施例中vgg网络的训练示意图，如图3所示，假设输入至vgg网络的第二图像的分辨率为224*224*3，经过第一层卷积特征提取和池化后得到分辨率为112*112*128的第一特征图。同时，第二图像被输入haar小波变换进行第一层特征提取，此处对rgb图像的每个通道进行分别处理，每个通道经过小波变换后得到分辨率为112*112*4的特征图，3个通道处理完后共得到分辨率为112*112*12的第一光谱特征图。最后，将vgg网络的第一
特征图与haar小波变换得到的第一光谱特征图特征图合并，得到分辨率为112*112*140的第二特征图。
[0107]
第二特征图经过第二层卷积特征提取和池化后得到分辨率为56*56*256的第三特征图。同时，第二图像被输入haar小波变换进行第二层特征提取，得到分辨率为56*56*12的第二光谱特征图。最后，将vgg网络的第三特征图与haar小波变换得到的第二光谱特征图特征图合并，得到分辨率为56*56*268的第四特征图。
[0108]
第四特征图经过第三层卷积特征提取和池化后得到分辨率为28*28*512的第五特征图。同时，第二图像被输入haar小波变换进行第三层特征提取，得到分辨率为28*28*12的第三光谱特征图。最后，将vgg网络的第五特征图与haar小波变换得到的第三光谱特征图特征图合并，得到分辨率为28*28*524的第六特征图。
[0109]
应当理解的是，cnn网络是一种完全在时域变换或完全在频域变换的全局变换，它无法表征信号的时频性质，但是时频区域性质恰恰是非平稳信号最本质和最关键的特性。而小波变换具有多分辨率分析的特点，且在时频两域都具有表征信号局部特征的能力。本实施例利用haar小波提取第二图像的光谱特征，得到三个光谱特征图，然后将这些光谱特征图输入到vgg网络的不同阶段层，使得更多的渔网区域信息被输入至vgg网络中进行训练，提升了模型的精度。
[0110]
在一个实施例中，对样本图像中的渔网进行标注，得到第一图像之后，渔网检测模型的训练方法还可以包括以下步骤：确定第一图像的颜色分布信息；根据颜色分布信息对第一图像进行标准化处理。
[0111]
具体地，可以通过颜色直方图、颜色矩、颜色集、颜色聚合向量或颜色相关图等方式确定第一图像的颜色分布信息。在对颜色分布信息进行统计分析后，可以计算得到统计量均值和标准差，然后根据预设公式对第一图像进行标准化处理，使第一图像转化为标准正态分布的图像。其中，预设公式可以参考如下：
[0112][0113]
其中，x为第一图像的颜色分布信息，y为标准化后图像的颜色分布信息，服从标准正态分布，μ为统计量均值，σ为标准差。
[0114]
在对第一图像进行标准化处理之后，可以将处理后的图像作为输入图像，输入至ssd检测框架中进行训练。
[0115]
本实施例通过确定第一图像的颜色分布信息，并根据颜色分布信息对第一图像进行标准化处理，使输入至ssd检测框架的数据符合标准正态分布规律，可以加速模型的收敛，提高模型训练的速度。
[0116]
在一个实施例中，对第一图像进行预处理，得到第二图像的步骤，可以包括以下步骤：利用均值模板对第一图像进行卷积运算；对卷积运算后得到的数据进行对数变换，得到第二图像。
[0117]
其中，均值模板是卷积模板中的一种，是指将模板覆盖区域内的像素值进行平均即平均池化，通过采用均值模板进行卷积运算，既可以实现图像降采样又可以使图像更加平滑。
[0118]
通过采用对数变换可以对图像中低灰度值区域进行扩展，将其高灰度值部分压
缩，以强调图像低灰度区域，达到增强图像的目的。在一个示例中，对数变换的公式可以为：
[0119][0120]
其中，r为控制系数，控制增强曲线的变化剧烈程度，r越大曲线越陡峭，对低灰度值区域拉伸越明显，c为缩放系数，v为输入的图像的像素值。
[0121]
当然，在具体实现中，在对卷积运算后得到的数据进行对数变换后，还可以通过伽马变换对数据中灰度过高或者灰度过低的数据进行修正，以增强数据的对比度，此外还可以通过分段线性变换，以增强数据中各部分的反差。
[0122]
通过将预处理后的第二图像输入到ssd物体检测框架中，使ssd物体检测框架的骨干网络对第二图像进行特征提取，并使用固定框进行回归区域生成，利用了多层特征信息，在模型的训练速度与检测精度上都有了较大提升。
[0123]
本实施例通过利用均值模板对第一图像进行卷积运算，对卷积运算后得到的数据进行对数变换，使得预处理后的得到的第二图像噪声更低、更加平滑，并且减小了光线变化对渔网检测的影响，提高了训练的速度和检测的精度。
[0124]
在一个实施例中，在渔网检测模型训练好之后，还可以获取包含有渔网的图像数据；将图像数据输入至渔网检测模型，得到渔网检测模型输出的渔网信息。
[0125]
其中，图像数据指用数值表示的各像素的灰度值的集合，具有无接触、远距离、信息量丰富、硬件成本较低的特点，被广泛的应用在各行各业中。渔网信息可以包括渔网区域的类型信息和渔网区域的位置信息。
[0126]
具体地，包含有渔网的图像数据可以通过多种方式获取，在一个示例中，可以在无人机上可以安装图像采集设备(例如，可见光成像设备)，图像采集设备在无人机的飞行线路上拍摄包含有渔网的图像数据，并将该图像数据存储至终端。在另一个示例中，无人机上可以安装图像采集设备和图传设备，图像采集设备在无人机的飞行线路上拍摄包含有渔网的图像数据，图传设备将该图像数据传输至服务器，终端从服务器获取该图像数据。
[0127]
在具体实现中，终端可以是安装在无人机上的嵌入式设备，在渔网检测模型生成后，可以将渔网检测模型烧入到嵌入式设备中。图像采集设备在无人机的飞行线路上拍摄包含有渔网的图像数据，并将该图像数据存储至嵌入式设备，嵌入式设备接收该图像数据，获得包含有渔网的图像数据后，利用渔网检测模型对该图像数据进行预测，得到渔网信息。这样就可以实现无人机在航运巡检过程中实时分析出当前场景中存在的渔网区域的类别及出现在场景中的位置。
[0128]
当然，在检测出渔网信息后，还可以根据渔网信息判断渔网到船只的距离，当渔网与船只的距离到达预设值时，判定船只存在危险，并向存在危险的船只输出预警信息。
[0129]
应当理解的是，计算机视觉技术在船舶航运生产巡视管理中的应用主要集中在以下几个方面：1、通过使用无人机调查取证和应急反应，可以保证反应的快速性和调查的及时性对肇事逃逸船舶进行识别追踪防止肇事船舶逃逸；2、利用无人机搭载摄像头进行船舶超载检查；3、利用无人机搭载热成像对船舶配员人数进行检查；4、利用机载的摄像、摄影设备还可记录保存证据便于调查处理。5、利用无人机对船舶交通秩序进行组织疏导。也就是说，目前通过无人机通常只需要获取数据，并将该数据作为证据使用，并未对该数据进行进一步的检测分析，更未将其应用于船舶航行的危险预警中。
[0130]
本实施例通过获取包含有渔网的图像数据；将图像数据输入至渔网检测模型，得到渔网检测模型输出的渔网信息，实现了渔网检测模型在船舶航行中的应用，扩展了渔网检测模型的应用场景。
[0131]
图4为另一个实施例中渔网检测模型的训练方法的流程示意图，如图4所示，渔网检测模型的训练方法包括以下步骤：
[0132]
步骤401，获取样本图像；
[0133]
步骤402，对样本图像中的渔网进行标注，得到第一图像；
[0134]
步骤403，对第一图像进行预处理，得到第二图像；
[0135]
步骤404，将第二图像进行小波变换，得到多个光谱特征图；
[0136]
步骤405，将第二图像和多个光谱特征图输入到ssd检测框架中进行训练，得到渔网检测模型；
[0137]
步骤406，获取包含有渔网的图像数据；
[0138]
步骤407，将图像数据输入至渔网检测模型，得到渔网检测模型输出的渔网信息。
[0139]
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0140]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的渔网检测模型的训练方法的渔网检测模型的训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个渔网检测模型的训练装置实施例中的具体限定可以参见上文中对于渔网检测模型的训练方法的限定，在此不再赘述。
[0141]
在一个实施例中，如图5所示，提供了一种渔网检测模型的训练装置，包括：样本获取模块502、图像标注模块504、预处理模块506、小波变换模块508和模型训练模块510，其中：
[0142]
样本获取模块502，用于获取样本图像；
[0143]
图像标注模块504，用于对样本图像中的渔网进行标注，得到第一图像；
[0144]
预处理模块506，用于对第一图像进行预处理，得到第二图像；
[0145]
小波变换模块508，用于将第二图像进行小波变换，得到光谱特征图；
[0146]
模型训练模块510，用于将第二图像和光谱特征图输入到ssd检测框架中进行训练，得到渔网检测模型。
[0147]
在一个实施例中，小波变换模块508，还用于利用haar小波将第二图像进行三层分解，依次得到第一光谱特征图、第二光谱特征图和第三光谱特征图。
[0148]
在一个实施例中，模型训练模块510，还用于将第二图像输入至vgg网络中进行卷积特征提取和池化，得到第一特征图；将第一特征图和第一光谱特征图进行合并，得到第二特征图；将第二特征图进行卷积特征提取和池化，得到第三特征图；将第三特征图和第二光谱特征图进行合并，得到第四特征图；将第四特征图进行卷积特征提取和池化，得到第五特
征图；将第五特征图和第三光谱特征图进行合并，得到第六特征图；利用第六特征图进行训练。
[0149]
在一个实施例中，预处理模块506，还用于确定第一图像的颜色分布信息；根据颜色分布信息对第一图像进行标准化处理。
[0150]
在一个实施例中，预处理模块506，还用于利用均值模板对第一图像进行卷积运算；对卷积运算后得到的数据进行对数变换，得到第二图像。
[0151]
在一个实施例中，渔网检测模型的训练装置还包括模型预测模块(图未示)，用于获取包含有渔网的图像数据；将图像数据输入至渔网检测模型，得到渔网检测模型输出的渔网信息。
[0152]
上述渔网检测模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0153]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种渔网检测模型的训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0154]
本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0155]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0156]
获取样本图像；
[0157]
对样本图像中的渔网进行标注，得到第一图像；
[0158]
对第一图像进行预处理，得到第二图像；
[0159]
将第二图像进行小波变换，得到多个光谱特征图；
[0160]
将第二图像和多个光谱特征图输入到ssd检测框架中进行训练，得到渔网检测模型。
[0161]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0162]
利用haar小波将第二图像进行三层分解，依次得到第一光谱特征图、第二光谱特征图和第三光谱特征图。
[0163]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0164]
将第二图像输入至vgg网络中进行卷积特征提取和池化，得到第一特征图；将第一
特征图和第一光谱特征图进行合并，得到第二特征图；将第二特征图进行卷积特征提取和池化，得到第三特征图；将第三特征图和第二光谱特征图进行合并，得到第四特征图；将第四特征图进行卷积特征提取和池化，得到第五特征图；将第五特征图和第三光谱特征图进行合并，得到第六特征图；利用第六特征图进行训练。
[0165]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0166]
确定第一图像的颜色分布信息；根据颜色分布信息对第一图像进行标准化处理。
[0167]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0168]
利用均值模板对第一图像进行卷积运算；对卷积运算后得到的数据进行对数变换，得到第二图像。
[0169]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0170]
获取包含有渔网的图像数据；将图像数据输入至渔网检测模型，得到渔网检测模型输出的渔网信息。
[0171]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0172]
获取样本图像；
[0173]
对样本图像中的渔网进行标注，得到第一图像；
[0174]
对第一图像进行预处理，得到第二图像；
[0175]
将第二图像进行小波变换，得到多个光谱特征图；
[0176]
将第二图像和多个光谱特征图输入到ssd检测框架中进行训练，得到渔网检测模型。
[0177]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0178]
利用haar小波将第二图像进行三层分解，依次得到第一光谱特征图、第二光谱特征图和第三光谱特征图。
[0179]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0180]
将第二图像输入至vgg网络中进行卷积特征提取和池化，得到第一特征图；将第一特征图和第一光谱特征图进行合并，得到第二特征图；将第二特征图进行卷积特征提取和池化，得到第三特征图；将第三特征图和第二光谱特征图进行合并，得到第四特征图；将第四特征图进行卷积特征提取和池化，得到第五特征图；将第五特征图和第三光谱特征图进行合并，得到第六特征图；利用第六特征图进行训练。
[0181]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0182]
确定第一图像的颜色分布信息；根据颜色分布信息对第一图像进行标准化处理。
[0183]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0184]
利用均值模板对第一图像进行卷积运算；对卷积运算后得到的数据进行对数变换，得到第二图像。
[0185]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0186]
获取包含有渔网的图像数据；将图像数据输入至渔网检测模型，得到渔网检测模型输出的渔网信息。
[0187]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0188]
获取样本图像；
[0189]
对样本图像中的渔网进行标注，得到第一图像；
[0190]
对第一图像进行预处理，得到第二图像；
[0191]
将第二图像进行小波变换，得到多个光谱特征图；
[0192]
将第二图像和多个光谱特征图输入到ssd检测框架中进行训练，得到渔网检测模型。
[0193]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0194]
利用haar小波将第二图像进行三层分解，依次得到第一光谱特征图、第二光谱特征图和第三光谱特征图。
[0195]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0196]
将第二图像输入至vgg网络中进行卷积特征提取和池化，得到第一特征图；将第一特征图和第一光谱特征图进行合并，得到第二特征图；将第二特征图进行卷积特征提取和池化，得到第三特征图；将第三特征图和第二光谱特征图进行合并，得到第四特征图；将第四特征图进行卷积特征提取和池化，得到第五特征图；将第五特征图和第三光谱特征图进行合并，得到第六特征图；利用第六特征图进行训练。
[0197]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0198]
确定第一图像的颜色分布信息；根据颜色分布信息对第一图像进行标准化处理。
[0199]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0200]
利用均值模板对第一图像进行卷积运算；对卷积运算后得到的数据进行对数变换，得到第二图像。
[0201]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0202]
获取包含有渔网的图像数据；将图像数据输入至渔网检测模型，得到渔网检测模型输出的渔网信息。
[0203]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
[0204]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive randomaccess memory，mram)、铁电存储器(ferroelectric randomaccess memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(randomaccess memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static randomaccess memory，sram)或动态随机存取存储器(dynamic randomaccess memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。
本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0205]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0206]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。