一种日本鲭捕捞渔船行为提取方法与流程

1.本发明涉及渔船行为分析技术领域，特别是涉及一种日本鲭捕捞渔船行为提取方法。


背景技术：

2.随着近海渔业资源的过度捕捞，远洋渔业受到的关注逐年增高。自1985年以来，我国远洋渔业得到了迅猛发展，但是由于发展时间较短，我国在远洋渔业上依然有渔船装备差、捕捞技术落后、存在潜在安全隐患或不规范作业行为等问题。近年来，对渔船作业过程的监控受到越来越多的关注，为提高渔业船舶管理效能、规范渔船作业过程，国内外提出了多种渔船监控措施。对作业渔船捕捞过程进行监控，不仅能够在科学的角度推动渔业发展，还对渔业船舶管理、安全生产、生态保护及实行国际履约等具有显著的实际意义。
3.由于监控的目的不同，监控的手段也存在一定的差异。目前，国内的渔业船舶管理主要依赖于基于卫星定位技术的船舶监控系统(vessel monitoring system,vms)。由于vms 中包括船舶经纬度、航速、航向等数据，相关学者已经基于vms数据对船舶轨迹展开了详尽的研究。部分试验渔船将传统人类观察员与电子监控系统(electric monitoring system, ems)结合，试图以更加直观、客观的方式对捕捞渔船进行监控和信息提取。一些新兴技术在电子监控系统中的应用也被逐渐受到相关领域学者的重视。数据处理是电子监控系统最有潜力的发展方向之一。适当的数据处理方法可以从电子监控系统中提取出更多有效信息。目前相关电子监控系统数据多用于渔获物分类及渔获量检测，基于电子监控系统的渔船行为识别处理方法研究较少。


技术实现要素：

4.本发明所要解决的技术问题是提供一种日本鲭捕捞渔船行为提取方法，能够利用电子监控系统数据对捕捞渔船的行为进行有效提取。
5.本发明解决其技术问题所采用的技术方案是：提供一种日本鲭捕捞渔船行为提取方法，包括以下步骤：
6.(1)获取捕捞渔船的ems视频数据连续的n帧图像；
7.(2)对所述n帧图像进行拼接，得到拼接图像；
8.(3)将所述拼接图像输入至训练好的识别模型中，得到所述捕捞渔船的行为；所述识别模型包括特征提取层和全连接层；所述特征提取层用于从所述拼接图中提取出特征图；所述全连接层用于将所述特征图映射捕捞渔船的行为。
9.所述特征提取层包括卷积神经网络，所述卷积神经网络由多个卷积模块串联而成，所述多个卷积模块用于对输入的拼接图像的尺寸进行压缩，并提取出特征层。
10.所述卷积模块为3个或8个；每个卷积模块包括依次连接的一个卷积层、一个批标准化bn层和一个线性修正单元relu激活层。
11.所述特征提取层还包括lstm模块，所述lstm模块的输入端与所述卷积神经网络的
秒；硬盘机型号为海康威视ds-7808hgh-f1/m，视频压缩标准h.264/smart264，频输入 8路bnc接口，本专利共采集ems数据4000gb用于试验。每组ems配有7组摄像头，各摄像头安装在船体的位置及用途如表1所示。本实施例主要用于监控和提取日本鲭渔船的捕捞行为，因此只使用到7组摄像头中的2、6、7三组。其中2号摄像头拍摄船首绞车区域，用于检测绞车状态及船舶整体状态。6号摄像头拍摄船舱内工作区域，用于监控进鱼情况。7号摄像头拍摄船舱内进仓区域，用于监控船员整理鱼箱、渔获装箱等操作，其与6号摄像头存在部分重叠区域，可相互验证。
33.表1欣海日本鲭捕捞船ems摄像头信息
[0034][0035]
欣海1208渔船主要捕捞对象为日本鲭，副渔获物包括沙丁鱼等。捕捞方式为灯光罩网捕捞，即通过灯光诱捕。因此，其工作时间主要集中在夜间。根据作业过程中船舱外状态(2号摄像头)，可以将日本鲭捕捞渔船行为区分为航行、放网、等待、收网，根据船舱内状态(6、7号摄像头)，可以将捕捞行为具体划分为待进鱼、整理鱼箱、进鱼、拣鱼、转载等。因此，可以从ems数据中提取出渔船的上述9种行为。“航行”行为下，网具下放端一般固定在船位吊钩上，渔船航行寻找适当的放网地点，此行为下，一般还会有较明显的水花。“放网”行为下，绞车朝网具下放的方向转动，网具逐渐进入海中准备作业，整个放网过程约需要15分钟。“等待”行为下，网具下放全部完成(绞车上无网具或缠绕较少的网具)，等待灯光诱捕，该行为单次持续时间约为4小时。“收网”行为下，绞车朝网具回收方向转动。“待进鱼”行为下，船舱进鱼室内工作区无渔获。“整理鱼箱”行为下，船员在进鱼室整理用于装载渔获的鱼箱，为装箱做准备。“进鱼”行为下，吸鱼泵将渔获吸入进鱼室。“拣鱼”行为下，船员将进鱼室的渔获装载进鱼箱中，等待传送进速冻室。“转载”行为下，船员将装载完成的渔获放入传动网内，吊出船舱，运送到转载船中。上述各个行为的ems数据记录如图2所示。
[0036]
2.数据预处理
[0037]
图2显示，在9种渔船行为中，放网、收网等行为在ems中的体现具有高度相似性，甚至人眼无法根据一张静止的图片准确区分放网、收网行为。因此，在对图片进行训练之前，先对数据样本做预处理：将同一种渔船行为的100个连续样本做横向拼接，拼接后的图像作为一个训练样本，如图3所示。
[0038]
在图3中，每个数据样本都包括100张连续的ems图像，即图中省略号省略了97张连续的图像。为了保持模型的统一性，将所有样本均按照上述预处理流程做预处理。完成预处理后，单个样本中除了包含原有的数据特征外，还将连续图像之间的关系特征体现在样本中。例如，放网、收网行为的区别主要在于绞车转动方向、网具转动方向等动态特征，经过该预处理后，转动方向等动态数据包括在样本中，有利于模型做特征提取及行为分类。
[0039]
所有数据预处理结束后，按照4:1将其划分为训练集和验证集。为了使各个渔船行
为的样本数量尽可能接近，数据处理过程中对部分样本量较大的渔船行为样本做对应删减，处理后训练集、验证集中各渔船行为样本数量如图4和图5所示。
[0040]
训练集中各渔船行为的样本数据均保持在2000段(20万张图像)左右，其中放网行为的数据样本量最小，为2008段数据样本，拣鱼行为的数据样本量最大，为2343段样本。验证集中各渔船行为的样本数量均保持在500段左右，其中待进鱼行为的数据样本小最小，为508段样本，转载行为的数据样本量最大，为581段样本。
[0041]
3.cnn模型设计
[0042]
相较于全连接神经网络，卷积神经网络在图像处理中的综合性能十分突出。卷积神经网络规避了全连接神经网络易丢失空间信息、参数过多、训练效率低下等弊端。在本实施例中，数据经过上述预处理后，形成了一个256
×
25600
×
3的输入样本。由于该输入样本由100张图像拼接而成，其在卷积神经网络任务中属于尺寸较大的输入样本。因此，本实施例设计的卷积神经网络通过多个卷积模块将输入样本尺寸进行压缩，最终提取出高度为 1，宽度为1，深度为1000的特征层，将特征层与9种渔船行为做全连接。如图6所示，每个卷积模块包括一个卷积层、一个batch normalization(bn)层，一个线性修正单元relu 激活层。
[0043]
本实施例首先设计出一个3层卷积神经网络，输入样本(高度为256，宽度为25600，深度为3)，经过三层卷积后，提取出深度为1000(高度、宽度均为1)的特征图，该特征图经过全连接层，映射到9种渔船行为，如图7所示。三次卷积操作中的参数如表2。
[0044]
为提高信息提取精度，验证卷积次数对分类效果的影响，本实施例还设计了8层卷积神经网络做平行试验。8层卷积神经网络的输入尺寸、最终特征图尺寸与3层卷积神经网络相同，但是其网络结构中包含8个卷积模块。8层卷积神经网络结构如图8所示。各卷积模块参数及其与3层卷积神经网络卷积模块参数对比如表2
[0045]
表2两组卷积神经网络各层参数对比
[0046][0047]
4.lstm网络设计
[0048]
长短期记忆(long short term memory,lstm)是一种特殊的循环神经网络，lstm解决了循环神经网络长序列训练过程中出现的梯度消失和梯度爆炸问题。相较于传统循环神经网络的单个状态传递，lstm在传统循环神经网络的基础上加入了新的传递状态：细胞状态(cell state)。lstm模块中包含遗忘门(forget gate)、输入门(input gate)及输出门(outputgate)三个重要处理单元，其结构如图9所示。其中，遗忘门主要负责前置节点细胞状态(图9中c
t-1
)的选择性遗忘；输入门负责对当前节点输入(图9中x)的选择性记忆；输出门负责当前节点输出的决定。
[0049]
本实施例中输入样本由100个连续的图像拼接而成，且各个图像之间具有先后关系，即输入样本具有长序列的相似特性。因此，本实施例在卷积神经网络的基础上，加入lstm 模块，验证lstm模块在该网络中的训练效果。以3层卷积神经网络为例，经过3层卷积神经网络后，将提取出的特征图作为lstm模块的输入，该lstm种包含20个隐藏层，加入lstm模块后的3层卷积神经网络(3-layer cnn with lstm)如图10所示。
[0050]
8层卷积lstm(8-layer cnn with lstm)网络与图10中结构类似，即完成8层卷积操作，提取出特征图后，将特征图作为lstm模块的输入，该lstm模块中仍包含20个隐藏层。为观察lstm模块对网络的影响，3-layer cnn with lstm网络的卷积参数与3层卷积神经网络完全相同，8-layer cnn with lstm网络的卷积参数与8层卷积神经网络完全相同。由于在上述预处理流程中，将ems数据的连续帧拼接后，数据样本具有了序列特征，因此，加入lstm模块后能够提取出不定长度的序列特征，在识别收网、放网等序列相关的行为中有更强大的表现
[0051]
5.训练过程中参数变化结果
[0052]
在深度神经网络领域，常使用精确率precision、召回率recall，f1综合评价指标 f1-score及损失函数loss表示某网络的应用效果。精确率体现模型对目标特征提取的准确性，召回率体现模型对目标特征的查全能力，综合评价指标由精确率和召回率计算得到，是precision和recall值的综合体现。损失函数体现模型预测分布与标记真实分布之间的误差，在深度神经网络领域常用的损失函数有0-1损失函数(zero-one loss)、指数损失函数 (exponential loss)、感知损失函数(perceptron loss)、交叉熵损失函数(cross-entropy loss)等。为了消除隐单元的指数带来的饱和效果，本实施例选择更具有一般性的交叉熵损失函数作为评价模型预测效果的损失函数。
[0053]
在训练过程中的参数变化结果显示，8层卷积神经网络对日本鲭渔船行为的综合识别效果显著高于3层卷积神经网络。lstm模块的加入对3层卷积神经网络在收敛速度、预测效果等方面均有显著提升。由于8层卷积神经网络在该渔船行为识别任务中已经有较为出色的表现(在10个epoch之内达到95％以上训练集精度)，lstm模块对8层卷积神经网络的提升效果较3层卷积神经网络不明显，但仍有一定程度的提升效果。在100轮次的训练中，各个参数的变化过程如图11所示。
[0054]
图11显示，3层卷积神经网络在训练数据中的精确率、召回率、综合评价指标均能达到0.85以上，其中不带有lstm的综合评价指标最高达到0.8925，带有lstm的3层卷积神经网络综合评价指标最高达到0.9256。8层卷积神经网络在训练数据中的精确率、召回率、综合评价指标均能达到0.9以上，其中不带有lstm的8层卷积神经网络综合评价指标最高达到0.9979，带有lstm的8层卷积神经网络综合评价指标最高达到0.9998。各组试验除模型参数外，各超参数完全相同，对各实验组训练100轮次的时间进行统计，结果如下：3层卷积神经网络耗时23小时1分钟41秒，带有lstm模块的3层卷积神经网络耗时23小时10分钟15秒，8层卷积神经网络耗时29小时37分钟28秒，带有lstm 模块的8层卷积神经网络耗时31小时11分钟1秒。因此，卷积层数的增加对模型的训练速度有明显的影响，卷积层数越多，模型越复杂，训练时长越长。lstm模块的加入增加了模型的复杂度，训练耗时也有相应的增长，但是增长幅度较小。四组试验得到的模型大小也存在较大差异，3层卷积神经网络、带有lstm的3层卷积神经网络、8层卷积神经网络、带有lstm的8层卷积神经网络训练得到的模型大小分
别为2.14mb、2.19mb、 137.43mb、137.53mb，即随着卷积层数的增加，训练效果能达到显著提升，但训练耗时会相应增长，得到的模型面积也会相应增大，而lstm模块的加入会在明显改善训练效果的同时小幅度增加模型大小。因此，带有lstm的3层卷积神经网络属于较轻量级的网络，适合应用于精度要求较低的环境下，带有lstm的8层卷积神经网络精度高，适合应用与算力充足的环境下。经过训练后，得到的模型即是本实施方式中的识别模型。
[0055]
6.验证集结果
[0056]
各组试验得到的模型在验证集中的验证效果优劣排名与其在训练集中的结果完全相同，即带有lstm模块的8层卷积神经网络训练得到的模型验证效果最优，基础3层卷积神经网络训练得到的模型验证效果较差。卷积层数的增加对各个参数均有明显的提升效果，lstm模块的加入对模型性能产生一定程度的提升。在未参与训练的4792组数据中，带有lstm模块的8层卷积神经网络模型精确率、召回率、综合评价指标均超过97％，未带有lstm模块的8层卷积神经网络模型精确率、召回率、综合评价指标均超过96％，3 层卷积神经网络模型精确率、召回率、综合评价指标均超过79％，但带有lstm模块的3 层神经网络模型略高于未带有lstm模块的3层神经网络模型。具体参数对比如图12所示。
[0057]
为了进一步比较各模型在验证集中的表现及其在日本鲭捕捞渔船行为识别中的应用可行性，对各个模型在验证集中的检测速度做对比。对比结果显示，在超算试验环境下3 层卷积神经网络模型平均每次检测需要34.66ms，带有lstm模块的3层卷积神经网络模型平均每次检测需要34.50ms，8层卷积神经网络模型平均每次检测需要37.41ms，带有 lstm模块的8层卷积神经网络模型平均每次检测需要37.61ms。上述各检测时间均包括数据加载时间。
[0058]
实验室环境下的测试机器配备有2块nvidiatesla v10032gb高性能gpu处理器，属于高性能计算机。为研究本实施例中提出的各网络模型在实际渔船业务化生产中的应用可行性，对各个网络模型在三种不同配置的计算机中分别进行检测效率测试，测试结果如表3所示。表3中，pc1即为实验室环境中配有nvidiatesla v10032gb高性能gpu的超级计算机设备，pc2为配有nvidiaquadro rtx 30006gb gpu的小型移动工作站，pc3 为配有nvidiageforce gtx 1050ti 4gb gpu的个人笔记本电脑。由于各机器显存大小不同，表3中pc1、pc2、pc3的批大小不一致，分别为32、4、2。当数据量较少时，平均每次检测的耗时有明显的增加，推测出现该现象是由于每次检测需要一定的模型加载时间，数据量较少时，模型加载时间占总检测时间的比重较高，从而影响了平均每次检测耗时数据。
[0059]
表3各网络模型检测效率对比
[0060][0061]
不难发现，本发明将卷积神经网络与长短期记忆模块构建的识别模型应用在传统电子监控系统数据中，通过该识别模型能够对捕捞渔船的9种行为进行有效提取，试验结果显示该识别模型在电子监控系统高实时性、高精度场景下均有较大的应用前景，能够提高电子监控系统自动化程度，提高相关部门的管理效率。