基于双流残差卷积神经网络的鱼类摄食强度评估方法

技术特征：
1.基于双流残差卷积神经网络的鱼类摄食强度评估方法，其特征在于包括如下步骤：步骤1、使用视频采集装置采集鱼类摄食视频；步骤2、对采集的视频进行处理，获得鱼类摄食的空间位置图及其对应的光流图，将鱼类摄食强度分类为若干等级，将所采集的图像按照所述鱼类摄食强度分类构建鱼类摄食强度数据集，其中每个等级的摄食强度数据包含空间位置图及其对应的光流图，并将该数据集划分为训练集和测试集；步骤3、搭建双流残差卷积神经网络模型，包括空间流和时间流resnet50网络，每个resnet50网络包含49层卷积层，该空间流和时间流resnet50网络在两特征层进行融合后，连接至一个平均池化层，该平均池化层输出至用于鱼类摄食强度分类的全连接层，该全连接层包含的神经元数量与所需分类的类别数一致；步骤4、利用训练集训练步骤3所搭建的双流残差卷积神经网络模型，然后利用测试集测试训练好的模型，在验证双流残差卷积神经网络有效后，得到用于对鱼类摄食强度进行分类和评估双流残差卷积神经网络模型；步骤5、将鱼类摄食的空间位置图及其对应的光流图分别输入空间流和时间流resnet50网络，用于分别提取鱼类摄食行为的空间和时间特征，将该空间流和时间流resnet50网络输出的特征在特征层进行融合，最后通过平均池化层和全连接层进行类别预测。2.根据权利要求1所述的基于双流残差卷积神经网络的鱼类摄食强度评估方法，其特征在于：使用farneback稠密光流算法对采集的视频进行处理，获得鱼类摄食的空间位置图及其对应的光流图，利用一个扩展多项式近似表示每个像素点的邻域值：f(x)＝x
t
ax b
t
x c式中：a为对称矩阵，b为向量，c为标量；将前一帧鱼类摄食图像表示为：f1(x)＝x
t
a1x b
1t
x c1那么下一帧鱼类摄食图像在全局位移量d后变为：f2(x)＝f1(x-d)＝(x-d)
t
a1(x-d) b
1t
(x-d) c1＝x
t
a1x (b
1-2a1d)
t
x d
t
a1d-b
1t
d c1＝x
t
a2x b
2t
x c2利用相邻帧间亮度值恒定不变原理，使得f1(x)和f2(x)对应项系数相等，得到以下等式：a2＝a1,b2＝b
1-2a1d,c2＝d
t
a1d-b
1t
d c1若式中a1为非奇异矩阵，则解出全局位移量d：在计算得到稠密光流场之后，通过使用孟赛尔颜色系统对其进行上色，将该稠密光流场可视化为光流图像，从而得到该鱼类摄食的空间位置图及其对应的光流图。3.根据权利要求1所述的基于双流残差卷积神经网络的鱼类摄食强度评估方法，其特
征在于：所述鱼类摄食强度分类为强、较强、正常、较弱和弱5个等级。4.根据权利要求1所述的基于双流残差卷积神经网络的鱼类摄食强度评估方法，其特征在于：所述的resnet50网络的卷积层包括5个卷积模块，其中第一卷积模块包含一个7
×
7的卷积层，在其之后连接一个最大池化层；而后四个卷积模块由多个残差结构堆叠而成，每个残差结构由三层卷积层组成，卷积核大小分别为1
×
1、3
×
3以及1
×
1，第二卷积模块至第五卷积模块包含的残差结构数量分别3个、4个、6个以及3个，第二卷积模块至第五卷积模块输出的特征图维度分别为256维、512维、1024维以及2048维；在第五卷积模块后连接平均池化层。5.根据权利要求1或4所述的任意一种基于双流残差卷积神经网络的鱼类摄食强度评估方法，其特征在于：在空间流和时间流resnet50网络的最后一个卷积模块之后在特征层进行融合，将两个通道数为2048的特征层在相同的空间位置上进行拼接，融合得到的通道数为4096特征层。6.根据权利要求1或4所述的任意一种基于双流残差卷积神经网络的鱼类摄食强度评估方法，其特征在于：所述双流残差卷积神经网络采用如下所示的损失函数：式中：m表示样本数量，n表示分类类别数，yic表示第i个样本的真实概率，pic表示第i个样本的预测概率。7.一种计算机设备，包括处理器和存储器，存储器中存储有计算机程序，其特征在于：该计算机程序被处理器执行时以实现权利要求1-6所述的任意一种基于双流残差卷积神经网络的鱼类摄食强度评估方法。8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：计算机程序被处理器执行时实现权利要求1-6所述的任意一种基于双流残差卷积神经网络的鱼类摄食强度评估方法。

技术总结
本发明基于双流残差卷积神经网络的鱼类摄食强度评估方法，对采集的视频进行处理，获得鱼类摄食的空间位置图及其对应的光流图，将鱼类摄食强度分类为若干等级，搭建双流残差卷积神经网络模型，包括空间流和时间流ResNet50网络，将鱼类摄食的空间位置图及其对应的光流图分别输入空间流和时间流ResNet50网络，用于分别提取鱼类摄食行为的空间和时间特征，将该空间流和时间流ResNet50网络输出的特征在特征层进行融合，最后通过平均池化层和全连接层进行类别预测。本发明提取了鱼类摄食行为的时空信息间的关联特征，从而提高了对鱼类摄食强度的评估准确率。度的评估准确率。度的评估准确率。


技术研发人员：江兴龙 李凯
受保护的技术使用者：集美大学
技术研发日：2022.12.15
技术公布日：2023/3/10