一种中华绒螯蟹头胸甲特征点识别的方法与流程

1.本发明涉及深度学习技术在渔业中的应用领域，特别是涉及一种中华绒螯蟹头胸甲特征点识别的方法。


背景技术：

2.中华绒螯蟹，一种节肢动物门、甲壳纲、十足目、爬行亚目、绒螯蟹属的生物，因其独特美妙的口感而持续受到市场青睐。早在20世纪初，中华绒螯蟹开始从中国引入德国。随后，在1920-1930年代，中华绒螯蟹数量激增，其分布范围迅速扩大到许多北欧河流和河口。1992年，旧金山湾南部的商业虾拖网渔船在西海岸收集了第一批中华绒螯蟹。中华绒螯蟹已经成为世界各地的菜品，具有很大的经济价值和潜力。在中国，根据生长环境，中华绒螯蟹被分为长江种群、辽河种群、瓯江种群、黄河种群等多个种群。为了研究绒螯蟹的各种属性在形态上的体现，各领域学者对螃蟹的形态学展开了较为充分的研究。但是尚未形成方便快捷，方便批量操作的分类方法。基于特征点检测的计算机图像识别技术上可为该问题的解决提供新的技术路径。
3.特征点检测是计算机视觉中的重要研究分支。特征点检测目前已经广泛应用到目标匹配、目标跟踪、三维重建等领域中。传统特征点检测常用角点等作为重要的点特征，应用较广泛的特征点检测算法包括harris角点检测和sift特征检测等。而随着深度学习的发展，基于神经网络的特征点检测方法逐渐成为特征点检测的主流方法之一。目前，基于神经网络的特征点检测方法主要分成全连接回归法和高斯heatmap回归法。全连接回归法通常在卷积神经网络的最后加入一个全连接层，将特征图映射到坐标点。直观性是全连接回归方法一个显著的优点，全连接层可以将全局特征直接连接到特征点的坐标。但是，全连接回归方法会极大损害网络的空间泛化能力。一种极端的情况是，当训练数据中所有的螃蟹都在图像的左上角，reshape成为一维特征向量后，全连接层的激活权重主要集中在一维向量的前半部分。用该网络测试一张螃蟹位于右下角的图片，很难取得很好的效果。因此，全连接回归方式过于依赖训练数据的分布，较容易造成过拟合。高斯热图回归法是目前人体姿态估计领域的主要方法，高斯热图的特征图较大，空间泛化能力较强。同时，高斯热图也存在内存占用高、训练和推理速度慢等问题，这种方式的梯度流也不是端到端的。


技术实现要素：

4.本发明所要解决的技术问题是提供一种中华绒螯蟹头胸甲特征点识别的方法，能够通过手机拍摄的中华绒螯蟹头胸甲照片，快速计算出中华绒螯蟹头胸甲的37个特征点坐标并进行标注。
5.本发明是通过以下技术方案实现的：
6.一种中华绒螯蟹头胸甲特征点识别的方法，具体包括以下步骤：
7.(1)使用手机对采集到的中华绒螯蟹样本进行拍照，通过迁移学习使用通用目标检测模型对中华绒螯蟹头胸甲部分进行裁剪，对剪裁后的数据进行增强；
8.(2)设计一种37点的中华绒螯蟹，使用37个特征点定位中华绒螯蟹的头胸甲轮廓；
9.(3)基于该37点特征点定位方法对图片进行标注，标注文件以xml格式存储；
10.(4)设计端对端可微分卷积神经网络，将增强后的图像输入网络进行训练，直到训练参数收敛；
11.(5)保存训练好的模型，输入新的头胸甲图片，程序自动完成特征点热力图的生成以及特征点的标注。
12.作为优选实施例，所述步骤(1)中拍摄手机在螃蟹的正上方，左右或前后倾斜的角度尽量控制在10
°
以内以保证所有的特征点均被拍摄到，拍摄过程经历从早上9点到傍晚6点的自然光。
13.作为优选实施例，所述步骤(1)中的数据增强采用了随机遮挡、随机旋转、随机亮度对比度等多种增强方案随机组合的数据增强方式。
14.作为优选实施例，所述步骤(1)中的数据增强的同时计算出对应变换后的标签文件，不需要手动再次标注。
15.作为优选实施例，所述步骤(2)中的37点定位法遵守以下规定，37点定位方法对于头胸甲的12个齿(4个额齿、4个左侧前齿以及4个右侧前齿)，每个齿使用起点、齿峰、终点三个特征点定位，相邻的两个齿之间共用一个特征点，后边缘使用3个特征点做定位，m形颈沟则由7个特征点定位。
16.作为优选实施例，所述步骤(3)标注的文件以树状结构存储在xml文件中，每张图片使用《image》标签确定，《image》标签的file属性为文件名，《image》标签下的《label》标签存储中华绒螯蟹编号，每个《part》标签存储一个特征点，在part标签中，name、x、y三个属性分别表示特征点的编号、水平偏移量、垂直偏移量。
17.作为优选实施例，所述步骤(4)中所述的设计端对端可微分卷积神经网络包括以下子步骤：
18.(41)设计包含7个卷积模块的全卷积神经网络，在该全卷积神经网络中使用全局深度卷积(gdconv)替代传统的全局平均池化操作，gdconv的计算过程为gm＝∑k
i，j，m
·fi，j，m
，f是gdconv层的输入，k是卷积核，g是gdconv层的输出，若f的大小为w
×h×
m，则k的尺寸也是w
×h×
m，g的尺寸是1
×1×
m；
19.(42)经过全卷积神经网络后，对各通道进行softmax归一化z
′
i，j
＝exp(z
i，j
)，定义出x、t矩阵，其中定义出x、t矩阵，其中计算推理的的坐标(x,y),x＝《z
′
，x》f,y＝《z
′
，y》f，上述过程中m,n分别表示特征矩阵的宽度和高度，《a，b》f矩阵a、b中的对应元素相乘后相加的结果，最后，计算预测的特征点位置(x,y)与标签文件中坐标的loss值，并更新参数。
20.本发明的设计原理：首先提出一种37点中华绒螯蟹头胸甲定位法，即用37个特征点来表达一个头胸甲。其次，对拍摄的数据进行扭曲、旋转、遮挡等随机增强，在增大数据集的同时也从数据上提高了模型的泛化能力。将数据划分为训练集、验证集、测试集，训练集中的数据全部输入网络中进行训练。训练参数收敛后保存模型。最后使用测试集数据测试保存模型的效果，生成特征点热力图以及特征点标注图。
21.有益效果：与现有技术相比，本发明按照对输入数据的要求较低，中华绒螯蟹生产
线的各个环节中拍摄的头胸甲图片均可直接输入训练好的模型。与现有特征点定位方法相比，本发明大大提高了定位准确率以及定位速度，能够为中华绒螯蟹产业节约大量人力成本，同时本发明还显著降低了中华绒螯蟹养殖观测、质量检测等环节中的人工的工作量，并大大提高了工作效率。
附图说明
22.图1是本发明的流程图；
23.图2是本发明数据增强的流程图；
24.图3是本发明提出的中华绒螯蟹头胸甲37点定位法示意图；
25.图4是本发明数据增强效果图；
26.图5是本发明全卷积神经网络结构图；
27.图6是本发明测试效果图。
具体实施方式
28.下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
29.如图1、2所示，一种中华绒螯蟹头胸甲特征点识别的方法，具体包括以下步骤：使用手机对采集到的中华绒螯蟹样本进行拍照，通过迁移学习使用通用目标检测模型对中华绒螯蟹头胸甲部分进行裁剪，对剪裁后的数据进行增强。设计一种37点的中华绒螯蟹，使用37个特征点定位中华绒螯蟹的头胸甲轮廓。基于该37点特征点定位方法对图片进行标注，标注文件以xml格式存储。设计端对端可微分卷积神经网络，将增强后的图像输入网络进行训练，直到训练参数收敛。保存训练好的模型，输入新的头胸甲图片，程序自动完成特征点热力图的生成以及特征点的标注。
30.下面通过一个具体实施例来进一步说明本发明：
31.1、数据采集：
32.洪泽湖是中国第四大淡水湖，位于江苏省淮河下游(北纬33
°
06
′
—33
°
40
′
，东经118
°
10
′
—118
°
52
′
之间)，同时也是中华绒螯蟹的主要产地之一。本发明实例从洪泽湖采集了50只螃蟹，为每只螃蟹拍摄40-50张图像。拍摄设备为一加6t智能手机，包括主摄像头、副摄像头。主摄像头1600万像素，传感器为sony imx519，像素尺寸为1.22m，f/1.7大光圈。副摄像头2000万像素，传感器为sony imx376k，像素尺寸为1.0m，f/1.7大光圈。拍摄中手机在螃蟹的正上方，左右或前后倾斜的角度尽量控制在10
°
以内以保证所有的特征点均被拍摄到。本发明最终使用到了50只螃蟹的2300张图像。所有图像拍摄于同一天，无额外补光，但是拍摄过程经历了从早上9点到傍晚6点的自然光。
33.2、确定特征点定位方法：
34.中华绒螯蟹头胸甲前侧有4个额齿，左右两侧分别有4个侧齿，后缘则相对平整。中间有一个比较明显的m形颈沟。基于中华绒螯蟹头胸甲的上述特征，设计的37点特征点定位法如图3所示。
35.3、数据增强：
36.上述图像拍摄角度相对统一，拍摄时也刻意避免了大多数障碍物遮挡问题。然而在实际应用时，可能存在拍摄设备、拍摄环境、拍摄角度、障碍物等多方面的影响因素。因此，数据增强对本研究是有必要的。如图4所示，a、b、c三组图分别表示正常图像、较模糊的图像、角度偏差较大的图像。column 1表示原始图像，column 2表示经过随机高斯模糊处理后的图像，列3表示经过随机亮度、对比度处理的图像，列4表示经过随机旋转后的图像，列5表示经过随机遮挡后的图像，列6则表示经过各种数据增强方式随机组合后的图像。经过数据增强后，图片数据量为4600张。
37.4、设计神经网络模型：
38.首先设计出一个全卷积神经网络。在结构上，该全卷积神经网络与mobilenetv2的主要区别是将全局平均池化优化成global depthwise convolution(gdconv)。为每个位置增加了可以学习的权重。gdconv的计算方式如公式(1)所示。gdconv层的卷积核大小与输入维度的大小相同。
39.gm＝∑k
i，j，m
·fi，j，m
40.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
41.在公式(1)中，f是gdconv层的输入，k是卷积核，g是gdconv层的输出。若f的大小为w
×h×
m，则k的尺寸也是w
×h×
m，g的尺寸是1
×1×
m。本发明在设计网络时，还使用了分组卷积和倒残差模块，以达到减小计算量、快速下采样的作用。
42.整体网络设计如图5所示，图5中箭头后标注的是经过前面的模块后特征向量的尺寸。在每一个block中标注了部分重要的参数以及其包含的子block。图中的dw conv表示depthwise convolution操作。inverted res模块表示倒残差模块，inverted res模块中的dw_num参数表示该倒残差模块中的深度可分离卷积操作次数。conv模块中的groups表示分组卷积时的组数。经过全连接层后，特征向量为1
×
78。这是因为除了37个特征点外，包含了中华绒螯蟹的矩形框的左上角、右下角也被看做是两个特征点，39个点的二维坐标，共包括78个数字。
43.完成全卷积神经网络的设计后，本发明在全卷积神经网络后加入了深度可分离卷积模块，已达到可微分的效果。图片样本转化为尺寸为3
×
512
×
512的矩阵变量后，经过图5全卷积神经网络(但是不经过全连接层)，得到了一个尺寸为128
×
32
×
32的特征矩阵。在该特征矩阵的基础上再做一次卷积操作，使矩阵的尺寸变成39
×
32
×
32，39表示39个需要回归的特征点。将该特征矩阵(39
×
32
×
32)输入dsnt模块，得到输出z矩阵。使用softmax方法对z矩阵进行全局归一化，得到z’。定义出x、y两个与z维度相同的矩阵，并将其值标准化到-1至1之间。也就是将x、y两个维度上的坐标点转化到-1至1之间。z’分别对x、y矩阵做f范数(逐点相乘后相加)，得到各个通道下的x,y坐标预测值。最后，计算预测值与真实值之间的loss，并更新网络的参数。该方式下的推理过程如下：
[0044][0045]
5、训练模型：
[0046]
将增强后的数据输入神经网络模型进行训练。训练的环境为配有nvidia tesla v100 32gb高性能gpu、ubuntu 18.04的超级计算机设备。经过8.33小时，训练300轮次后，各参数收敛，保存训练后的模型。训练后的模型参数量0.84m，计算量8.34g，模型大小3.67mb。
[0047]
6、结果可视化：
[0048]
将测试数据输入保存的模型，得到中华绒螯蟹头胸甲特征点的热力分布图以及特征点标注图。热力图反映了头胸甲特征点的热力分布情况，特征点标注图则是计算出精确的坐标值，叠加标注在原始图像中。部分测试集的可视化结果如图6。
[0049]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。