一种中华绒螯蟹头胸甲特征点识别的方法与流程

技术特征：
1.一种中华绒螯蟹头胸甲特征点识别的方法，其特征在于，具体包括以下步骤：(1)使用手机对采集到的中华绒螯蟹样本进行拍照，通过迁移学习使用通用目标检测模型对中华绒螯蟹头胸甲部分进行裁剪，对剪裁后的数据进行增强；(2)设计一种37点的中华绒螯蟹，使用37个特征点定位中华绒螯蟹的头胸甲轮廓；(3)基于该37点特征点定位方法对图片进行标注，标注文件以xml格式存储；(4)设计端对端可微分卷积神经网络，将增强后的图像输入网络进行训练，直到训练参数收敛；(5)保存训练好的模型，输入新的头胸甲图片，程序自动完成特征点热力图的生成以及特征点的标注。2.根据权利要求1所述的一种中华绒螯蟹头胸甲特征点识别的方法，其特征在于，所述步骤(1)中拍摄手机在螃蟹的正上方，左右或前后倾斜的角度尽量控制在10
°
以内以保证所有的特征点均被拍摄到，拍摄过程经历从早上9点到傍晚6点的自然光。3.根据权利要求1所述的一种中华绒螯蟹头胸甲特征点识别的方法，其特征在于，所述步骤(1)中的数据增强采用了随机遮挡、随机旋转、随机亮度对比度等多种增强方案随机组合的数据增强方式。4.根据权利要求1所述的一种中华绒螯蟹头胸甲特征点识别的方法，其特征在于，所述步骤(1)中的数据增强的同时计算出对应变换后的标签文件，不需要手动再次标注。5.根据权利要求1所述的一种中华绒螯蟹头胸甲特征点识别的方法，其特征在于，所述步骤(2)中的37点定位法遵守以下规定，37点定位方法对于头胸甲的12个齿(4个额齿、4个左侧前齿以及4个右侧前齿)，每个齿使用起点、齿峰、终点三个特征点定位，相邻的两个齿之间共用一个特征点，后边缘使用3个特征点做定位，m形颈沟则由7个特征点定位。6.根据权利要求1所述的一种中华绒螯蟹头胸甲特征点识别的方法，其特征在于，所述步骤(3)标注的文件以树状结构存储在xml文件中，每张图片使用<image>标签确定，<image>标签的file属性为文件名，<image>标签下的<label>标签存储中华绒螯蟹编号，每个<part>标签存储一个特征点，在part标签中，name、x、y三个属性分别表示特征点的编号、水平偏移量、垂直偏移量。7.根据权利要求1所述的一种中华绒螯蟹头胸甲特征点识别的方法，其特征在于，所述步骤(4)中所述的设计端对端可微分卷积神经网络包括以下子步骤：(41)设计包含7个卷积模块的全卷积神经网络，在该全卷积神经网络中使用全局深度卷积(gdconv)替代传统的全局平均池化操作，gdconv的计算过程为g
m
＝∑k
i，j，m
·
f
i，j，m
，f是gdconv层的输入，k是卷积核，g是gdconv层的输出，若f的大小为w
×
h
×
m，则k的尺寸也是w
×
h
×
m，g的尺寸是1
×1×
m；(42)经过全卷积神经网络后，对各通道进行softmax归一化z
′
i，j
＝exp(z
i，j
)，定义出x、y矩阵，其中)，定义出x、y矩阵，其中i＝1，2，......，m；j＝1，2，......，n，计算推理的的坐标(x，y)，x＝<z
′
，x>
f
，y＝<z
′
，y>
f
，上述过程中m，n分别表示特征矩阵的宽度和高度，<a，b>
f
矩阵a、b中的对应元素相乘后相加的结果，最后，计算预测的特征点位置(x，y)与标签文件中坐标的loss值，并更新参数。

技术总结
本发明公开了一种中华绒螯蟹头胸甲特征点识别的方法，包括以下步骤：使用手机拍摄中华绒螯蟹头胸甲照片；使用目标识别模型检测出图片中的头胸甲并对图片进行剪裁；使用随机缩放、随机旋转、随机遮挡、随机亮度对比度等方法对图像进行增强；设计一种37点的中华绒螯蟹头胸甲定位法，人工使用37点中华绒螯蟹头胸甲定位法对初始图片进行特征点标注；设计端对端可微分神经网络模型，使用标注的图片进行训练；使用训练完成的模型，对拍摄的图片进行特征热力标注和特征点标注。本发明显著降低了中华绒螯蟹养殖观测、质量检测等环节中的人工的工作量，并大大提高了工作效率。并大大提高了工作效率。并大大提高了工作效率。


技术研发人员：王书献 张胜茂 郑汉丰 王伟 郭全友 杨矫捷 樊伟 戴阳
受保护的技术使用者：苏州捷安信息科技有限公司
技术研发日：2022.09.21
技术公布日：2022/11/18