一种基于改进卷积神经网络的梅花鹿面部识别方法与流程

1.本技术涉及计算机视觉领域，尤其涉及一种基于改进卷积神经网络的梅花鹿面部识别方法。


背景技术：

2.随着中国吉林省的梅花鹿养殖数量逐年增加，对其进行精准化智能化管理迫在眉睫，且梅花鹿个体识别是实现精准化管理的基础。梅花鹿作为一种半野生动物，对其进行个体识别十分困难，随着机器学习的不断发展，应用机器学习识别动物个体能够有效地提高梅花鹿个体识别的自动化程度，降低梅花鹿养殖成本。近年来，动物面部识别技术作为机器学习领域的一个新的研究方向已经成为了学者们关注的热点。面部识别作为生物识别技术之一，具有成本低、可靠性高等优点。相较于耳标与耳号，基于动物面部特征的识别技术对动物健康更有利，因此得到人们的重视。通过面部识别技术来识别养殖场中的动物个体，以达到跟踪养殖的目的，因此使用面部识别技术对梅花鹿进行无接触监测在梅花鹿精准智能养殖方面具有重要意义。目前，在畜牧养殖业中，动物面部识别技术较多运用在猪、牛等面部差异较大的动物识别上，而对梅花鹿这种面部相似度较高的动物方面还鲜有研究。


技术实现要素：

3.针对现有技术中存在的不足，本发明提出一种基于改进卷积神经网络的梅花鹿面部识别方法，该方法可以利用改进后的卷积神经网络从梅花鹿数据集图像中提取更详细的面部信息，可以提高在梅花鹿真实养殖环境下对梅花鹿的识别能力。发明采用技术手段如下：为了解决上述技术问题或者至少部分地解决上述技术问题，本技术提供了一种基于改进卷积神经网络的梅花鹿面部识别方法。
4.本技术提供了一种基于改进卷积神经网络的梅花鹿面部识别方法，其特征在于；包括以下步骤：步骤(1)、梅花鹿目标检测；利用yolo目标检测模型检测视频中的梅花鹿，对每个感兴趣的梅花鹿目标个体进行定位，将检测到的目标梅花鹿应用图像工具截取每头目标梅花鹿的面部图像，分别按照梅花鹿个体标签保存至梅花鹿面部数据集；步骤(2)、图像分割；对所述梅花鹿面部数据集中的每个所述目标梅花鹿的面部图像进行图像分割，得到多个单一背景的梅花鹿面部图片；步骤(3)、基于多个单一背景的所述梅花鹿面部图片，构建用于模型训练的梅花鹿面部训练数据集，将所述梅花鹿面部训练数据集划分为训练数据集和验证数据集，同时建立测试数据集；步骤(4)、图像预处理；对所述梅花鹿面部训练数据集中的每个所述梅花鹿面部图片进行数据增强，得到数据增强后的训练数据集、验证数据集和测试数据集；步骤(5)、构建梅花鹿面部识别网络模型；基于改进后的残差训练网络构建用于提取梅花鹿面部特征的梅花鹿面部识别网络模型，采用 am-softmax作为所述梅花鹿面部识别网络模型的输出层的损失函数；步骤(6)、使用数据增强后的所述梅花鹿面部训练数据集
并采用梯度下降法训练所述梅花鹿面部识别网络模型及调参优化，通过数据增强后的所述验证数据集验证后获得网络权重参数；步骤(7)、测试时，利用数据增强后的所述测试数据集对所述梅花鹿面部识别网络模型进行测试，所述梅花鹿面部识别网络模型的模型参数为所述网络权重参数，测试通过时，确定所述梅花鹿面部识别网络模型训练完成；步骤(8)、识别时，向所述梅花鹿面部识别网络模型输入采集的梅花鹿面部图片，所述梅花鹿面部识别网络模型输出识别结果，所述识别结果包括梅花鹿个体标签。
5.所述步骤(1)的具体实现方法为：采用yolo模型检测视频中的梅花鹿位置，对视频中目标的梅花鹿进行面部图片截取并存储到与所述目标梅花鹿的梅花鹿个体标签对应的编号的文件夹中，要识别的数据集通过以下方式选择的：deer＝{deti|adeti＞at,labeldeti＝deer；i＝0,1,2...n}其中，deer表示要识别的图像集，表示对象检测结果的的区域，表示定义的区域阈值，的值设置为，利用at阈值可以选出视频中的梅花鹿，表示对象检测结果的名称，表示图像序列的对象检测结果的数量，挑选出每一个物体检测结果，其物体名称为梅花鹿，若检测出的梅花鹿个体面积占图片面积大于，截取该图片中的梅花鹿面部图片并存储到对应编号的文件夹中以用于识别。
6.所述步骤(2)的具体实现方法为：利用unet图像分割模型对所述梅花鹿面部数据集中的面部图像进行图像分割，得到去除干扰的单一背景的梅花鹿面部数据集。
7.所述步骤(3)的具体实现方法为：将步骤(2)得到的所述梅花鹿面部数据集按照8：2的比例随机划分为训练数据集和验证数据集，并从整个梅花鹿面部数据集中选出每头梅花鹿的部分清晰图像作为测试数据集，该梅花鹿面部测试数据集用于测试使用。
8.所述步骤(5)的具体实现方法为：所述改进后的残差训练网络包括四个se-layer模块，且所有的se-layer模块都具有相同的结构；输入图像首先输入通道数为64,大小为7*7的卷积层，在不增加通道数的同时保留原始图像信息；接着进入通道数为64,步长为2的3*3 的最大池化层，对图片进行特征提取，以此压缩图片，随后依次第一 se-layer、第二se-layer、第三se-layer和第四se-layer，在每个 layer后连接se模块，对每个layer得到的特征信息进行压缩激励来提取耳朵、鼻子、眼睛等目标特征，对目标特征进行特征提取；接着通过步长为1，大小为7*7，通道数为2048的全局平均池化层,利用全局平均池来优化网络结构，将多维特征矩阵通过flatten层变成一维特征数列，导入到全连接层，为了防止过拟合，在全连接层加入了dropout层，增加模型的泛化性和抗过拟合能力；通过全连接层得到2048的特征向量；最后利用softmax分类器输出梅花鹿个体；四个se-layer中的resblock模块数量分别为3、4、6和3，resblock 模块用于对重要特征进行特征提取，softmax分类层用于分类，所述卷积层包含卷积核(conv2d)、归一化层(batchnorm2d)和激活层(elu)。
9.所述第一se-layer模块包括3个resblock模块和1个se模块，每个resblock模块由两个大小为1
×
1和一个大小为3
×
3的卷积层组成；所述第二se-layer模块包括4个resblock模块和1个se模块，每个resblock模块由两个大小为1
×
1和一个大小为3
×
3的卷积层组成；所述第三se-layer模块包括6个resblock模块和1个se模块，每个resblock模块由
两个大小为1
×
1和一个大小为3
×
3的卷积层组成；所述第四se-layer模块包括3个resblock模块和1个se模块，每个resblock模块由两个大小为1
×
1和一个大小为3
×
3的卷积层组成；所述步骤(5)的具体实现方法为：所述resblock中的短接部分使用步长为2卷积核为3*3的最大池化层，所述最大池化层连接步长为1 卷积核为1*1的卷积层和批量归一化层，减少网络训练时的信息损失情况，所述梅花鹿面部识别网络模型均使用elu激活函数。
10.所述步骤(5)的具体实现方法为：所述am-softmax表达式如下：其中，lam为损失函数，s是缩放因子，是指有个标签分类，为第个标签分类，是第维输出，是除去后的其他输出，c是即除去后的其他输出的总数，w为权值向量，x为特征向量，为特征向量x与权值向量w间的夹角；m是常数，控制类别之间的差距；所述am-softmax 损失函数具体实现流程为：特征向量x和一个全连接层w之间的乘积等于特征和权重归一化后的余弦距离，利用反余弦函数来计算特征向量与目标权重之间的夹角，然后，在目标角度上减去一个角度裕度m，之后用固定的s重新缩放得到s
·
cosθ。
11.所述步骤(6)的具体实现方法为：使用所述训练数据集对所述梅花鹿面部识别网络模型进行训练，监测所述梅花鹿面部识别网络模型训练时的损失函数值的收敛情况，如果所述损失函数值大于设定阈值，则调整网络模型参数，如果所述损失函数值小于设定阈值且稳定在设定区间，得到所述网络权重参数。
12.所述步骤(7)的具体实现方法为：将所述测试数据集中的梅花鹿面部图片输入所述梅花鹿面部识别网络模型，所述梅花鹿面部识别网络模型输出预测结果，将所述预测结果与测试数据集中与所述梅花鹿面部图片对应的梅花鹿个体标签对比，若所述预测结果与测试数据集中的梅花鹿个体标签匹配，确定测试通过，完成训练；若识别错误，则返回步骤(6)继续训练，直到得到训练好的网络模型。
13.所述步骤(8)的具体实现方法为：向所述梅花鹿面部识别网络模型输入采集的梅花鹿面部图片，所述梅花鹿面部识别网络模型输出识别结果，所述识别结果包括梅花鹿个体标签。
14.本技术实施例提供的上述技术方案与现有技术相比具有如下优点：本发明实施例通过首先利用yolo目标检测模型检测视频中的梅花鹿，对突出的梅花鹿目标进行定位，然后将检测到的梅花鹿目标应用图像工具截取。将每头梅花鹿的头部剪裁出来分类保存得到梅花鹿面部数据集。然后利用unet图像分割模型对所述梅花鹿面部数据集中的每个梅花鹿面部图像进行图像分割，得到没有任何干扰的单一背景的梅花鹿面部分割数据集。利用无背景干扰的梅花鹿面部数据集训练基于卷积神经网络的梅花鹿面部识别模型，无接触识别出梅花鹿个体，对梅花鹿无伤害的同时有效避免梅花鹿的应激性，且识别效率高，成本低。
15.本发明有益效果：本发明设计合理，采用改进后的残差训练网络构建识别模型，引入压缩模块来减小原始图像的大小，解决模型训练中的耗时问题，并保留图像特征，将挤压激发残差网络应
用于相似度较高的动物面部识别。在梅花鹿真实养殖环境下，利用改进后的残差网络可以从梅花鹿数据集图像中提取更详细的面部信息，增强识别能力，对相似度较高的动物面部识别具有参考意义。
附图说明
16.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明的整体实现流程图；图2为本发明包含se-renet网络结构的实现流程图；图3为本发明所述改进模型与经典模型的准确率对比图；图4为本发明所述改进模型与经典模型的损失函数曲线对比图。
具体实施方式
19.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
20.当下，基于计算机视觉的动物面部识别技术作为机器学习领域的一个新的研究方向已经成为了学者们关注的热点。与直接目视观察和人工监测相反，此方法节省了劳动力成本，并且在大规模畜牧业中是可行的。此外，相较于耳标、耳号与电子传感器，基于计算机视觉的动物面部识别方法不存在由于传感器故障而产生的测量噪声、由于动物的非接触而导致的传感器损坏或丢失以及伤害动物等缺点；相反该方法不仅能够有效的避免动物的应激反应，而且对动物健康更有利，因此得到人们的重视。通过面部识别技术来识别养殖场中的动物个体，以达到跟踪养殖的目的，因此使用动物面部识别技术对其进行无接触监测具有重要意义。为此，本发明实施例提供了一种基于改进卷积神经网络的梅花鹿面部识别方法。
21.图1为本技术实施例提供的一种基于改进卷积神经网络的梅花鹿面部识别方法，所述基于改进卷积神经网络的梅花鹿面部识别方法包括：步骤(1)、梅花鹿目标检测。
22.利用yolo目标检测模型多角度检测视频中的梅花鹿，对每头突出的梅花鹿目标个体进行定位，将检测到的目标梅花鹿应用图像工具截取每头目标梅花鹿的面部图像，分别按照梅花鹿个体标签保存至梅花鹿面部数据集；为了检测视频中梅花鹿的位置，使用了yolo模型，这是一个用于对象检测的深度学习框架。该框架实现了实时目标检测率，满足了梅花鹿识别的实时性需求。对视频中突出的梅花鹿进行面部图片截取并存储到与所述目标梅花鹿的梅花鹿个体标签对应的编号的文件夹中，要识别的数据集通过以下方式选择的：
deer＝{deti|adeti＞at,labeldeti＝deer；i＝0,1,2...n}其中，deer表示要识别的图像集，表示对象检测结果的的区域，表示定义的区域阈值，的值设置为，利用阈值可以选出视频中的梅花鹿，表示对象检测结果的名称，表示图像序列的对象检测结果的数量，挑选出每一个物体检测结果，其物体名称为梅花鹿，若检测出的梅花鹿个体面积占图片面积大于，截取该图片中的梅花鹿面部图片并存储到对应编号的文件夹中以用于识别。
23.步骤(2)、图像分割。
24.对所述梅花鹿面部数据集中的每个所述目标梅花鹿的面部图像进行图像分割，得到多个单一背景的梅花鹿面部图片；利用unet 图像分割模型对所述梅花鹿面部数据集中的面部图像进行图像分割，得到去除干扰的单一背景的梅花鹿面部数据集。
25.步骤(3)、构建梅花鹿面部数据集，基于多个单一背景所述梅花鹿面部图片，构建用于模型训练的梅花鹿面部训练数据集，将步骤(2)得到的所述梅花鹿面部数据集按照8：2的比例随机划分为训练数据集和验证数据集，并从整个梅花鹿面部数据集中选出每头梅花鹿的部分清晰图像作为测试数据集，该梅花鹿面部测试数据集用于测试使用。
26.步骤(4)、图像预处理。
27.通过水平翻转、垂直翻转、亮度增强、亮度降低等方法对去除背景后的梅花鹿面部数据集进行数据增强，得到数据增强后的训练数据集、验证数据集和测试数据集；数据增强可以有效减少由于位置偏差而带来的误识别，从而有效地增加梅花鹿面部识别准确率。
28.步骤(5)、构建梅花鹿面部识别网络模型。
29.基于改进后的残差训练网络构建用于提取梅花鹿面部特征的梅花鹿面部识别网络模型，采用am-softmax作为所述梅花鹿面部识别网络模型的输出层的损失函数；所述改进后的残差训练网络包括四个se-layer模块，且所有的 se-layer模块都具有相同的结构；输入图像首先输入通道数为64, 大小为7*7的卷积层，在不增加通道数的同时保留原始图像信息；接着进入通道数为64,步长为2的3*3的最大池化层，对图片进行特征提取，以此压缩图片，随后依次第一se-layer、第二se-layer、第三se-layer和第四se-layer，在每个layer后连接se模块，对每个layer得到的特征信息进行压缩激励来提取重要特征，对重要特征进行特征提取；接着通过步长为1，大小为7*7，通道数为2048的全局平均池化层,利用全局平均池来优化网络结构，将多维特征矩阵通过flatten层变成一维特征数列，导入到全连接层，为了防止过拟合，在全连接层加入了dropout层，增加模型的泛化性和抗过拟合能力；通过全连接层得到2048的特征向量；最后利用softmax分类器输出梅花鹿个体；四个se-layer中的resblock模块数量分别为3、4、6和3，resblock 模块用于对重要特征进行特征提取，softmax分类层用于分类，所述卷积层包含卷积核(conv2d)、归一化层(batchnorm2d)和激活层(elu)。
30.本发明使用elu作为激活函数，其函数为：所述第一se-layer模块包括3个resblock模块和1个se模块，每个resblock模块由两个大小为1
×
1和一个大小为3
×
3的卷积层组成；
所述第二se-layer模块包括4个resblock模块和1个se模块，每个resblock模块由两个大小为1
×
1和一个大小为3
×
3的卷积层组成；所述第三se-layer模块包括6个resblock模块和1个se模块，每个resblock模块由两个大小为1
×
1和一个大小为3
×
3的卷积层组成；所述第四se-layer模块包括3个resblock模块和1个se模块，每个resblock模块由两个大小为1
×
1和一个大小为3
×
3的卷积层组成；所述resblock中的短接部分使用步长为2卷积核为3*3的最大池化层，所述最大池化层连接步长为1卷积核为1*1的卷积层和批量归一化层，减少网络训练时的信息损失情况，所述梅花鹿面部识别网络模型均使用elu激活函数。
31.所述am-softmax表达式如下：其中，为损失函数，s是缩放因子，是指有个标签分类，为第个标签分类，是第维输出，是除去后的其他输出，c是即除去后的其他输出的总数，w为权值向量，x为特征向量，为特征向量x与权值向量w 间的夹角；m是常数，控制类别之间的差距；所述am-softmax损失函数具体实现流程为：特征向量x和一个全连接层w之间的乘积等于特征和权重归一化后的余弦距离，利用反余弦函数来计算特征向量与目标权重之间的夹角，然后，在目标角度上减去一个角度裕度m，之后用固定的s重新缩放得到。
32.步骤(6)、使用所述训练数据集并采用梯度下降法训练所述梅花鹿面部识别网络模型进行训练，通过验证获得最佳结果的权重值；使用训练数据集对识别网络模型进行训练，监测识别网络模型训练时的损失函数值的收敛情况，如果所述损失函数值大于设定阈值，则调整网络模型参数，如果所述损失函数值小于设定阈值且稳定在设定区间，得到所述网络权重参数。
33.步骤(7)、测试期间，将所述测试数据集中的梅花鹿面部图片输入所述梅花鹿面部识别网络模型，所述梅花鹿面部识别网络模型输出预测结果，将所述预测结果与测试数据集中与所述梅花鹿面部图片对应的梅花鹿个体标签对比，若所述预测结果与测试数据集中的梅花鹿个体标签匹配，确定测试通过，完成训练；若识别错误，则返回步骤(6)继续训练，直到得到训练好的网络模型。
34.步骤(8)、识别时，向所述梅花鹿面部识别网络模型输入采集的梅花鹿面部图片，所述梅花鹿面部识别网络模型输出识别结果，所述识别结果包括梅花鹿个体标签。
35.综上实例结合图1是本发明的具体使用流程图；图2是本发明包含se-renet网络结构的实现流程图；图3是本发明所述 se-resnet和经典resnet-50、senet、densenet和googlenet模型的准确率曲线对比，本发明所述se-resnet比其他经典模型的准确率更高且模型更加稳定；图4是本发明所述se-resnet和经典resnet-50、 senet、densenet和googlenet模型的损失函数收敛曲线对比，本发明所述se-resnet比其他经典模型的损失更低。可见，本发明通过对 resnet网络的改进，提高了对梅花鹿面部识别识别的准确率，充分展现了本发明在梅花鹿面部识别领域的优越性。需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而
不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
36.以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。