一种基于嘴部区域的猪只饮水行为和多特征融合的身份识别方法

1.本发明涉及图像处理、深度学习和计算机视觉等领域,具体涉及一种在俯视视频中，基于嘴部区域的猪只饮水行为和多特征融合的身份识别方法。


背景技术：

2.近年来，中国生猪养殖规模和数量在不断扩大，养殖信息化是今后生猪饲养的重要模式之一。计算机视觉技术作为信息处理的辅助技术，相比于射频识别技术(rfid)等接触式的方法，提供了一种非接触式和低成本的行为识别方法，对考量生猪健康状况、发现疾病和及时预防有一定的意义。本文提出一种基于嘴部区域的猪只饮水行为识别方法，该方法从饮水口和猪嘴两方面考虑俯视图片中猪只饮水的情况，比较全面的区别出其他虚假饮水行为；当饮水行为发生时，利用旋转不变的均匀关键点二维特征和分割后的饮水猪图像输入多尺度双通道识别网络对饮水猪身份进行识别，达到追踪猪只全天候的饮水状况并判断猪只健康状态的目标。


技术实现要素：

3.本发明公开了一种综合考虑猪只饮水时，嘴部区域与饮水口的相对位置关系的饮水行为识别方法，又通过基于统计分配多阈值的网格点连通分割算法对猪图像分割，对分割后的饮水猪提取均匀关键点二维特征和卷积特征，再通过网络进行身份识别。
4.本发明所采用的技术方案是基于嘴部区域的猪只饮水行为和多特征融合的身份识别，包括以下步骤：
5.(1)图像处理：采集视频并分帧，筛选出关键帧作为数据集；利用基于统计分配多阈值的网格点连通分割算法(grid point segmentation algorithm based on statistical allocation multi-threshold,简称sam-gpsa)对猪只图像分割；
6.(2)饮水行为识别的处理：标定饮水口外框，并提取其轮廓作为轮廓模板；根据当前图像的饮水口轮廓与轮廓模板的相似性，初步判断饮水行为；再对存在饮水行为的图像，利用嘴部区域检测网络检测嘴部框，通过饮水口框是否与嘴部框重合来精确判断饮水行为；
7.(3)图像关键点特征的处理：对分割后饮水猪图像利用局部二值模式中0和1的跃变次数初步选取关键点；再通过均匀网格块非极值剔除算法(nonextremal elimination algorithm for uniform grid blocks,简称ugb-nea)筛选关键点；然后利用旋转不变的brief(binary robust independent elementary features，二元鲁棒独立基本特征，简称brief)描述符向量和旋转不变的mlbp(multiple local binary pattern，多重局部二进制模式，简称mlbp)描述符向量生成旋转不变的均匀关键点二维特征；
8.(4)饮水猪身份识别的处理：将分割后的饮水猪图像和关键点二维特征输入多尺度双通道识别网络；利用基于三期动量的步进更新算法对上述网络中的特征融合超参数ε
和损失融合超参数γ进行优化选取，获得最优的识别网络，实现饮水猪的身份识别。
9.进一步，所述步骤(1)具体包括：
10.在养猪场采集rgb视频。将视频第一帧作为标准，计算与后续帧的相似性，剔除小于阈值的部分。将上一步得到的新的一帧作为新的标准，重复以上步骤，直至遍历所有帧，筛选出所需的关键帧作为数据集。
11.首先，对图像进行灰度化处理并进行分块，将分块的四个边的交点作为网格点。例如，一张600像素*600像素的图像，分块选取5像素*5像素，即每5行5列像素就有四个网格点。通过分块选取5像素*5像素、10像素*10像素、15像素*15像素、20像素*20像素和25像素*25像素的块进行对比实验，按照实验结果选取最优的分块方式。
12.其次，根据整张图像的灰度直方图，按背景和前景灰度的峰值前后各浮动5％，选取背景灰度值区间(背景灰度主要聚集的区域)和前景灰度值区间。对每一分块的直方图进行统计，计算在整体标准下的背景和前景灰度值区间内所包含的像素点个数的比例，例如，设立10种比例，背景灰度值区间占0-10％，10％-20％，
…
，90％-100％。比例按照四舍五入的方式取整，此时每一比例都会对应一个阈值。通过不同比例下阈值的自适应学习，寻求不同比例对应的阈值。通过所有网格点连通分块中达到阈值的邻接像素点，合并连通块。对分割后的图像进行漫水填充和反转漫水填充，消除过分割孔洞。重复执行上述操作，直至达到以下评判标准：对所有连通域的面积进行由大到小排序，保留排序中猪只个数的连通域，抑制其余连通域，当抑制的连通域数最小时，此时分割效果最佳。
13.进一步，所述步骤(2)具体包括：
14.饮水口处于固定区域，通过人工标定饮水口区域的坐标得到饮水口框，并提取饮水口轮廓作为饮水行为识别的轮廓模板。
15.轮廓相似性是提取需识别的图片中饮水口坐标区域内的图片，与轮廓模板进行差分，计算饮水口坐标区域内的图片与轮廓模板的相似性。当其相似性小于95％时，认为此时轮廓相似性不足，饮水器不完全处于外露状态，猪只可能发生饮水行为。
16.通过轮廓重合度进行饮水行为的初次判断方法有如下两个优点：1)微小的饮水口轮廓模板特征维度小，重合度计算很快，可以高效剔除明显的非饮水行为图片；2)对精确识别中可能达要求的两种假饮水情况可以直接剔除：猪只嘴部区域处于饮水口正下方、猪只嘴部区域和饮水口仅仅是很靠近。
17.嘴部检测网络是一个端到端的网络。改进yolov3网络(pig-yolo网络)作为嘴部框检测网络，在特征提取网络darknet-53的卷积层后面引入批归一化(batch normalization，bn)层，改善网络反向传播的梯度质量。将非线性激活层改用leaky relu层，来增强网络的非线性表达能力，保证反向传播的梯度不会消失。调整输出层的锚框参数为(0/1,x,y,w,h)，其中1为锚框中有目标，0为锚框中没有目标，(x,y)为锚框左上角的点坐标，w和h分别为锚框的长和宽。调整后的锚框参数适应本专利单目标检测的要求，并且可以有效提升识别速度。调整输出层的目标框为26*26*15、52*52*15和104*104*15，其中26、52、和104为目标框尺寸，15＝3*5为目标框的深度，其中3代表每个目标框位置对应原图的3个锚框，5代表上述锚框5个参数。缩小目标框中每一像素点所对应的原图感受野区域，符合嘴部区域的小目标检测的要求。
18.最后，根据饮水口框是否与嘴部框重合来精确判断饮水行为，若饮水口框与嘴部
框高度重合，则发生饮水行为。
19.进一步，所述步骤(3)具体包括：
20.首先，遍历像素点，当点的局部二值模式描述符的0-1与1-0的跃变次数达到两次，即此时中心像素点与周围像素点表现出较大差异性，则将该点记录为初步筛选的关键点。
21.其次，利用均匀网格块非极值剔除法，保留网格块中最显著的关键点。该方法先对原图像进行均匀分块；再对分块中的关键点进行筛选：1)当分块中存在关键点小于或者等于一个的情况，则不需要剔除该关键点。2)当分块中存在关键点大于一个的情况，对关键点的局部二值模式描述符的跃变次数进行由大到小的排序，仅保留跃变次数最大的作为关键点。考虑到跃变次数相同的情况，先计算关键点与周围八个点的差值并求和，再进行由大到小排序，仅保留和最大的作为关键点。
22.对关键点邻接的24个像素点，进行符合高斯分布的点配对(b,d)，并把100个随机高斯配对点作差，按照差的大小排序，选取前8个配对点的差作为8维的特征描述符,并对描述符归一化。计算所有关键点的灰度质心点坐标。选取所有分块中位于中心位置的分块，利用该分块中的关键点作为起始点，将该关键点指向灰度质心点的方向作为主方向，对关键点按照主方向进行相应特征描述符的排列，得出旋转不变的稳定二进制特征(binary robust independent elementary features，简称brief)描述符。灰度质心的计算公式如(1)、(2)、(3)所示：
[0023][0024][0025]
θ＝atan2(n
01
,n
10
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0026]
其中，n
bd
为高斯邻域的矩；n
00
、n
01
和n
10
分别为关键点以及其左右邻近点的矩；(b,d)为符合高斯分布规律的随机选值；x和y取值区间均为[-2,2]，(x,y)代表以关键点为原点的24个邻接像素点坐标；i(x,y)为邻域内的灰度值；o为质心的坐标；θ为方向角。
[0027]
针对原lbp(local binary pattern)描述符不具备旋转不变性。本专利通过计算对应4个角的像素差，并对差值求和，再将和值由大到小排序，得到排序后的4个角点与中心关键点像素比较后的4维二进制描述符。针对原lbp描述符只关注关键点与周围像素点的关系，忽略了8个邻接像素点之间的关系。本专利通过对左上角开始的角点像素按照顺时针方向与其后点像素比较，得出4维二进制描述符，按照上述方式排序。将上述二进制描述符级联，生成8维的旋转不变的多维度局部二值特征(multiple local binary pattern，简称mlbp)描述符。
[0028]
利用旋转不变的brief描述符向量和旋转不变的mlbp描述符向量生成旋转不变的均匀关键点二维特征。生成方式是将旋转不变的brief描述符向量按照x方向排列，旋转不变的mlbp描述符向量按照y方向排列,在对应位置将x方向的值和y方向的值相加，生成二维特征。
[0029]
进一步，所述步骤(4)具体包括：
[0030]
搭建多尺度双通道识别网络。多尺度特征是利用最后三个偶数卷积层直接输出到最后一层实现的。例如，在一个12层卷积网络中，可将第8、10跳跃连接至输出层，该方式保留了在各阶段特征，有利于提升识别的准确性。
[0031]
多尺度双通道识别网络利用权重超参数对提取的特征进行融合。关键点二维特征提取局部关键点特征，饮水猪图像通过卷积提取全局特征信息。引入的权重超参数对上述两种特征融合，提高识别的准确率，其表示公式如式(4)所示：
[0032][0033]
其中，g
opc
为双通道融合后的输出矩阵；g
i1
为关键点二维特征的输出矩阵；g
i0
为分割后的饮水猪图像的输出矩阵；γ为权重超参数,取值范围为0到1，通常取0.2为起始阈值。
[0034]
利用交叉熵损失函数和pn损失函数联合的损失函数，其中pn损失函数更关注偏离值大小，可以自适应的调节更新的学习率，有利于提升训练速度，公式如式(5)、(6)、(7)所示：
[0035][0036][0037]
l＝εh(p,q) (1-ε)l
pn
(p,q)
ꢀꢀꢀꢀꢀꢀꢀ
(7)
[0038]
其中,h(p,q)为交叉熵损失函数；c为类别数,与对应的猪只个数一致；p(xi)为i类别时的真实概率，通常取0或1；q(xi)为i类别时的预测概率；l
pn
(p,q)为pn损失函数；l为总的损失函数，ε为权重超参数，取值范围为0到1，通常取0.8为起始阈值。
[0039]
对利用训练集训练完成的模型，通过验证集选取最优超参数，获得最优模型。本专利通过基于三期动量的超参数步进更新算法对ε、γ两个超参数进行处理：
[0040]
1)超参数ε、γ的起始阈值设为0.2与0.8；
[0041]
2)按照当前参数下预测概率值和真实值之间的差值构造指引参数。本专利的指引参数公式如式(8)、(9)所示：
[0042][0043][0044]
其中，q(x
j,n
)为该验证集下的预测概率值的平均值；n为验证集的样本数；j为超参数个数，本专利选取ε、γ两个超参数，j为2；q(x
j,l
)为对应样本下的预测概率值；；w
k,j
为不同步进阶段的指引参数；p(xj)为真实值；k为阶段数，高、中和低三阶段的k分别取1、2和3。
[0045]
3)在迭代初期，按照指引参数获取的高速动量(k＝1)进行全局遍历，取前三个最优峰值；在迭代中期，按照指引参数获取的中速动量(k＝2)对前三个最优峰值前后各3％的区域进行遍历，取此阶段最优和次优峰值；在迭代后期，按照指引参数获取的低速动量(k＝3)对最优和次优峰值前后各2％的区域进行遍历，获得全局最优值；三期动量选择公式如式(10)、(11)所示：
[0046][0047]
xj(t 1)＝xj(t) mj(t 1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0048]
其中，mj(t)为第j个超参数在t时刻的动量值；mj(t 1)为第j个超参数在t 1时刻的动量值；d1与d2均为防扰动项的系数，常取0.001；xpbj(t)为第j个超参数直至t时刻的最小
值；xgbj(t)为第j个超参数直至t时刻的最大值；xj(t)为在t时刻的第j个超参数；xj(t 1)为在t 1时刻的第j个超参数。
[0049]
4)当完成三期动量更新时，保留相关超参数ε、γ。
[0050]
最后，输入需识别的饮水猪图像进行身份识别。
[0051]
本发明的有益效果
[0052]
(1)利用基于统计分配多阈值的网格点连通分割算法对猪图像精确分割；
[0053]
(2)利用饮水口轮廓模板、饮水口框和嘴部框来精确识别饮水行为；
[0054]
(3)利用旋转不变的均匀关键点二维特征提取局部关键点特征；
[0055]
(4)多尺度双通道识别网络中利用权重超参数对提取的特征进行融合，提升识别准确率；利用交叉熵损失函数和pn损失函数联合的损失函数，提升收敛速度；
[0056]
(5)利用基于三期动量的步进更新算法对超参数ε、γ进行优化选取。
附图说明
[0057]
图1饮水行为及身份识别总流程图；
[0058]
图2分割算法的分块网格点和直方图统计示例；
[0059]
图3是饮水口框和轮廓模板示例；
[0060]
图4是饮水时嘴部框与饮水口框重合示例；
[0061]
图5是mlbp描述符的排序方式和特征描述示例；
[0062]
图6是多尺度双通道识别网络。
具体实施方式
[0063]
下面结合附图和具体实施方式对本发明进行详细说明。
[0064]
在养猪场采集rgb视频。将视频第一帧作为标准，计算与后续帧的相似性，剔除小于阈值的部分。将上一步得到的新的一帧作为新的标准，重复上述步骤，直至遍历所有帧，筛选出所需的关键帧作为数据集。
[0065]
首先，对图像进行灰度化处理并进行分块，将分块的四个边与边的交点作为网格点，如图2(a)所示。根据整张图像的灰度直方图，按背景和前景灰度的峰值前后各浮动5％，如图2(b)所示，来选取背景灰度值区间(背景灰度主要聚集的区域)和前景灰度值区间。对每一分块的直方图进行统计，计算在整体标准下的背景和前景灰度值区间内所包含的像素点个数的比例，例如，设立10种比例，背景灰度值区间占0-10％，10％-20％，
…
，90％-100％。比例按照四舍五入的方式取整，此时每一比例都会对应一个阈值。之后，通过所有网格点连通分块中达到阈值的邻接像素点，合并连通块。对分割后的图像进行漫水填充和反转漫水填充，消除过分割孔洞。重复执行上述操作。对所有连通域的面积进行由大到小排序，保留排序中猪只个数的连通域，抑制其余连通域，当抑制的连通域数最小时，停止上述操作。
[0066]
通过人工标定饮水口区域得到饮水口外框和对应的坐标，并提取饮水口轮廓作为轮廓模板。轮廓相似性是提取需识别的图片中饮水口坐标区域内的图片，与轮廓模板进行差分，计算饮水口坐标区域内的图片与轮廓模板的相似性。当其相似性小于95％时，认为此时轮廓相似性不足，饮水器不完全处于外露状态，猪只可能发生饮水行为。利用嘴部区域检
测网络检测出嘴部框。根据饮水口框与嘴部框的重合比例来判断饮水行为。若饮水口框与嘴部框重合度达99％，饮水口处于猪只嘴部区域中，猪只发生饮水行为，如图4所示。
[0067]
首先，遍历像素点，当点的局部二值模式描述符的0-1与1-0的跃变次数达到两次，将该点记录为初步筛选的关键点。其次，利用均匀网格块非极值剔除法，保留网格块中最显著的关键点。最后，利用旋转不变的brief描述符向量和旋转不变的mlbp描述符向量生成旋转不变的均匀关键点二维特征。
[0068]
均匀网格块非极值剔除法。先对原图像进行均匀分块；再对分块中的关键点进行筛选：1)当分块中存在关键点小于或者等于一个的情况，则不需要剔除该关键点。2)当分块中存在关键点大于一个的情况，对关键点的局部二值模式描述符的跃变次数进行由大到小的排序，仅保留跃变次数最大的作为关键点。考虑到跃变次数相同的情况，先计算关键点与周围八个点的差值并求和，再进行由大到小排序，仅保留和最大的作为关键点。
[0069]
旋转不变的brief描述符，对关键点邻接的24个像素点，进行符合高斯分布的点配对(b,d)。并把100个随机配对点作差，按照差的大小排序，选取前8个配对点的差作为8维的特征描述符,并对描述符归一化。对所有关键点计算其灰度质心点坐标。选取所有分块中位于中心位置的分块，利用该分块中的关键点作为起始点，将该关键点指向灰度质心点的方向作为主方向。按照主方向，，对关键点按照主方向进行相应特征描述符的排列，得出旋转不变的稳定二进制特征(binary robust independent elementary features，简称brief)描述符。灰度质心的计算公式如(1)、(2)、(3)所示：
[0070][0071][0072]
θ＝atan2(n
01
,n
10
)
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0073]
其中，n
bd
为高斯邻域的矩；n
00
、n
01
和n
10
分别为关键点以及其左右邻近点的矩；x和y取值区间均为[-2,2]，(x,y)代表以关键点为原点的24个邻接像素点坐标；i(x,y)为邻域内灰度值；(b,d)为符合高斯分布规律的随机选值；o为质心的坐标；θ为方向角。
[0074]
旋转不变的mlbp描述符。针对原lbp(local binary pattern)描述符不具备旋转不变性。本专利通过计算对应4个角的像素差，并对差值求和，再将和值由大到小排序，得到排序后的4个角点与中心关键点像素比较后的4维二进制描述符，如图5(a)所示。针对原lbp描述符只关注关键点与周围像素点的关系，忽略了8个邻接像素点之间的关系。本专利通过对左上角开始的角点像素按照顺时针方向与其后点像素比较，得出4维二进制描述符，如图5(b)所示，按照上述方式排序。将上述二进制描述符级联，生成8维的旋转不变的多维度局部二值特征(multiple local binary pattern，简称mlbp)描述符。
[0075]
利用旋转不变的brief描述符向量和旋转不变的mlbp描述符向量生成旋转不变的均匀关键点二维特征。生成方式是将旋转不变的brief描述符向量按照x方向排列，旋转不变的mlbp描述符向量按照y方向排列,在对应位置将x方向的值和y方向的值相加，生成二维特征。
[0076]
多尺度特征是利用最后三个偶数卷积层直接输出到最后一层实现的。例如，在一个12层卷积网络中，可将第8、10跳跃连接至输出层，该方式保留了在各阶段特征，有利于提升识别的准确性。
[0077]
多尺度双通道识别网络利用权重超参数对提取的特征进行融合。关键点二维特征提取局部关键点特征，饮水猪图像通过卷积提取全局特征信息。引入的权重超参数对上述两种特征融合，提升识别的准确率，其表示公式如式(4)所示：
[0078][0079]
其中，g
opc
为双通道融合后的输出矩阵；g
i1
为关键点二维特征的输出矩阵；g
i0
为分割后的饮水猪图像的输出矩阵；γ为权重超参数,取值范围为0到1，通常取0.2为起始阈值。
[0080]
采用交叉熵损失函数和pn损失函数联合的损失函数，其中pn损失函数更关注偏离值大小，可以自适应的调节更新的学习率，有利于提升训练速度，公式如式(5)、(6)、(7)所示：
[0081][0082][0083]
l＝εh(p,q) (1-ε)l
pn
(p,q)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0084]
其中,h(p,q)为交叉熵损失函数；c为类别数,与对应的 猪只个数一致；p(xi)为i类别时的真实概率，通常取0或1；q(xi)为i类别时的预测概率；l
pn
(p,q)为pn损失函数；l为总的损失函数，ε为权重超参数，取值范围为0到1，通常取0.8为起始阈值。
[0085]
对利用训练集训练完成的模型，通过验证集选取最优超参数，获得最优模型。本专利通过基于三期动量的超参数步进更新算法对ε、γ两个超参数进行处理：
[0086]
1)超参数ε、γ的起始阈值设为0.2与0.8；
[0087]
2)按照当前参数下预测概率值和真实值之间的差值构造指引参数。本专利的指引参数公式如式(8)、(9)所示：
[0088][0089][0090]
其中，q(x
j,n
)为该验证集下的预测概率值的平均值；n为验证集的样本数；j为超参数个数，本专利选取ε、γ两个超参数，j为2；q(x
j,l
)为对应样本下的预测概率值；p(xj)为真实值；k为阶段数，高、中和低三阶段的k分别取1、2和3；w
k,j
为不同步进阶段的指引参数；
[0091]
3)在迭代初期，按照指引参数获取的高速动量(k＝1)进行全局遍历，取前三个最优峰值；在迭代中期，按照指引参数获取的中速动量(k＝2)对前三个最优峰值前后各3％的区域进行遍历，取此阶段最优和次优峰值；在迭代后期，按照指引参数获取的低速动量(k＝3)对最优和次优峰值前后各2％的区域进行遍历，获得全局最优值；三期动量选择公式如式(10)、(11)所示：
[0092][0093]
xj(t 1)＝xj(t) mj(t 1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0094]
其中，mj(t)为第j个超参数在t时刻的动量值；mj(t 1)为第j个超参数在t 1时刻的动量值；xpbj(t)为第j个超参数直至t时刻的最小值；xgbj(t)为第j个超参数直至t时刻的最
大值；d1与d2均为防扰动项的系数，常取0.001；xj(t)为在t时刻的第j个超参数；xj(t 1)为在t 1时刻的第j个超参数。
[0095]
4)当完成三期动量更新时，保留相关超参数ε、γ。
[0096]
搭建多尺度双通道网络，如图6所示。将分割后的饮水猪图像和关键点二维特征输入到该网络，输出行为识别结果。通过基于三期动量的超参数步进更新算法对网络中的两个超参数ε、γ进行优化选取，获取最优的识别网络，实现饮水猪的身份识别。
[0097]
以上实例仅为本发明的举例论证，来具体说明本发明的可行性，但不仅仅限于此。