基于计算机视觉的单次母猪哺乳时长计算方法

1.本发明涉及图像处理、计算机视觉和模式识别，特别是一种基于计算机视觉的单次母猪哺乳时长计算方法。


背景技术：

2.在规模化生猪养殖中，哺乳期母猪的管理是重要的生产环节之一，直接关系到猪的出栏率和经济效益的高低。而在母猪哺乳期管理中，泌乳能力的高低是一个需要重点关注的问题，直接关系到仔猪的生长发育和健康水平，也是衡量母猪繁殖力的一个重要指标。母猪每次哺乳的单次哺乳时长，即从放乳前仔猪按摩母猪乳房到放乳结束整个哺乳过程的时间长度，是一个与泌乳能力相关的重要行为参数指标。可以通过该指标可以统计每日放乳次数等数据，辅助管理人员掌握母猪泌乳能力情况。人工观测哺乳期母猪的哺乳行为劳动强度大，无法进行连续长时间的监测。因此，需要引入无人干预、精准可靠且连续性强的哺乳行为监测手段，统计母猪单次哺乳时长数据，辅助饲养人员对母猪泌乳能力进行客观标准的评估，实现哺乳期母猪泌乳情况的智能管理。
3.与佩戴传感器、超声波、音频分析等方式相比，计算机视觉技术由于其无接触、设备安装成本低、数据易理解、能适应多种环境等独特优点，已成为生猪行为监测研究中最普遍使用的一种方式。母猪单次哺乳行为时长计算的核心为视频中哺乳行为的识别，经对现有技术文献的检索发现，现阶段基于视频图像的母猪哺乳行为识别研究较少，典型方法为aqing yang等人提出的基于全卷积神经网络分割哺乳母猪区域，并融合时域运动特征的哺乳行为识别算法，成果发表于国际期刊《biosystems engineering》与《computers and electronics in agriculture》，并申请专利“一种母猪哺乳行为的卷积网络识别方法”(公开号cn 110598658a)。此类方法虽然可以在监控视频中成果识别出母猪哺乳行为，但均是通过对短的视频片段样本完成分类实现行为识别，不能在长段监控视频中提取哺乳行为视频片段。并且，上述方法对人工标注与硬件均有较高要求。


技术实现要素：

4.发明目的：本发明的目的是提供一种基于计算机视觉的单次母猪哺乳时长计算方法，从而应用于福利养殖型或限位栏养殖型的母猪猪舍视频监控系统中，为获取母猪哺乳行为数据提供无接触式采集方案。
5.技术方案：本发明所述的一种基于计算机视觉的单次母猪哺乳时长计算方法的原理为：首先利用基于深度学习的目标检测模型，逐帧实现母猪和仔猪整体目标及其关键部位的检测，并利用猪只关键部位在空间位置上的关系估计出漏检的关键部位位置。在此基础上，利用检测与估计的部位位置，对每个猪只目标建立图结构模型(pictorial structure models)，从而确定每只母猪与仔猪所匹配的关键部位位置。然后，根据母猪关键部位信息，确定哺乳感兴趣区域。最后，根据哺乳感兴趣区域内的仔猪头部个数，确定哺乳行为的起始和终止帧。所述方法包括以下步骤：
6.(1)采集哺乳期母猪和仔猪的俯视视频；
7.(2)建立数据集；
8.(3)训练母猪、仔猪整体及其关键部位的目标检测模型；
9.(4)对视频帧中的母猪和仔猪进行部位匹配与头尾判别；
10.(5)获取母猪哺乳感兴趣区域；
11.(6)将符合条件的帧标记为哺乳帧；
12.(7)提取满足条件的视频片段计算该次哺乳行为的时长。
13.步骤(2)中所述的数据集包括目标检测的训练图像数据集和描述猪只部位与整体间几何关系的数据集。
14.所述步骤(4)具体为：
15.(4.1)利用训练完成的目标检测模型，对监控视频进行逐帧处理，获得猪只整体及其关键部位的矩形包围框；
16.(4.2)当母猪为侧卧姿态时，基于其内部关键部位信息构建图结构模型；
17.(4.3)利用关键部位之间的几何约束关系计算图结构模型得分，从而确定猪只目标匹配的部位位置。
18.所述步骤(5)具体为：根据母猪匹配的部位位置，估算母猪哺乳相关数据，确定母猪哺乳感兴趣区域；所述母猪哺乳相关数据包括母猪的身体长度、身体方向、哺乳区域尺寸。
19.所述步骤(6)具体为：统计哺乳感兴趣区域内的仔猪头部个数，将头部个数超过一定数目的视频帧标记为哺乳帧。
20.一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于计算机视觉的单次母猪哺乳时长计算方法。
21.一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于计算机视觉的单次母猪哺乳时长计算方法。
22.有益效果：与现有技术相比，本发明具有如下优点：
23.1、基于成熟稳定的目标检测模型的结果对哺乳行为进行分析，对实际养殖环境中出现的光照变换、遮挡等干扰因素均具有较高的鲁棒性和适应性，对福利养殖和限位栏产床环境下的哺乳母猪均适用；
24.2、核心的目标检测与图结构模型构建技术在样本标记成本和计算资源需求方面均低于图像分割和视频识别技术，且对硬件设备没有较高的要求，适合在实际养殖环境中应用。
附图说明
25.图1为本发明的步骤流程图；
26.图2为本实施例的图结构模型构造示意图；
27.图3为本实施例的母猪哺乳感兴趣区域的提取方法示意图。
具体实施方式
28.下面结合附图对本发明的技术方案作进一步说明。
29.如图1所示，本发明公开了一种基于计算机视觉的母猪单次哺乳行为时长计算方法，所述方法具体包括以下步骤：
30.步骤s1、采集哺乳期母猪和仔猪的俯视视频。在猪舍正上方安装摄像头，安装高度为2-3米，获取包含一只哺乳期母猪和6-10头仔猪的俯视视频。本发明一实施例中录制的视频分辨率为2048
×
1536像素，帧率为10帧/秒，猪舍尺寸为2.4m
×
3m，母猪品种为长白与大白的二元杂交母猪，仔猪产后日龄为2-21天。
31.步骤s2、建立数据集
32.s2.1、建立目标检测的训练图像数据集a。在采集的视频中，每500帧选取一帧图像组成训练集。用labelimg软件对训练集图像中的母猪整体(侧卧、非侧卧两种姿态)、母猪乳房区域、仔猪整体、母猪\仔猪头部、母猪\仔猪尾部、共6种类别的目标矩形包围框进行人工标注。通过竖直翻转、水平翻转和180度旋转扩增训练集，将扩增后的全部数据作为目标检测模型的训练数据集a。6种目标类别的定义如表1所示：
33.表1目标检测的各类别定义
[0034][0035]
s2.2、建立猪只部位与整体间几何关系的数据集b。取训练集a中标记的矩形包围框中心坐标，计算部位间的几何特征值，具体类型如表2所示。其中与距离相关的特征均使用所在猪只目标的头尾距离对其进行归一化，以保证特征数值不受猪只尺寸不同的影响。统计表中每种特征数据的均值和标准差，作为数据集b。
[0036]
表2数据集b中的特征数据定义
[0037][0038]
步骤s.3、基于目标检测训练集a，训练猪只整体及关键部位的目标检测模型，实现
对6类目标的检测。在综合考虑检测精度及运行速度后，本发明一实施例中选择了一种基于深度神经网络的yolov5(you only look once v5)作为目标检测模型。
[0039]
步骤s4、从输入视频中取未处理的新一帧的图像
[0040]
步骤s5、对图像中的母猪和仔猪目标进行部位匹配与头尾判别
[0041]
步骤s5.1、利用训练好的目标检测模型，在图像中检测6类猪只整体与关键部位的位置。每个目标检测结果由其矩形包围框的长宽与左上顶点坐标表示。
[0042]
步骤s5.2、判断母猪姿态检测是否为侧卧。若是，则进入下一流程，执行步骤s5.3；否则，转到步骤s.4，处理新的一帧图像。
[0043]
步骤s5.3、取一个未构造图结构模型的整体猪只目标，确定其矩形框内部的部位类型及个数。定义整体猪只整体的矩形包围框为a，部位矩形包围框为b，当满足a∩b＞0.5
×
b时，则认为部位位于整体矩形框内部。
[0044]
步骤s5.4、构造图结构模型。将处于整体猪只矩形包围框内部的部位，构造如图2所示的图结构模型，其中v
p
,vh,v
t
,vb分别代表猪只整体结点、头部结点、尾部结点、乳房区域结点。若整体猪只矩形框内的同一部位类型存在多个检测结果，则分别构造多个图结构模型。
[0045]
步骤s5.5、判断图结构模型是否完整。若图结构模型中结点完整，则执行步骤s5.7；否则，执行步骤s5.6。
[0046]
步骤s5.6、预测缺失部位结点的位置。对仔猪和母猪目标，若图结构模型中仅存在头部和尾部结点中的其中一类，则基于已知结点的位置，简单利用猪只头尾与整体中心点处于一条直线上的假设，预测缺失部位的位置。以头部结点缺失为例，设(x
p
,y
p
),(xh,yh),(x
t
,y
t
)分别代表猪只整体结点、头部结点、尾部结点的图像坐标，μ_d
ph
、μ_d
pt
分别为训练集b中猪只整体结点和头部结点、整体结点和尾部结点之间的归一化距离平均值。预测的头部结点中心点位置如下式所示。
[0047][0048]
对于母猪目标，若图结构模型中的乳房区域结点缺失，或头部和尾部结点均缺失，则逐帧向前查找距当前帧最近的同类型结点的检测结果，作为预估的部位结点。
[0049]
步骤s5.7、更新已有图结构模型。将预测结点按照图2所示的结构加入已构建的图结构模型中。
[0050]
步骤s5.8、逐个计算当前猪只矩形框内图结构模型的得分。根据图结构模型中各结点的坐标，计算其与预先建立的图结构模型之间的匹配程度，作为模型得分。
[0051]
母猪和仔猪目标分别用式(1)和(2)计算图结构模型得分。
[0052][0053][0054]
式中为高斯概率密度函数，d
ph
、d
pt
、d
pb
分别为猪只头部、尾部、乳房区域相对于中心点的归一化距离。θ
ht
、θ
hb
、θ
tb
分别为头部与尾部、头部与乳房区域、尾部与乳房区域相对于猪只中心结点的夹角，如表2所示。μ和σ分别对应数据集b中各变量的均值和标准差。w指各变量得分的权值。本发明一实施例中的参数如表3所示。
[0055]
表3一实施例中的关键参数取值
[0056][0057][0058]
步骤s5.9、确定当前猪只目标各关键部位的位置。在当前猪只检测矩形框中选择得分最高的图结构模型，作为最终的部位匹配结果，确定各部位的位置。
[0059]
步骤s5.10、判断当前图像中所检测到的整体猪只目标是否都已完成部位匹配。若是，则进入下一流程，执行步骤s6；否则，执行步骤s5.3。
[0060]
步骤s6、获取母猪哺乳感兴趣区域
[0061]
步骤s6.1、确定母猪身体长度、身体方向、哺乳区域尺寸等数据。如图3所示，定义母猪身体长度d
sow
为头部与尾部结点之间的欧氏距离，哺乳区域尺寸db为母猪中心结点与母猪头部-尾部连线之间的距离，母猪身体方向θ
sow
为母猪头部-尾部结点连线与水平方向的夹角。在当前图像帧中，计算上述三类数据。
[0062]
步骤s6.2、将当前图像帧以图像左上角原点坐标为旋转中心点，逆时针旋转角度θ
sow
，获得图像i
rot
。若原图像中乳房区域结点的坐标为(xb,yb)，旋转后的图像坐标为(x
b_rot
,y
b_rot
)。
[0063][0064]
步骤s6.3、在旋转后的图像中提取矩形哺乳感兴趣区域。如图3所示，将矩形感兴趣区域的左上角点和右上角点分别对应头部和尾部结点，则矩形宽度为d
sow
，矩形高度设为2db。
[0065]
步骤s6.4、将当前图像顺时针旋转角度θ
sow
，其中的矩形哺乳感兴趣区域的端点坐标同样顺时针旋转角度θ
sow
，获得哺乳关键区域的四个顶点坐标，将四点围成的区域定义为ab。
[0066]
步骤s7、将符合条件的帧标记为哺乳帧
[0067]
步骤s7.1、统计哺乳感兴趣区域内的仔猪头部个数。逐个判断仔猪头部结点坐标是否处于区域ab内部，最终确定当前帧中符合条件的仔猪头部个数n
piglet
。
[0068]
步骤s7.2、若当前帧的n
piglet
大于仔猪总个数的一半，将当前帧标记为哺乳帧(1)。否则标记为非哺乳帧(0)。
[0069]
步骤s8、判断是否满足单次哺乳行为结束条件。若同时满足条件(一)当前帧标记为0；(二)前面存在标记为1的帧；(三)连续标记为0的帧数目大于一定阈值t
gap
，则转到步骤s9。否则，返回步骤s4，处理新的一帧图像。
[0070]
步骤s9、向前寻找标记为1的第一帧和最后一帧，分别标记为哺乳起始帧和哺乳终止帧。
[0071]
步骤s10、计算哺乳起始帧和哺乳终止帧之间的时长。若时长超过一定阈值t
time
，则记为该次哺乳行为的时长。
[0072]
步骤s11、将所有帧标记为0，返回步骤s4，处理新的一帧图像。