一种基于双目视觉的牲畜体况监测方法及系统与流程

1.本发明属于牲畜体况监测技术领域，尤其涉及一种基于双目视觉的牲畜体况监测方法及系统。


背景技术：

2.规模化牲畜养殖能够提高畜牧业生产效率和生产水平，是增加牧民收入，提升畜产品安全水平，提升疫病防控能力，实现畜牧业与环境协调发展的有效途径。由于牲畜个体间存在年龄、胎次、泌乳阶段的差异，故牲畜的饲养必需照顾到个体，在采集个体状态信息的基础上，根据个体的不同情况制定针对性的饲养方案。传统的牲畜体况获取多采用人工巡视-记录-分析方式，通过观察牛、羊等牲畜背部的脊椎是否突出、肋骨是否清晰可见、臀部两侧是否凹陷等一系列的特征，来判断牲畜个体是否胖瘦，不仅人力成本高，也不能将生产中的信息及时、准确地反馈给畜牧人员，管理者也无法及时发现生产中的问题而做出相应的调整，落后的牲畜体况信息获取方式严重地制约了规模化养殖生产力的进一步提高。因此，牲畜养殖场信息化受到了国内外研究人员的高度重视，但目前仍有许多问题尚未解决。
3.为了实现牲畜信息获取的信息化、数字化，提出在牲畜颈部安装无线传感器节点，通过各种传感器获取牲畜的体温、加速度等参数，并监测出牲畜静止、慢走、爬跨等行为。以上研究提高了牲畜信息获取的效率及准确性，但是通常一个传感器节点只能检测单头牲畜，系统硬件成本高，且牲畜养殖环境恶劣，系统维护困难，难以推广应用到整个牧场；采集的信息多为牲畜外部物理参量，难以检测牲畜的高级行为。使用摄像机可以方便快捷地获取并记录动物外在行为，通过开发行为分析软件系统，即可自动化、智能化获取牲畜高级行为，并推断出生理状态，于是，基于视频的动物行为分析系统方面的研究，受到越来越多的研究者高度关注。
4.机器视觉系统是信息技术领域一个新兴的应用方向。机器视觉系统在不需要人为干预情况下，利用摄像机对目标进行记录和对视频进行分析，实现对场景中目标的定位、识别和跟踪，并在此基础上分析和判断目标的行为，从而既能协助完成日常管理又能在异常情况发生时及时做出反应。如今，越来越多的人开始使用图像处理技术来进行牲畜体况评分，但现有的方案都有不足之处。于牲畜个体状态信息进行采集和评价具有多方面的意义，但现有的技术和采集信息的方法却有很多问题导致方案难以推广，如：人力、硬件成本高，监测信息量有限，系统维护成本高，测量精度较低等等。


技术实现要素：

5.针对现有技术中的上述不足，本发明提供的一种基于双目视觉的牲畜体况监测方法及系统，解决了上述问题。
6.为了达到以上目的，本发明采用的技术方案为：
7.本方案提供一种基于双目视觉的牲畜体况监测方法，包括以下步骤：
8.s1、利用摄像头获取牲畜尾部双目图像；
9.s2、根据所述牲畜尾部双目图像对牲畜尾部进行定位处理，并根据所述牲畜尾部双目图像中标定框的大小判断牲畜是否运动至评分的位置，筛选出满足条件的牲畜尾部双目图像；
10.s3、对满足条件的牲畜尾部双目图像进行分类处理，得到牲畜的体况评分，完成基于双目视觉的牲畜体况监测。
11.本发明的有益效果是：本发明提出的基于双目视觉的牲畜行为图像获取与体况智能监测方法采用人工智能技术，将体况评分转化为分类问题，利用深度学习算法具有精度高、可靠性高、实时性强等特点；同时，本发明完全自动化，不需要人工辅助，不需要牲畜的配合，自动捕获关键部位并进行评分；另外，由于本发明不需要昂贵的深度相机，只需使用普通的相机，成本大幅降低，非常适合推广使用。
12.进一步地，所述步骤s1中摄像头为两个，且两个摄像头轴距固定，光轴相互平行，两个摄像头的光心连线与光轴相垂直。
13.上述进一步方案的有益效果是：本发明利用两个摄像头控制两个摄像头同步拍照，拍摄出来的两幅图像类似于人的左右眼看到的图像，便于的进行后续的视差处理。
14.再进一步地，所述步骤s2包括以下步骤：
15.s201、对所述牲畜尾部双目图像进行均值滤波处理；
16.s202、将经均值滤波处理后的牲畜尾部双目图像进行缩放处理；
17.s203、将经缩放处理后的牲畜尾部双目图像输入至基于fast-yolo的牲畜尾部检测网络，得到1176维向量的牲畜尾部双目图像；
18.s204、将176维向量的牲畜尾部双目图像均等划分为14
×
14个cell，每个cell分配6个向量元素，并将6个向量元素转换为预测值其中，p表示预测牲畜尾部条件的概率值，c表示弹性窗口bbox的置信度，x,y表示弹性窗口bbox中心点相对于所述cell边长的归一化值，w,h表示弹性窗口bbox的宽高相对于牲畜尾部双目图像宽高的归一化值，cell表示牲畜尾部双目图像均等划分后的图像块；
19.s205、对所述预测值进行后处理，得到某个弹性窗口bbox的牲畜尾部概率值：
20.s206、判断所述某个弹性窗口bbox的牲畜尾部概率值是否大于预设的阈值，若是，则该弹性窗口bbox存在牲畜尾部，并将该弹性窗口bbox的x,y,w,h转化为输入图像中的实际坐标和长宽，完成对牲畜尾部定位，并进入步骤s207，否则，该弹性窗口bbox不存在牲畜尾部，并返回步骤s1；
21.s207、根据牲畜尾部定位结果，判断牲畜尾部双目图像的标定框长度是否大于牲畜尾部双目图像总长度的预设阈值且标定框的高度大于牲畜尾部双目图像总宽度的预设阈值，若是，则牲畜运动至评分的位置，并筛选出满足条件的牲畜尾部双目图像，并进入步骤s3，否则，牲畜未运动至评分的位置，结束流程。
22.上述进一步方案的有益效果是：上述方案通过对牲畜尾部定位的方式来判断牲畜是否运动到适合评分的位置，帮助筛选出满足条件的牲畜尾部双目图像，有利于提高评分的准确度。
23.再进一步地，所述步骤s203中fast-yolo的牲畜尾部检测网络包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层以及第九卷积层；
24.所述第一卷积层的卷积核大小为3
×
3，其输出特征图的通道数为16；
25.所述第二卷积层的卷积核大小为3
×
3，其输出特征图的通道数为32；
26.所述第三卷积层的卷积核大小为3
×
3，其输出特征图的通道数为64；
27.所述第四卷积层的卷积核大小为3
×
3，其输出特征图的通道数为128；
28.所述第五卷积层的卷积核大小为3
×
3，其输出特征图的通道数为256；
29.所述第六卷积层的卷积核大小为3
×
3，其输出特征图的通道数为512；
30.所述第七卷积层的卷积核大小为3
×
3，其输出特征图的通道数为1024；
31.所述第八卷积层的卷积核大小为3
×
3，其输出特征图的通道数为256；
32.所述第一卷积层、第二卷积层、第三卷积层以及第四卷积层的卷积核移动步长均为2
×
2。
33.上述进一步方案的有益效果是：本发明基于fast-yolo网络提出了一种牲畜尾部检测网络结构，不使用原fast-yolo网络的最后一个最大池化层，避免了特征图尺寸的进一步减小，并将图像划分由7
×
7提高到14
×
14，网络分辨率是原fast-yolo网络的4倍，有效地提高了检测的精度，同时不同于原fast-yolo网络每个cell(每一个cell代表将图像均等划分后，图像的一个小块)预测2个bbox(bbox代表包含多个cell的一小块区域)，牲畜尾部检测网络每个cell只预测一个bbox。在同等的训练数据量下，将使对bbox的坐标参数和置信度五个预测参数的调整集中，优化网络的权值参数。
34.再进一步地，所述s205中某个弹性窗口bbox的牲畜尾部概率值的表达式如下：
35.pb＝c
×
p
36.其中，pb表示某个弹性窗口bbox的牲畜尾部概率值，c表示弹性窗口bbox的置信度，p表示预测牲畜尾部条件的概率值。
37.上述进一步方案的有益效果是：上述方案通过对牲畜尾部定位的方式来判断牲畜是否运动到适合评分的位置，帮助筛选出满足条件的牲畜尾部双目图像，有利于提高评分的准确度。
38.再进一步地，所述步骤s3包括以下步骤：
39.s301、利用多尺度滤波器对满足条件的牲畜尾部双目图像进行特征提取；
40.s302、将提取的特征输入至分类器中进行梯度对数归一化处理，得到分类结果，其中，每个分类的类别表示一个体况分数；
41.s303、对归分类结果进行校准处理，得到牲畜的体况评分，完成基于双目视觉的牲畜体况监测。
42.上述进一步方案的有益效果是：实现了对牧场牲畜体况连续实时自动评分的效果，使用神经网络对牲畜体况进行实时、高精度的评分，可以有效减少人力的损耗，并大幅度提高体况评分的精度。
43.基于上述方法，本发明还提供了一种基于双目视觉的牲畜体况监测系统，包括：
44.采集模块，用于利用摄像头获取牲畜尾部双目图像；
45.定位模块，用于根据所述牲畜尾部双目图像对牲畜尾部进行定位处理，并根据所
述牲畜尾部双目图像中标定框的大小判断牲畜是否运动至适合评分的位置，筛选出满足条件的牲畜尾部双目图像；
46.分类模块，用于对满足条件的牲畜尾部双目图像进行分类处理，得到牲畜的体况评分，完成基于双目视觉的牲畜体况监测
47.本发明的有益效果是：本发明提出的基于双目视觉的牲畜行为图像获取与体况智能监测方法采用人工智能技术，将体况评分转化为分类问题，利用深度学习算法具有精度高、可靠性高、实时性强等特点；同时，本发明完全自动化，不需要人工辅助，不需要牲畜的配合，自动捕获关键部位并进行评分；另外，由于本发明不需要昂贵的深度相机，只需使用普通的相机，成本大幅降低，非常适合推广使用。
附图说明
48.图1为本发明的方法流程图。
49.图2为本实施例中两个摄像头的摆放位置示意图。
50.图3为本实施例中fast yolo的架构图。
51.图4为本实施例中弹性窗口bbox参数坐标示意图。
52.图5为本实施例中分类网络的结构示意图。
53.图6为本发明的系统结构示意图。
具体实施方式
54.下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
55.实施例1
56.通过借鉴深度神经网络对图片进行识别并分类的算法，并结合fast-yolo图像定位算法，本发明提出了基于双目视觉的牲畜行为图像获取与体况智能监测方法。本方法包括安装在牲畜行走通道上的数据采集装置和数据处理装置，具体而言，使用两个摄像头采集牲畜尾部图像，并输入到数据处理装置。数据处理装置通过视差处理得到牲畜尾部到摄像头的距离，当距离合适时使用深度神经网络处理图像，对图像进行分类，并得到牲畜的体况评分数据。如图1所示，本发明提供了一种基于双目视觉的牲畜体况监测方法，其实现方法如下：
57.s1、利用摄像头获取牲畜尾部双目图像；
58.本实施例中，如图2所示，本发明采用两个同型号的摄像头对牲畜尾部数据进行采集，所述的两个摄像头轴距固定、光轴彼此平行，两个摄像头光心连线与光轴相垂直，图2中t表示两个摄像头的轴距，左摄像头的光轴为o
rcxleft
，右摄像头的光轴为o
rcxright
，两个摄像头光心连线即c
xleftcxright
，数据处理装置输出控制信号至两个摄像头控制两个摄像头同步拍照，拍摄的两幅图像类似于人的左右眼看到的图像，便于的进行后续的视差处理。
59.s2、根据所述牲畜尾部双目图像对牲畜尾部进行定位处理，并根据所述牲畜尾部双目图像中标定框的大小判断牲畜是否运动至适合评分的位置，筛选出满足条件的牲畜尾
部双目图像，其实现方法如下：
60.s201、对所述牲畜尾部双目图像进行均值滤波处理；
61.s202、将经均值滤波处理后的牲畜尾部双目图像进行缩放处理；
62.s203、将经缩放处理后的牲畜尾部双目图像输入至基于fast-yolo的牲畜尾部检测网络，得到1176维向量的牲畜尾部双目图像；
63.s204、将176维向量的牲畜尾部双目图像均等划分为14
×
14个cell，每个cell分配6个向量元素，并将6个向量元素转换为预测值其中，p表示预测牲畜尾部条件的概率值，c表示弹性窗口bbox的置信度，x,y表示弹性窗口bbox中心点相对于所述cell边长的归一化值，w,h表示弹性窗口bbox的宽高相对于牲畜尾部双目图像宽高的归一化值，cell表示牲畜尾部双目图像均等划分后的图像块；
64.s205、对所述预测值进行后处理，得到某个弹性窗口bbox的牲畜尾部概率值：
65.s206、判断所述某个弹性窗口bbox的牲畜尾部概率值是否大于预设的阈值，若是，则该弹性窗口bbox存在牲畜尾部，并将该弹性窗口bbox的x,y,w,h转化为输入图像中的实际坐标和长宽，完成对牲畜尾部定位，并进入步骤s207，否则，该弹性窗口bbox不存在牲畜尾部，并返回步骤s1；
66.s207、根据牲畜尾部定位结果，判断牲畜尾部双目图像的标定框长度是否大于牲畜尾部双目图像总长度的预设阈值且标定框的高度大于牲畜尾部双目图像总宽度的预设阈值，若是，则牲畜运动至评分的位置，并筛选出满足条件的牲畜尾部双目图像，并进入步骤s3，否则，牲畜未运动至评分的位置，结束流程。
67.本实施例中，使用fast-yolo图像定位算法实时对两个摄像头同一时刻采集的图像进行牲畜尾部定位，并根据两幅图像中标定框的大小来判断牲畜是否运动到适合评分的位置。fast-yolo网络作为一种目标检测系统，具有很高的检测速度，适合应用于实时环境，与其他同等检测速度的目标检测系统相比，fast-yolo具有更好的检测准确率，本发明以fast-yolo网络为基础，针对fast-yolo网络在牲畜尾部检测领域的局限性和牲畜尾部检测的特点，给出一种基于fast-yolo的牲畜尾部检测网络。
68.本实施例中，如图3所示，fast-yolo的牲畜尾部检测网络包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层以及第九卷积层；
69.所述第一卷积层的卷积核大小为3
×
3，其输出特征图的通道数为16；
70.所述第二卷积层的卷积核大小为3
×
3，其输出特征图的通道数为32；
71.所述第三卷积层的卷积核大小为3
×
3，其输出特征图的通道数为64；
72.所述第四卷积层的卷积核大小为3
×
3，其输出特征图的通道数为128；
73.所述第五卷积层的卷积核大小为3
×
3，其输出特征图的通道数为256；
74.所述第六卷积层的卷积核大小为3
×
3，其输出特征图的通道数为512；
75.所述第七卷积层的卷积核大小为3
×
3，其输出特征图的通道数为1024；
76.所述第八卷积层的卷积核大小为3
×
3，其输出特征图的通道数为256；
77.所述第一卷积层、第二卷积层、第三卷积层以及第四卷积层的卷积核移动步长均
为2
×
2，其中，2
×
2是在2
×
2核内求最大值，该核以步长为2划过整个特征图。
78.本实施例中，如图3所示，fast-yolo网络将图像划分为7
×
7个cell，每个cell预测2个bbox(boundingbox，弹性窗口)，并且这2个弹性窗口bbox属于同一种类别。从网络的功能设计而言，每个cell预测的2个弹性窗口bbox是为了对处于该cell内的不同的类别、形状或比例的目标具有各自更好的匹配度，然后选择其中具有最大iou的弹性窗口bbox作为该cell内目标的窗口，最终完成目标检测任务，实现了对牲畜尾部的定位功能。
79.本实施例中，首先使用均值滤波预处理的方法，对双目图像做均值滤波预处理，减小双目图像的高斯噪声，提高噪声环境下使用fast-yolo算法对双目图像牲畜尾部位置进行检测的准确度；接着将图像缩放为448
×
448大小后，输入基于fast-yolo的牲畜尾部检测网络。牲畜尾部检测网络完成前向传播计算后，输出1176维向量。将图像划分为14
×
14个cell，1176维度的向量平均分配给图像的14
×
14个cell，每个cell分配得到6个向量元素，6个向量元素按功能设计转化为如下的预测值：其中参数p用来预测牲畜尾部条件概率值，c表示弹性窗口bbox的置信度，x、y表示弹性窗口bbox中心点相对于所属cell边长的归一化值，w、h表示弹性窗口bbox的宽高相对于图像宽高w、h的归一化值，的取值范围都是(0,1)。弹性窗口bbox坐标参数示意图如图4所示。最后使用预测值后处理和非极大值抑制处理向量，并输出目标检测的结果。其中预测值后处理中获取某个弹性窗口bbox的牲畜尾部概率值pb.获取概率值公式如下所示：
80.pb＝c
×
p
81.其中，c表示每个cell的弹性窗口bbox的置信度，p表示该cell的牲畜尾部存在的条件概率值。
82.本实施例中，将所有cell的弹性窗口bbox的牲畜尾部概率值与设定的阈值作比较，大于阈值的判定该弹性窗口bbox存在牲畜尾部，并将该弹性窗口bbox的x、y、w、h转化为输入图像中的实际坐标和长宽，小于阈值的判定该弹性窗口bbox不存在牲畜尾部，非极大值抑制可以去除重复检测的窗口。
83.本实施例中，使用牲畜尾部检测网络得到检测后的结果。当牲畜尾部在图像的边缘或显示不完全时，此时处理得到的牲畜尾部距离是不准确的，所以这里需要根据两幅图像中标定框的大小来判断牲畜是否运动到适合评分的位置。若两幅图像标定框的长度均大于图像总长度的三分之一且标定框的高度均大于图像总宽度的四分之一，则视为牲畜运动到合适的评分位置；否则视为牲畜未运动到合适的评分位置，这里的三分之一和四分之一只是实际过程中选用的一个优选参数，以供参考。该参数的选择还与摄像头的布置位置相关，在实际使用时，选择合适的大小，保证每次能够完整的拍摄牲畜尾部图像即可。若牲畜运动到合适的评分位置，则执行下一步；若牲畜未运动到合适的评分位置，则返回步骤s1重新拍摄图像。
84.本实施例中，通过此尾部检测网络实现对牲畜尾部的定位，从而可以进一步判断采集图像时牲畜是否运动到适合评分的位置，基于fast-yolo网络提出了一种牲畜尾部检测网络结构，不使用原fast-yolo网络的最后一个最大池化层，避免了特征图尺寸的进一步减小，其余网络层与原fast-yolo保持一致，由7
×
7提高到14
×
14，网络分辨率是原fast-yolo网络的4倍，由于针对牲畜尾部的检测只需要判断一种牲畜尾部类别，并且牲畜尾部具
有较为一致的比例和轮廓的特点，不同于原fast-yolo网络每个cell预测2个弹性窗口bbox，在本发明给出的基于fast-yolo的牲畜尾部检测网络中，每个cell只预测1个弹性窗口bbox，在同等的训练数据量下，将使对弹性窗口bbox的坐标参数和置信度五个预测参数的调整集中，优化网络的权值参数。
85.s3、对满足条件的牲畜尾部双目图像进行分类处理，得到牲畜的体况评分，完成基于双目视觉的牲畜体况监测，其实现方法如下：
86.s301、利用多尺度滤波器对满足条件的牲畜尾部双目图像进行特征提取；
87.s302、将提取的特征输入至分类器中进行梯度对数归一化处理，得到分类结果，其中，每个分类的类别表示一个体况分数；
88.s303、对归分类结果进行校准处理，得到牲畜的体况评分，完成基于双目视觉的牲畜体况监测。
89.本实施例中，使用视差法对符合条件的图像进行处理。使用深度神经网络中编码-解码的方式对归一化后的图像矩阵进行矩阵变换和特征提取，使用神经网络进行分类可以看作是一个映射方程f：rd→rm
，其中，d维度的输入向量输入到网络中，m维度的输出向量代表m个分类类别，网络的构建通常使得诸如均方误差(mse)之类的整体误差度量最小化。分类网络的关键模块如图5所示。首先分别使用1
×
1,3
×
3.5,5
×
5的多尺度滤波器组从多个方面获取图像的纹理、形状等特征信息，然后在卷积层加入残差学习模块，减少信息传递的层数，将图像特征直接提取到网络的更深层，提取到的特征表示为一个向量，向量中的每个值对应着牲畜为某个分数的可能性大小，将提取后的特征输入到softmax分类器中进行梯度对数归一化，经归一化后的向量变为了只有0和1的二进制向量：ej＝(0,0,0,...,1,0,0)，其中，向量中1所在的位置对应的分数即为该牲畜的体况分数，以此来实现牲畜体况智能监测效果，softmax分类公式如下式所示，最后利用线性回归对分类结果进行校准，得到牲畜的体况评分，其中，使用softmax_crossentropy_with_logits作为网络的损失函数。
[0090][0091]
j＝1,2,3,...,k
[0092]
其中，σ(z)j表示向量z在位置j处归一化之后的值，表示向量z在位置j处的值，k代表分类的数量。
[0093]
本实施例中，以上所有步骤都是自动完成的，无需人工介入，只需要将牲畜赶到行走通道上，当牲畜一个个的通过行走通道时，数据采集装置和数据处理装置会自动拍摄牲畜尾部照片并进行处理得到该牲畜对应的评分数据，使用起来非常的方便、快捷，并且该方法不依赖人眼观看，评分结果误差小、精度高。本方案通过摄像头获取牲畜尾部双目图像，并使用神经网络算法对牧场牲畜进行体况评分，不仅精度高、成本低，而且可推广性强，可以有效的减少人力成本。
[0094]
实施例2
[0095]
如图6所示，本发明还提供了一种基于双目视觉的牲畜体况监测系统，包括：
[0096]
采集模块，用于利用摄像头获取牲畜尾部双目图像；
[0097]
定位模块，用于根据所述牲畜尾部双目图像对牲畜尾部进行定位处理，并根据所
述牲畜尾部双目图像中标定框的大小判断牲畜是否运动至适合评分的位置，筛选出满足条件的牲畜尾部双目图像；
[0098]
分类模块，用于对满足条件的牲畜尾部双目图像进行分类处理，得到牲畜的体况评分，完成基于双目视觉的牲畜体况监测。
[0099]
如图6所示实施例提供的基于双目视觉的牲畜体况监测系统可以执行上述方法实施例所示的技术方案，其实现原理与有益效果类似，此处不再赘述。