一种牲畜转栏盘点方法、装置及存储介质与流程

1.本发明涉及牲畜管理技术领域，尤其是涉及一种牲畜转栏盘点方法、装置及存储介质。


背景技术：

2.在牲畜养殖行业中，随着牲畜的生长，通常需要对生长到一定重量的牲畜进行转栏处理。例如在生猪饲养环节，随着生猪的生长，原来的猪栏也已经不能够满足生猪养殖的要求，如果不区分大猪小猪，则大猪容易去伤害到小猪，小猪也容易被大猪挤压。现有的牲畜转栏盘点方法通常都是主要通过人工干预进行，通过人工驱赶牲畜到新的养殖栏并进行点数。但是这种方法存在以下问题：
3.(1)牲畜不配合工作人员，需要工作人员花费长时间驱赶牲畜；
4.(2)由人工对转栏的牲畜进行盘点，盘点工作量大且容易出现误差。


技术实现要素：

5.本发明提供了一种牲畜转栏盘点方法、装置及存储介质，以解决现有的牲畜转栏盘点方法需要较大的工作量以及容易出现误差，导致盘点效率低以及误差大的技术问题。
6.本发明的一个实施例提供了一种牲畜转栏盘点方法，包括：
7.采集目标区域中牲畜的待盘点视频数据，并将所述待盘点视频数据分为训练集和测试集；
8.对所述测试集中的待盘点视频数据进行数据标注，得到待处理数据；
9.采用检测算法对所述待处理数据进行训练，得到用于计算牲畜转栏数量的神经网络模型，并根据所述神经网络模型和所述测试集计算得到当前帧图像的牲畜位置；
10.采用跟踪算法获取待盘点牲畜的运动轨迹，根据所述运动轨迹与所述目标区域的转栏线判断对所述目标区域中所有牲畜进行转栏计数。
11.进一步的，所述根据所述神经网络模型和所述测试集计算得到当前帧图像的牲畜位置，具体为：
12.对所述测试集中的待盘点视频数据进行数据增强处理后输入至所述神经网络模型中，计算得到所述待盘点视频数据中当前帧的牲畜位置。
13.进一步的，采用跟踪算法获取待盘点牲畜的运动轨迹，根据所述运动轨迹与所述目标区域的转栏线判断对所述目标区域中所有牲畜进行转栏计数，具体为：
14.采用跟踪算法根据所述牲畜位置将相邻两帧图像的检测框进行匹配，根据匹配结果获取待盘点牲畜的运动轨迹，根据所述运动轨迹的中心点与所述目标区域的转栏线判断对所述目标区域中所有牲畜进行转栏计数。
15.进一步的，所述根据所述运动轨迹的中心点与所述目标区域的转栏线判断对所述目标区域中所有牲畜进行转栏计数，具体为：
16.在所述中心点越过所述转栏线时，判断所述中心点越过所述转栏线的运动方向，
若所述运动方向为预设的正方向，则计数加一，若所述运动方向为反方向，则计数减一。
17.进一步的，所述检测算法包括但不限于yolov3算法。
18.进一步的，所述跟踪算法包括但不限于匈牙利算法。
19.进一步的，所述yolov3算法采用ciouloss作为目标检测损失回归函数。
20.本发明的第二实施例提供了一种牲畜转栏盘点装置，包括：
21.数据采集模块，用于采集目标区域中牲畜的待盘点视频数据，并将所述待盘点视频数据分为训练集和测试集；
22.数据标注模块，用于对所述待盘点视频数据进行数据标注，得到待处理数据；
23.位置计算模块，用于采用检测算法对所述待处理数据进行训练，得到用于计算牲畜转栏数量的神经网络模型，并根据所述神经网络模型和所述测试集计算得到当前帧图像的牲畜位置；
24.转栏计算模块，用于采用跟踪算法获取待盘点牲畜的运动轨迹，根据所述运动轨迹与所述目标区域的转栏线判断对所述目标区域中所有牲畜进行转栏计数。
25.本发明的第三实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的牲畜转栏盘点方法。
26.本发明实施例通过采集目标区域中牲畜的待盘点视频数据对牲畜进行转栏盘点，无需人工驱赶牲畜以及人工盘点，不仅有效提高盘点工作的工作量以及专栏盘点的准确性，还能为牲畜提供良好的生活环境。
附图说明
27.图1是本发明实施例提供的一种牲畜转栏盘点方法的流程示意图；
28.图2是本发明实施例提供的一种牲畜转栏盘点装置的结构示意图。
具体实施方式
29.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
30.在本技术的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。
31.在本技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。
32.请参阅图1，在本发明的第一实施例中，提供了图1所示的本发明的一个实施例提
供了一种牲畜转栏盘点方法，包括：
33.s1、采集目标区域中牲畜的待盘点视频数据，并将所述待盘点视频数据分为训练集和测试集；
34.在本发明实施例中，牲畜为生猪。
35.具体地，待盘点视频数据主要为目标区域转栏线附近的视频数据，目标区域可以为养殖栏。
36.s2、对所述测试集中的待盘点视频数据进行数据标注，得到待处理数据；
37.在本发明实施例中，通过数据标注的方式对视频数据打上一个标签，该标签为模型训练时需要预测的值。
38.s3、采用检测算法对所述待处理数据进行训练，得到用于计算牲畜转栏数量的神经网络模型，并根据所述神经网络模型和所述测试集计算得到当前帧图像的牲畜位置；
39.s4、采用跟踪算法获取待盘点牲畜的运动轨迹，根据所述运动轨迹与所述目标区域的转栏线判断对所述目标区域中所有牲畜进行转栏计数。
40.本发明实施例通过采集目标区域中牲畜的待盘点视频数据对牲畜进行转栏盘点，无需人工驱赶牲畜以及人工盘点，不仅有效提高盘点工作的工作量以及专栏盘点的准确性，还能为牲畜提供良好的生活环境。
41.作为本发明实施例的一种具体实施方式，所述根据所述神经网络模型和所述测试集计算得到当前帧图像的牲畜位置，具体为：
42.对所述测试集中的待盘点视频数据进行数据增强处理后输入至所述神经网络模型中，计算得到所述待盘点视频数据中当前帧的牲畜位置。
43.在本发明实施例中，通过检测算法对待处理数据进行训练，能够使快速、准确检测到当前帧的牲畜位置，并以该牲畜位置作为基础对牲畜进行跟踪。具体地，通过跟踪算法选择两帧之间检测框的iou作为代价矩阵，从而将当前帧和上一帧的检测框进行匹配，同时记录更新框的id，从而实现对牲畜的跟踪。
44.本发明实施例通过对相邻两帧的检测框进行匹配，并记录更新框的id，以此id实现对牲畜进行运动轨迹的跟踪。
45.作为本发明实施例的一种具体实施方式，采用跟踪算法获取待盘点牲畜的运动轨迹，根据所述运动轨迹与所述目标区域的转栏线判断对所述目标区域中所有牲畜进行转栏计数，具体为：
46.采用跟踪算法根据所述牲畜位置将相邻两帧图像的检测框进行匹配，根据匹配结果获取待盘点牲畜的运动轨迹，根据所述运动轨迹的中心点与所述目标区域的转栏线判断对所述目标区域中所有牲畜进行转栏计数。
47.可选地，根据运动轨迹的跟踪检测到牲畜越过转栏线时，在运动轨迹的中心点越过所述转栏线时，判断所述中心点越过所述转栏线的运动方向，若所述运动方向为预设的正方向，则计数加一，若所述运动方向为反方向，则计数减一。
48.本发明实施例根据中心点越过转栏线的运动方向判断牲畜是否出栏以及进栏，并根据该运动方向进行计数加减，从而能够准确对牲畜进行转栏盘点。
49.作为本发明实施例的一种具体实施方式，所述检测算法包括但不限于yolov3算法，所述跟踪算法包括但不限于匈牙利算法。所述yolov3算法采用ciouloss作为目标检测
损失回归函数。
50.在本发明实施例中，通过上述对yolov3算法的改进，能够使得神经网络模型能够提高检测的准确性，更适用于牲畜转栏跟踪场景，且有利于将该神经网络模型部署在嵌入式设备中。以降低设备的性能。
51.在本发明实施例中，yolo主干结构是darknet
‑
53网络，yolo预测支路采用的都是全卷积的结构，最后一层卷积层外，在yolov3中bn和leakyrelu共同构成了最小组件。
52.yolov3主干网络中使用了5个resn结构，其中n代表数字，有res1，res2，
…
，res8等等，表示该res_block里含有n个res_unit。本发明实施例中yolov3借鉴了resnet的残差结构，以提高网络结构的深度。
53.在预测支路上有张量拼接(concat)操作，其实现方法是将darknet中间层和中间层后某一层的上采样进行拼接。
54.从代码层面来整体分析，yolo_body一共有252层。23个res_unit对应23个add层。bn层和leakyrelu层数量都是72层，在网络结构中的表现为：每一层bn后面均接一层leakyrelu。上采样和张量拼接操作各2个，5个零填充对应5个res_block。卷积层一共有75层，其中有72层后面都会接batchnormalization和leakyrelu构成的dbl。三个不同尺度的输出对应三个卷积层，最后的卷积层的卷积核个数是255，是针对coco数据集的80类：3
×
(80 4 1)＝255，3表示一个gridcell包含3个boundingbox，4表示框的4个坐标信息，1表示置信度。本发明实施例的yolov3中使用了一个53层的卷积网络，该卷积网络由残差单元叠加而成。
55.具体地，darknet
‑
53网络采用全卷积结构，yolov3前向传播过程中，张量的尺寸变换是通过改变卷积核的步长来实现的。卷积的步长为2，每次经过卷积之后，图像边长缩小一半，经过5次缩小，特征图缩小为原输入尺寸的1/32。所以网络输入图片的尺寸为32的倍数，取为416
×
416，通过卷积核增大步长来进行张量尺寸变换。
56.本发明实施例中的darknet
‑
53网络引入了residual结构，以降低训练深层网络的难度，从而有效提高训练的精度。
57.实施本发明实施例，具有以下有益效果：
58.本发明实施例通过采集目标区域中牲畜的待盘点视频数据对牲畜进行转栏盘点，无需人工驱赶牲畜以及人工盘点，不仅有效提高盘点工作的工作量以及专栏盘点的准确性，还能为牲畜提供良好的生活环境。
59.进一步地，本发明实施例结合检测算法以及跟踪算法获取牲畜的运动轨迹，并根据牲畜的运动轨迹判断牲畜是否越过转栏线，根据牲畜越过转栏线时的运动方向来进行盘点计数，能够有效提高牲畜转栏盘点的效率以及准确性。
60.请参阅图2，本发明的第二实施例提供了一种牲畜转栏盘点装置，包括：
61.数据采集模块10，用于采集目标区域中牲畜的待盘点视频数据，并将所述待盘点视频数据分为训练集和测试集；
62.在本发明实施例中，牲畜为生猪。
63.具体地，待盘点视频数据主要为目标区域转栏线附近的视频数据，目标区域可以为养殖栏。
64.数据标注模块20，用于对所述待盘点视频数据进行数据标注，得到待处理数据；
65.在本发明实施例中，通过数据标注的方式对视频数据打上一个标签，该标签为模型训练时需要预测的值。
66.位置计算模块30，用于采用检测算法对所述待处理数据进行训练，得到用于计算牲畜转栏数量的神经网络模型，并根据所述神经网络模型和所述测试集计算得到当前帧图像的牲畜位置；
67.转栏计算模块40，用于采用跟踪算法获取待盘点牲畜的运动轨迹，根据所述运动轨迹与所述目标区域的转栏线判断对所述目标区域中所有牲畜进行转栏计数。
68.本发明实施例通过采集目标区域中牲畜的待盘点视频数据对牲畜进行转栏盘点，无需人工驱赶牲畜以及人工盘点，不仅有效提高盘点工作的工作量以及专栏盘点的准确性，还能为牲畜提供良好的生活环境。
69.作为本发明实施例的一种具体实施方式，所述位置计算模块30具体用于：
70.对所述测试集中的待盘点视频数据进行数据增强处理后输入至所述神经网络模型中，计算得到所述待盘点视频数据中当前帧的牲畜位置。
71.在本发明实施例中，通过检测算法对待处理数据进行训练，能够使快速、准确检测到当前帧的牲畜位置，并以该牲畜位置作为基础对牲畜进行跟踪。具体地，通过跟踪算法选择两帧之间检测框的iou作为代价矩阵，从而将当前帧和上一帧的检测框进行匹配，同时记录更新框的id，从而实现对牲畜的跟踪。
72.本发明实施例通过对相邻两帧的检测框进行匹配，并记录更新框的id，以此id实现对牲畜进行运动轨迹的跟踪。
73.作为本发明实施例的一种具体实施方式，转栏计算模块40具体用于：
74.采用跟踪算法根据所述牲畜位置将相邻两帧图像的检测框进行匹配，根据匹配结果获取待盘点牲畜的运动轨迹，根据所述运动轨迹的中心点与所述目标区域的转栏线判断对所述目标区域中所有牲畜进行转栏计数。
75.可选地，根据运动轨迹的跟踪检测到牲畜越过转栏线时，在运动轨迹的中心点越过所述转栏线时，判断所述中心点越过所述转栏线的运动方向，若所述运动方向为预设的正方向，则计数加一，若所述运动方向为反方向，则计数减一。
76.本发明实施例根据中心点越过转栏线的运动方向判断牲畜是否出栏以及进栏，并根据该运动方向进行计数加减，从而能够准确对牲畜进行转栏盘点。
77.作为本发明实施例的一种具体实施方式，所述检测算法包括但不限于yolov3算法，所述跟踪算法包括但不限于匈牙利算法。所述yolov3算法采用ciouloss作为目标检测损失回归函数。
78.在本发明实施例中，通过上述对yolov3算法的改进，能够使得神经网络模型能够提高检测的准确性，更适用于牲畜转栏跟踪场景，且有利于将该神经网络模型部署在嵌入式设备中。以降低设备的性能。
79.在本发明实施例中，yolo主干结构是darknet
‑
53网络，yolo预测支路采用的都是全卷积的结构，最后一层卷积层外，在yolov3中bn和leakyrelu共同构成了最小组件。
80.yolov3主干网络中使用了5个resn结构，其中n代表数字，有res1，res2，
…
，res8等等，表示该res_block里含有n个res_unit。本发明实施例中yolov3借鉴了resnet的残差结构，以提高网络结构的深度。
81.在预测支路上有张量拼接(concat)操作，其实现方法是将darknet中间层和中间层后某一层的上采样进行拼接。
82.从代码层面来整体分析，yolo_body一共有252层。23个res_unit对应23个add层。bn层和leakyrelu层数量都是72层，在网络结构中的表现为：每一层bn后面均接一层leakyrelu。上采样和张量拼接操作各2个，5个零填充对应5个res_block。卷积层一共有75层，其中有72层后面都会接batchnormalization和leakyrelu构成的dbl。三个不同尺度的输出对应三个卷积层，最后的卷积层的卷积核个数是255，是针对coco数据集的80类：3
×
(80 4 1)＝255，3表示一个gridcell包含3个boundingbox，4表示框的4个坐标信息，1表示置信度。本发明实施例的yolov3中使用了一个53层的卷积网络，该卷积网络由残差单元叠加而成。
83.具体地，darknet
‑
53网络采用全卷积结构，yolov3前向传播过程中，张量的尺寸变换是通过改变卷积核的步长来实现的。卷积的步长为2，每次经过卷积之后，图像边长缩小一半，经过5次缩小，特征图缩小为原输入尺寸的1/32。所以网络输入图片的尺寸为32的倍数，取为416
×
416，通过卷积核增大步长来进行张量尺寸变换。
84.本发明实施例中的darknet
‑
53网络引入了residual结构，以降低训练深层网络的难度，从而有效提高训练的精度。
85.实施本发明实施例，具有以下有益效果：
86.本发明实施例通过采集目标区域中牲畜的待盘点视频数据对牲畜进行转栏盘点，无需人工驱赶牲畜以及人工盘点，不仅有效提高盘点工作的工作量以及专栏盘点的准确性，还能为牲畜提供良好的生活环境。
87.进一步地，本发明实施例结合检测算法以及跟踪算法获取牲畜的运动轨迹，并根据牲畜的运动轨迹判断牲畜是否越过转栏线，根据牲畜越过转栏线时的运动方向来进行盘点计数，能够有效提高牲畜转栏盘点的效率以及准确性。
88.本发明的第三实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的牲畜转栏盘点方法。
89.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。