基于计算机视觉对视频中群养猪咬尾行为进行识别的方法与流程

1.本发明涉及目标检测和行为识别的技术领域，尤其是指基于计算机视觉 对视频中群养猪咬尾行为进行识别的方法。


背景技术：

2.养殖场的群养猪健康问题日益受到关注，一些研究集中在猪只的咬尾行 为，这是最有害的行为之一，可能导致猪只生产的利润下降，另一方面，猪 只的尾巴被咬伤造成的身体伤害可能导致严重的疼痛和继发性感染，并可能 蔓延到猪只的整个身体。
3.然而，猪只发生咬尾行为的原因是多因素的，包括食物营养和环境等外 部因素，以及遗传和健康状况等内部因素，因此必须保持警惕以减少咬尾的 有害影响，然而，对猪只发生咬尾行为的监测仍然是手工进行的，而且只有 在养殖场中发现猪只出血，咬尾行为已经对猪只产生了严重后果时，才被检 测到，通过养殖场对猪只的日常检查是费时费劲且带有主观性的，这对猪只 的健康和生产力有很高的风险，到目前为止，很少有研究试图自动识别猪只 的咬尾行为，一些相关的研究旨在监测猪只的攻击行为，现有的大多数方法 都假设咬尾行为的活动强度远高于其他交互作用，基于这一假设研究设计图 像特征来量化像素的变化，但是，这种方法受到养殖场中猪只群体规模的限 制，随着有限空间内猪只数量的增加，猪之间的密切接触使得确定猪只的位 置带来了困难，为此，我们提出基于计算机视觉对视频中群养猪咬尾行为进 行识别的方法来解决此问题。
4.发明专利内容
5.本发明专利的目的在于提供基于计算机视觉对视频中群养猪咬尾行为进 行识别的方法，解决了猪只发生咬尾行为的监测仍然是手工进行的，而且只 有在养殖场中发现猪只出血，咬尾行为已经对猪只产生了严重后果时，才被 检测到，并且养殖场对猪只的日常检查是费时费劲且带有主观性的，对猪只 的健康和生产力有很高的风险的问题。
6.为实现上述目的，本发明专利提供如下技术方案：基于计算机视觉对视 频中群养猪咬尾行为进行识别的方法，包括以下步骤：
7.步骤1：获取猪只图像，猪只图像包括猪只的初始图像，并对初始图像中 的猪只进行标注，得到猪只的标注框，获取发生猪只咬尾行为的初始视频；
8.步骤2：将进行标注后的猪只图像输入到用于目标检测的神经网络中进行 神经网络的参数训练，参数训练完成后，得到一个能够对图像中的猪只进行 自动识别的神经网络模型；
9.步骤3：通过用于目标检测的神经网络、目标跟踪算法和提取猪只交互行 为方法，自动将发生猪只咬尾行为的初始视频转换成时长为1s的子视频，子 视频包括咬尾子视频和非咬尾子视频，并将两种行为类别标注到每个子视频；
10.步骤4：将子视频输入到用于猪只行为识别的神经网络中进行神经网络的 参数训练，其中，用于猪只行为识别的神经网络包括卷积神经网络和长短期 记忆网络；
11.步骤5：参数训练完成后，得到一个能够对子视频中群养猪咬尾行为进行 识别的
神经网络模型，最终通过目标检测神经网络、目标跟踪算法、提取猪 只交互行为方法和猪只行为识别神经网络，可对任意输入的视频中的群养猪 咬尾行为进行识别。
12.优选的，所述在步骤1中，获取猪只的初始图像由安装在猪只上方的摄 影机收集，使用labelimg这一个数据集格式制作软件对数据集中初始图像的 猪只对象进行标注，并将标注以pascalvoc的图像标注格式保存，用于后续 将图像数据输入目标检测神经网络进行参数的训练。
13.优选的，所述在步骤1中，获取发生猪只咬尾行为的初始视频由安装在 猪只上方的摄影机收集，猪只咬尾行为的起始是由施害方开始咬受害方尾巴 的时间点决定的，其表现为咀嚼动作，结束由施害方释放受害方尾巴的时间 点决定，咬尾行为持续时间超过1秒。
14.优选的，所述在步骤2中，用于目标检测的神经网络使用ssd神经网络 模型，ssd神经网络模型通过在预测框和标注框之间建立回归模型来预测猪只 的位置，使用进行标注后的猪只初始图像输入到ssd神经网络模型中进行神 经网络参数的训练。
15.优选的，所述在步骤2中，参数训练完成后，得到一个能够对图像中的 猪只进行自动识别的神经网络模型，通过该神经网络模型即可对任意输入的 图像中的猪只进行自动识别，即将一张待测图像输入到该神经网络模型中， 就会准确识别出猪只在初始图像中的位置及其置信度，其中，猪只由边界框 包围。
16.优选的，所述在步骤3中，通过用于目标检测的神经网络、目标跟踪算 法和提取猪只交互行为方法，自动将发生猪只咬尾行为的初始视频转换成时 长为1s的子视频，包含以下步骤：
17.3.1：使用ssd神经网络模型识别初始视频中每一帧图像猪只的位置及其 置信度，其中，猪只由边界框包围。
18.3.2：为了跟踪初始视频中的猪只，通过目标跟踪算法将初始视频中相邻 帧图像检测到的猪只边界框关联起来，使用最小跟踪单元最大化跟踪的猪只 数量，最小跟踪单元表示从初始视频中提取到时长为1s的片段，每个最小跟 踪单元的第一帧作为起始跟踪点，跟踪过程在每个最小跟踪单元的最后一帧 结束，且在第一帧中，置信度超过50％的猪只才会被跟踪，在每一个最小跟踪 单元中使用的目标跟踪算法基于同一猪只在相邻帧的位置和形状有很小的差 异，同一猪只的边界框在相邻帧的相似性用匹配分数ms来衡量；
19.ms＝cs
×
(α1×
1/d α2×
α α3×
αr α4×
ιou)式中，cs是在前一帧搜索到特 定猪只的最佳匹配边界框时，后一帧中一个候选边界框的置信度，置信度取 值为0％到100％，d是以像素表示的中心距离，a是面积比，面积比取值为0 到1，ar是长宽比，长宽比取值为0到1，ιou是相邻两帧的两个边界框的相 交值，相交值取值为0到1，α1到α4是相应指标的权重，为了进行一致性比 较，在每个最小跟踪单元中，匹配分数被标准化为0到1之间，该值越大， 相似的程度就越高。
20.3.3：提取猪只交互行为方法通过将最小跟踪单元中跟踪到的猪只运动轨 迹转化为两两交互行为，当一个最小跟踪单元中有n只猪时,则n(n-1)/2对表 示交互行为的边界框被提取出来，通过以下规则过滤无意义的交互行为：最 小跟踪单元中每一帧的边界框相交值平均值应大于0；最小跟踪单元中每一帧 的两个边界框的边缘距离始终小于阈值，即30个像素，边缘距离是分隔两个 边界框的外部空间；
21.3.4：每一个最小跟踪单元提取出的猪只交互行为形成子视频，同时为了 使得子
视频中每一帧的大小相同，每一对被提取的表示猪只交互行为的边界 框都填充0像素到大小为400*400像素。
22.优选的，所述在步骤2中，神经网络结构包括n个卷积层、m个池化层和 k个全链接层，所述卷积层与池化层交叉依次设置，且池化层采用基于最大值 的池化方法，其中n、m、k均为≥1的整数，n、m、k的值均为3，即通过三 个全连接层来对提取出猪只特征码的特征响应图进行数值预测，得到相似度 分数，并输出匹配结果；然后利用匹配结果与真实结果之间的误差，采用误 差反向传播算法来训练神经网络的训练参数。
23.优选的，所述在步骤3.2中，同时排除有明显异常变化的相邻帧，满足 以下条件的猪只将不再被跟踪：边界框置信度小于50％；边界框位置移动超过 25％，即ιou小于0.75；边界框形状变化超过30％，即a小于0.7或者ar小于0.7；边界框匹配分数小于0.5，即ms小于0.5。如果前一帧的猪只边界框在 上述条件情况下，后一帧没有相匹配的猪只边界框，则该猪只被认为跟踪失 败，并且排除在当前的最小跟踪单元外，此外，当出现在相邻帧中没有匹配 的猪只边界框，而在之后的帧中重新跟踪到相匹配的猪只边界框情况时，则 在接下来的10帧内逐帧搜索最佳匹配的猪只边界框，然后使用线性插值法对 相邻的丢失的猪只边界框进行补充。
24.优选的，所述在步骤4中，猪只的咬尾行为包含时间和空间的信息，在 空间上，施害方的头部必须靠近受害方的尾巴，在时间上，在咬尾期间，施 害方追逐受害方逃跑的轨迹，利用卷积神经网络cnn提取子视频中每一帧图 像的空间特征，然后将每一帧图像的特征组合成序列信号，相邻帧猪只的任 何位置、姿势的变化都将导致序列信号的变化，不同的序列信号代表不同行 为类别的交互行为，利用长短期记忆网络lstm接收序列信号作为输入，通过 对行为类别标注后的子视频的参数训练，lstm可以区分序列信号变化的差异。 神经网络的参数训练完成后，lstm结合神经网络的全连接层可对子视频的序 列信号进行分类，最终实现对子视频中群养猪咬尾行为进行识别。
25.与现有技术相比，本发明专利的有益效果如下：
26.本发明专利通过使用的图像和视频都是由自上而下的角度进行拍摄的， 这个角度的猪只大小和外观差异小，有利于提高神经网络的识别正确率，将 群养猪的运动轨迹转化为两两交互行为，比在群体层面上的行为识别要具体， 且效率更高，将初始视频转换为多个表示猪只交互行为的子视频，增加了用 于训练网络的数据数量，使用卷积神经网络和长短期记忆网络学习猪只在时 间和空间上的特征信息，更有效地检测了猪只发生咬尾行为的时空特征。
附图说明
27.图1为本发明专利逻辑流程示意图；
28.图2为本发明的目标跟踪算法流程示意图。
具体实施方式
29.下面将结合本发明专利实施例中的附图，对本发明专利实施例中的技术 方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明专利一部 分实施例，而不是全部的实施例。基于本发明专利中的实施例，本领域普通 技术人员在没有做出创造性劳动前提
下所获得的所有其他实施例，都属于本 发明专利保护的范围。
30.请参阅图1，本发明提供一种技术方案：基于计算机视觉对视频中群养猪 咬尾行为进行识别的方法，包括以下步骤：
31.步骤1：获取猪只图像，猪只图像包括猪只的初始图像，并对初始图像中 的猪只进行标注，得到猪只的标注框，获取发生猪只咬尾行为的初始视频；
32.步骤2：将进行标注后的猪只图像输入到用于目标检测的神经网络中进行 神经网络的参数训练，参数训练完成后，得到一个能够对图像中的猪只进行 自动识别的神经网络模型；
33.步骤3：通过用于目标检测的神经网络、目标跟踪算法和提取猪只交互行 为方法，自动将发生猪只咬尾行为的初始视频转换成时长为1s的子视频，子 视频包括咬尾子视频和非咬尾子视频，并将两种行为类别标注到每个子视频；
34.步骤4：将子视频输入到用于猪只行为识别的神经网络中进行神经网络的 参数训练，其中，用于猪只行为识别的神经网络包括卷积神经网络和长短期 记忆网络；
35.步骤5：参数训练完成后，得到一个能够对子视频中群养猪咬尾行为进行 识别的神经网络模型，最终通过目标检测神经网络、目标跟踪算法、提取猪 只交互行为方法和猪只行为识别神经网络，可对任意输入的视频中的群养猪 咬尾行为进行识别。
36.实施例一：
37.获取猪只图像，猪只图像包括猪只的初始图像，并对初始图像中的猪只 进行标注，得到猪只的标注框，获取发生猪只咬尾行为的初始视频；将进行 标注后的猪只图像输入到用于目标检测的神经网络中进行神经网络的参数训 练，参数训练完成后，得到一个能够对图像中的猪只进行自动识别的神经网 络模型；通过用于目标检测的神经网络、目标跟踪算法和提取猪只交互行为 方法，自动将发生猪只咬尾行为的初始视频转换成时长为1s的子视频，子视 频包括咬尾子视频和非咬尾子视频，并将两种行为类别标注到每个子视频； 将子视频输入到用于猪只行为识别的神经网络中进行神经网络的参数训练， 其中，用于猪只行为识别的神经网络包括卷积神经网络和长短期记忆网络； 参数训练完成后，得到一个能够对子视频中群养猪咬尾行为进行识别的神经 网络模型，最终通过目标检测神经网络、目标跟踪算法、提取猪只交互行为 方法和猪只行为识别神经网络，可对任意输入的视频中的群养猪咬尾行为进 行识别。
38.实施例二：
39.在实施例一中，再加上下述工序：
40.所述在步骤1中，获取猪只的初始图像由安装在猪只上方的摄影机收集， 使用labelimg这一个数据集格式制作软件对数据集中初始图像的猪只对象进 行标注，并将标注以pascalvoc的图像标注格式保存，用于后续将图像数据 输入目标检测神经网络进行参数的训练，获取发生猪只咬尾行为的初始视频 由安装在猪只上方的摄影机收集，猪只咬尾行为的起始是由施害方开始咬受 害方尾巴的时间点决定的，其表现为咀嚼动作，结束由施害方释放受害方尾 巴的时间点决定，咬尾行为持续时间超过1秒。
41.获取猪只图像，猪只图像包括猪只的初始图像，并对初始图像中的猪只 进行标注，得到猪只的标注框，获取发生猪只咬尾行为的初始视频；将进行 标注后的猪只图像输入到用于目标检测的神经网络中进行神经网络的参数训 练，参数训练完成后，得到一个能
够对图像中的猪只进行自动识别的神经网 络模型；通过用于目标检测的神经网络、目标跟踪算法和提取猪只交互行为 方法，自动将发生猪只咬尾行为的初始视频转换成时长为1s的子视频，子视 频包括咬尾子视频和非咬尾子视频，并将两种行为类别标注到每个子视频； 将子视频输入到用于猪只行为识别的神经网络中进行神经网络的参数训练， 其中，用于猪只行为识别的神经网络包括卷积神经网络和长短期记忆网络； 参数训练完成后，得到一个能够对子视频中群养猪咬尾行为进行识别的神经 网络模型，最终通过目标检测神经网络、目标跟踪算法、提取猪只交互行为 方法和猪只行为识别神经网络，可对任意输入的视频中的群养猪咬尾行为进 行识别。
42.实施例三：
43.在实施例二中，再加上下述工序：
44.所述在步骤2中，用于目标检测的神经网络使用ssd神经网络模型，ssd 神经网络模型通过在预测框和标注框之间建立回归模型来预测猪只的位置， 使用进行标注后的猪只初始图像输入到ssd神经网络模型中进行神经网络参 数的训练；所述在步骤2中，参数训练完成后，得到一个能够对图像中的猪 只进行自动识别的神经网络模型，通过该神经网络模型即可对任意输入的图 像中的猪只进行自动识别，即将一张待测图像输入到该神经网络模型中，就 会准确识别出猪只在初始图像中的位置及其置信度，其中，猪只由边界框包 围；所述在步骤2中，神经网络结构包括n个卷积层、m个池化层和k个全链 接层，所述卷积层与池化层交叉依次设置，且池化层采用基于最大值的池化 方法，其中n、m、k均为≥1的整数，n、m、k的值均为3，即通过三个全连 接层来对提取出猪只特征码的特征响应图进行数值预测，得到相似度分数， 并输出匹配结果；然后利用匹配结果与真实结果之间的误差，采用误差反向 传播算法来训练神经网络的训练参数。
45.获取猪只图像，猪只图像包括猪只的初始图像，并对初始图像中的猪只 进行标注，得到猪只的标注框，获取发生猪只咬尾行为的初始视频；将进行 标注后的猪只图像输入到用于目标检测的神经网络中进行神经网络的参数训 练，参数训练完成后，得到一个能够对图像中的猪只进行自动识别的神经网 络模型；通过用于目标检测的神经网络、目标跟踪算法和提取猪只交互行为 方法，自动将发生猪只咬尾行为的初始视频转换成时长为1s的子视频，子视 频包括咬尾子视频和非咬尾子视频，并将两种行为类别标注到每个子视频； 将子视频输入到用于猪只行为识别的神经网络中进行神经网络的参数训练， 其中，用于猪只行为识别的神经网络包括卷积神经网络和长短期记忆网络； 参数训练完成后，得到一个能够对子视频中群养猪咬尾行为进行识别的神经 网络模型，最终通过目标检测神经网络、目标跟踪算法、提取猪只交互行为 方法和猪只行为识别神经网络，可对任意输入的视频中的群养猪咬尾行为进 行识别。
46.实施例四：
47.在实施例三中，再加上下述工序：
48.所述在步骤3中，通过用于目标检测的神经网络、目标跟踪算法和提取 猪只交互行为方法，自动将发生猪只咬尾行为的初始视频转换成时长为1s的 子视频，包含以下步骤：3.1：使用ssd神经网络模型识别初始视频中每一帧 图像猪只的位置及其置信度，其中，猪只由边界框包围；3.2：为了跟踪初始 视频中的猪只，通过目标跟踪算法将初始视频中相邻帧图像检测到的猪只边 界框关联起来，使用最小跟踪单元最大化跟踪的猪只数量，最小
跟踪单元表 示从初始视频中提取到时长为1s的片段，每个最小跟踪单元的第一帧作为起 始跟踪点，跟踪过程在每个最小跟踪单元的最后一帧结束，且在第一帧中， 置信度超过50％的猪只才会被跟踪，在每一个最小跟踪单元中使用的目标跟踪 算法基于同一猪只在相邻帧的位置和形状有很小的差异，同一猪只的边界框 在相邻帧的相似性用匹配分数ms来衡量；
49.ms＝cs
×
(α1×
1/d α2×
α α3×
αr α4×
ιou)式中，cs是在前 一帧搜索到特定猪只的最佳匹配边界框时，后一帧中一个候选边界框的置信 度，置信度取值为0％到100％，d是以像素表示的中心距离，a是面积比，面 积比取值为0到1，ar是长宽比，长宽比取值为0到1，ιou是相邻两帧的两 个边界框的相交值，相交值取值为0到1，α1到α4是相应指标的权重，为了 进行一致性比较，在每个最小跟踪单元中，匹配分数被标准化为0到1之间， 该值越大，相似的程度就越高，3.3：提取猪只交互行为方法通过将最小跟踪 单元中跟踪到的猪只运动轨迹转化为两两交互行为，当一个最小跟踪单元中 有n只猪时,则n(n-1)/2对表示交互行为的边界框被提取出来，通过以下规则 过滤无意义的交互行为：最小跟踪单元中每一帧的边界框相交值平均值应大 于0；最小跟踪单元中每一帧的两个边界框的边缘距离始终小于阈值，即30 个像素，边缘距离是分隔两个边界框的外部空间；3.4：每一个最小跟踪单元 提取出的猪只交互行为形成子视频，同时为了使得子视频中每一帧的大小相 同，每一对被提取的表示猪只交互行为的边界框都填充0像素到大小为 400*400像素；所述在步骤3.2中，同时排除有明显异常变化的相邻帧，满足 以下条件的猪只将不再被跟踪：边界框置信度小于50％；边界框位置移动超过 25％，即ιou小于0.75；边界框形状变化超过30％，即a小于0.7或者ar小于 0.7；边界框匹配分数小于0.5，即ms小于0.5。如果前一帧的猪只边界框在 上述条件情况下，后一帧没有相匹配的猪只边界框，则该猪只被认为跟踪失 败，并且排除在当前的最小跟踪单元外，此外，当出现在相邻帧中没有匹配 的猪只边界框，而在之后的帧中重新跟踪到相匹配的猪只边界框情况时，则 在接下来的10帧内逐帧搜索最佳匹配的猪只边界框，然后使用线性插值法对 相邻的丢失的猪只边界框进行补充，所述在步骤4中，猪只的咬尾行为包含 时间和空间的信息，在空间上，施害方的头部必须靠近受害方的尾巴，在时 间上，在咬尾期间，施害方追逐受害方逃跑的轨迹，利用卷积神经网络cnn 提取子视频中每一帧图像的空间特征，然后将每一帧图像的特征组合成序列 信号，相邻帧猪只的任何位置、姿势的变化都将导致序列信号的变化，不同 的序列信号代表不同行为类别的交互行为，利用长短期记忆网络lstm接收序 列信号作为输入，通过对行为类别标注后的子视频的参数训练，lstm可以区 分序列信号变化的差异。神经网络的参数训练完成后，lstm结合神经网络的 全连接层可对子视频的序列信号进行分类，最终实现对子视频中群养猪咬尾 行为进行识别。
50.获取猪只图像，猪只图像包括猪只的初始图像，并对初始图像中的猪只 进行标注，得到猪只的标注框，获取发生猪只咬尾行为的初始视频；将进行 标注后的猪只图像输入到用于目标检测的神经网络中进行神经网络的参数训 练，参数训练完成后，得到一个能够对图像中的猪只进行自动识别的神经网 络模型；通过用于目标检测的神经网络、目标跟踪算法和提取猪只交互行为 方法，自动将发生猪只咬尾行为的初始视频转换成时长为1s的子视频，子视 频包括咬尾子视频和非咬尾子视频，并将两种行为类别标注到每个子视频； 将子视频输入到用于猪只行为识别的神经网络中进行神经网络的参数训练， 其中，用
于猪只行为识别的神经网络包括卷积神经网络和长短期记忆网络； 参数训练完成后，得到一个能够对子视频中群养猪咬尾行为进行识别的神经 网络模型，最终通过目标检测神经网络、目标跟踪算法、提取猪只交互行为 方法和猪只行为识别神经网络，可对任意输入的视频中的群养猪咬尾行为进 行识别。
51.尽管已经示出和描述了本发明专利的实施例，对于本领域的普通技术人 员而言，可以理解在不脱离本发明专利的原理和精神的情况下可以对这些实 施例进行多种变化、修改、替换和变型，本发明专利的范围由所附权利要求 及其等同物限定。