一种行为监测方法、装置、存储介质及电子设备与流程

1.本公开涉及监测技术领域，特别涉及一种行为监测方法、装置、存储介质及电子设备。


背景技术：

2.在畜牧业不断发展的过程中，有效地监测对象如奶牛、羊等能够较大程度地提高繁殖经济等。例如，奶牛养殖行业中，目前使用的监测方式包括：1、采用穿戴式装置进行监测，具体地，将加速度传感器、温度传感器、压力传感器等装置佩戴于奶牛的身体上，采集奶牛的状态信息如温度、移动信息、背部压力信息等信息，然后采用读写器以射频方式获取传感器等的采集的状态数据，最后通过云服务器以无线方式获取读写器转换后的数据进行奶牛的状态分析。2、通过机器视觉监测，具体地，通过摄像头采用奶牛所在区域的视频，利用图像处理技术对奶牛视频进行预处理，采用背景建模方法进行奶牛目标检测，提取奶牛光流特征或者几何特征，基于特征向量构建并训练分类模型，实现对奶牛爬跨行为的分类和识别以达到监测的目的。
3.但上述方式中，基于穿戴式装置进行监测，虽然能够采集到的奶牛的状态数据，由于采集的状态数据量较大导致后台服务器计算量较大，动态数据处理速度较慢，导致无法实现有效地实时监测，并且穿戴式装置的佩戴会影响奶牛的正常行为，这会导致监测结果的准确度较低；基于机器视觉监测的过程中，受制于摄像机固定以及奶牛身体展示角度的影响，奶牛个体之间会存在遮挡、重叠的现象，鲁棒性不足，导致监测结果的准确度较低。


技术实现要素：

4.有鉴于此，本公开实施例的目的在于提供一种行为监测方法、装置、存储介质及电子设备，用于解决现有技术中监测结果的准确度较低等问题。
5.第一方面，本公开实施例提供了一种行为监测方法，其中，包括：
6.获取目标视频；
7.确定所述目标视频中的每个帧图像是否满足检测条件；
8.若满足，则利用检测算法对每个所述帧图像进行检测，确定所述目标帧图像以及所述目标帧图像中的第一初始目标区域；其中，所述第一初始目标区域内存在预设行为；
9.利用跟踪算法对所述第一初始目标区域中的目标对象进行跟踪，以实现对所述目标对象的监测。
10.在一种可能的实施方式中，所述确定所述目标视频中的每个帧图像是否满足检测条件，包括：
11.提取所述帧图像相邻的前一帧图像；
12.利用差异值哈希算法对所述帧图像以及所述前一帧图像之间的相似度；
13.若所述相似度大于第一预设阈值，确定所述帧图像满足所述检测条件。
14.在一种可能的实施方式中，所述行为监测方法还包括：
15.所述目标视频中的所述帧图像不满足所述检测条件，则利用所述跟踪算法对所述帧图像中的每个对象均进行跟踪，以实现对每个对象的监测。
16.在一种可能的实施方式中，所述行为监测方法还包括：
17.利用检测算法对所述帧图像进行检测，得到每个所述第一初始目标区域中目标对象对应的预测值；
18.将所述预测值与所述第一初始目标区域进行关联。
19.在一种可能的实施方式中，所述利用跟踪算法对所述第一初始目标区域中的目标对象进行跟踪，包括：
20.计算所述第一初始目标区域的中心与质心之间的第一距离；
21.在所述第一距离大于第二预设阈值的情况下，调整所述第一初始目标区域的位置及大小，得到新的目标区域；其中，所述新的目标区域的中心与质心之间的第二距离小于或等于所述第二预设阈值；
22.基于所述新的目标区域确定所述第一初始目标区域所属的目标帧图像的下一目标帧图像的第二初始目标区域，直至得到最后一个目标帧图像的初始目标区域
23.在一种可能的实施方式中，所述行为监测方法还包括：
24.对所述最后一个目标帧图像的初始目标区域进行识别，得到所述目标对象的身份信息；
25.基于所述最后一个目标帧图像的初始目标区域以及所述身份信息生成监测信息；
26.将所述监测信息发送给管理员。
27.第二方面，本公开实施例还提供了一种行为监测装置，其包括：
28.获取模块，其配置为获取目标视频；
29.第一确定模块，其配置为确定所述目标视频中的每个帧图像是否满足检测条件；
30.第二确定模块，其配置为若满足，则利用检测算法对每个所述帧图像进行检测，确定所述目标帧图像以及所述目标帧图像中的第一初始目标区域；其中，所述第一初始目标区域内存在预设行为；
31.第一跟踪模块，其配置为利用跟踪算法对所述第一初始目标区域中的目标对象进行跟踪，以实现对所述目标对象的监测。
32.在一种可能的实施方式中，所述第一确定模块具体配置为：
33.提取所述帧图像相邻的前一帧图像；
34.利用差异值哈希算法对所述帧图像以及所述前一帧图像之间的相似度；
35.若所述相似度大于第一预设阈值，确定所述帧图像满足所述检测条件。
36.第三方面，本公开实施例还提供了一种存储介质，其中，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如下步骤：
37.获取目标视频；
38.确定所述目标视频中的每个帧图像是否满足检测条件；
39.若满足，则利用检测算法对每个所述帧图像进行检测，确定所述目标帧图像以及所述目标帧图像中的第一初始目标区域；其中，所述第一初始目标区域内存在预设行为；
40.利用跟踪算法对所述第一初始目标区域中的目标对象进行跟踪，以实现对所述目标对象的监测。
41.第四方面，本公开还提供了一种电子设备，其中，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如下步骤：
42.获取目标视频；
43.确定所述目标视频中的每个帧图像是否满足检测条件；
44.若满足，则利用检测算法对每个所述帧图像进行检测，确定所述目标帧图像以及所述目标帧图像中的第一初始目标区域；其中，所述第一初始目标区域内存在预设行为；
45.利用跟踪算法对所述第一初始目标区域中的目标对象进行跟踪，以实现对所述目标对象的监测。
46.本公开实施例通过结合检测算法和跟踪算法，能够对存在预设行为的目标对象进行实时监测，实时性高；并且，在跟踪的过程中能够自动调整目标对象所在的目标区域，避免了目标对象存在遮挡的问题，提高了监测结果的准确度。
47.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
48.为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
49.图1示出了本公开所提供的行为监测方法的流程图；
50.图2示出了本公开所提供的行为监测方法中确定目标视频中的每个帧图像是否满足检测条件的流程图；
51.图3示出了本公开所提供的行为监测方法中利用跟踪算法对第一初始目标区域中的目标对象进行跟踪的流程图；
52.图4示出了本公开所提供的另一行为监测方法的流程图；
53.图5示出了本公开所提供的行为监测装置的结构示意图；
54.图6示出了本公开所提供的电子设备的结构示意图。
具体实施方式
55.此处参考附图描述本公开的各种方案以及特征。
56.应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
57.包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
58.通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本公开的这些和其它特性将会变得显而易见。
59.还应当理解，尽管已经参照一些具体实例对本公开进行了描述，但本领域技术人员能够确定地实现本公开的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
60.当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。
61.此后参照附图描述本公开的具体实施例；然而，应当理解，所申请的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
62.本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。
63.第一方面，为便于对本公开进行理解，首先对本公开所提供的一种行为监测方法进行详细介绍，本技术实施例中以监测对象为奶牛为例进行详细阐述，本领域技术人员应知晓的是，可以对其他对象如羊、猪等进行监测。
64.如图1所示，为本公开实施例提供的行为监测方法，具体步骤包括s101
‑
s105。
65.s101，获取目标视频。
66.在具体实施中，为了便于监测对象的行为、状态等，在目标区域内设置一个或多个监测设备，如摄像头等，以通过监测设备实时记录目标区域内每个对象的行为、状态等，以得到目标区域内的目标视频，其中，目标区域为对象所在的区域，如奶牛所在的牛场。
67.并且，该目标视频为一定时间段拍摄得到的。
68.s102，确定目标视频中的每个帧图像是否满足检测条件。
69.针对目标视频，提取每个帧图像，分别对每个帧图像进行识别，以确定每个帧图像是否满足监测条件，该检测条件为当前帧图像以及前一帧图像的相似度是否大于第一预设阈值。
70.具体地，按照图2示出的流程图来确定目标视频中的每个帧图像是否满足检测条件，具体步骤包括s201
‑
s203。
71.s201，提取帧图像相邻的前一帧图像。
72.s202，利用差异值哈希算法对帧图像以及前一帧图像之间的相似度。
73.s203，若相似度大于第一预设阈值，确定帧图像满足检测条件。
74.可选地，针对除首个帧图像之外的每个帧图像，将该帧图像的尺寸缩小到9像素
×
8像素，也即处理后的该帧图像总共有72个像素点，此时，能够隐藏掉该帧图像的细节部分。之后，把缩小后的帧图像转换为64级灰度图，把原来的rgb三通道的三维比较转化为一通道的一维比较。
75.其中，差异值计算是每行的每个像素点与同行的下一像素点进行比较，如果前一个像素点强度大于后一个像素点强度，那么差异值为1，否则为0。经过处理后得到一个8
×
8的差异值矩阵。针对每个缩小后的帧图像，均进行差异值计算以得到每个缩小后的帧图像对应的差异值矩阵。
76.针对每个缩小后的帧图像，将其对应的8
×
8的差异值矩阵的每一行的每一个值看
成1个比特，每8个比特组成一个16进制值，进而得到一个长度为8的hash字符串，即hash值。进一步地，通过公式(1)计算两个相邻帧图像对应的两个hash字符串之间对应比特上不同位的数目，也即汉明距离，公式(1)如下：
[0077][0078]
其中，i＝0,1，...n
‑
1，x,y表示n位的编码，表示异或。
[0079]
计算得到的汉明距离即表示两个相邻帧图像之间的相似度。在本技术实施例中，若相似度大于第一预设阈值，确定帧图像满足检测条件，也就是说，当前帧图像与其相邻的前一帧图像相似度低，表征帧图像中对象形态产生较大的变化，需要对对象进行检测；若相似度小于或等于第一预设阈值，确定帧图像不满足检测条件，此时当前帧图像与其相邻的前一帧图像相似度高，表征帧图像中对象形态产生的变化较小，无需对对象进行检测。
[0080]
s103，若满足，则利用检测算法对每个帧图像进行检测，确定目标帧图像以及目标帧图像中的第一初始目标区域；其中，第一初始目标区域内存在预设行为。
[0081]
可选地，本技术实施例中的检测算法为yolov4算法，其主要包括主干特征提取网络back
‑
bone、特征金字塔neck和yolo head三个部分。其中，可以将检测算法设置为检测模型，将帧图像输入至检测模型，该检测模型经计算便输出帧图像是否为目标帧图像，如，输出则为目标帧图像，不输出则不是目标帧图像。
[0082]
在帧图像为目标帧图像时，目标帧图像中标识有第一初始目标区域；其中，第一初始目标区域内存在预设行为。并且，该检测算法或检测模型还能够计算出每个第一初始目标区域中目标对象对应的预测值，该预测值标识第一初始目标区域内存在预设行为的概率；之后，将预测值与第一初始目标区域进行关联，例如，将该预测值标识在第一初始目标区域内或边缘处等。
[0083]
具体地，检测模型可以通过如下方式进行训练得到：
[0084]
首先构建样本库，具体为人工筛选具有爬跨行为的视频片段48段，每段长度10
‑
120s不等，利用视频分帧技术，每5帧取一帧，得到视频图像1300幅具有奶牛爬跨行为图像，为扩大样本量，提高数据泛化性，根据奶牛爬跨行为在活动区出现位置的不确定性以及区域光照变化特点，采用对样本图像水平翻转，随机增加亮度的方法进行数据增强处理，最终得到1800幅图像。按照训练、验证、测试之比为7：2：1的比例，对样本进行随机划分，得到训练样本集1260幅、验证样本集360幅、测试样本集180幅，各类样本数据均无重叠，采用开源工具labellmg对训练集、样本集样本进行标注，标记对象为奶牛爬跨行为，标记标签为“crawling behavior”，标记文件保存为pascalvoc格式。
[0085]
其次设置先验框尺寸和数量，具体为使用距离度量公式对两点间的距离进行计算，使用k
‑
means算法计算预测框与真实框之间的交并比iou，k
‑
means聚类算法是发现数据集中的k个中心点，并且以样本间相似性进行聚类的算法。其中，距离度量公式如下述公式(2)所示：
[0086]
d＝1
‑
iou
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0087]
其中，d表示距离，iou表示预测框与真实框之间的交并比。
[0088]
对已经标注好的标签数据集进行聚类分析，聚类出最适合奶牛爬跨行为数据集的先验框数量以及尺寸大小，以聚类得到的结果为本数据集的先验框，将其应用于训练过程中，优化网络性能指标。
[0089]
最后为特征提取网络构建，特征提取网络cspdarknet中采用cspnet可以大大减少计算量，提高推理速度和准确性，能够保证图片不失真，yolov4中将darknet53分成若干个cspnet进行处理，进而形成了cspdarknet53特征提取网络结构。通过添加senet来学习通道之间的相互往来关系，从而给通道间施加了注意力机制，让网络有主次的学习通道间的特征。
[0090]
采用spp，即空间金字塔池化，其原理是对全连接层前的卷积层通过三个不同尺度的最大池化操作之后进行拼接，形成一个一维的向量，从而对输入图片尺寸没有要求的目的。空间金字塔池化模块能够显著地改善感受域尺寸，使得输入图像宽高比和大小任意，能够极大地增加感受度。
[0091]
为了充分利用yolov4预训练模型的主干特征提取网络，在前50个epoch冻结主干网络模型，这样可以加快训练速度并防止权值在训练初期被破坏，50个epoch后解冻进行全网络训练，直到loss值收敛为止。
[0092]
当然，上述训练过程以及训练中用到的参数仅为一个实施例，本技术对此不做限定，实际使用时，可以根据实际需求进行调整。
[0093]
s104，利用跟踪算法对第一初始目标区域中的目标对象进行跟踪，以实现对目标对象的监测。
[0094]
可选地，本技术实施例中的跟踪算法为cam shift算法，该cam shift算法是一种自适应调节的mean
‑
shift算法，算法思想是把视频中的每一帧图像都做mean
‑
shift算法处理，并将上一帧图像的结果作为当前帧图像的初始值来进行迭代，从而达到跟踪的效果。
[0095]
具体地，按照图3示出的流程图来利用跟踪算法对第一初始目标区域中的目标对象进行跟踪，具体步骤包括s301
‑
s303。
[0096]
s301，计算第一初始目标区域的中心与质心之间的第一距离。
[0097]
s302，在第一距离大于第二预设阈值的情况下，调整第一初始目标区域的位置及大小，得到新的目标区域；其中，新的目标区域的中心与质心之间的第二距离小于或等于第二预设阈值。
[0098]
s303，基于新的目标区域确定第一初始目标区域所属的目标帧图像的下一目标帧图像的第二初始目标区域，直至得到最后一个目标帧图像的初始目标区域。
[0099]
这里，预先设置第一初始目标区域为矩形，在确定第一初始目标区域之后，计算第一初始目标区域的中心与质心之间的第一距离，具体地，令像素(x,y)位于第一初始目标区域内，通过公式(3)
‑
(9)计算得到第一初始目标区域的中心，公式(3)
‑
(9)如下：
[0100][0101][0102][0103]
l＝1.2h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0104]
m
00
＝∑∑i(x,y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0105]
m
10
＝∑∑xi(x,y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0106]
m
01
＝∑∑yi(x,y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0107]
其中，x
c
表示中心的横坐标，y
c
表示中心的纵坐标，h表示第一初始目标区域的高度，l表示第一初始目标区域的长度，i(x,y)表示像素(x,y)在颜色概率估计图中所对应的概率估计值，m
00
表示第一初始目标区域的零阶矩，m
10
、m
01
表示第一初始目标区域一阶矩。
[0108]
其中，将目标帧图像从rgb空间转换至hsv空间，并建立h分量的颜色直方图，作为目标的颜色直方图模型，其中，h表示色调分量，s表示饱和度分量，v表示亮度分量。在后续的跟踪过程中通过比对第一初始目标区域内的像素点与目标模型像素点可以得到该像素点为目标像素点相似度概率，区域外的像素点的概率为0，将相似度概率按大小转换为相应的灰度值(0
‑
255)就得到了反向投影图，该反向投影图中越亮的像素点表示目标像素点的概率越大。
[0109]
根据第一初始目标区域的零阶矩调整第一初始目标区域的大小，移动第一初始目标区域的中心到质心位置，也即得到中心与质心之间的第一距离。对比第一距离与第二预设阈值之间的大小，在第一距离大于第二预设阈值的情况下，调整第一初始目标区域的位置及大小，得到新的目标区域；其中，新的目标区域的中心与质心之间的第二距离小于或等于第二预设阈值。
[0110]
之后，基于新的目标区域确定第一初始目标区域所属的目标帧图像的下一目标帧图像的第二初始目标区域，直至得到最后一个目标帧图像的初始目标区域。
[0111]
s105，目标视频中的帧图像不满足检测条件，则利用跟踪算法对帧图像中的每个对象均进行跟踪，以实现对每个对象的监测
[0112]
目标视频中的帧图像不满足检测条件时，无需对帧图像进行检测，直接利用跟踪算法对帧图像中的每个对象均进行跟踪。这里的跟踪算法与图3示出的跟踪算法相似，此处的跟踪算法中存在多个第一初始目标区域，且第一个帧图像中的第一初始目标区域均为人为设置的。
[0113]
进一步地，图4示出另一种行为监测方法的流程图，具体步骤包括s401
‑
s403。
[0114]
s401，对最后一个目标帧图像的初始目标区域进行识别，得到目标对象的身份信息。
[0115]
s402，基于最后一个目标帧图像的初始目标区域以及身份信息生成监测信息。
[0116]
s403，将监测信息发送给管理员。
[0117]
这里，在确定最后一个目标帧图像的初始目标区域之后，还可以对最后一个目标帧图像的初始目标区域进行识别，得到目标对象的身份信息，以及该识别结果的置信度，首先，置信度可以通过公式(10)和(11)计算得到，具体地，公式(10)和(11)如下：
[0118]
p
confidence
＝p
object
×
iou
ꢀꢀꢀꢀꢀꢀꢀ
(10)
[0119]
iou＝a∩g/a∪g
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0120]
其中，p
object
表示预测目标落入候选网络中的概率(本技术实施例设置存在p
object
为1，不存在p
object
为0)，iou表示预测结果的边界框与原图中标注的真实目标区域位置的重合度，a表示预测矩形框的面积，g表示真实标注奶牛躯干矩形框的面积。
[0121]
同时，下表1示出了交并比解释示意图，
[0122][0123]
表1
[0124]
其中，(x
min
1,y
min
1)表示预测矩形框左上角坐标，(x
max
1,y
max
1)表示预测矩形框右下角坐标，(x
min
2,y
min
2)表示真实标注奶牛躯干矩形框左上角坐标，(x
max
2,y
max
2)表示真实标注奶牛躯干矩形框右下角坐标。
[0125]
具体地训练过程可以参照上述检测模型，在此便不做过多赘述。
[0126]
在得到目标对象的身份信息之后，基于最后一个目标帧图像的初始目标区域以及身份信息生成监测信息，该监测信息可以是针对每个目标对象单独生成的一条信息，也可以是将所有的目标对象汇总成一条信息等。之后，将监测信息发送给管理员，可以以对话框、邮件等形式进行发送。
[0127]
值得说明的是，在确定目标视频中的每个帧图像是否满足检测条件之前，可以对每个帧图像进行预处理，以提高帧图像的整体视觉效果。
[0128]
可选地，对帧图像进行降噪处理，高斯滤波属于线性平滑滤波，它的输出是通过与高斯内核卷积得到的，其是对输入图像中的像素点及其领域做加权平均，对于去除服从正态分布的噪声，具有很好的效果，因此，采用高斯滤波方法去除噪声，能够实现在滤除噪声的同时保留图像边缘信息，高斯滤波器在空间域和频率域都是有效的低通滤波器，可以用于图像模糊化即去除细节和噪声。
[0129]
其中，具体处理过程是用一个卷积核扫描图像，用卷积确定的领域内像素的加权平均值输出为中心像素值。一维图像中，中间像素的加权系数是最大的，离中间像素距离越远，像素的加权系数越小。这里，一维高斯分布如公式(12)，具体如下：
[0130][0131]
其中，σ决定函数宽度。其中，σ越大，高斯滤波器的频带就越宽，滤波程度就越好。通过对参数σ的设置，可改善图像特征、噪声、细纹理的处理效果。
[0132]
二维高斯分布如公式(13)，具体如下：
[0133][0134]
值得说明的是，在进行数字图像处理时，常用二维离散高斯函数作为滤波器。
[0135]
这里，高斯函数具备的单值性为高斯函数每个像素值由领域内的加权均值来代替，随着某点与中心点的距离增大，像素点权值单调递减，因此能够较好的检测图像边缘局部特征，避免图像失真。高斯函数具备的旋转对称性为二维高斯滤波器各个方向上的平滑
度是一致的，也即高斯滤波器在边缘检测中各个方向上式均等的，因此，检测时可以先不确定边缘方向的图像。高斯函数中傅里叶变换频谱是单瓣的，因此，可以保留平滑图像中大部分有用信号，同时过滤掉不需要的高频噪声，能够有效解决所需信号中同时有低频分量和高频分量的问题，去除不予要的高频噪声。高斯函数具备的可分离性。可以分两步去完成二维高斯函数卷积：一是将图像与一维高斯函数卷积，二是将卷积结果和方向垂直的一维高斯函数做卷积，由此可见，二维高斯滤波的计算量与滤波模板宽度为线性关系。
[0136]
经高斯滤波后，帧图像中如栅栏等部分进行了有效去噪，奶牛目标轮廓较为清晰，饮水槽和地面的噪声同时得到了有效去除。
[0137]
进一步地，在对帧图像进行降噪处理之后，还可以对帧图像进行图像增强，本技术实施例中采用加权分布的自适应伽玛校正(adaptive gamma correction with weighting distribution，agcwd)算法进行图像增强。
[0138]
考虑到人眼对亮度的敏感程度更高，以及hsv颜色系统比rgb系统更接近人眼视觉特性，且色调分量h、饱和度分量s和亮度分量v间有较好的独立性，也即单独对亮度分量进行校正处理不会导致图像出现色彩失真。因此，本技术实施例先将rgb图像转入到hsv彩色空间，对v分量校正处理后，最后再将处理后的结果转回rgb色彩空间，避免色彩失真。
[0139]
具体地，将rgb图像转换到hsv空间，然后保持饱和度和色度不变，对亮度通道v进行自适应伽马变换，亮度成分可增强图像的可见度和清晰度，其中，通过公式(14)和(15)进行变换：
[0140]
v
re
(x,y)＝v
max
(v(x,y)/v
max
)
γ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0141][0142]
其中，v
re
(x,y)表示对比度增强后的图像v通道，v
max
表示v(x,y)通道最大亮度值，γ表示可以调节的参数，对于不同环境自适应调节γ值，表示亮度总值。
[0143]
通过上述公式(14)和(15)得到伽马变换后的亮度v通道，与色调分量h和饱和度分量s结合，转换到rgb色彩空间，实现图像对比度增强。
[0144]
进一步地，概率密度函数f(v)用于描述亮度分量v值所对应的像素数值的输出值，在某个确定的取值点附近的可能性的函数，具体参照如公式(16)：
[0145]
f(v)＝n
v
/(m
·
n)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)
[0146]
其中，n
v
表示亮度分量为v值所对应的像素数，m
·
n表示帧图像中的像素总数。
[0147]
其中，定义亮度的权值分布函数为公式(17)，如下：
[0148][0149]
其中，f
max
表示f(v)的最大值；f
min
表示f(v)的最小值，d表示权值分布函数的自使用调节参数。
[0150]
上述预处理有效地解决了图像颜色失真问题，自适应调节图像增强效果，奶牛个
体与背景对比图提高，改善了图像整体视觉效果。
[0151]
基于同一发明构思，本公开的第二方面还提供了一种与行为监测方法对应的行为监测装置，由于本公开中的装置解决问题的原理与本公开上述行为监测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
[0152]
参见图5所示，行为监测装置包括：
[0153]
获取模块501，其配置为获取目标视频；
[0154]
第一确定模块502，其配置为确定所述目标视频中的每个帧图像是否满足检测条件；
[0155]
第二确定模块503，其配置为若满足，则利用检测算法对每个所述帧图像进行检测，确定所述目标帧图像以及所述目标帧图像中的第一初始目标区域；其中，所述第一初始目标区域内存在预设行为；
[0156]
第一跟踪模块504，其配置为利用跟踪算法对所述第一初始目标区域中的目标对象进行跟踪，以实现对所述目标对象的监测。
[0157]
在另一实施例中，所述第一确定模块502具体配置为：
[0158]
提取所述帧图像相邻的前一帧图像；
[0159]
利用差异值哈希算法对所述帧图像以及所述前一帧图像之间的相似度；
[0160]
若所述相似度大于第一预设阈值，确定所述帧图像满足所述检测条件。
[0161]
在另一实施例中，行为监测装置还包括：
[0162]
第二跟踪模块505，其配置为所述目标视频中的所述帧图像不满足所述检测条件，则利用所述跟踪算法对所述帧图像中的每个对象均进行跟踪，以实现对每个对象的监测。
[0163]
在另一实施例中，行为监测装置还包括关联模块506，其配置为：
[0164]
利用检测算法对所述帧图像进行检测，得到每个所述第一初始目标区域中目标对象对应的预测值；
[0165]
将所述预测值与所述第一初始目标区域进行关联。
[0166]
在另一实施例中，第一跟踪模块504具体配置为：
[0167]
计算所述第一初始目标区域的中心与质心之间的第一距离；
[0168]
在所述第一距离大于第二预设阈值的情况下，调整所述第一初始目标区域的位置及大小，得到新的目标区域；其中，所述新的目标区域的中心与质心之间的第二距离小于或等于所述第二预设阈值；
[0169]
基于所述新的目标区域确定所述第一初始目标区域所属的目标帧图像的下一目标帧图像的第二初始目标区域，直至得到最后一个目标帧图像的初始目标区域。
[0170]
在另一实施例中，行为监测装置还包括监测模块507，其配置为：
[0171]
对所述最后一个目标帧图像的初始目标区域进行识别，得到所述目标对象的身份信息；
[0172]
基于所述最后一个目标帧图像的初始目标区域以及所述身份信息生成监测信息；
[0173]
将所述监测信息发送给管理员。
[0174]
本公开实施例通过结合检测算法和跟踪算法，能够对存在预设行为的目标对象进行实时监测，实时性高；并且，在跟踪的过程中能够自动调整目标对象所在的目标区域，避免了目标对象存在遮挡的问题，提高了监测结果的准确度。
[0175]
本公开的第三方面还提供了一种存储介质，该存储介质为计算机可读介质，存储有计算机程序，该计算机程序被处理器执行时实现本公开任意实施例提供的方法，包括如下步骤：
[0176]
s11，获取目标视频；
[0177]
s12，确定所述目标视频中的每个帧图像是否满足检测条件；
[0178]
s13，若满足，则利用检测算法对每个所述帧图像进行检测，确定所述目标帧图像以及所述目标帧图像中的第一初始目标区域；其中，所述第一初始目标区域内存在预设行为；
[0179]
s14，利用跟踪算法对所述第一初始目标区域中的目标对象进行跟踪，以实现对所述目标对象的监测。
[0180]
计算机程序被处理器执行确定所述目标视频中的每个帧图像是否满足检测条件时，还具体被处理器执行如下步骤：提取所述帧图像相邻的前一帧图像；利用差异值哈希算法对所述帧图像以及所述前一帧图像之间的相似度；若所述相似度大于第一预设阈值，确定所述帧图像满足所述检测条件。
[0181]
计算机程序被处理器执行行为监测方法时，具体被处理器执行如下步骤：所述目标视频中的所述帧图像不满足所述检测条件，则利用所述跟踪算法对所述帧图像中的每个对象均进行跟踪，以实现对每个对象的监测。
[0182]
计算机程序被处理器执行行为监测方法时，还被处理器执行如下步骤：利用检测算法对所述帧图像进行检测，得到每个所述第一初始目标区域中目标对象对应的预测值；将所述预测值与所述第一初始目标区域进行关联。
[0183]
计算机程序被处理器执行利用跟踪算法对所述第一初始目标区域中的目标对象进行跟踪时，还被处理器执行如下步骤：计算所述第一初始目标区域的中心与质心之间的第一距离；在所述第一距离大于第二预设阈值的情况下，调整所述第一初始目标区域的位置及大小，得到新的目标区域；其中，所述新的目标区域的中心与质心之间的第二距离小于或等于所述第二预设阈值；基于所述新的目标区域确定所述第一初始目标区域所属的目标帧图像的下一目标帧图像的第二初始目标区域，直至得到最后一个目标帧图像的初始目标区域。
[0184]
计算机程序被处理器执行行为监测方法时，还被处理器执行如下步骤：对所述最后一个目标帧图像的初始目标区域进行识别，得到所述目标对象的身份信息；基于所述最后一个目标帧图像的初始目标区域以及所述身份信息生成监测信息；将所述监测信息发送给管理员。
[0185]
本公开实施例通过结合检测算法和跟踪算法，能够对存在预设行为的目标对象进行实时监测，实时性高；并且，在跟踪的过程中能够自动调整目标对象所在的目标区域，避免了目标对象存在遮挡的问题，提高了监测结果的准确度。
[0186]
需要说明的是，本公开上述的存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器
(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0187]
本公开的第四方面还提供了一种电子设备，如图6所示，该电子设备至少包括存储器601和处理器602，存储器601上存储有计算机程序，处理器602在执行存储器601上的计算机程序时实现本公开任意实施例提供的方法。示例性的，电子设备计算机程序执行的方法如下：
[0188]
s21，获取目标视频；
[0189]
s22，确定所述目标视频中的每个帧图像是否满足检测条件；
[0190]
s23，若满足，则利用检测算法对每个所述帧图像进行检测，确定所述目标帧图像以及所述目标帧图像中的第一初始目标区域；其中，所述第一初始目标区域内存在预设行为；
[0191]
s24，利用跟踪算法对所述第一初始目标区域中的目标对象进行跟踪，以实现对所述目标对象的监测。
[0192]
处理器在执行存储器上存储的确定所述目标视频中的每个帧图像是否满足检测条件时，还执行如下计算机程序：提取所述帧图像相邻的前一帧图像；利用差异值哈希算法对所述帧图像以及所述前一帧图像之间的相似度；若所述相似度大于第一预设阈值，确定所述帧图像满足所述检测条件。
[0193]
处理器在执行存储器上存储的行为监测方法时，还执行如下计算机程序：所述目标视频中的所述帧图像不满足所述检测条件，则利用所述跟踪算法对所述帧图像中的每个对象均进行跟踪，以实现对每个对象的监测。
[0194]
处理器在执行存储器上存储的行为监测方法时，还执行如下计算机程序：利用检测算法对所述帧图像进行检测，得到每个所述第一初始目标区域中目标对象对应的预测值；将所述预测值与所述第一初始目标区域进行关联。
[0195]
处理器在执行存储器上存储的利用跟踪算法对所述第一初始目标区域中的目标对象进行跟踪时，还执行如下计算机程序：计算所述第一初始目标区域的中心与质心之间的第一距离；在所述第一距离大于第二预设阈值的情况下，调整所述第一初始目标区域的位置及大小，得到新的目标区域；其中，所述新的目标区域的中心与质心之间的第二距离小于或等于所述第二预设阈值；基于所述新的目标区域确定所述第一初始目标区域所属的目标帧图像的下一目标帧图像的第二初始目标区域，直至得到最后一个目标帧图像的初始目标区域。
[0196]
处理器在执行存储器上存储的行为监测方法时，还执行如下计算机程序：对所述
最后一个目标帧图像的初始目标区域进行识别，得到所述目标对象的身份信息；基于所述最后一个目标帧图像的初始目标区域以及所述身份信息生成监测信息；将所述监测信息发送给管理员。
[0197]
本公开实施例通过结合检测算法和跟踪算法，能够对存在预设行为的目标对象进行实时监测，实时性高；并且，在跟踪的过程中能够自动调整目标对象所在的目标区域，避免了目标对象存在遮挡的问题，提高了监测结果的准确度。
[0198]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0199]
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本邻域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
[0200]
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
[0201]
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
[0202]
以上对本公开多个实施例进行了详细说明，但本公开不限于这些具体的实施例，本邻域技术人员在本公开构思的基础上，能够做出多种变型和修改实施例，这些变型和修改都应落入本公开所要求保护的范围之内。