基于光流及图的双分支人体行为预测方法、装置及设备与流程

1.本发明涉及计算机视觉技术领域，更具体地说是一种基于光流及图的双分支人体行为预测方法、装置及设备。


背景技术：

2.随着社会快速发展，人体行为预测是目前工业界和学界的一个研究热点和难点，其在实际生活中有重要应用价值。针对人体行为预测目前有以下几种方式：
3.第一种是首先对采集的可见光图像及红外图像进行图像处理得到跟踪目标区域，接着检测待跟踪目标区域是否包括行人，当包含行人的时候对行人进行跟踪，并在跟踪的过程中检测行人边缘以从待跟踪目标区域获得行人待识别区域，将行人待识别区域输入到识别模型得到行人行为识别结果。该专利基于红外的方式对目标进行跟踪，设备需要额外的花费，且基于传统的方向梯度直方图的方式对图像进行特征提取来判断行人目标，受光照影响严重，效果较差，且该方法仅仅基于人物外观轮廓进行行为识别忽略了空间时间融合信息，识别效果较差。
4.第二种是通过运用多任务深度学习的方法训练3d卷积神经网络，将多种人体行为属性以背景视频的固定连续帧数的帧快作为网络的输入，经过3d卷积神经网络训练后完成识别任务。该方法仅仅对固定位置的人体行为进行识别，且仅针对单个人进行行为识别，有很大的局限性。此外，基于3d卷积进行行为识别，模型效率较低，训练的模型容易受背景因素的影响严重，导致识别效果差。
5.第三种是通过获取视频片段，对视频片段中的图像帧序列进行特征提取以及降维处理，然后对降维后的特征向量进行编码，将降维特征向量进行扩充，得到预设个数的扩充特征向量。将扩充特征向量和所述编码特征向量输入到三层单层解码器进行解码，再将最后一层解码特征向量输入至单层全连接前馈网络进行计算，得到多个预测值。再将预测值输入至逻辑回归网络得到对应的预测概率，选取最大概率值对应的类别作为最后一层解码特征向量对应矩形框的人体行为动作类别。该方法先采取空间信息，接着再通过不同时间段的空间特征进行时间特征的提取，很容易在时间特征提取的过程中丢失空间信息，很难做到空间特征与时间特征的融合，因此动作识别的准确度会被降低。


技术实现要素：

6.本发明的目的在于克服现有技术的不足，提供基于光流及图的双分支人体行为预测方法、装置及设备。
7.为实现上述目的，本发明采用以下技术方案：
8.第一方面，基于光流及图的双分支人体行为预测方法，包括：
9.获取检测区域内的图像数据；
10.对图像数据进行切帧处理，以得到多帧静态图片；
11.将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到
人体行为预测结果。
12.其进一步技术方案为：所述将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到人体行为预测结果，包括：
13.将多帧静态图片以图片序列的形式输入至跟踪模型进行处理，以得到带有id索引的人物图像；
14.将带有id索引的人物图像输入至光流模型进行处理，以得到二维光流特征图；
15.将带有id索引的人物图像与二维光流特征图进行特征融合，以得到融合特征图；
16.将融合特征图输入至图模型进行处理，以得到人体行为预测结果。
17.其进一步技术方案为：所述将多帧静态图片以图片序列的形式输入至跟踪模型进行处理，以得到带有id索引的人物图像，包括：
18.将多帧静态图片以图片序列的形式输入至跟踪模型，以检测出不同的人体目标框；
19.对检测出的不同的人体目标框赋予索引id，以得到带有id索引的人物图像。
20.其进一步技术方案为：所述将带有id索引的人物图像输入至光流模型进行处理，以得到二维光流特征图，包括:
21.采用空洞卷积核对前后两帧带有id索引的人物图像进行特征提取，并经过relu激活层和max pooling层处理，以得到第一特征图和第二特征图；
22.将第一特征图和第二特征图进行全像素求相关性处理，以得到相关性特征图；
23.构建第0次循环的光流信息；
24.利用第0次循环的光流信息对第二特征图进行warp操作，以得到第1次循环的warp结果；
25.将前后两帧带有id索引的人物图像通过遮挡掩模的asymofmm处理得到的结果与第1次循环的warp结果进行合并，得到第一合并特征；
26.将第一合并特征与第一特征图、相关性特征图进行合并后得到的结果输入到编码网络中处理，以得到第1次循环的光流信息；
27.利用1次循环的光流信息对第二特征图进行warp操作，以得到第2次循环的warp结果；
28.将前后两帧带有id索引的人物图像通过遮挡掩模的asymofmm处理得到的结果与第2次循环的warp结果进行合并，得到第二合并特征；
29.利用第二合并特征与第一特征图、相关性特征图进行合并后得到的结果输入到编码网络中处理，以得到第2次循环的光流信息；
30.根据设定的循环次数，完成所有循环后得到第一阶段的光流信息；
31.将第一阶段的光流信息输入到convgru中处理，以得到最终的二维光流特征图。
32.其进一步技术方案为：所述构建第0次循环的光流信息，包括：
33.将第一特征图、第二特征图和相关性特征图进行合并，以得到合并特征图；
34.将合并特征图输入到编码网络中处理，以得到第0次循环的光流信息。
35.其进一步技术方案为：所述将带有id索引的人物图像与二维光流特征图进行特征融合，以得到融合特征图，包括：
36.采用sobel算子从带有id索引的人物图像上提取边缘特征，以得到初始边缘特征
图；
37.使用laplacian滤波对初始边缘特征图进行边缘锐化，精细化边缘特征图；
38.将精细化边缘特征图通过3x3卷积处理后，并使用average pooling进行下采样处理，以得到下采样特征图；
39.使用双线性差值将下采样特征图调整为与原图大小相同的调整特征图；
40.将二维光流特征图与调整特征图进行特征融合，以得到融合特征图。
41.其进一步技术方案为：所述将融合特征图输入至图模型进行处理，以得到人体行为预测结果，包括：
42.每一帧对应的融合特征图与原图进行拼接，以得到拼接图；
43.将拼接图划分为3种不同patch size的图；
44.根据patch size的大小将拼接图划分为相应数量的等大小patches，以得到3个patches块；
45.对3个patches块进行特征变换，以得3组graph的节点；
46.使用感知哈希算法基于拼接图中的rgb信息分别对3个patches块进行相似度计算，以构成出3个patches块的动态邻接矩阵；
47.将3个patches块的动态邻接矩阵输入到12层的图卷积网络和时间卷积网络叠加块中进行节点的学习和特征更新，并将第12层的图卷积网络和时间卷积网络叠加块的输出通过globalpooling层汇总特征，以得到每个序列的512维特征向量；
48.将每个序列的512维特征向量输入到全连接层处理，以生成每个patches块的人体行为类别的初步预测概率；
49.将生成的每个patches块的人体行为类别的初步预测概率采用一个共识函数处理，以得到共识预测；
50.将共识预测输入到softmax函数中处理，以得到最终的人体行为预测结果。
51.第二方面，基于光流及图的双分支人体行为预测装置，包括：
52.获取单元，用于获取检测区域内的图像数据；
53.切帧处理单元，用于对图像数据进行切帧处理，以得到多帧静态图片；
54.预测单元，用于将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到人体行为预测结果。
55.第三方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的基于光流及图的双分支人体行为预测方法步骤。
56.第四方面，一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，使得所述处理器执行如上述的基于光流及图的双分支人体行为预测方法步骤。
57.本发明与现有技术相比的有益效果是：本发明在时间维度上结合了人体行为的瞬时光流信息以及长序列信息，空间维度上使用图卷积网络很好的学习了行人的身体局部信息。通过结合空间信息和时间信息的方法，提升了预测的准确率。通过迭代方式细化输出的光流可以清晰的区分运动中的行人与背景的差异，同时，预测出的光流方向及光流速度信息也可以为模型预测人体行为类别提供一定的监督信息。
58.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征及优点能够更明显易懂，以下特举较佳实施例，详细说明如下。
附图说明
59.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
60.图1为本发明具体实施例提供的基于光流及图的双分支人体行为预测方法的应用场景示意图；
61.图2为本发明具体实施例提供的基于光流及图的双分支人体行为预测方法的流程图；
62.图3为本发明具体实施例提供的基于光流及图的双分支人体行为预测装置的示意性框图；
63.图4为本发明具体实施例提供的一种计算机设备的示意性框图。
具体实施方式
64.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
65.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
66.还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
67.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
68.请参阅图1和图2，图1为本发明实施例提供的基于光流及图的双分支人体行为预测方法的应用场景示意图；图2为本发明具体实施例提供的基于光流及图的双分支人体行为预测方法的流程图，该基于光流及图的双分支人体行为预测方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
69.如图2所示，基于光流及图的双分支人体行为预测方法，包括以下步骤：s10-s30。
70.s10、获取检测区域内的图像数据。
71.使用监控设备，例如监控摄像头来监控捕获需要检测区域内的视频数据(图像数据)。监控设备采用市面上常见的即可，本技术对此不做限定。
72.s20、对图像数据进行切帧处理，以得到多帧静态图片。
73.对检测出来的图像数据切帧成一帧一帧的rgb静态图片，用作人体行为预测模型
的输入数据。
74.s30、将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到人体行为预测结果。
75.在一实施例中，步骤s30具体包括以下步骤：s301-s304。
76.s301、将多帧静态图片以图片序列的形式输入至跟踪模型进行处理，以得到带有id索引的人物图像。
77.在本实施例中，跟踪模型使用的是bot-sort模型，bot-sort模型中使用了yolov7模型作为行人检测器，同时为了减少因人物遮挡导致id切换的情况不仅仅基于人体特征作为匹配基准，同时加入了前后帧光流特征。基于行人检测器得出的人体特征与光流特征作为融合来作为判断前后帧行人的索引是否匹配加入辅助信息。这里的光流特征提取主要采用了密集光流提取方法farneback，这样使模型预测人体索引id的参考信息更丰富，尤其对于快速运动的人体更加适应，提高了模型跟踪目标的准确率。
78.在一实施例中，步骤s301具体包括以下步骤：s3011-s3012。
79.s3011、将多帧静态图片以图片序列的形式输入至跟踪模型，以检测出不同的人体目标框。
80.在本实施例中，将得到的多帧静态图片(帧视频流)以图片序列的形式输入至跟踪模型中，可以检测出不同的人体目标框，该目标框通过图片位置坐标(x
min
,y
min
)(x
max
,y
max
)，即目标框相对图片左上角坐标以及目标框相对图片右下角坐标来表示坐标的位置。
81.s3012、对检测出的不同的人体目标框赋予索引id，以得到带有id索引的人物图像。
82.在本实施例中，对检测出来的人体目标框赋予索引id，同样的索引id代表同一个人，并实时地基于不同的人物id索引对不同人进行视频跟踪。需要说明的是，光流模型和图模型的输入图像是基于跟踪模型检测出的目标框对原图(即指使用监控设备检测出来的图像数据切帧成一帧一帧的rgb静态图片的图)进行裁剪后的带有id的单人图像。
83.s302、将带有id索引的人物图像输入至光流模型进行处理，以得到二维光流特征图。
84.在一实施例中，步骤s302具体包括以下步骤：s3021-s30292。
85.s3021、采用空洞卷积核对前后两帧带有id索引的人物图像进行特征提取，并经过relu激活层和maxpooling层处理，以得到第一特征图和第二特征图。
86.在本实施例中，采用4个扩张率为2，大小为3x3的空洞卷积核对跟踪模型中输出的前后两帧带有id索引的人物图像i1i2进行特征提取，随后经过一层relu激活层和一层maxpooling层，得到特征图f1f2。
87.s3022、将第一特征图和第二特征图进行全像素求相关性处理，以得到相关性特征图。
88.在本实施例中，由于光流模型会根据设定的循环次数n重复利用每一次输出的光流flowi(i∈n)，对f2进行warp操作，所以在第0次循环，没有可利用的光流信息的情况下，直接将f1f2进行一次全像素求相关性操作得到特征图f
match
。
89.s3023、构建第0次循环的光流信息。
90.在一实施例中，步骤s3023具体包括以下步骤：s30231-s30232。
91.s30231、将第一特征图、第二特征图和相关性特征图进行合并，以得到合并特征图。
92.s30232、将合并特征图输入到编码网络中处理，以得到第0次循环的光流信息。
93.对于s30231、s30232，在本实施例中，第0次循环时，由于没有可以利用的光流flow0，所以直接将f1f2和f
match
进行合并得到一张新的特征图f
0_concat
(代表第0次循环的concat结果)输入到一个由编码器和解码器组成的编码网络中进行光流估计。编码网络由5个convolution batchnorm relu，2个残差层和3个maxpooling层组成，解码层由4个反卷积层和3次上采样组成，其中还融合了来自编码层的低层特征信息。上采样的方法使用为最近邻插值法(nearest interpolation)。经过解码层，第0次循环的光流输出flow0被得到。
94.s3024、利用第0次循环的光流信息对第二特征图进行warp操作，以得到第1次循环的warp结果。
95.s3025、将前后两帧带有id索引的人物图像通过遮挡掩模的asymofmm处理得到的结果与第1次循环的warp结果进行合并，得到第一合并特征；
96.s3026、将第一合并特征与第一特征图、相关性特征图进行合并后得到的结果输入到编码网络中处理，以得到第1次循环的光流信息；
97.s3027、利用1次循环的光流信息对第二特征图进行warp操作，以得到第2次循环的warp结果。
98.s3028、将前后两帧带有id索引的人物图像通过遮挡掩模的asymofmm处理得到的结果与第2次循环的warp结果进行合并，得到第二合并特征；
99.s3029、利用第二合并特征与第一特征图、相关性特征图进行合并后得到的结果输入到编码网络中处理，以得到第2次循环的光流信息。
100.s30291、根据设定的循环次数，完成所有循环后得到第一阶段的光流信息。
101.s30292、将第一阶段的光流信息输入到convgru中处理，以得到最终的二维光流特征图。
102.对于s3024-s30292，在本实施例中，未直接将flow0作为结果输出，而是使用flow0对之前的f2进行了warp操作，得到i
1_warp
，记作第1次循环的warp结果。然后使用i1i2通过一个遮挡掩模的非对称特征匹配模块(asymofmm)生成一个occlusionmask与i
1_warp
合并，得到一个maskedimagei
1_mask
。根据先前的描述，在第0次循环的时候，f
0_concat
是由前后两帧带有id索引的人物图像f1f2和f
match
得到，而在这之后的循环中，都将使用i
i_mask
(i∈n)与第一特征图、相关性特征图进行合并。这样就实现了每一次循环时，前一次输出的光流的迭代利用。根据循环次数的设定，完成所有循环后第一阶段的光流flow
out1
将被输出。随后基于迭代更新的思想，在光流模型中加入了convgru循环神经网络。将第一阶段的光流输出flow
out1
和作为context information的i1输入到convgru中，输出最终的光流估计结果flow
output
。flow
output
是一张包含速度和方向两个特征的二维光流特征图。
103.s303、将带有id索引的人物图像与二维光流特征图进行特征融合，以得到融合特征图。
104.在一实施例中，步骤s303具体包括以下步骤：s3031-s3035。
105.s3031、采用sobel算子从带有id索引的人物图像上提取边缘特征，以得到初始边缘特征图。
106.s3032、使用laplacian滤波对初始边缘特征图进行边缘锐化，精细化边缘特征图。
107.s3033、将精细化边缘特征图通过3x3卷积处理后，并使用average pooling进行下采样处理，以得到下采样特征图。
108.s3034、使用双线性差值将下采样特征图调整为与原图大小相同的调整特征图。
109.s3035、将二维光流特征图与调整特征图进行特征融合，以得到融合特征图。
110.对于s3031-s3035，在本实施例中，将sobel算子作用于图像i上提取边缘特征，得到特征图is。随后使用laplacian滤波对is进行边缘锐化，得到边缘信息更加鲜明的精细化边缘特征图i
l
。将i
l
通过一个3x3的卷积后，使用average pooling进行下采样操作得到fa。随后使用双线性差值将fa调整为与原图大小相同的特征图fb。将光流模型中输出的二维光流特征图与fb进行特征融合，得到新的特征图。对一组时间帧序列中每一帧进行预处理及光流特征融合，得到特征序列f1,f2…fn
，也就是融合特征图，即图模型的输入。
111.s304、将融合特征图输入至图模型进行处理，以得到人体行为预测结果。
112.在本实施例中，图模型使用的是feature-gcn模型。feature-gcn模型通过将特征图序列转化为图(graph)的表示输入到图卷积网络和时序卷积网络中提取不同维度特征，从而进行人体行为类别的预测。
113.在一实施例中，步骤s304具体包括以下步骤：s3041-s3049。
114.s3041、每一帧对应的融合特征图与原图进行拼接，以得到拼接图。
115.s3042、将拼接图划分为3种不同patchsize的图。
116.s3043、根据patch size的大小将拼接图划分为相应数量的等大小patches，以得到3个patches块。
117.s3044、对3个patches块进行特征变换，以得3组graph的节点。s3045、使用感知哈希算法基于拼接图中的rgb信息分别对3个patches块进行相似度计算，以构成出3个patches块的动态邻接矩阵。
118.s3046、将3个patches块的动态邻接矩阵输入到12层的图卷积网络和时间卷积网络叠加块中进行节点的学习和特征更新，并将第12层的图卷积网络和时间卷积网络叠加块的输出通过global pooling层汇总特征，以得到每个序列的512维特征向量。
119.s3047、将每个序列的512维特征向量输入到全连接层处理，以生成每个patches块的人体行为类别的初步预测概率。
120.s3048、将生成的每个patches块的人体行为类别的初步预测概率采用一个共识函数处理，以得到共识预测。
121.s3049、将共识预测输入到softmax函数中处理，以得到最终的人体行为预测结果。
122.对于s3041-s3049，在本实施例中，将每一帧对应的特征图f(此处用f代表任意一张特征图)与原图进行拼接，得到f
concat
，输入到图模型中。考虑到图像中人物大小的不同，将f
concat
划分为了3种不同patch size(p＝9,16,25)的图(graph)，然后根据p的大小将f
concat
划分为相应数量的等大小patches，得到3个patches块(这里为一帧图像3个patches块，n帧则为3n个)，称为ps,pm,p
l
。其中字母对应的是small，middle，large，分别代表此patches块的大小，如p＝9，代表此块中只有9个patches，数量小。对每个patch进行特征变换后，得到3组特征x＝[x
s1
,
…
x
s9
],x＝[x
m1
,
…
x
m16
],x＝[x
l1
,
…
x
l25
]，随后将带有特征的patches表示为图(graph)的节点，得到3组v＝[v
s1
,
…vs9
],v＝[v
m1
,
…vm16
],v＝[v
l1
,
…vl25
]。由于需要对时间帧序列的预测，所以动态时间信息需要被考虑。因此每张图(graph)的节点会存在两种类型的边，一种是与其他patches的连接，一种是与前后帧相同位置patches的连接，代表在时间维度上的邻居节点。随后，使用感知哈希算法(perceptual hash algorithm)基于f
concat
中的rgb信息对patches进行相似度计算。对每个patch生成一个fingerprint字符串，然后比较不同patches之间的fingerprint。通过这样处理，对于每个patch，找到和它相似度最接近的n个patches作为它的邻居节点以构建邻接矩阵。基于此，构建了3个初始的动态邻接矩阵as,am,a
l
，大小分别为9x9、16x16、25x25，在随后的每一层特征更新中，邻接矩阵也会动态更新。因此，在最初几层中，图模型倾向于根据颜色等低级特征来确定邻居节点，而在最后几层，图模型提取的特征将具有更强的语义信息。基于特征x，节点v，邻接矩阵a，3个graphgs,gm,g
l
被构建。首先将对gs,gm,g
l
进行batch normalization之后，再将gs,gm,g
l
和邻接矩阵as,am,a
l
分别输入到12层的图卷积网络和时间卷积网络叠加块中进行节点的学习和特征更新，也就是说每一层总网络有两个子网络，一共有12层总网络，每三层改变一次输出通道数，分别为64、128、256、512。以第一层为例，通过一层图卷积网络时，可以得到特征图g
s_s
,g
s_m
,g
s_l
，代表在空间(spatial)维度上的特征。在每一层gcn网络中，使用stride为1，padding为0，1x1conv进行卷积操作。目的是为了改变通道。随后，基于gcn的原理，爱因斯坦求和约定(einsum)被使用，对应的特征x和邻接矩阵a将进行矩阵相乘，以此来聚合节点的邻居信息，进行节点特征更新。之后将特征图g
s_s
,g
s_m
,g
s_l
输入到时间卷积网络中提取时间维度特征。
[0123]
另外，分别给每个特征图使用了3个6x1的卷积核来提取时间信息，其中stride为1。之后通过一个max pooling层，得到特征图g
t_s
,g
t_m
,g
t_l
，代表在时间(temporal)维度上的特征。通过12层总网络之后本专利将最后一层时间卷积网络的输出通过global pooling层汇总特征，得到每个序列的512维特征向量。最后输入到一个全连接层。此时每个原始的patches块都将生成自己的行为类别的初步预测概率。随后使用一个共识函数(consensus function)产生一个共识预测，再把它输入到softmax函数中，得到一个最终的人体行为预测结果。主要包含5种人体行为类别：跑步、行走、跳跃、摔倒、站立。图模型最后会对行人的动作进行预测，得到以上5个类别中的一种。
[0124]
另外，人体行为预测模型所使用到的损失函数包括对于目标跟踪的检测损失函数主要是目标检测的损失函数、光流损失函数以及基于图模型的行为识别损失函数，其中：
[0125]
对于目标检测的损失函数，使用的是yolov7的损失函数，该损失函数主要由分类损失，定位损失以及置信度损失函数构成，即，
[0126]
loss＝loss
分类
loss
定位
loss
置信度
。
[0127]
对于光流损失函数，所有的循环单元会输出创建一个光流预测序列flow0、flow1、flow2....flown，总损失是每个循环块输出的预测值与真实值之间的损失之和。这里的光流损失函数统一使用平均端点误差(endpoint error，epe)作为训练的损失函数，它表示预测的流向量和ground truth之间每个像素平均的欧几里得距离。
[0128]
对于基于图模型的行为识别损失函数，使用分类的交叉熵损失来进行模型训练。
[0129]
本发明在时间维度上结合了人体行为的瞬时光流信息以及长序列信息，空间维度上使用图卷积网络很好的学习了行人的身体局部信息。通过结合空间信息和时间信息的方法，提升了预测的准确率。通过迭代方式细化输出的光流可以清晰的区分运动中的行人与
背景的差异，同时，预测出的光流方向及光流速度信息也可以为模型预测人体行为类别提供一定的监督信息。
[0130]
图3是本发明实施例提供的基于光流及图的双分支人体行为预测装置100的示意性框图。对应于上述的基于光流及图的双分支人体行为预测方法，本发明具体实施例还提供了基于光流及图的双分支人体行为预测装置100。该基于光流及图的双分支人体行为预测装置100包括用于执行上述基于光流及图的双分支人体行为预测方法的单元和模块，该装置可以被配置于服务器中。
[0131]
如图3所示，基于光流及图的双分支人体行为预测装置100，包括：
[0132]
获取单元110，用于获取检测区域内的图像数据。
[0133]
切帧处理单元120，用于对图像数据进行切帧处理，以得到多帧静态图片。
[0134]
预测单元130，用于将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到人体行为预测结果。
[0135]
在一实施例中，预测单元130包括。
[0136]
第一处理模块，用于将多帧静态图片以图片序列的形式输入至跟踪模型进行处理，以得到带有id索引的人物图像。
[0137]
第二处理模块，用于将带有id索引的人物图像输入至光流模型进行处理，以得到二维光流特征图。
[0138]
特征融合模块，用于将带有id索引的人物图像与二维光流特征图进行特征融合，以得到融合特征图。
[0139]
第三处理模块，用于将融合特征图输入至图模型进行处理，以得到人体行为预测结果。
[0140]
在一实施例中，第一处理模块包括：
[0141]
检测子模块，用于将多帧静态图片以图片序列的形式输入至跟踪模型，以检测出不同的人体目标框。
[0142]
赋予子模块，用于对检测出的不同的人体目标框赋予索引id，以得到带有id索引的人物图像。
[0143]
在一实施例中，第二处理模块包括：
[0144]
特征提取子模块，用于采用空洞卷积核对前后两帧带有id索引的人物图像进行特征提取，并经过relu激活层和max pooling层处理，以得到第一特征图和第二特征图。
[0145]
相关性处理子模块，用于将第一特征图和第二特征图进行全像素求相关性处理，以得到相关性特征图。
[0146]
构建子模块，用于构建第0次循环的光流信息。
[0147]
第一warp处理子模块，欧诺个鱼利用第0次循环的光流信息对第二特征图进行warp操作，以得到第1次循环的warp结果。
[0148]
第一结合子模块，用于将前后两帧带有id索引的人物图像通过遮挡掩模的asymofmm处理得到的结果与第1次循环的warp结果进行合并，得到第一合并特征。
[0149]
第一合并处理子模块，用于利用第一合并特征与第一特征图、相关性特征图进行合并后得到的结果输入到编码网络中处理，以得到第1次循环的光流信息。
[0150]
第二warp处理子模块，用于利用1次循环的光流信息对第二特征图进行warp操作，
以得到第2次循环的warp结果。
[0151]
第二结合子模块，用于将前后两帧带有id索引的人物图像通过遮挡掩模的asymofmm处理得到的结果与第2次循环的warp结果进行合并，得到第二合并特征。
[0152]
第二合并处理子模块，用于利用第二合并特征与第一特征图、相关性特征图进行合并后得到的结果输入到编码网络中处理，以得到第2次循环的光流信息。
[0153]
循环处理子模块，用于根据设定的循环次数，完成所有循环后得到第一阶段的光流信息。
[0154]
集中处理子模块，用于将第一阶段的光流信息输入到convgru中处理，以得到最终的二维光流特征图。
[0155]
在一实施例中，构建子模块包括：
[0156]
合并子模块，用于将第一特征图、第二特征图和相关性特征图进行合并，以得到合并特征图。
[0157]
编码子模块，用于将合并特征图输入到编码网络中处理，以得到第0次循环的光流信息。
[0158]
在一实施例中，特征融合模块包括：
[0159]
边缘特征提取子模块，用于采用sobel算子从带有id索引的人物图像上提取边缘特征，以得到初始边缘特征图。
[0160]
边缘锐化子模块，用于使用laplacian滤波对初始边缘特征图进行边缘锐化，精细化边缘特征图。
[0161]
下采样处理子模块，用于将精细化边缘特征图通过3x3卷积处理后，并使用average pooling进行下采样处理，以得到下采样特征图。
[0162]
大小调整子模块，用于使用双线性差值将下采样特征图调整为与原图大小相同的调整特征图。
[0163]
特征融合子模块，用于将二维光流特征图与调整特征图进行特征融合，以得到融合特征图。
[0164]
在一实施例中，第三处理模块包括：
[0165]
拼接子模块，用于每一帧对应的融合特征图与原图进行拼接，以得到拼接图。
[0166]
第一划分子模块，用于将拼接图划分为3种不同patch size的图。
[0167]
第二划分子模块，用于根据patch size的大小将拼接图划分为相应数量的等大小patches，以得到3个patches块。
[0168]
特征变换子模块，用于对3个patches块进行特征变换，以得3组graph的节点。
[0169]
特征变换子模块，用于使用感知哈希算法基于拼接图中的rgb信息分别对3个patches块进行相似度计算，以构成出3个patches块的动态邻接矩阵。
[0170]
汇总子模块，用于将3个patches块的动态邻接矩阵输入到12层的图卷积网络和时间卷积网络叠加块中进行节点的学习和特征更新，并将第12层的图卷积网络和时间卷积网络叠加块的输出通过global pooling层汇总特征，以得到每个序列的512维特征向量。
[0171]
全连接处理子模块，用于将每个序列的512维特征向量输入到全连接层处理，以生成每个patches块的人体行为类别的初步预测概率。
[0172]
共识预测子模块，用于将生成的每个patches块的人体行为类别的初步预测概率
采用一个共识函数处理，以得到共识预测。
[0173]
最终处理子模块，用于将共识预测输入到softmax函数中处理，以得到最终的人体行为预测结果。
[0174]
上述基于光流及图的双分支人体行为预测装置可以实现为计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
[0175]
请参阅图4，图4是本技术实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
[0176]
如图4所示，该计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的基于光流及图的双分支人体行为预测方法步骤。
[0177]
该计算机设备700可以是终端或服务器。该计算机设备700包括通过系统总线710连接的处理器720、存储器和网络接口750，其中，存储器可以包括非易失性存储介质730和内存储器740。
[0178]
该非易失性存储介质730可存储操作系统731和计算机程序732。该计算机程序732被执行时，可使得处理器720执行任意一种基于光流及图的双分支人体行为预测方法。
[0179]
该处理器720用于提供计算和控制能力，支撑整个计算机设备700的运行。
[0180]
该内存储器740为非易失性存储介质730中的计算机程序732的运行提供环境，该计算机程序732被处理器720执行时，可使得处理器720执行任意一种基于光流及图的双分支人体行为预测方法。
[0181]
该网络接口750用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。其中，所述处理器720用于运行存储在存储器中的程序代码，以实现以下步骤：
[0182]
基于光流及图的双分支人体行为预测方法，包括：
[0183]
获取检测区域内的图像数据；
[0184]
对图像数据进行切帧处理，以得到多帧静态图片；
[0185]
将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到人体行为预测结果。
[0186]
在一实施例中：所述将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到人体行为预测结果，包括：
[0187]
将多帧静态图片以图片序列的形式输入至跟踪模型进行处理，以得到带有id索引的人物图像；
[0188]
将带有id索引的人物图像输入至光流模型进行处理，以得到二维光流特征图；
[0189]
将带有id索引的人物图像与二维光流特征图进行特征融合，以得到融合特征图；
[0190]
将融合特征图输入至图模型进行处理，以得到人体行为预测结果。
[0191]
在一实施例中：所述将多帧静态图片以图片序列的形式输入至跟踪模型进行处理，以得到带有id索引的人物图像，包括：
[0192]
将多帧静态图片以图片序列的形式输入至跟踪模型，以检测出不同的人体目标框；
[0193]
对检测出的不同的人体目标框赋予索引id，以得到带有id索引的人物图像。
[0194]
在一实施例中：所述将带有id索引的人物图像输入至光流模型进行处理，以得到二维光流特征图，包括:
[0195]
采用空洞卷积核对前后两帧带有id索引的人物图像进行特征提取，并经过relu激活层和max pooling层处理，以得到第一特征图和第二特征图；
[0196]
将第一特征图和第二特征图进行全像素求相关性处理，以得到相关性特征图；
[0197]
构建第0次循环的光流信息；
[0198]
利用第0次循环的光流信息对第二特征图进行warp操作，以得到第1次循环的warp结果；
[0199]
将前后两帧带有id索引的人物图像通过遮挡掩模的asymofmm处理得到的结果与第1次循环的warp结果进行合并，得到第一合并特征；
[0200]
将第一合并特征与第一特征图、相关性特征图进行合并后得到的结果输入到编码网络中处理，以得到第1次循环的光流信息；
[0201]
利用1次循环的光流信息对第二特征图进行warp操作，以得到第2次循环的warp结果；
[0202]
将前后两帧带有id索引的人物图像通过遮挡掩模的asymofmm处理得到的结果与第2次循环的warp结果进行合并，得到第二合并特征；
[0203]
利用第二合并特征与第一特征图、相关性特征图进行合并后得到的结果输入到编码网络中处理，以得到第2次循环的光流信息；
[0204]
根据设定的循环次数，完成所有循环后得到第一阶段的光流信息；
[0205]
将第一阶段的光流信息输入到convgru中处理，以得到最终的二维光流特征图。
[0206]
在一实施例中：所述构建第0次循环的光流信息，包括：
[0207]
将第一特征图、第二特征图和相关性特征图进行合并，以得到合并特征图；
[0208]
将合并特征图输入到编码网络中处理，以得到第0次循环的光流信息。
[0209]
在一实施例中：所述将带有id索引的人物图像与二维光流特征图进行特征融合，以得到融合特征图，包括：
[0210]
采用sobel算子从带有id索引的人物图像上提取边缘特征，以得到初始边缘特征图；
[0211]
使用laplacian滤波对初始边缘特征图进行边缘锐化，精细化边缘特征图；
[0212]
将精细化边缘特征图通过3x3卷积处理后，并使用average pooling进行下采样处理，以得到下采样特征图；
[0213]
使用双线性差值将下采样特征图调整为与原图大小相同的调整特征图；
[0214]
将二维光流特征图与调整特征图进行特征融合，以得到融合特征图。
[0215]
在一实施例中：所述将融合特征图输入至图模型进行处理，以得到人体行为预测结果，包括：
[0216]
每一帧对应的融合特征图与原图进行拼接，以得到拼接图；
[0217]
将拼接图划分为3种不同patch size的图；
[0218]
根据patch size的大小将拼接图划分为相应数量的等大小patches，以得到3个patches块；
[0219]
对3个patches块进行特征变换，以得3组graph的节点；
[0220]
使用感知哈希算法基于拼接图中的rgb信息分别对3个patches块进行相似度计算，以构成出3个patches块的动态邻接矩阵；
[0221]
将3个patches块的动态邻接矩阵输入到12层的图卷积网络和时间卷积网络叠加块中进行节点的学习和特征更新，并将第12层的图卷积网络和时间卷积网络叠加块的输出通过global pooling层汇总特征，以得到每个序列的512维特征向量；
[0222]
将每个序列的512维特征向量输入到全连接层处理，以生成每个patches块的人体行为类别的初步预测概率；
[0223]
将生成的每个patches块的人体行为类别的初步预测概率采用一个共识函数处理，以得到共识预测；
[0224]
将共识预测输入到softmax函数中处理，以得到最终的人体行为预测结果。
[0225]
应当理解，在本技术实施例中，处理器720可以是中央处理单元(central processing unit，cpu)，该处理器720还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0226]
本领域技术人员可以理解，图4中示出的计算机设备700结构并不构成对计算机设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0227]
在本发明的另一实施例中提供了一种计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于光流及图的双分支人体行为预测方法。
[0228]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0229]
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可
以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
[0230]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0231]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0232]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0233]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。