基于多头级联注意网络与时间卷积网络的行为识别方法及装置与流程

1.本发明属于行为识别领域，具体涉及一种基于多头级联注意网络与时间卷积网络的行为识别方法、系统、电子装置及应用。


背景技术：

2.随着监控技术的发展，通过光学摄像头采集的图像信息输入计算机，利用计算机视觉技术，根据先前设计的算法对视频中的序列图像进行实时信息处理和模式识别来检测吸烟行为。与人工监督方法和传统传感器烟雾报警相比，基于计算机视觉的吸烟行为检测系统具有监控范围广、监控资源利用率高，自动定位吸烟者并发出警报等优点。
3.传统的吸烟检测方法通常都是通过人工监督、烟雾传感器、可穿戴设备、人工监督等方式进行检测。这些方法存在诸多局限：一是室外场景中烟雾浓度被极大稀释，无法被烟雾传感器所感应；二是可穿戴设备执行检测的成本较高；三是人工检测方法需要投入巨大的人力。并且传统的物理检测方法无法实时定位吸烟者。
4.吸烟检测与干预在过去的几年中使用了不同的可用技术，包括传感器、计算机视觉、可穿戴传感计算技术等。由于香烟浓度低、易发散的特点，基于传感器的烟雾检测设备受限于使用空间的大小和密闭程度，且易受灰尘、挥发性气体等外界因素的干扰，无法适用于大多数的公共场合的吸烟行为检测。同时传统的烟感设备不能实时的定位吸烟者，无法有效的保证禁烟工作的有效进行。
5.因此，一种成本低、高效并且能实时判断目标动作行为的监测手段亟待研发。


技术实现要素：

6.为了克服现有技术的不足，本发明提供了一种基于多头级联注意网络与时间卷积网络的行为识别方法及装置，用于解决前述技术问题中的至少一个。
7.为了实现上述目的，本发明采用的具体方案为：
8.一种基于多头级联注意网络与时间卷积网络的行为识别方法，包括：
9.采集视频，并提取所述视频中的视频特征信息；
10.通过所述视频特征信息学习至少1种注意特征，以自注意的方式捕获局部注意权值；
11.采用多头注意机制来捕捉所述视频中的其他特征信息；
12.采用线性变换和归一化的方法对特征空间中的特征值加权，增加自注意特征的多样性；
13.采用多头级联注意网络，利用所述局部注意权值，多头级联注意网络将局部特征集成到多个全局表示中，以所述自注意特征作为输入，学习注意权重；
14.根据所述注意权重获取所述视频特征信息对应的第一动作标签，并将所述第一动作标签根据多阶段时间卷积网络进行时序特征的提取，改进预测结果；
15.经过专家系统对所述预测结果进行分析，得到最终的行为类别。
16.所述“采集视频，并提取所述视频中的视频特征信息”，包括：
17.通过i＝[i1,i2...ik]k个片段来表示视频，经过一个参数为θ1的特征提取网络提取所述视频的特征信息：
[0018]
x＝[x1，x2，...xk]＝[r(i1；θ1)，...，r(ik；θ1)]
[0019]
其中，ii∈r
h*w*3*l
，h和w分别为输入视频段的高度和宽度，l为视频片段的长度。
[0020]
所述“通过所述视频特征信息学习至少1种注意特征，以自注意的方式捕获局部注意权值”，包括：
[0021]
将所述视频特征信息输入到接下来的两个全连接层中，通过第一个连接层用于学习自注意权重，与第二个连接层结合数据的归一化，得到学习多种注意特征；
[0022]
注意权重α
ij
的输入定义如下：
[0023][0024]
第一个fc层的每一个输出是第i个原始特征与第i头注意模块的注意力权重的加权值，定义如下：
[0025][0026]
其中，k为视频片段的数量；xj为第j帧视频特征信息；w为全局注意模块的全连接层的参数。
[0027]
所述“采用线性变换和归一化的方法对特征空间中的特征值加权”，包括：
[0028]
通过以下流程进行线性变换：
[0029][0030]
其中，y’是全连接层的y经过线性变换而得到的；n为自注意模块的个数。
[0031]
所述“采用多头级联注意网络，利用所述局部注意权值，多头级联注意网络将局部特征集成到多个全局表示中，以所述自注意特征作为输入，学习注意权重”，包括：
[0032]
将自注意特征作为输入，通过连接视频表示和自注意特征的级联层来学习注意权重，每个注意权重定义为如下形式：
[0033]
βi＝sigmoid(w
t
[yi′
；g])
[0034]
其中，w是全局注意模块的全连接层的参数；[yi′
；g]表示将y
i’与g通过一个串联算子进行连接；i＝1，2，3
……
。
[0035]
所述“根据所述注意权重获取所述视频特征信息对应的第一动作标签，并将所述第一动作标签根据多阶段时间卷积网络进行时序特征的提取”，包括：
[0036]
引入一个多阶段的时间卷积网络来完成时间动作的分割任务，并在所述时间卷积网络中引入膨胀卷积；
[0037]
在所述时间卷积网络中的每个阶段都从前一个阶段获取一个初始预测，并对其进
行改进。
[0038]
一种基于多头级联注意网络与时间卷积网络的行为识别系统，包括：
[0039]
多头级联网络模块，用于获取视频中的局部注意权值并根据所述局部注意权值将局部特征集成到多个全局表示中；
[0040]
动作逻辑组合模块，与所述多头级联网络模块进行数据交互，用于获得视频信息的行为分类。
[0041]
所述多头级联网络模块，包括：
[0042]
局部注意模块，与外界连接，用于从多头级联网络模块的骨干生成的网段特征开始，学习每个网段的多个注意权重，以自注意的方式捕获局部特征的重要性，得到局部注意权值；
[0043]
全局注意模块，与所述局部注意模块进行数据交互，用于利用所述局部注意权值，将局部特征集成到多个全局表示中，然后通过关系的方式学习全局信息的二级注意；
[0044]
全局注意模块与所述动作逻辑组合模块进行数据交互，用于进行行为识别与分类。
[0045]
一种基于多头级联注意网络与时间卷积网络的行为识别的电子装置，包括：
[0046]
存储介质，用于存储计算机程序；
[0047]
处理单元，与所述存储介质进行数据交换，用于在进行行为识别时，通过所述处理单元执行所述计算机程序，进行如权利要求1～6中任一权利要求所述的基于多头级联注意网络与时间卷积网络的行为识别方法的步骤。
[0048]
如上所述的基于多头级联注意网络与时间卷积网络的行为识别方法在吸烟监测方向上的应用。
[0049]
有益效果：本发明具有以下优点：
[0050]
本发明所述的方法，首先采集各种公共场合监控视频中的视频片段，并对得到的视频进行标注制作成为数据集。将标注后的数据集输入到多头级联注意网络中进行预训练，得到预训练权重，进行测试并且再次训练更新预训练权重，使网络对于吸烟行为的识别与定位的准确率达到比较好的效果。该方法有效的解决了现有识别方法的局限性，具有监测结果准确及时、不易受灰尘、挥发性气体等外界因素影响。
[0051]
本发明所述的系统，通过构造两层注意模块与时间卷积网络进行组合，完成视频中行为的识别与分类，所述的两层注意模块，包括：局部注意模块与全局注意模块，利用局部注意模块，以自注意的方式捕获局部特征的重要性得到局部注意权值，然后，再利用全局注意模块将局部特征集成到多个全局表示中，然后通过关系的方式学习全局信息的二级注意；最后通过一个多级时间卷积网络进行最后的识别与分类。本发明所述的系统具有结构简单，两级识别后的识别结果准确的优点。
附图说明
[0052]
图1为本发明所述方法的流程图。
[0053]
图2为本发明中的多头级联网络示意图。
[0054]
图3为多级时间卷积网络动作逻辑组合模块。
[0055]
图4为基于多头级联注意网络与时间卷积网络的行为识别的电子装置的结构框
图。
具体实施方式
[0056]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
[0057]
在本文中：每一个自注意模块获得的为自注意特征，所有自注意特征的总称为注意特征；具体实施例i：本实施例以实时监测吸烟为例，对本发明所述的基于多头级联注意网络与时间卷积网络的行为识别方法及装置进行详细说明。
[0058]
本发明的具体技术流程图如附图1～3所示，基于多头级联注意网络与时间卷积网络的行为识别方法的详细方案包括以下步骤：
[0059]
s1:首先用i＝[i1,i2...ik]k个片段来表示视频，然后经过一个参数为θ的特征提取网络提取视频的特征信息：x＝[x1，x2，...xk]＝[r(i1；θ1)，...，r(ik；θ1
)
] 其中，ii∈r
h*w*3*l
，h和w分别为输入视频段的高度和宽度，l为视频片段的长度。
[0060]
s2:经过特征提取的视频特征信息输入到接下来的两个全连接层中，第一个全连接层的目的是学习自注意权重，第二个全连接层结合数据的归一化，目的是学习多种注意特征。自注意模块会获得各自的注意权重；注意权重的输入定义如下：首先我们将k帧的视频分为{i1，i2，
…
,ik}，经过一个参数为θ1的特征提取网络r(
·
；θ1)得到视频k帧的特征x＝[x1,x2,
…
,xk]；输入视频片段特征xj的自注意权重a
ij
的定义如下：
[0061][0062]
第一个全连接层层的每一个输出是第i个原始特征与第i头注意模块的注意力权重的加权值。定义如下：
[0063][0064]
s3:由于一个单头自注意权值特征可能智能反应视频的某一方面的特征，为此，采用多头注意机制来捕捉视频更多方面的特征。
[0065]
s4:为了不让这些自注意的权值特征总是倾向于关注类似的信号，增加自注意特征的多样性，我们采用线性变换和归一化的方法对特征空间中的特征值加权或者进行位移。通过线性变换和归一化可以保证尺度不变性的同时使得特征彼此不同，分布也不同，并且尺度的不变性还有利于对网络进行优化。流程定义如下：
[0066][0067]
其中，y’是全连接层的y经过线性变换而得到的。
[0068]
s5:全局注意模块是将自注意特征和近似的视频表示作为输入，通过连接视频表示和自注意特征的级联层来学习注意权重。这个模块主要对与全局特征进行操作，每个注意权重可定义为如下形式：
[0069]
βi＝sigmoid(w
t
[yi′
；g])
[0070]
其中，w是全局注意模块的全连接层的参数，[yi′
；g]表示将yi’与g通过一个串联算子进行连接。
[0071]
s6:当得到第一动作标签之后，在最后加入一个多阶段时间卷积网络，对得到的结果进行时序特征的提取。这种组合的效果是对前几个阶段的预测的逐步改进。
[0072]
在此基础上，引入一个多阶段的时间卷积网络来完成时间动作的分割任务；为了降低所需处理的参数数量，在这个时间卷积网络中引入膨胀卷积。在这个多阶段的模型中，每个阶段都从前一个阶段获取一个初始预测，并对其进行改进。使用这种多阶段架构有助于提供更多的上下文来预测每一段的类标签。此外，由于每个阶段的输出都是一个初始预测，网络则能够捕捉到动作类之间的依赖关系，并学习可能的动作序列，这有助于减少过分割的错误。
[0073]
s7:得到个动作类标签的结果之后我们可以通过一个专家系统进行动作之间的逻辑的分析。最终得到一个准确的行为类别。
[0074]
具体实施例ii：
[0075]
本发明还公开一种实施例：如图4，一种基于多头级联注意网络与时间卷积网络的行为识别系统，包括：多头级联网络模块100和动作逻辑组合模块200；其中，多头级联网络模块100，用于获取视频中的局部注意权值并根据所述局部注意权值将局部特征集成到多个全局表示中；动作逻辑组合模块200与所述多头级联网络模块进行数据交互，用于获得视频信息的行为分类。
[0076]
所述多头级联网络模块100，包括：局部注意模块101和全局注意模块102；其中，局部注意模块101与外界连接，用于从多头级联网络模块的骨干生成的网段特征开始，学习每个网段的多个注意权重，以自注意的方式捕获局部特征的重要性，得到局部注意权值；全局注意模块102与所述局部注意模块101进行数据交互，用于利用所述局部注意权值，将局部特征集成到多个全局表示中，然后通过关系的方式学习全局信息的二级注意；全局注意模块102与所述动作逻辑组合模块200进行数据交互，用于进行行为识别与分类。
[0077]
具体实施例iii：
[0078]
本发明还提供一种实施例：一种基于多头级联注意网络与时间卷积网络的行为识别的电子装置，包括：存储介质和处理单元；存储介质，用于存储计算机程序；处理单元与所述存储介质进行数据交换，用于在进行行为识别时，通过所述处理单元执行所述计算机程序，进行如上所述的基于多头级联注意网络与时间卷积网络的行为识别方法的步骤。
[0079]
上述的电子装置中，存储介质优选为，移动硬盘或固态硬盘或u盘等存储设备；处理单元，优选为cpu，与所述存储介质进行数据交换，用于在进行行为识别时，通过所述处理单元执行所述计算机程序，进行如上所述的基于多头级联注意网络与时间卷积网络的行为识别的步骤。
[0080]
上述cpu可以根据存储在存储介质中的程序执行各种适当的动作和处理。所述电子设备还包括以下外设，包括键盘、鼠标等的输入部分，也可以包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分；特别地，根据本发明公开的实施例，如图1中任一描述的过程均可以被实现为计算机软件程序。
[0081]
本发明提供的一种实施例，包括一种计算机程序产品，其包括承载在计算机可读
介质上的计算机程序，该计算机程序包含用于执行如图1中
[0082]
任一所述流程图所示的方法的程序代码。该计算机程序可以从网络上被下载和安装。在该计算机程序被cpu执行时，执行本发明的系统中限定的上述功能。
[0083]
本发明提供还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序；所述计算机程序在运行时，执行如上所述的基于多头级联注意网络与时间卷积网络的行为识别方法的步骤。
[0084]
在本发明中，计算机可读的存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0085]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易变化或替换，都属于本发明的保护范围之内。因此本发明的保护范围所述以权利要求的保护范围为准。