一种融合拓展决策和注意力网络的行为动态识别方法

技术特征：
1.一种融合拓展决策和注意力网络的行为动态识别方法，其特征在于包括以下步骤：步骤(1)：通过传感器采集数据，删除无用数据和噪声数据进行数据清洗，然后进行数据分解：步骤(1.1)：对采集完毕的传感器数据进行整理和定义；令p＝{p1,p2,
…
p
m
}为传感器所采集到的数据，m代表片段数；令表示第i个数据片段收集到的传感器数据集，其中代表第p
i
个片段上的时间序列，代表第p
i
个片段上发生的事件总数，代表第p
i
个片段各时间序列对应的传感器数据，令代表传感器上的一个事件，其中而一个人体行为活动序列b是m个事件的序列，b＝{a1,a2,
…
,a
m
}；令d＝{d1,d2,
…
,d
n
}代表一个独立的传感器的数据集合，其中n表示人体放置的不同传感器的数量，因此即在任意的p
i
个片段中产生的传感器序列数据都是在d集合中定义的；步骤(1.2)：对时序信息进行格式转换；将时序信息转换为时间戳的方式进行格式转换，计算公式如下：p.tim[i]＝{p.d,p.d[i].hour
×
60
×
60 p.d[i].minute
×
60 p.d[i].second}其中i∈(0,z]，z表示最大数据条数，p.d表示日期时间戳，p.d[i]的各类型后缀对应时、分、秒的数据，p.tim[i]返回转换得到的总时间戳；步骤(1.3)：定义动作集和综合差；定义动作集s1，是由各个时间片段的人体行为活动序列组成的，其公式如下所示：其中表示在动作集s1中第β1个人体行为活动序列，表示在人体行为活动序列b1中第m1个事件；定义综合差，将由传感器产生的数据划分为两个部分，包括时序差和均值差；总的差值衡量标准为两者的综合，综合差越小，两个时间段是同一种行为的可能性越大，公式如下：其中为第i个时间段与第j个时间段之间的综合差；是第i个时间段和第j个时间段之间的时间差，表示第i个时间段与第j个时间段之间各类别变换大于一定阈值数据的均值差加权和，为第i个时间段和第j个时间段传感器出现一定阈值变换的数据的类别总数；步骤(1.4)：进行动作分解；
将简化得：其中p
i
代表第i个时间段，p
j
代表第j个时间段；代表通过设定阈值筛选出的出现一定变化的数据项总数；是和之间的时间差，表示与之间各类别变换大于一定阈值数据的均值差加权和；利用公式将一定时间段的人体行为数据进行分析处理，整合出n段行为动作，即s＝{s1,s2,
…
,s
n
}；当传感器采集到新的数据p
j
时，将其与历史数据s进行对比：遍历历史数据s中所有行为模式时间片段，寻找最小值对应的时间片段，认为该时间片段对应的行为模式为p
j
的行为模式，从而完成人体行为动作切分；步骤(2)：对上述预处理后得到的数据判断是否初次输入；若是，则执行步骤3，若否，执行步骤4；步骤(3)：远端服务器接收到本地设备传输的数据，利用multiatt深度融合注意网络进行人体行为识别，然后将识别数据发送给分类器进行行为分类；所述multiatt深度融合注意网络是在基础的卷积神经网络上加入了多视图卷积编码器和融合注意门得到；步骤(4)：本地设备将上述预处理后的数据通过人体感知识别任务动态调度方法来进行动态任务调度；步骤(5)：利用multiatt深度融合注意网络反馈的贡献分值向量为xgboost拓展决策网络的输入通道数据进行阈值筛选，并对调度到本地设备的数据使用xgboost拓展决策树算法进行行为识别。2.如权利要求1所述的一种融合拓展决策和注意力网络的行为动态识别方法，其特征在于步骤(3)所述multiatt深度融合注意网络具体如下：步骤(3.1)：通过多视图卷积编码器计算视图参数；利用两个卷积特征编码器，即通道编码器和全局编码器，分别从特定通道和全局视图中提取抽象特征的方法；假定输入的人体信号片段由n个通道组成，表示为x＝{x1,x2,...,x
n
}；给定第i个通道的输入向量x
i
，通道视图y
i
通过encoder
j
通道编码器得到，如下所示：y
i
＝encoder
j
(x
i
,β
j
)其中β
j
是encoder
j
中的学习参数；全局视图y
k
通过全局编码器计算得到，如下所示：y
k
＝encoder
k
(x
i
,β
k
)
其中β
k
是encoder
k
中的学习参数；步骤(3.2)：利用特征编码器获得对应特征图；通过堆叠多个多核的cnn单元来构建多视图卷积编码器，其中包括卷积层、非线性层和池化层；具体来说，关于两种特征编码器的第m个特征图可以用和表示，计算公式如下：如下：其中和分别是和对应的权值和偏置值，n表示所有的通道数量；步骤(3.3)：通过融合注意力机制记录通道信息；融合注意门r
i
通过全局视图和通道视图的结果计算出通道信息，公式定义为：其中表示y
i
和y
k
对应学习权值的转置，ε
rj
是偏置值；步骤(3.4)：通过融合注意门得到注意力能量值；根据融合注意门r
i
整合全局视图和其自身的通道视图表示的信息，定义为：其中
⊙
是元素相乘运算符；如果r
i
＝1，那么意味着只有通道视图信息被传递；如果r
i
＝0，那么意味着只有全局视图信息被传递；第i个通道的注意力能量值e
g,i
根据综合特征向量进行进一步分配：其中和ε
e
是对应的权值和偏置值；步骤(3.5)：使用softmax计算贡献分值向量与上下文向量；基于所有的注意力能量值，贡献分值向量score
g
的归一化操作通过softmax函数实现：score
g
＝softmax([e
g,1
,
…
,e
g,i
,
…
,e
g,n
])通过上述公式可以看出，如果第i个通道的贡献分值score
g
很大，则该通道的信息与相应的任务标签的相关度高；然后使用加权聚合法，根据综合特征1≤i≤n和贡献分值向量score
g
计算出上下文向量context
g
，计算公式如下：步骤(3.6)：进行网络模型训练；为了以端到端方式训练multiatt深度融合注意网络以进行人体行为分类，网络模型将
上下文向量context
g
和全局视图向量y
g
结合起来，得出注意力特征y
attention
，定义为：其中是连接运算符，w
y
和ε
y
是y
attention
对应的权值和偏置值；之后应用softmax层来生成分类任务计算公式如下：其中w
s
和ε
s
代表对应的权值和偏置值。3.如权利要求2所述的一种融合拓展决策和注意力网络的行为动态识别方法，其特征在于对于给定的m个学习样本multiatt深度融合注意网络的代价函数在可学习参数集δ＝{(w
q
,ε
q
)|q＝j,k,rj,e,y,s}中的定义为：其中w
q
,ε
q
分别表示所有学习参数。4.如权利要求2所述的一种融合拓展决策和注意力网络的行为动态识别方法，其特征在于步骤(4)具体是：步骤(4.1)：定义调度方法相关参数；将步骤(1)预处理后的数据以计算任务的形式表示，其中i代表任务的编号，是对应任务输入的预处理后的传感器数据，是对应任务完成所需要的计算量；步骤(4.2)：建立时间感知模型；首先，建立预计任务执行时间的计算模型，包括任务请求到达时的本地执行时间和任务在服务器上的执行时间任务请求到达时的本地执行时间：其中f
local
代表传感器设备的计算频率；任务在服务器上的执行时间：其中f
server
代表服务器设备的计算频率；然后，建立预计任务传输时间的传输模型，包括传输节点的信噪比f
snr
(d
i,n
)；本地设备可以将计算需求转移到服务器上，以减少本地计算负载，在计算卸载的过程中需要考虑移动环境下的网络传输问题；在本地设备卸载任务的过程中，传输节点的信噪比如下所示：
其中代表设备i在传输时的电压频率，代表设备i与当前边缘服务器之间的距离造成的信号干扰，α代表路径损失系数，β
c
代表卸载策略；如果β
c
＝0，任务在本地执行；如果β
c
≠0，任务被卸载到远端服务器上；步骤(4.3)：定义任务的传输时间；在移动网络环境下，本地设备和服务器之间的传输速率定义如下：r
n
＝blog2(1 f
snr
(d
i,n
))其中b代表用户设备和服务器之间的传输带宽；任务的传输时间为：步骤(4.4)：定义响应时间；响应时间包含任务上传至上行链路的上传时间远端服务器中应用的执行时间和反馈给用户结果的下行链路的发送时间和反馈给用户结果的下行链路的发送时间步骤(4.5)：建立能耗感知模型；本地设备的能耗主要包括两部分，一部分是本地执行的能耗，另一部分是任务卸载的能耗，包括上传能耗和下载能耗；在计算设备的能量消耗时，应首先考虑本地运行任务的能量消耗；如果用户没有可用的服务器，或者任务不需要被卸载到服务器上，则允许在本地执行的任务；由本地本身产生的能耗被称为本地能耗，本地能耗的计算公式如下：其中代表本地计算任务所需的时间，p
local
代表计算任务的电压频率；在任务调度过程中，由数据传输而产生的能量消耗被称为传输能耗传输能耗可分为任务传输能耗和结果下载能耗，其计算公式如下：其中代表任务传输的上传或下载时间，p
trans
代表任务传输的上传或下载电压，state＝up表示任务上传状态，state＝down表示任务下载状态；步骤(4.6)：制定优化目标并完成模型决策；以最小化能耗与响应时间为优化目标，目标函数表示为：以最小化能耗与响应时间为优化目标，目标函数表示为：
其中e为设备能耗，λ为权重因子，表示传输总时间；选择在目标函数最小的设备端进行任务执行，若为本地执行，则跳转至步骤(5)；若为远端服务器执行，则返回至步骤(3)。5.实现权利要求1-4任一项所述方法的融合拓展决策和注意力网络的行为动态识别系统，其特征在于包括：数据采集及数据分解模块，通过传感器采集数据，删除无用数据和噪声数据进行数据清洗，然后进行数据分解；数据分配模块，对数据采集及数据分解模块预处理后得到的数据判断是否初次输入；若是则输入至远端服务器，若否则输入至动态任务调度模块；multiatt深度融合注意网络，接收远端服务器的数据进行人体行为识别，然后将识别数据发送给分类器进行行为分类；动态任务调度模块，对数据采集及数据分解模块预处理后得到的数据通过人体感知识别任务动态调度方法进行动态任务调度；xgboost拓展决策网络，利用multiatt深度融合注意网络反馈的贡献分值向量为xgboost拓展决策网络的输入通道数据进行阈值筛选，并对调度到本地设备的数据使用xgboost拓展决策树算法进行行为识别。6.一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实上权利要求1-4中任一项所述的方法。7.一种机器可读存储介质，其特征在于，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现权利要求1-4中任一项所述的方法。

技术总结
本发明公开一种融合拓展决策和注意力网络的行为动态识别方法。远端服务器接收到本地设备传输的数据，利用MultiAtt深度融合注意网络进行人体行为识别；本地设备将上述预处理后的数据进行动态任务调度；利用MultiAtt深度融合注意网络反馈的贡献分值向量为XGBoost拓展决策网络的输入通道数据进行阈值筛选，并对本地设备数据使用XGBoost拓展决策树算法进行行为识别。本方法在服务器端执行MultiAtt深度融合注意网络，与本地设备端的XGBoost拓展决策网络通过人体识别任务动态调度算法进行结合，以实现在不同场景下自适应动态感知人体行为。以实现在不同场景下自适应动态感知人体行为。以实现在不同场景下自适应动态感知人体行为。


技术研发人员：袁友伟 彭瀚 郑超 姜添 鄢腊梅
受保护的技术使用者：杭州电子科技大学
技术研发日：2022.05.07
技术公布日：2022/7/22