基于残差混合时空注意力网络的人体活动识别系统及方法
本发明涉及基于人工智能深度学习的人体行为识别领域,具体地讲,涉及基于残差混合时空注意力网络的人体活动识别系统及方法。
背景技术:
1、人体活动识别作为物联网、人工智能与可穿戴计算交叉领域的核心技术,近年来在健康监测、智能家居、运动健康和智能交通系统中展现出广阔的应用前景。随着可穿戴设备和传感器技术的快速发展,该技术已逐步从实验室环境走向真实生活场景,其核心目标是赋予机器感知、理解并响应人类日常活动的能力,从而构建真正“无感化、智能化、个性化”的人机协同环境。
2、当前主流的人体活动识别方法主要依赖三类传感技术:视觉摄像头、可穿戴传感器与无线射频传感装置。视觉方案虽然在公开数据集上识别精度较高,但其性能严重依赖环境光照条件,易受遮挡影响,且在私密空间中存在明显的隐私泄露风险,难以满足实际应用中的伦理与法规要求。无线射频方案通常依赖特定空间配置,对硬件精度和部署环境要求较高,限制了其大规模应用。在此背景下,基于可穿戴传感器的非接触式人体活动识别技术因其独特优势迅速崛起。该技术通过采集加速度计、陀螺仪等传感器信号,生成反映人体运动动态的多维时序数据。这种数据蕴含丰富的时空特征,能够有效区分“行走”、“跑步”、“上下楼梯”等不同活动模式。
3、早期方法依赖人工设计特征,并结合支持向量机、k最近邻等传统分类算法进行识别。这类方法虽在特定受限场景中表现尚可,但高度依赖领域专家经验,特征泛化能力弱,难以适应真实环境中复杂多变的活动模式。随着深度学习技术的发展,研究者开始采用循环神经网络(如长短时记忆网络)直接从原始传感器数据中自动学习判别性特征,实现了端到端的识别流程,大幅提升了系统在复杂环境下的准确率与稳定性。然而,现有基于循环结构的识别方法仍存在两个根本性技术瓶颈:首先,在时空特征提取方面,传统单尺度结构在逐层抽象过程中容易丢失多尺度细节信息。例如,行走时的周期性步伐、跌倒时的瞬时冲击等细微动态在时序数据中表现为不同尺度特征,这些信息对区分相似活动至关重要。部分改进方案尝试引入固定参数的多尺度卷积,但由于缺乏调节机制,无法根据不同活动的时序特性动态调整提取强度,导致部分场景过增强引入噪声,另一些场景则增强不足,整体识别稳定性欠佳。其次,在多维融合方面,人体活动天然具有多维度特性——既包含时序依赖,也包含通道间语义关联。而传统结构受限于固定连接方式,难以同时有效捕捉局部瞬态变化与全局通道结构。虽有研究尝试引入注意力机制或图卷积以建模长时依赖,但前者存在训练过程不稳定、梯度易发散的问题,后者则因计算复杂度高,难以在资源受限的终端设备上高效部署,且对短时动态特征建模效率不足。
4、综上所述,当前技术亟需一种新型识别架构,能够在不显著增加计算负担的前提下,实现对多维传感器数据的多尺度时空特征的多维提取,同时灵活融合时序和通道动态特征,从而全面提升复杂真实场景下的识别精度与鲁棒性。
技术实现思路
1、本发明要解决的技术问题是提供基于残差混合时空注意力网络的人体活动识别系统及方法,通过一种双流融合架构,协同地增强传感器数据的时序动态融合图像-通道特征,有效解决了在复杂或数据有限条件下识别人体活动时的特征提取难题。
2、本发明采用如下技术方案实现发明目的:
3、基于残差混合时空注意力网络的人体活动识别系统,包括:依次连接的人体行为传感器采集模块、人体行为信息传输模块、人体行为信息预处理模块、人体行为特征提取模块及人体行为分类识别模块;
4、人体行为传感器采集模块包括加速度计采集单元、陀螺仪采集单元、磁力计采集单元、传感器接收单元和低功耗信号处理单元;
5、人体行为信息传输模块包括wifi、zigbee、can总线;
6、人体行为信息预处理模块包括数据窗口划分单元和归一化处理单元;
7、人体行为特征提取模块包括序列扩张残差时序卷积单元、图像-通道混合残差-密集融合单元和多维度特征融合层;
8、人体行为分类识别模块包括类别阈值确定单元、损失函数计算更新单元和分类识别输出单元。
9、作为本技术方案的进一步限定,还包括人体行为信息应用模块,人体行为信息应用模块连接人体行为分类识别模块。
10、基于残差混合时空注意力网络的人体活动识别系统的识别方法,包括以下步骤:
11、s1:人体行为传感器采集;
12、启动人体行为传感器采集模块,采集多通道运动信号,并通过低噪声放大、滤波和模数转换,生成包含人体行为信息的原始数字信号帧;这些信号帧记录了三维加速度、角速度和磁场变化,构成后续处理的原始多维时序数据;
13、s2:人体行为信息传输;
14、启动人体行为信息传输模块,将人体行为传感器采集模块生成的原始雷达数据帧,通过预设的通信方式实时传输至后端的数据处理服务器或边缘计算设备,确保数据流的稳定与完整;
15、s3:人体行为信息预处理;
16、启动人体行为信息预处理模块,将传输的原始多维传感器数据经过窗口划分、归一化处理,生成多维活动图和一维时序序列;预处理后的数据作为人体行为特征提取模块的输入,用于后续特征学习;
17、s4:人体行为分类识别;
18、将s3预处理后的行为数据片段分批次输入到人体行为特征提取模块中,通过前向传播进行特征提取和分类,经过训练得到人体行为识别输出;
19、s5:损失函数计算更新与反馈;
20、s6:确定阈值与输出结果。
21、作为本技术方案的进一步限定,所述s3的具体步骤为:
22、s31:人体行为数据窗口划分;
23、采用滑动窗口技术对连续的原始雷达数据流进行分割;
24、s32:人体行为信息数据重构;
25、对s31划分出的每个数据片段进行归一化处理,以消除噪声和数据偏移影响;该过程由公式(1)描述:
26、(1)
27、其中:表示输出序列中的第个样本,表示输入序列中的样本,和分别表示输入序列的均值和标准差。
28、作为本技术方案的进一步限定,所述s4的具体步骤为:
29、s41:一维时间特征建模;
30、采用序列扩张残差时序卷积单元进行特征提取,输入一维特征数据首先通过一层一维卷积进行特征提取,输出中间特征,该过程由公式(2)表示:
31、(2)
32、其中:表示批归一化,表示激活函数,用于正则化;表示对输入一维特征数据进行的一维扩张组卷积操作;
33、随后,残差路径通过1×1卷积生成特征映射确保维度对齐,该过程由公式(3)表示:
34、(3)
35、其中:表示对输入一维特征,进行的1×1一维卷积操作,在残差路径之中该操作用于生成特征映射;
36、融合后的特征通过第二层一维卷积进一步提取,生成扩张残差时序卷积块输出,该过程由公式(4)表示:
37、(4)
38、其中:表示扩张残差时序卷积块的输出;表示残差连接以增强特征传播并缓解梯度消失问题;表示对融合特征,进行的第二级一维扩张组卷积操作,用于在残差连接之后进一步提取更深层次的时序判别性特征;
39、为了有效捕捉短时和长时依赖,序列扩张残差时序卷积单元包含了三个并行扩张残差时序卷积块,各使用卷积核大小分别为3、5、7,扩张率分别为1、2、3,覆盖不同时间尺度范围,该过程由公式(5)表示:
40、(5)
41、其中:、与分别表示每个扩张残差时序卷积块所提取的特定尺度的时序特征;表示沿通道维度拼接操作;
42、随后为聚焦关键时间步,序列扩张残差时序卷积单元引入时序注意力机制,该过程由公式(6)表示:
43、(6)
44、其中:为并行扩张残差时序卷积块的融合后的每个时间步特征,为每个时间步的注意力权重;表示全连接层,表示双曲正切激活函数,表示归一化指数函数;
45、最终通过加权和的方式得到最终时序特征表示,该过程由公式(7)表示:
46、(7)
47、其中:表示逐元素相乘,为时间序列长度,为得到的模块输出;
48、s42:空间-通道特征提取;
49、以人体行为信息预处理模块生成的多维活动图为输入,采用空间-通道特征提取进行特征提取;
50、其首先经过级联卷积层提取多尺度特征,其过程由公式(8)至(10)表示:
51、(8)
52、(9)
53、(10)
54、其中:是输入图数据;表示卷积核大小;为采用×卷积核对输入特征进行的二维卷积运算;
55、、和分别为各阶段输出;特征沿通道维度拼接后,通过1×1卷积聚合,生成多尺度特征表示,其过程由公式(11)表示:
56、(11)
57、其中:为聚合后的多尺度特征;为采用1×1卷积核对拼接后的多尺度特征进行的通道维度融合运算;
58、随后为增强特征表示,将多尺度特征与输入图数据通过残差和密集连接进行融合;
59、首先通过将多尺度特征与输入特征进行残差连接以确保原始信息的保留并有助于缓解梯度消失,提高深层网络的特征传播效率,其过程由公式(12)表示:
60、(12)
61、其中:表示残差连接输出,表示所使用残差连接作为连接方式的通道;表示多尺度特征提取分支输出的第个通道的特征值,表示输入图数据经过维度调整在之后对应的第个通道特征值;
62、随后为了确保多层信息的密集复用,增强特征的多样性,将部分特征沿通道进行密集连接,其过程由公式(13)表示:
63、(13)
64、其中:表示密集连接输出,为开始密集连接的通道数,为进行密集连接的特征的总通道数;表示将指定通道索引范围内的多尺度特征与原始输入图特征进行逐元素相加后的结果集合;
65、最后通过将两部分输出进行融合得到最终输出结果,其过程由公式(14)表示:
66、(14)
67、其中:为多尺度残差-密集融合块最终输出,其维度为;
68、为了增强通道级注意力表示并捕捉通道间上下文关系,三分支上下文感知通道注意力机制通过全局平均池化提取通道级的上下文信息,其过程由公式(15)至(18)表示:
69、(15)
70、(16)
71、(17)
72、(18)
73、其中:为对多尺度残差-密集融合块的输出特征进行全局平均池化得到的通道级上下文描述向量;为均值计算函数;指定了参与平均计算的维度索引;为对通过三个并行全连接层得到的注意力分数;表示张量形状重构操作,用于调整数据的维度排列以匹配后续运算要求;为目标形状参数列表;表示张量堆叠操作,将并行分支生成的独立注意力权重张量沿一个新的维度进行拼接;为经过堆叠与归一化得到的最终注意力权重;
74、图像-通道混合残差-密集融合单元将输入特征通过3×3卷积扩展至四倍通道数,生成初步特征后,输入至三个并行残差-密集融合块提取多尺度特征,特征沿通道维度堆叠得到堆叠融合特征,其过程由公式(19)表示:
75、(19)
76、其中:、和分别表示三个残差-密集融合块的输出特征,表示堆叠融合特征;
77、随后将中间特征输入至三分支上下文感知通道注意力得到注意力权重,其过程由公式(20)表示:
78、(20)
79、其中:表示三分支上下文感知通道注意力机制。其中指代其三个并行全连接层,代指通道注意力,通过对多尺度特征进行全局上下文建模,自适应学习各通道注意力权重;
80、最后将堆叠融合特征与注意力权重相乘并全局平均池化以融合加权特征,其过程由公式(21)表示:
81、(21)
82、其中:表示图像-通道混合残差-密集融合单元的最终输出;表示全局平均池化操作,其中参数指定了池化核的大小覆盖了整个空间维度,该操作对加权融合后的三维特征图在每个通道上进行均值计算,将高维特征压缩为一维向量;
83、s43:多维度特征融合;
84、将s41生成的时序特征与s42生成的空间-通道特征通过多维度特征融合层进行融合,该过程由公式(22)与(23)表示:
85、(22)
86、(23)
87、其中:表示沿通道维度拼接后的融合特征张量;表示最终融合特征;
88、s44:分类识别;
89、将s43中最终融合的、兼具空间与时序信息的最终融合特征转换为具体的活动类别判断,该过程通过公式(24)表示:
90、(24)
91、其中:表示全连接层,用于将高维融合特征向量映射到与活动类别数相匹配的低维度空间;表示分类识别输出的概率分布向量,其每个元素代表输入样本属于预定义活动类别的置信度。
92、作为本技术方案的进一步限定,还包括s7:人体行为分类输出结果应用;
93、将最终确定的行为识别结果传输至人体行为信息应用模块。
94、与相关技术相比较,本发明提供的基于残差混合时空注意力网络的人体活动识别系统及方法具有如下有益效果:
95、(1)本发明设计了序列扩张残差时序卷积单元,利用并行的多扩张率卷积和时序注意力机制,动态捕捉行为的短时瞬态细节和长时周期性模式。通过加权机制根据输入数据特性调整时间尺度权重,该模块突破了传统固定感受野的局限性,增强了时序特征的表达多样性和鲁棒性,从而提升了模型对复杂时序动态的建模能力。
96、(2)本发明引入了图像-通道混合残差-密集融合单元,通过多尺度卷积和三分支上下文感知通道注意力机制,有效提取和增强多维活动图中的空间-通道细节特征。该机制解决了传统卷积网络在提取精细空间模式时的信息丢失问题,从而显著提升了模型对高度相似行为的判别准确率。
97、(3)本发明采用双流并行架构结合多维度特征融合层,通过解耦时序和通道特征并协调注意力机制,实现空间-通道与时序信息的互补融合。这种策略减少了对单一维度信息的过度依赖,使网络在数据规模有限、样本分布不均或噪声干扰较大的场景下,依然保持高识别精度和稳定的性能,展现出优异的泛化能力和适应性。
98、(4)本发明在网络架构中广泛应用轻量化设计策略,包括深度可分离卷积和一维时序处理。这种设计在保证高效提取判别特征的同时,显著降低了模型参数量和计算复杂度。得益于此,本发明能够在保持领先的活动识别精度的同时,满足边缘设备或资源受限环境下的实时推理需求和低算力消耗要求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com