基于多尺度空间与时序双流增强的跌倒检测算法

本发明涉及计算机视觉与智能健康监护，具体涉及基于多尺度空间与时序双流增强的跌倒检测算法，适用于养老机构、居家环境和公共社区等场景下对人体意外跌倒行为的实时识别与预警。

背景技术：

1、跌倒检测是保障老年群体及行动不便人群生命安全的关键技术。现有方法主要分为基于可穿戴设备、基于环境传感器和基于计算机视觉三类。基于视觉的方法因无需佩戴设备、可复用监控设施、监测范围广等优势，成为研究热点。深度学习，特别是卷积神经网络（cnn）和transformer架构，已被广泛应用于该任务。

2、然而，现有基于cnn的方法受限于局部感受野，难以建模视频序列中的长程时空依赖；而基于vision transformer（vit）的方法虽具备全局建模能力，但缺乏局部归纳偏置，易受背景干扰。近年来，video swin transformer通过窗口化与移位窗口自注意力机制在一定程度上平衡了局部与全局建模，但直接应用于跌倒检测仍存在两个固有瓶颈：

3、（1）固定窗口自注意力需多层堆叠才能建立跨窗口长程空间关联，单一尺度感受野无法充分覆盖跌倒行为的多尺度运动特征；

4、（2）仅通过窗口移位间接建模帧间时序关联，对跌倒过程中的瞬时速度突变、运动边界变化等显式动态信息捕获不够直接，难以精准刻画跌倒行为的时序演化特性。

5、因此，亟需一种能够同时全面捕获多尺度空间特征、精准刻画跌倒瞬时时序动态信息的检测模型。

技术实现思路

1、（一）解决的技术问题

2、针对现有video swin transformer在跌倒检测任务中存在的跨窗口长程空间关联建模效率不足、多尺度运动特征捕捉不充分以及帧间时序动态信息捕获不直接的技术缺陷，本发明提供基于多尺度空间与时序双流增强的跌倒检测算法，旨在通过多尺度大核注意力模块实现跨窗口长程空间依赖的直接建模，通过双流时序差异增强模块实现跌倒瞬时动态变化的高精度捕捉，从而显著提升跌倒检测的准确率和场景鲁棒性。

3、（二）技术方案

4、为实现以上目的，本发明提供了一种基于多尺度空间与时序双流增强的跌倒检测算法。本发明的核心技术构思在于：以video swin transformer为骨干网络，针对其窗口自注意力机制跨窗口空间关联建模低效的缺陷，设计多尺度大核注意力模块（mslka），通过分级多分支大核卷积在单层内直接覆盖多尺度感受野，并辅以尺度自适应聚合实现跨窗口长程空间依赖的高效建模；针对其帧间时序动态感知薄弱的缺陷，设计双流时序差异增强模块（dstde），通过时序偏移分支与多尺度帧差分支的并行协同及自适应融合，实现从帧间关联到运动突变的全面时序刻画。两个模块分别从空间与时序两个维度对骨干网络进行互补增强，并系统性集成于四阶段分层架构中，形成对跌倒行为时空特征的全方位深度表征。具体包括以下步骤：

5、步骤1：视频预处理与特征嵌入

6、为解决原始视频帧序列维度与骨干网络输入空间不匹配的问题，同时保留足够的时空分辨率用于后续特征提取，本步骤对输入视频进行三维patch嵌入与线性投影。

7、具体地，获取待检测的连续rgb视频帧序列，设序列包含t帧图像，每帧高度为h、宽度为w。采用三维patch嵌入层对输入视频进行时空特征提取与维度变换：时序维度以步长2进行采样，空间维度以步长4进行采样，实现非重叠式patch划分；该配置使得时序长度缩减为原始序列的50%，空间分辨率缩减为原始图像的25%，并将每个三维patch映射至96维的特征空间，作为后续s-t-stage四阶段网络的初始输入表征。通过上述配置，在保证特征表达能力的同时完成了输入维度的有效映射。

8、步骤2：基于s-t-stage四阶段分层架构的时空特征提取

9、为逐级深化特征表达、从低级边缘纹理到高级语义动作完成跌倒行为的全面表征，同时解决骨干网络跨窗口空间关联建模效率不足和帧间时序动态感知薄弱的双重缺陷，本步骤将初始时空特征图依次输入至由四个s-t-stage特征提取阶段构成的分层网络中，每个阶段均集成了双流时序差异增强模块（dstde）和多尺度大核注意力模块（mslka），形成时序增强前置、窗口编码与空间增强随编码器块逐轮迭代的串行处理架构。四个阶段的编码器块数量分别为2、2、6、2，网络深度逐级递增，以匹配不同层级特征提取的复杂度需求。每个s-t-stage阶段具体包括以下连续处理环节：

10、（2.1）patchmerge下采样（第一阶段除外）

11、为构建特征金字塔、扩大后续操作的感受野并控制计算量，对输入特征图进行空间下采样与通道升维。具体地，通过patchmerge层将特征图的空间分辨率降低（如2倍下采样），同时将通道维度相应提升（如翻倍），在聚合局部上下文信息的同时完成特征图尺寸的层级缩减，使得高层特征具有更大的等效感受野和更强的语义表征能力。

12、（2.2）双流时序差异增强前处理（dstde）

13、为解决video swin transformer仅依赖窗口移位间接建模帧间时序关联、对跌倒过程中瞬时速度突变与运动边界变化等显式动态信息捕获不直接的缺陷，本步骤在编码器组前端嵌入双流时序差异增强模块（dstde），对输入特征进行时序动态信息的全面捕捉。该模块通过两条并行且互补的时序建模路径实现对跌倒行为从帧间关联到运动突变的全面刻画：

14、第一路径：时序偏移分支（tsm）——为在不引入任何可学习参数的前提下以零计算开销建立帧间长程时序关联，该分支将输入特征沿通道维度按1/3比例划分为前向偏移组、后向偏移组与不变组，分别承担未来信息感知、历史信息感知与当前细节保留功能，通过沿时间维度的特征前移、后移和保持完成帧间信息交换，输出具备长程时序关联的特征。该设计的优势在于：无需额外参数和复杂计算即可让后续编码器感知到跨帧的时序上下文。

15、第二路径：多尺度帧差分支——为精准捕捉跌倒过程不同阶段（起始失稳、急速下落、撞击地面）的速度突变特征，单一帧差无法覆盖跌倒行为的变速特性，该分支对每一帧分别计算其与向前第1帧、第2帧和第4帧之间的特征差值，分别对应瞬时动态、短时演化和长时趋势三个时间粒度，从而全面捕获从快速突变到缓慢演化的多尺度运动信息。对于每个尺度的帧差特征，沿空间维度执行全局平均池化生成通道级统计量，经通道变换生成通道注意力权重，将权重与对应帧差特征逐元素相乘，以抑制背景干扰、增强与跌倒相关的运动响应。最后将三个尺度的加权帧差特征沿通道维度拼接并经卷积压缩，输出多尺度运动差异特征。

16、自适应融合机制——时序偏移分支建立了帧间关联但对运动幅度不敏感，帧间差分捕捉了运动变化却易受噪声干扰，单一机制无法同时满足关联性与判别性需求。为此，本模块将两路输出特征沿通道拼接后经全局平均池化提取全局上下文，通过两组独立的通道变换分别生成动态融合权重，对两路权重进行归一化（使二者各通道权重之和为1）后分别加权至对应分支，实现根据输入视频内容动态调整两路贡献度的自适应融合；将加权后的两路特征逐元素相加并经批归一化，最后以残差连接方式叠加原始输入特征，确保梯度流通顺畅，输出时序增强特征。通过上述设计，该模块在不增加模型深度的前提下显著增强了网络对跌倒瞬时动态变化的感知精度。

17、（2.3）编码器组迭代编码

18、为在时序增强后的特征基础上进一步捕获视频帧内的局部空间细节和帧间的全局时空依赖，本步骤将dstde输出的时序增强特征依次经过该阶段内的多个编码器块进行迭代编码。每个编码器块由窗口多头自注意力（wmsa）和移位窗口多头自注意力（swmsa）成对组成，通过交替使用两种注意力机制实现局部特征聚焦与全局上下文建模的动态平衡。具体流程为：输入特征先经wmsa计算局部窗口内的空间自注意力，经第一残差连接保留原始信息；再经第一前馈网络（ffn）进行逐位置的非线性特征变换，经第二残差连接；再经swmsa通过窗口移位实现跨窗口信息交互，建立长程依赖，经第三残差连接；再经第二ffn增强非线性表达能力，经第四残差连接，完成一个编码器块的特征提取。

19、（2.4）多尺度大核注意力后处理（mslka）

20、为解决swin transformer窗口化自注意力需多层堆叠才能建立跨窗口长程空间关联、单一尺度感受野无法覆盖跌倒行为多尺度特征的缺陷，本步骤在每个编码器块的第四残差连接输出之后串行插入多尺度大核注意力模块（mslka），对编码输出的空间特征进行多尺度增强。该模块包含两个协同工作的单元：

21、分级感受野多分支提取单元——为在单层网络内直接覆盖从局部细节到全局上下文的多尺度空间信息，该单元将输入特征并行送入三个分支，三个分支均采用7×7深度卷积作为基础卷积层，再分别串联对应空洞率的深度可分离空洞卷积；其中小尺度分支串联第一空洞率的深度可分离空洞卷积，中尺度分支串联第二空洞率的深度可分离空洞卷积，大尺度分支串联第三空洞率的深度可分离空洞卷积；三级空洞率依次递增，最终形成7×7、15×15、27×27的三级递进式等效感受野。该设计避免了传统swin transformer需堆叠4个阶段才能建立全局关联的效率损失。在每个分支的卷积操作之后嵌入3d线性注意力模块，该模块将批次维度与时序维度合并、空间维度展平为序列，通过查询矩阵沿空间维度归一化、键矩阵沿特征维度归一化，将标准自注意力的二次计算复杂度转化为线性计算开销，进一步强化各分支内的空间长程依赖，实现大核粗粒度覆盖与注意力细粒度关联的协同优化。

22、尺度自适应特征聚合单元——为整合多尺度上下文并让模型聚焦人体区域、弱化背景噪声，该单元将三个分支输出的特征沿通道维度拼接，经点卷积进行通道压缩并激活增强非线性，再经空间卷积预测每个空间位置上的尺度权重分布，经softmax归一化得到自适应尺度选择权重，确保每个空间位置三个尺度的权重和为1。最后利用该权重对三个分支特征进行加权求和，实现逐位置的自适应尺度融合，输出多尺度增强空间特征。

23、该增强后的特征作为下一编码器块的输入，或作为该s-t-stage阶段的最终输出。经过四个阶段的逐级特征提取，网络最终输出具备丰富时序动态信息与全面空间关联信息的深度特征图，为后续精准分类提供强有力的特征支撑。

24、步骤3：分类预测

25、为将提取到的深度时空特征映射为最终的跌倒判别结果，本步骤对最后一个s-t-stage阶段输出的特征图进行全局自适应平均池化，将各空间位置的特征聚合为768维的全局特征向量；随后将该向量输入至维度为768×2的全连接层，经softmax激活后输出对应跌倒/非跌倒的二分类概率预测结果。

26、（三）有益效果

27、本发明提供了基于多尺度空间与时序双流增强的跌倒检测算法。具备以下有益效果：

28、1、本发明在标准公开数据集上取得了优异的检测性能。如实施例所示，在le2i跌倒检测数据集上的准确率达到99.51%，在ur跌倒检测数据集上的准确率达到99.72%，均优于同期基于cnn、3d cnn及基础vit架构的跌倒检测算法，验证了本发明所提出的多尺度空间与时序双流增强架构在跌倒检测任务上的有效性与先进性。

29、2、本发明针对video swin transformer原生窗口自注意力机制跨窗口长程空间关联建模效率不足的缺陷，设计了多尺度大核注意力模块。该模块通过分级感受野多分支提取单元，采用7×7、15×15、27×27三级递进式等效感受野，在单层网络内即可实现从局部细节到全局上下文的直接覆盖，避免了传统swin transformer需堆叠4个阶段才能建立全局关联的效率损失；同时通过尺度自适应特征聚合单元实现逐位置的自适应尺度选择，使模型能够精准聚焦跌倒行为相关的人体区域、有效弱化背景噪声干扰。实验表明，该设计显著提升了模型在复杂场景下对多尺度人体姿态与动作特征的捕捉能力与鲁棒性。

30、3、本发明针对video swin transformer仅依赖窗口移位间接建模帧间时序关联、对跌倒过程中瞬时速度突变与运动边界变化等显式动态信息捕获不直接的缺陷，设计了双流时序差异增强模块。该模块通过时序偏移分支以零参数量实现帧间特征的高效信息交互与长程时序关联建模；通过多尺度帧差分支计算当前帧与向前第1帧、第2帧和第4帧之间的特征差值，分别捕捉瞬时动态、短时演化和长时趋势，并通过通道注意力加权机制抑制背景干扰、增强跌倒相关运动响应；通过自适应融合机制动态平衡两路分支的贡献度。三条路径协同作用，使模型能够精准刻画跌倒行为从起始、失稳到撞击地面的完整时序演化过程，有效解决了现有模型对跌倒瞬时动态变化捕获不直接、不敏感的问题。

31、4、本发明以video swin transformer-tiny为骨干网络，在其基础上仅通过串行插入多尺度大核注意力模块和在各阶段前端嵌入双流时序差异增强模块即可实现性能的大幅提升。多尺度大核注意力模块通过分级感受野多分支提取与3d线性注意力协同设计，在实现多尺度空间特征高效捕获的同时保持线性计算复杂度；双流时序差异增强模块中的时序偏移分支不引入任何可学习参数。整体架构在有效增强模型时空特征表征能力的同时，保持了较低的计算与参数开销，具备良好的部署可行性与实际应用价值。

32、5、本发明基于视觉的跌倒检测方法无需被测者佩戴任何专用传感设备，即可实现非侵入式的持续监护；可复用现有的社区、养老机构及家庭场所中的智能监控硬件完成快速部署，大幅降低落地成本；同时拥有比可穿戴设备更广阔的监测范围，能够完整留存跌倒事件全流程的上下文信息。四阶段分层特征提取架构与模块化设计使其在不同光照条件、遮挡场景及复杂背景环境下均能保持稳定的检测性能，适用于居家养老、医疗机构、公共社区等多种实际应用场景