多模态步态识别方法、装置、设备及存储介质与流程

本发明涉及计算机视觉与生物特征识别，尤其涉及一种多模态步态识别方法、装置、设备及存储介质

背景技术：

1、随着公共安全监控体系的日益完善以及智能感知设备的普及，基于生物特征的身份识别技术在安防监控、门禁系统、司法鉴定等领域的需求呈现出爆发式增长。在众多的生物特征识别技术中，步态识别具有非接触性、远距离可采集性、难以伪装等独特优势，被视为一种极具潜力的身份识别手段。

2、传统的步态识别方法主要依赖于外观模型或模型驱动的特征提取。外观模型通常利用人体轮廓、剪影或光流信息来构建步态能量图像，并通过模板匹配或机器学习算法进行分类。然而，此类方法对图像质量要求较高，极易受到光照变化、背景杂乱、衣物遮挡以及携带物品等因素的干扰。模型驱动的方法则试图通过建立人体骨骼模型来分析关节点的运动轨迹，虽然在一定程度上克服了外观变化的影响，但在低分辨率视频或严重遮挡情况下，骨骼节点的定位精度会大幅下降，导致识别性能急剧恶化。

3、近年来，深度学习技术在步态识别领域取得了显著进展。卷积神经网络和循环神经网络被广泛用于自动提取步态的时空特征。尽管现有深度学习方法在标准数据集上表现优异，但现有技术大多忽略了实际应用场景中存在的数据不确定性。这种不确定性主要来源于两个方面：一是偶然不确定性，由传感器噪声、图像压缩失真、环境干扰等引起；二是认知不确定性，由模型训练数据不足、分布外样本或模型参数本身的随机性引起。

4、现有技术通常假设输入的步态数据是确定且清晰的，直接将原始特征或融合特征输入分类器进行判断。当输入数据存在噪声或模糊时，现有的特征融合策略往往是固定的权重分配，无法根据数据质量动态调整各模态特征的贡献度。例如，在剪模态受遮挡影响严重而骨骼模态相对清晰时，固定权重的融合网络可能会给予受损严重的剪模态过高的权重，从而导致错误的识别结果。此外，现有的步态识别系统缺乏对预测结果的置信度评估，系统无法知晓自身判断的可靠性，这在高风险的应用场景中是不可接受的。

5、因此，现有技术缺乏一种能够有效感知和量化多模态数据中存在的不确定性，并能基于该不确定性动态调整特征对齐、融合与决策机制的步态识别方法。开发一种具备不确定性感知能力的多模态步态识别方法，对于提高复杂环境下步态识别的鲁棒性、准确率和可靠性具有重要的理论意义和应用价值。

技术实现思路

1、本发明的目的在于提供一种多模态步态识别方法、装置、设备及存储介质，旨在解决现有技术在复杂环境下因数据质量波动和固定融合策略导致的识别率下降及缺乏置信度评估的问题。

2、为实现上述目的，本发明第一方面提供一种多模态步态识别方法，包括：

3、获取包含多模态信息的步态原始数据，并对所述步态原始数据进行去噪处理以得到预处理数据，同时计算所述预处理数据的初步不确定性指标；

4、提取所述预处理数据的时空特征，并根据所述初步不确定性指标生成与所述时空特征一一对应的不确定性特征图；

5、利用所述不确定性特征图对所述时空特征进行动态对齐，获得标准化特征序列；

6、基于所述不确定性特征图构建自适应融合权重，利用所述自适应融合权重对所述标准化特征序列进行多模态融合，得到融合特征向量；

7、将所述融合特征向量输入不确定性传播网络，输出带有置信度区间的身份嵌入向量；

8、根据所述身份嵌入向量在预设数据库中进行检索匹配，输出最终的步态身份识别结果。

9、本发明第二方面提供一种多模态步态识别装置，包括：

10、数据获取模块，用于获取包含多模态信息的步态原始数据，并对所述步态原始数据进行去噪处理以得到预处理数据，同时计算所述预处理数据的初步不确定性指标；

11、特征提取模块，用于提取所述预处理数据的时空特征，并根据所述初步不确定性指标生成与所述时空特征一一对应的不确定性特征图；

12、动态对齐模块，用于利用所述不确定性特征图对所述时空特征进行动态对齐，获得标准化特征序列；

13、自适应融合模块，用于基于所述不确定性特征图构建自适应融合权重，利用所述自适应融合权重对所述标准化特征序列进行多模态融合，得到融合特征向量；

14、不确定性传播模块，用于将所述融合特征向量输入不确定性传播网络，输出带有置信度区间的身份嵌入向量；

15、决策识别模块，用于根据所述身份嵌入向量在预设数据库中进行检索匹配，输出最终的步态身份识别结果。

16、本发明第三方面提供一种计算机设备，所述计算机设备包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述计算机设备执行如上述任一项所述的多模态步态识别方法。

17、本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现如上述任一项所述的多模态步态识别方法。

18、本发明相较于现有技术具有以下显著的有益技术效果：

19、（1）增强的环境鲁棒性：本发明通过计算初步不确定性指标并生成不确定性特征图，使得系统能够实时感知光照变化、遮挡、传感器噪声等外部干扰。在特征对齐和融合阶段，系统能够自动抑制高不确定性特征的干扰，从而在低质量数据下仍能保持较高的识别准确率。

20、（2）动态自适应的融合机制：现有技术多采用静态权重融合，无法适应动态变化的数据质量。本发明根据不确定性特征图构建自适应融合权重，实现了基于数据质量的“按需分配”。当某一模态（如剪影）受损时，系统能自动降低其权重，增加其他可靠模态（如骨骼）的权重，显著提升了多模态融合的效能。

21、（3）可解释的风险评估：传统的步态识别系统仅输出一个确定的类别标签，用户无法知晓该结果的可靠性。本发明通过不确定性传播网络输出带有置信度区间的身份嵌入向量，为每一次识别结果提供了量化的置信度评估。这在安防和金融等对安全性要求极高的领域至关重要，能够有效辅助人工复核或触发二次验证。

22、（4）精准的特征对齐：在步态周期检测和特征对齐环节，本发明利用不确定性信息剔除异常关键点，避免了基于噪声点的错误对齐。这保证了后续融合特征的一致性和准确性，为高精度的身份识别奠定了坚实基础。

23、（5）端到端的全流程优化：本发明将不确定性感知贯穿于从数据预处理、特征提取、对齐、融合到最终决策的完整闭环。各步骤之间逻辑严密，上文步骤的输出（如不确定性指标）作为下文步骤的关键输入，形成了信息流的有效传递，避免了逻辑断层，整体优化了识别系统的性能。

1.一种多模态步态识别方法，其特征在于，包括：

2.根据权利要求1所述的多模态步态识别方法，其特征在于，所述获取包含多模态信息的步态原始数据，并对所述步态原始数据进行去噪处理以得到预处理数据，同时计算所述预处理数据的初步不确定性指标包括：

3.根据权利要求1所述的多模态步态识别方法，其特征在于，所述提取所述预处理数据的时空特征，并根据所述初步不确定性指标生成与所述时空特征一一对应的不确定性特征图包括：

4.根据权利要求1所述的多模态步态识别方法，其特征在于，所述利用所述不确定性特征图对所述时空特征进行动态对齐，获得标准化特征序列包括：

5.根据权利要求1所述的多模态步态识别方法，其特征在于，所述基于所述不确定性特征图构建自适应融合权重，利用所述自适应融合权重对所述标准化特征序列进行多模态融合，得到融合特征向量包括：

6.根据权利要求1所述的多模态步态识别方法，其特征在于，所述将所述融合特征向量输入不确定性传播网络，输出带有置信度区间的身份嵌入向量包括：

7.根据权利要求1-6中任一项所述的多模态步态识别方法，其特征在于，所述根据所述身份嵌入向量在预设数据库中进行检索匹配，输出最终的步态身份识别结果包括：

8.一种多模态步态识别装置，其特征在于，包括：

9.一种计算机设备，其特征在于，所述计算机设备包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述计算机设备执行如权利要求1-7中任一项所述的多模态步态识别方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的多模态步态识别方法。