基于时延感知多模态特征融合的人员状态感知方法及系统与流程

摘要: 本发明涉及数据处理相关,具体地说,是涉及一种基于时延感知多模态特征融合的人员状态感知方法及系统。背景技术:1、随着电力检修、设备巡检、高处作业及带电作业等复杂作...
基于时延感知多模态特征融合的人员状态感知方法及系统与流程

本发明涉及数据处理相关,具体地说,是涉及一种基于时延感知多模态特征融合的人员状态感知方法及系统。

背景技术:

1、随着电力检修、设备巡检、高处作业及带电作业等复杂作业场景对人员安全管控要求不断提高,仅依靠人工观察或单一传感信息已难以准确识别人员状态变化及潜在作业风险。作业人员的风险状态通常同时受到生理认知状态、动作行为以及外部环境条件等多方面因素影响,单一模态信息只能反映其中部分状态,容易受到运动伪迹、遮挡、环境干扰、个体差异等因素影响。

2、现有人员状态感知方法通常先利用统一时间戳、重采样、插值或固定滑动窗口对不同传感数据进行同步,再通过特征拼接、固定权重加权或注意力网络等方式完成多模态特征融合。由于不同模态的采样频率、处理周期及状态响应速度不同,同一风险状态在脑电、行为和环境数据中的表现时间并不完全一致,仅按照绝对时间戳或固定时间窗进行同步,容易使实际对应于不同状态阶段的特征被直接融合,造成跨模态特征错位。与此同时,不同模态在数据维度、数值尺度及物理语义方面存在差异,若缺少统一的特征表达空间,直接计算不同模态之间的相似程度难以准确反映其对同一人员状态的表征一致性;此外,现有固定权重或完全依赖模型训练获得的融合权重,难以同时体现当前时刻各模态之间的一致程度以及各模态自身的数据质量变化。

技术实现思路

1、本发明为了解决上述问题,提出了一种基于时延感知多模态特征融合的人员状态感知方法及系统通过跨模态时延对齐和动态加权融合,提高人员状态感知及作业风险识别的准确性和稳定性。

2、为了实现上述目的,本发明采用如下技术方案:

3、一个或多个实施例提供了基于时延感知多模态特征融合的人员状态感知方法,包括如下步骤:

4、针对待检测人员,获取用于识别人员状态的内生模态、行为模态和外源模态的时序数据,并进行预处理;

5、分别对预处理后的内生模态、行为模态和外源模态的时序数据进行特征提取,并将提取的不同模态特征映射至统一任务语义空间,得到内生模态语义特征、行为模态语义特征和外源模态语义特征;

6、基于跨模态余弦相似度确定行为模态和外源模态相对于内生模态的时间偏移量,并根据时间偏移量对不同模态的模态语义特征进行特征级时间对齐;

7、根据时间对齐后的跨模态语义特征一致性和各模态数据的数据质量参数,计算各模态语义特征的动态融合权重;

8、根据动态融合权重对时间对齐后的各模态语义特征进行加权融合,得到多模态融合特征,并基于多模态融合特征识别待检测人员的状态或作业风险。

9、进一步的技术方案,分别对预处理后的内生模态、行为模态和外源模态的时序数据进行特征提取,并将提取的不同模态特征映射至统一任务语义空间,得到内生模态语义特征、行为模态语义特征和外源模态语义特征,包括如下步骤:

10、分别对内生模态、行为模态和外源模态的时序数据分别通过对应的特征编码器,进行特征提取,得到对应的模态特征;

11、针对内生模态、行为模态和外源模态分别设置对应的语义映射网络,将各模态特征分别映射至统一任务语义空间,得到统一维度的模态语义特征;

12、对语义映射后的各模态语义特征进行l2归一化,得到归一化后的各模态语义特征,包括内生模态特征、行为模态特征和外源语义特征。

13、进一步的技术方案,通过任务损失和跨模态语义对齐损失对特征编码器及语义映射网络进行联合优化。

14、进一步的技术方案,基于跨模态余弦相似度确定行为模态和外源模态相对于内生模态的时间偏移量,并根据时间偏移量对不同模态的模态语义特征进行特征级时间对齐,包括如下步骤:

15、以内生模态作为时间基准,分别针对行为模态和外源模态设置候选时间偏移范围;

16、在不同候选时间偏移范围下,计算对应模态与内生模态在局部时间范围内的平均余弦相似度;

17、根据不同候选时间偏移对应的平均余弦相似度,将平均余弦相似度最大时对应的候选时间偏移确定为目标时间偏移量;

18、根据目标时间偏移量对行为模态和外源模态的特征序列进行时间位置调整,得到时间对齐后的各模态语义特征。

19、进一步的技术方案,根据时间对齐后的跨模态语义特征一致性和各模态数据的数据质量参数,计算各模态语义特征的动态融合权重,包括如下步骤:

20、计算时间对齐后的各模态语义特征之间的余弦相似度,映射至设定区间并计算各模态的跨模态一致性参数;

21、根据各模态数据的完整性、连续性和稳定性计算对应的数据质量参数;

22、将跨模态一致性参数和数据质量参数加权,计算各模态的可信度得分,基于可信度得分计算各模态的融合权重。

23、进一步的技术方案,针对第k个时间窗口,分别计算时间对齐后的内生模态、行为模态和外源模态之间的两两余弦相似度,并将余弦相似度映射至区间 [0,1];

24、根据每一模态与其余两类模态之间的相似程度,分别计算对应模态的跨模态一致性参数,计算公式为:

25、;

26、;

27、;

28、其中,表示第k个时间窗口内内生模态的跨模态一致性参数;

29、表示第k个时间窗口内行为模态的跨模态一致性参数;

30、表示第k个时间窗口内外源模态的跨模态一致性参数;

31、表示内生模态与行为模态之间的归一化余弦相似度;

32、表示内生模态与外源模态之间的归一化余弦相似度;

33、表示行为模态与外源模态之间的归一化余弦相似度。

34、进一步的技术方案,对获取的各模态时序数据进行预处理,包括:

35、对获取的各模态时序数据,基于预设统一时钟基准对不同数据源的时间戳进行校正;

36、对时间戳校正后的数据,根据预设目标采样频率对不同采样频率的数据进行重采样;

37、按照预设时间窗长度和滑动步长对重采样后的各模态时序数据进行滑动时间窗口划分,使同一时间窗口内分别包含内生状态数据、行为状态数据和外部作业条件数据;

38、对各时间窗内不同模态的数据,在每一模态内部分别进行标准化处理。

39、一个或多个实施例提供了基于时延感知多模态特征融合的人员状态感知系统,包括:

40、多模态时序数据获取模块,被配置为针对待检测人员,获取用于识别人员状态的内生模态、行为模态和外源模态的时序数据,并进行预处理;

41、特征提取以及映射模块,被配置为分别对预处理后的内生模态、行为模态和外源模态的时序数据进行特征提取,并将提取的不同模态特征映射至统一任务语义空间,得到内生模态语义特征、行为模态语义特征和外源模态语义特征;

42、时间对齐模块,被配置为基于跨模态余弦相似度确定行为模态和外源模态相对于内生模态的时间偏移量,并根据时间偏移量对不同模态的模态语义特征进行特征级时间对齐;

43、权重计算模块,被配置为根据时间对齐后的跨模态语义特征一致性和各模态数据的数据质量参数,计算各模态语义特征的动态融合权重;

44、融合模块,被配置为根据动态融合权重对时间对齐后的各模态语义特征进行加权融合,得到多模态融合特征,并基于多模态融合特征识别待检测人员的状态或作业风险。

45、一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器执行时,完成上述的基于时延感知多模态特征融合的人员状态感知方法中的步骤。

46、一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成上述的基于时延感知多模态特征融合的人员状态感知方法中的步骤。

47、与现有技术相比,本发明的有益效果为:

48、本发明通过将内生模态、行为模态和外源模态的特征映射至统一任务语义空间,提高不同模态特征之间的可比较性;进一步基于跨模态余弦相似度确定不同模态之间的时间偏移量并实施特征级时间对齐,减少不同模态状态响应时延造成的特征错位;同时结合时间对齐后的跨模态语义一致性和各模态数据质量动态确定融合权重,降低异常、缺失或低质量模态对融合结果的影响。本发明能够提高多模态特征对人员实际状态的表征准确性和稳定性,从而提高人员状态感知和作业风险识别的可靠性。

49、本发明的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。