基于多级混合专家双模态融合的脚手架安全监测方法、装置及存储介质

摘要: 本发明涉及建筑工程和人工智能的交叉领域,具体地,涉及一种基于多级混合专家双模态融合的脚手架安全监测方法、装置及存储介质。背景技术:1、脚手架施工和维护是建筑工程...
基于多级混合专家双模态融合的脚手架安全监测方法、装置及存储介质

本发明涉及建筑工程和人工智能的交叉领域,具体地,涉及一种基于多级混合专家双模态融合的脚手架安全监测方法、装置及存储介质。

背景技术:

1、脚手架施工和维护是建筑工程现场的高风险作业环节。工人通常需要在高处、窄平台、不完整支撑结构和复杂材料堆放环境中移动和作业。滑倒、踏空、跨越孔洞、经过松动平台、违规翻越护栏、站在非作业构件上、长时间蹲跪以及跌倒等行为均可能引发严重伤害。传统脚手架安全监管主要依赖现场安全员巡查、人工视频回看和事后事故分析,存在覆盖范围有限、主观性强、响应滞后和难以持续监测的问题。随着智能建造的发展,自动识别脚手架不安全行为已成为施工安全管理的重要技术方向。与一般室内行为识别相比,脚手架场景具有更强的环境动态性和更高的安全后果:平台结构复杂、遮挡频繁、工人动作幅度差异大、风险行为持续时间短,单一传感来源容易产生漏检或误检。

2、计算机视觉方法是通过提取图像特征或骨骼关键点(kp)来识别脚手架工作不安全姿态的主流手段。kp模态通过视频姿态估计算法提取人体关键点坐标,能够表示人体关节位置、姿态结构和时空骨架拓扑。kp对识别违规攀爬、踏出平台、蹲姿、跪姿和跌倒等具有明显空间结构的行为具有优势。然而,施工现场存在钢管、材料、多人交叉作业和背景杂乱等因素,kp可能受到遮挡、光照、视角变化、检测框偏移和姿态估计误差影响。

3、惯性传感单元(imu)可穿戴传感器能够采集加速度、角速度和磁场等连续时序数据,适合捕捉滑动、跌倒、重心变化、运动扰动和动作强度变化。imu具有不依赖摄像头视角、对光照变化不敏感、可连续采集等特点。然而,单个imu通常反映局部或整体运动动力学,难以完整表达人体肢体之间的空间拓扑关系。当两个行为具有相近运动强度但姿态结构差异明显时,imu单模态模型容易发生混淆。

4、因此,imu和kp在脚手架行为识别中具有互补性,imu提供运动动力学证据,kp提供空间姿态证据,有效融合二者可提高识别准确性和鲁棒性。

5、现有多模态融合方法(主要包括早期特征拼接、后期决策融合、注意力加权及通用混合专家模型)在脚手架安全监测中表现出若干局限性。早期特征拼接忽视模态间的异质性,将imu与kp视为等权输入,无法反映不同行为类别下二者的可靠性差异,例如环境扰动类行为更依赖imu的动态响应,而姿态结构类行为则更依赖kp的骨架几何信息;后期决策融合仅作用于单模态输出概率,未在特征表示层实现充分交互,因而难以利用imu与kp的联合结构信息。普通注意力或自适应加权方法虽能产生动态权重,但缺乏基于单模态历史识别性能的显式可靠性先验,导致权重分配的可解释性不足。通用混合专家模型虽可提升模型容量,但由于缺乏针对模态可信度和样本表示路径的分层设计,易将“模态可靠性判断”与“样本表示路径选择”耦合,降低了工程场景下的可解释性。此外,施工现场常面临模态不完备问题,如摄像头因视角遮挡、光照变化或姿态估计失败而失效,imu因佩戴偏移、松动、噪声、传输错误或断连而质量下降,现有融合方案在任一模态缺失或劣化时难以维持稳定的监测输出。

6、在脚手架施工安全监测领域,现有技术主要存在三类核心问题:(1)单模态感知能力不足,imu难以表达完整人体姿态结构,kp容易受到视觉质量退化影响;(2)现有融合方法缺乏类别级可靠性建模,难以解释不同类别上应信任哪一模态;(3)现有融合方法缺乏样本级表示路由,难以适应同一类别内部由于工人差异、传感噪声和姿态估计波动产生的表示差异。

7、专利申请文献cn120450054a公开了一种基于动量机制与多类型专家的低能耗大语言模型的数据处理方法和系统,包括获取混合专家模型,混合专家模型包括门控网络、组合网络和多个专家网络;基于懒加载机制获取目标数据;通过门控网络获取目标数据对应各个专家网络的适应度得分,获取满足排序要求的专家网络为目标网络;获取目标数据在目标网络中的输出数据,并通过组合网络加权求和多个输出数据。然而该专利无法完全解决目前存在的技术问题,也无法满足本发明的需求。

技术实现思路

1、针对现有技术中的缺陷,本发明的目的是提供一种基于多级混合专家双模态融合的脚手架安全监测方法、装置及存储介质。

2、根据本发明提供的基于多级混合专家双模态融合的脚手架安全监测方法,包括:

3、步骤1:获取惯性传感单元采集的imu序列和从视频提取的人体骨骼关键点序列;

4、步骤2:通过imu时序运动编码器对所述imu序列进行局部运动特征提取和长时序依赖建模,输出imu特征嵌入;通过kp时空骨骼图编码器对所述人体骨骼关键点序列进行空间结构建模和时间动态建模,输出kp特征嵌入;

5、步骤3:通过先验混合专家分支根据所述imu特征嵌入和所述kp特征嵌入获取imu模态的预测置信度和kp模态的预测置信度,并根据类别级历史可靠性先验和当前样本的预测置信度生成可靠性感知的模态权重,利用所述模态权重对imu模态专家输出和kp模态专家输出进行加权融合,输出先验引导的融合表示;

6、步骤4:通过自适应稀疏混合专家分支将所述imu特征嵌入和所述kp特征嵌入拼接为融合多模态表示,通过路由器将所述融合多模态表示映射为多个自适应专家对应的路由分数,对所述路由分数进行稀疏选择,根据选择结果对所述多个自适应专家的输出进行聚合,输出样本级的自适应融合表示;

7、步骤5:通过多级融合分类模块将所述先验引导的融合表示和所述自适应融合表示拼接为多级融合表示,根据所述多级融合表示输出脚手架行为类别,并映射为安全风险组别,以支持现场管理决策。

8、优选地,生成模态权重包括:

9、预先分别训练imu单模态分类器和kp单模态分类器,并在验证集上计算各类别的f1分数,构建imu模态的类别级可靠性向量和kp模态的类别级可靠性向量:

10、

11、

12、其中,表示行为类别数,和分别表示imu分类器和kp分类器在第类上的验证集f1分数;表示imu模态;表示kp模态;

13、对于给定样本,先将两个单模态分类器的输出转换为概率分布;随后,每种模态分别给出其预测类别及对应的置信度;根据预测类别,从对应模态的可靠性向量中检索其历史可靠性;模态的信任分数由当前预测置信度与该类别的历史可靠性共同决定:

14、

15、其中,表示模态的信任分数;表示预测类别对应的置信度;表示模态的预测概率分布,表示模态的单模态预测类别,表示与模态的单模态预测类别对应的历史可靠性先验;

16、对两个模态的信任分数进行softmax归一化,得到模态权重:

17、

18、其中,表示imu模态的权重;表示kp模态的权重;表示imu模态的信任分数;表示kp模态的信任分数;表示将两个模态信任分数进行拼接,并把同一个类别的两个置信分数转化为和为1的权重分数;

19、在获得可靠性感知的模态权重后,imu和kp特征分别输入对应的模态专家;随后,专家输出根据模态权重进行加权,并拼接形成先验混合专家的输出:

20、

21、其中,和分别表示imu与kp的特征嵌入,和分别表示imu与kp模态专家,表示先验引导的融合表示。

22、优选地,将所述imu特征嵌入和所述kp特征嵌入拼接为融合多模态表示:

23、

24、通过路由器将所述融合多模态表示映射为多个自适应专家对应的路由分数,并执行稀疏路由,仅保留排名最高的k个路由,其中设置,得到稀疏专家权重:

25、

26、其中,表示路由器,表示仅保留前个路由并掩蔽其余专家的操作,表示稀疏专家权重;

27、每个自适应专家接收融合表示,并将其转换为专家特定的表示,根据所述稀疏专家权重对多个自适应专家的输出进行加权聚合:

28、

29、其中,为自适应融合表示,表示自适应专家的数量,表示第个专家的路由权重,表示对应的表示专家。

30、优选地,所述imu时序运动编码器包括卷积模块和双向门控循环单元;

31、所述卷积模块对所述imu序列进行一维卷积、归一化、池化及非线性变换,提取局部运动特征,处理表示为:

32、

33、其中,和分别表示第个卷积块的输入特征和输出特征,表示后续的归一化、池化及非线性变换操作,表示一维池化操作;

34、所述双向门控循环单元对所述卷积模块输出的特征进行前向时序建模和后向时序建模,输出隐藏状态,处理表示为:

35、

36、

37、其中,表示时间步处的时序卷积特征,和分别表示前向gru与后向gru生成的隐藏状态,表示处理前向信息的门控循环单元网络,表示处理后向信息的门控循环单元网络,表示相对的前一个时间步的隐藏状态,表示相对的后一个时间步的隐藏状态;

38、所述双向门控循环单元对所述隐藏状态进行聚合,输出imu特征嵌入。

39、优选地,所述kp时空骨骼图编码器包括多个堆叠的时空图卷积块,每个时空图卷积块包括空间图卷积层和时间卷积层;

40、所述空间图卷积层根据人体骨架拓扑结构聚合相邻关节点的信息,处理表示为:

41、

42、其中,表示变换后的输入特征,为划分后的骨架邻接矩阵,表示邻域划分索引,和分别表示源骨架节点索引和目标骨架节点索引,表示图卷积输出;表示图卷积输出矩阵元素,n表示样本索引,c表示通道索引,t表示时间步;表示图卷积输入矩阵元素,表示划分后的骨架邻接矩阵元素;

43、在每个时空图卷积块中引入可学习的边重要性掩码,第l个时空图卷积块的有效邻接矩阵定义为:

44、

45、其中,表示第l个时空图卷积网络块有效邻接矩阵;表示第个时空图卷积网络块对应的可学习边重要性掩码,表示逐元素相乘;

46、所述kp时空骨骼图编码器对所述多个堆叠的时空图卷积块的输出在时间维度和关节点维度上进行全局平均池化,输出kp特征嵌入。

47、优选地,还包括训练阶段的数据增强步骤:

48、对于imu模态,对imu向量组施加随机三维旋转:

49、

50、其中,表示样本的模态类型为imu;表示向量是由三个向量组成的向量组;表示经过旋转的时间步下的imu向量组;表示时间步下的imu向量组;表示一个随机旋转矩阵;

51、对imu序列施加全局幅度缩放:

52、

53、其中,表示经过缩放的imu向量;表示随机缩放因子;表示imu向量;表示随机缩放因子所在的均匀分布区间;

54、对于kp模态,对骨架关键点进行空间缩放:

55、

56、其中,表示缩放后的第v个关键点在时间步t的坐标,s表示模态类型为kp;表示第v个关键点在时间步t的坐标;是随机缩放因子;

57、对骨架序列中的所有关键点施加二维平移:

58、

59、其中,是一个随机平移向量,表示在x轴方向上的偏移量,表示在y轴方向上的偏移量。

60、优选地,当仅imu模态可用时,对kp输入执行掩码处理,并使所述先验混合专家分支中的模态权重向imu模态专家转移;当仅kp模态可用时,对imu输入执行掩码处理,并使所述先验混合专家分支中的模态权重向kp模态专家转移。

61、优选地,所述多级融合分类模块将所述先验引导的融合表示和所述自适应融合表示拼接为多级融合表示,通过两层隐藏层、gelu激活层、dropout层和线性输出层处理所述多级融合表示,输出预设十类行为概率,并将所述预设十类行为概率映射为预设五类安全风险组别输出,以支持现场管理决策。

62、根据本发明提供的基于多级混合专家双模态融合的脚手架安全监测装置,包括:

63、存储器,存储有计算机程序;

64、处理器,执行所述计算机程序时实现所述的基于多级混合专家双模态融合的脚手架安全监测方法。

65、根据本发明提供的计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述的基于多级混合专家双模态融合的脚手架安全监测方法。

66、与现有技术相比,本发明具有如下的有益效果:

67、(1)本发明通过双模态可靠性判断,优先使用当前更可信的imu信号或骨架关键点信号,减少低质量模态带来的无效计算;同时,通过稀疏混合专家路由机制,使每个样本只调用少量必要专家,降低gpu计算量、显存占用和数据读写开销;在默认3个融合专家、每次仅激活1个专家的情况下,专家计算量约减少66%;融合判别部分整体计算量约减少45%;在同等gpu条件下,推理延迟降低约30%至50%,训练显存占用降低约20%至35%,并可支持更多并发监测样本或更大规模专家模型。

68、(2)本发明通过imu时序运动编码器与kp时空骨骼图编码器分别对惯性信号和骨骼关键点序列进行专门化特征提取,使imu模态能够捕捉运动动力学线索,kp模态能够利用人体关节解剖连接定义的显式空间拓扑结构识别姿态相关行为;双模态信息在表示学习阶段即实现深度交互,而非简单后期决策融合,从而充分利用imu与kp的联合结构信息。

69、(3)本发明引入基于单模态历史f1-score的类别级可靠性先验,将当前样本的单模态预测置信度与该类别历史可靠性相结合生成信任分数,经softmax归一化后获得模态权重,使模型能够根据行为类别自适应调整对imu和kp的信任程度,克服了固定权重或普通注意力机制缺乏显式可靠性先验的不足,具有明确的物理含义和可解释性。

70、(4)本发明在prior moe基础上引入自适应稀疏混合专家分支,通过路由器对拼接后的融合多模态表示进行top-1稀疏路由,为每个样本选择最合适的表示专家;prior moe关注类别级的模态可靠性判断,adaptive sparse moe关注样本级的表示路径选择,二者解耦设计使模型能够同时结合可靠性引导的模态融合与数据驱动的表示自适应。

71、(5)本发明通过双混合专家融合机制的冗余设计,在仅imu可用时使权重向imu专家转移,在仅kp可用时使权重向kp专家转移,确保系统在任一模态缺失时仍具有基本识别能力;在imu或kp受扰动条件下,另一模态和双混合专家融合机制能够提供补偿信息,使系统在双模态均可用时获得更高性能,适应真实施工现场的复杂工况。

72、(6)本发明通过可靠性感知的模态融合与样本级表示路由的有机结合,在脚手架多类别不安全行为识别任务中取得了优于单模态基线和现有多模态融合方法的识别效果,能够为施工现场提供准确、可靠的不安全行为自动识别,有效支持现场安全管理和风险预警决策。