一种基于类脑脉冲神经网络的水利施工危险源识别系统及方法与流程

本发明涉及水利施工，尤其涉及一种基于类脑脉冲神经网络的水利施工危险源识别系统及方法。

背景技术：

1、在水库、堤防、河道、围堰、闸坝及其他水利工程施工过程中，作业区域通常邻近水体、边坡或临时作业边界，并伴随施工机械交叉作业。为降低施工风险，通常需要对作业人员的防护用品佩戴状态、临水临边活动状态以及作业人员与施工设备之间的相对关系进行监测，以便及时发现可能引发人员坠落、设备碰撞或违规作业的危险源。

2、目前，水利施工现场的安全监测主要采用人工巡检、固定视频监控或基于单帧图像的目标识别方式，人工巡检的监测范围和连续性受巡检周期及人员配置限制；固定视频监控容易受到监控视角、遮挡和作业面变化的影响；基于单帧图像的识别方式通常侧重某一时刻的空间特征，难以连续反映作业人员逐步靠近临边区域、姿态持续失衡、防护用品持续缺失或施工设备运动轨迹逐渐接近作业人员等具有时间演化特性的危险状态，而且水利施工现场容易出现水雾、暴雨及通信波动等情况，可能使图像信息、姿态信息或环境感知信息产生短时变化；而且现有识别方式在缺少多源时序关联和工况区分的情况下，容易将环境固有波动识别为真实危险异常；而采用统一阈值或统一降噪强度时，又会削弱临水临边风险特征，导致误报或漏报。

技术实现思路

1、为了克服上述现有技术所述的至少一个缺陷，本发明提供一种基于类脑脉冲神经网络的水利施工危险源识别系统及方法，以解决复杂水利施工工况下动态隐患难以连续识别，以及环境扰动与真实异常难以区分的问题。

2、第一方面，本技术提供了一种基于类脑脉冲神经网络的水利施工危险源识别系统，包括信息采集终端和边缘处理装置，其中，

3、所述信息采集终端用于采集水利施工区域的多源时序信息，对所述多源时序信息进行时间关联和脉冲化处理，得到多通道脉冲时序数据，并将所述多通道脉冲时序数据发送至所述边缘处理装置；

4、所述边缘处理装置包括预处理模块、异常甄别模块、类脑时序识别模块和风险决策模块，所述预处理模块用于对所述多通道脉冲时序数据进行处理，得到待甄别时序数据；

5、所述异常甄别模块用于获取参考时序数据，基于获取的工况信息确定工况权重，并基于获取的数据质量信息确定可信度权重，利用所述工况权重和所述可信度权重对所述待甄别时序数据相对于所述参考时序数据的时序偏差进行融合，依据所述时序偏差区分环境固有波动与异常危险源，并从所述待甄别时序数据中确定与所述异常危险源对应的目标时序数据；

6、所述类脑时序识别模块包括输入编码层、时序推理层和输出识别层，所述输入编码层用于将所述目标时序数据映射至与不同危险源识别任务对应的特征通道，所述时序推理层用于通过脉冲神经网络对各所述特征通道进行时序特征提取融合，所述输出识别层用于根据所述时序推理层的提取融合结果确定危险源识别结果；

7、所述风险决策模块用于根据所述危险源识别结果确定风险等级，基于所述风险等级生成预警控制信息。

8、在一实施例中，所述信息采集终端包括视觉感知模块、环境感知模块、姿态感知模块和信号处理模块，其中，

9、所述视觉感知模块包括具有重叠视场的图像采集单元，用于采集作业人员、防护用品和作业设备中的视觉时序信息，根据所述视觉时序信息确定作业人员、防护用品和作业设备之间的空间关系和运动状态；

10、所述环境感知模块包括用于获取环境参数的环境传感器，所述环境感知模块用于根据所述环境参数形成所述水利施工区域的环境时序信息；

11、所述姿态感知模块包括惯性测量单元，用于获取作业人员的姿态角度和运动轨迹，并根据获取的姿态角度和运动轨迹形成作业人员的姿态变化信息和运动状态信息；

12、所述视觉时序信息、所述环境时序信息、所述姿态变化信息和所述运动状态信息共同构成所述多源时序信息，所述信号处理模块分别与所述视觉感知模块、所述环境感知模块和所述姿态感知模块连接，用于对所述多源时序信息进行时间关联和脉冲化处理，形成所述多通道脉冲时序数据。

13、在一实施例中，所述信号处理模块包括降噪单元、标准化单元、时序同步单元和脉冲编码单元，其中，

14、所述降噪单元用于滤除所述多源时序信息中的瞬时干扰信息和无效信息；

15、所述标准化单元用于所述多源时序信息中的不同数据类型进行数据范围统一和数据格式转换；

16、所述时序同步单元根据统一时间基准对具有不同采样频率的所述多源时序信息进行时间窗匹配；

17、所述脉冲编码单元用于根据作业人员、防护用品和作业设备的数据通道对应的信号强度和信号变化程度确定脉冲发放状态，根据所述脉冲发放状态生成保留所述多源时序信息先后关系的多通道脉冲时序数据。

18、在一实施例中，所述异常甄别模块包括参考数据单元、工况权重确定单元、可信度权重确定单元和异常比较单元，其中，

19、所述参考数据单元用于根据施工场景类型、作业阶段和环境状态，从预设的参考时序数据库中选取与当前水利施工区域相匹配的参考时序数据；

20、所述工况权重确定单元用于根据水位变化状态、水雾状态、降水状态、光照状态和扰动状态确定所述工况权重；

21、所述可信度权重确定单元用于根据传感信噪状态、图像质量状态、姿态稳定状态和通信状态确定所述可信度权重；

22、所述异常比较单元用于利用所述工况权重和所述可信度权重确定作业人员、防护用品和作业设备的数据通道对应的加权时序偏差，将所述加权时序偏差与异常甄别条件进行比较，区分环境固有波动与异常危险源。

23、在一实施例中，所述异常比较单元还用于根据各所述特征通道对应的加权时序偏差确定通道融合权重，并按照各所述加权时序偏差的倒数关系设置对应特征通道的融合优先级，使加权时序偏差较小且数据可信度较高的特征通道获得较高的融合优先级。

24、在一实施例中，所述输入编码层包括人员防护特征通道、人员位置姿态特征通道和设备作业特征通道，其中，

25、所述人员防护特征通道用于表征防护用品的存在状态、佩戴状态和状态持续时间；

26、所述人员位置姿态特征通道用于表征作业人员的空间变化、姿态变化和运动趋势；

27、所述设备作业特征通道用于表征作业设备相对于作业人员的位置变化、轨迹变化和动作状态；

28、所述时序推理层用于按照所述融合优先级分别对各所述特征通道进行时序特征提取，并在各所述特征通道之间进行特征融合，以识别人员防护异常、临水临边风险和设备作业风险。

29、在一实施例中，所述时序推理层包括兴奋性神经元集群、抑制性神经元集群和平衡调节单元，其中，

30、所述兴奋性神经元集群用于接收对应特征通道的时序特征，并根据所述时序特征产生兴奋性响应；

31、所述抑制性神经元集群与所述兴奋性神经元集群连接，以接收所述兴奋性响应，并通过抑制性连接向所述兴奋性神经元集群反馈抑制信号；

32、所述平衡调节单元分别与所述兴奋性神经元集群、所述抑制性神经元集群和所述异常甄别模块连接，用于获取所述兴奋性神经元集群和所述抑制性神经元集群的群体响应状态，根据两个所述群体响应状态之间的响应偏差以及所述异常甄别模块输出的环境干扰判定结果，调节所述抑制性神经元集群的基础激活程度和所述抑制性连接的抑制作用强度；

33、当所述异常甄别模块确定环境干扰增强时，所述平衡调节单元提高所述抑制性神经元集群的基础激活程度，并增强所述抑制性连接对所述兴奋性神经元集群的抑制作用，以抑制与所述环境干扰相关联的瞬时时序特征；

34、当所述时序推理层从相应所述特征通道中检测到危险源对应的时序特征呈连续渐变时，所述平衡调节单元降低针对相应特征通道的抑制触发频率，以保留与危险源演化相关联的连续时序特征。

35、在一实施例中，所述时序推理层还包括分别与所述异常甄别模块和所述平衡调节单元连接的自适应学习单元，其中，

36、所述自适应学习单元用于获取前级神经元和后级神经元各自的脉冲发放时刻，所述前级神经元与所述后级神经元之间通过用于传递兴奋性响应的兴奋性连接或通过抑制性连接相连接，根据所述前级神经元与所述后级神经元的脉冲发放先后关系及脉冲时间间隔，确定连接强度调整量，依据所述连接强度调整量更新所述兴奋性连接或所述抑制性连接的连接强度，并将更新后的连接强度限制在对应的预设连接强度范围内；

37、所述自适应学习单元还用于获取所述异常甄别模块确定的环境干扰类型和环境干扰持续时间，以及所述时序推理层从各所述特征通道中提取的危险源特征和危险源特征持续时间，根据所述环境干扰持续时间和所述危险源特征持续时间确定目标时序学习窗口，并在所述目标时序学习窗口内选取参与所述连接强度更新的脉冲时序数据。

38、在一实施例中，所述输出识别层与所述时序推理层连接，用于接收所述时序推理层对各所述特征通道进行时序特征提取和特征融合后得到的推理结果，并在连续设置的预设观察窗口内，分别统计与不同危险源识别任务对应的输出脉冲数量；

39、所述输出识别层还用于根据各所述危险源识别任务对应的输出脉冲数量、相邻所述预设观察窗口内输出结果的一致性，以及参与对应危险源识别任务的各所述特征通道的通道融合权重，确定各所述危险源识别结果对应的识别置信信息，并将所述危险源识别结果和所述识别置信信息发送至所述风险决策模块；

40、所述风险决策模块与所述输出识别层连接，用于将所述识别置信信息分别与风险判定阈值进行比较，并根据比较结果确定与不同置信区间对应的风险等级；

41、所述风险决策模块还用于根据所述风险等级生成对应的预警控制信息，所述预警控制信息包括终端预警指令、现场联动预警指令、管理人员通知信息和平台预警指令中的至少一种，并将所述终端预警指令发送至所述信息采集终端，将所述现场联动预警指令发送至现场联动设备，以及将所述管理人员通知信息和所述平台预警指令发送至管理平台；

42、所述管理平台与所述边缘处理装置通信连接，用于接收并存储所述危险源识别结果、所述识别置信信息、所述风险等级和对应的预警记录，获取针对所述危险源识别结果和所述风险等级的复核信息，根据所述复核信息生成用于调整所述类脑时序识别模块的模型更新数据，并将所述模型更新数据发送至所述边缘处理装置；

43、所述边缘处理装置还用于根据所述模型更新数据对所述类脑时序识别模块的模型参数和识别规则中的至少一项进行更新，并利用当前水利施工区域采集的新增时序数据对更新后的所述类脑时序识别模块进行增量校准。

44、第二方面，本技术提供一种基于类脑脉冲神经网络的水利施工危险源识别方法，基于上述的基于类脑脉冲神经网络的水利施工危险源识别系统而执行，所述水利施工危险源识别方法包括：

45、采集水利施工区域的多源时序信息，对所述多源时序信息进行时间关联和脉冲化处理，得到多通道脉冲时序数据；

46、对所述多通道脉冲时序数据进行处理，得到待甄别时序数据；

47、获取参考时序数据，利用工况权重和可信度权重对所述待甄别时序数据相对于所述参考时序数据的时序偏差进行融合，依据融合后的时序偏差区分环境固有波动与异常危险源，并从所述待甄别时序数据中确定与所述异常危险源对应的目标时序数据；

48、将所述目标时序数据映射至人员防护特征通道、人员位置姿态特征通道和设备作业特征通道，并建立各所述数据通道与对应特征通道之间的映射关系，根据与各所述特征通道对应的数据通道的加权时序偏差，确定各所述特征通道的通道融合权重和融合优先级，得到危险源识别结果；

49、根据所述危险源识别结果确定风险等级，并基于所述风险等级生成预警控制信息。

50、综上所述，本发明提供的一种基于类脑脉冲神经网络的水利施工危险源识别系统及方法相对于现有技术具有以下有益效果：

51、(1)、通过信息采集终端能够对水利施工区域的多源时序信息进行时间关联和脉冲化处理，使不同来源、不同采样频率的数据能够按照时间顺序形成统一的多通道脉冲时序数据，保留危险状态发生和发展的先后关系，引入工况权重和可信度权重，对待甄别时序数据与参考时序数据之间的偏差进行融合，减少环境固有波动导致的误报，再通过类脑时序识别模块通对目标时序数据进行任务化映射和时序推理，能够识别具有持续性和渐变性的危险状态；

52、(2)、通过信号处理模块对多源时序信息进行逐级处理，降噪单元能够减少低质量数据对后续识别的干扰；标准化单元能够解决图像数据、环境参数和姿态数据在量纲、范围及格式上的差异，使不同类型数据可以进入统一处理流程，时序同步单元按照统一时间基准对不同采样频率的数据进行时间窗匹配，避免视觉帧、姿态数据和环境数据之间发生时间错位，脉冲编码单元根据信号强度和变化程度确定脉冲发放状态，在压缩数据量的同时保留多源信息的时间先后关系和变化特征，有利于降低边缘处理装置的计算负担，并提高脉冲神经网络对时序变化的敏感程度；

53、(3)、通过兴奋性神经元集群能够增强与危险源相关的连续特征响应，抑制性神经元集群能够抑制随机噪声和环境扰动，当环境干扰增强时，提高抑制性神经元的基础激活程度或抑制性连接强度，能够加强对暴雨噪声、水面波动、光照闪烁等瞬时特征的抑制；当危险源特征呈连续渐变时，降低对应特征通道的抑制频率，可以保留人员持续靠近临边、姿态逐渐失衡或设备持续逼近人员等演化特征，实现抑制环境噪声和保留真实危险趋势之间实现动态平衡，降低统一降噪强度造成的误报或漏报。