一种基于深度学习的消防日志告警降噪方法及系统与流程

本发明涉及消防日志告警降噪，尤其涉及一种基于深度学习的消防日志告警降噪方法及系统。

背景技术：

1、随着智慧消防技术的快速发展，消防物联网系统中部署了大量来自不同厂商的火灾报警控制器、烟雾探测器、温感探测器、气体探测器等终端设备。这些设备持续产生海量的消防日志与告警数据，对及时发现火灾隐患、保障人民生命财产安全具有重要意义。然而，当前消防日志告警的处理面临诸多技术挑战。

2、首先，消防系统中不同品牌、不同型号的设备采用各异的数据格式、通信协议和告警编码规则。异构数据的格式不统一导致告警信息难以被有效整合与利用，给后续的自动化处理带来了极大困难。其次，现有消防告警系统普遍存在较高的误报率和噪声干扰问题。受环境因素、设备老化、电磁干扰等影响，大量无效或重复的告警信息被频繁触发，严重淹没了真正需要关注的有效告警。传统的告警处理方法多依赖人工设定的固定阈值或简单规则进行过滤，难以适应复杂多变的消防场景。此外，现有技术缺乏对告警类型的智能化精细分类能力，无法有效区分有效告警、疑似告警与噪声告警；也缺少对分散告警进行时空聚合与优先级排序的机制，导致应急处置人员面对海量告警时难以快速定位关键事件。

3、因此，亟需一种能够对消防日志告警进行智能化降噪处理的方法，以解决异构数据标准化、告警精准分类、相似告警聚合及优先级排序等一系列技术问题。

技术实现思路

1、本发明的目的是要提供基于深度学习的消防日志告警降噪方法。

2、为达到上述目的，本发明是按照以下技术方案实施的：

3、本发明包括以下步骤：

4、采集消防日志数据，对所述消防日志数据进行预处理，获得标准化日志数据；所述预处理包括数据清洗、异构数据标准化编码；所述数据清洗包括剔除重复记录、修复不完整数据以及删除关键字段缺失的无效记录；所述异构数据标准化编码包括将不同品牌设备的运行状态和告警类型统一映射为标准化编码；

5、对所述标准化日志数据进行多维度特征提取，获得结构化特征数据，根据所述结构化特征数据构建告警特征体系；所述告警特征体系包括基础特征和内容特征；所述基础特征包括告警时间、告警设备类型、告警位置，所述内容特征为告警内容关键词；

6、根据所述告警特征体系构建基于深度学习的告警分类模型，将所述结构化特征数据输入所述告警分类模型，根据学习到的特征模式对告警进行自动分类，获得分类数据；所述分类数据包括有效告警、疑似告警、噪声告警；对所述噪声告警进行过滤处理，对所述疑似告警标记后进行复核，从所述分类数据中提取所述有效告警；

7、对所述有效告警进行相似告警聚合处理，基于设备类型、告警位置和告警时间，采用基于动态时间窗口阈值与空间邻近度阈值判定的聚类合并策略，将满足设备类型相同或属于预设关联设备组、且告警时间差绝对值小于等于预设时间窗口阈值、且空间位置距离小于等于预设空间距离阈值的分散单设备告警合并为，根据预设的多维度告警优先级评价标准，对所述有效告警和所述综合告警进行优先级排序，并根据各维度的量化评分加权求和获得优先级评分；所述评价标准包括场所危险程度、危害扩散速度、设备覆盖范围。

8、进一步地，所述多维度特征提取的方法，包括：从标准化日志数据中提取基础特征和内容特征，所述基础特征包括告警时间、告警设备类型和告警位置，所述内容特征为基于tf-idf加权词袋模型从告警内容中提取的关键词特征向量；

9、获取所述内容特征：对告警文本进行分词与去停用词处理，计算各词汇的tf-idf权重，选取权重排名前n的词汇构建特征向量，并将特征向量与所述基础特征进行拼接，形成所述结构化特征数据。

10、进一步地，所述告警分类模型包括深度特征提取层和分类决策层，深度特征提取层采用基于自编码器的非线性特征变换网络对结构化特征数据进行深层特征映射与降维；分类决策层采用基于代价敏感学习的改进支持向量机模型，在改进支持向量机模型针对不同类别样本设置自适应惩罚权重，并采用基于网格搜索与k折交叉验证的核函数参数自适应优化策略确定最优惩罚参数和核函数参数。

11、进一步地，所述非线性特征变换网络包括输入层、编码隐藏层和特征输出层，所述隐藏层采用relu激活函数对所述结构化特征数据进行非线性压缩映射；在端到端联合训练框架中，先以重构损失预训练自编码器网络参数，再利用支持向量机的分类损失通过反向传播对所述编码隐藏层的特征表示进行梯度微调，获得低维深层特征表示。

12、进一步地，设置所述自适应惩罚权重的方法，包括：

13、根据训练集中各类别样本数量与平均样本数的比例，定义样本失衡比例，设置自适应惩罚权重；各类别样本包括有效告警、疑似告警和噪声告警。

14、进一步地，所述核函数参数自适应优化策略，包括：在预设的惩罚参数c取值集合与核函数参数γ取值集合构成的参数空间中，通过k折交叉验证遍历各参数组合，选取使模型f1值最大化的参数组合作为最优参数。

15、进一步地，所述聚类合并策略，包括设定时间窗口阈值δt和空间距离阈值δd，若两条有效告警的告警时间差绝对值小于等于δt，且告警位置的空间距离小于等于δd，且设备类型相同或属于预设关联设备组，则将所述有效告警合并至同一综合告警事件。

16、第二方面，基于深度学习的消防日志告警降噪系统，包括：

17、采集与预处理模块：用于采集消防日志数据，对所述消防日志数据进行预处理，获得标准化日志数据；所述预处理包括数据清洗、异构数据标准化编码以及多维度特征提取；所述数据清洗包括剔除重复记录、修复不完整数据以及删除关键字段缺失的无效记录；所述异构数据标准化编码包括将不同品牌设备的运行状态和告警类型统一映射为标准化编码；

18、特征体系构建模块：用于对所述标准化日志数据进行多维度特征提取，获得结构化特征数据，根据所述结构化特征数据构建告警特征体系；所述告警特征体系包括基础特征和内容特征；所述基础特征包括告警时间、告警设备类型、告警位置，所述内容特征为告警内容关键词；

19、模型构建与分类模块：用于根据所述告警特征体系构建基于深度学习的告警分类模型，将所述结构化特征数据输入所述告警分类模型，根据学习到的特征模式对告警进行自动分类，获得分类数据；所述分类数据包括有效告警、疑似告警、噪声告警；

20、聚合与输出模块：用于对所述有效告警进行相似告警聚合处理，基于设备类型、告警位置和告警时间，采用基于动态时间窗口阈值与空间邻近度阈值判定的聚类合并策略，将满足设备类型相同或属于预设关联设备组、且告警时间差绝对值小于等于预设时间窗口阈值、且空间位置距离小于等于预设空间距离阈值的分散单设备告警合并为，根据预设的多维度告警优先级评价标准，对所述有效告警和所述综合告警进行优先级排序，并根据各维度的量化评分加权求和获得优先级评分；所述评价标准包括场所危险程度、危害扩散速度、设备覆盖范围。

21、本发明的有益效果是：

22、本发明是一种基于深度学习的消防日志告警降噪方法及系统，与现有技术相比，本发明具有以下技术效果：

23、本发明通过模型自动识别并过滤噪声告警，有效消除设备故障、信号干扰、重复上报带来的冗余告警，减少监控人员的无效工作负荷，提升消防监控工作效率；利用深层非线性特征提取与代价敏感支持向量机相结合，在含噪声数据场景下实现真实火警告警与无效告警的精准区分，实现真实火警告警与无效告警的精准区分，避免有效告警被海量冗余信息淹没，降低真实火灾隐患的漏判、迟判风险；通过告警聚合整合分散的单设备告警，让监控人员直观掌握火灾隐患的整体情况；通过多维度优先级排序，确保高危场所、紧急情况的告警优先处置，显著提升消防应急响应能力，有效缩短火灾隐患处置时间，降低火灾事故造成的人员与财产损失；根据不同建筑、园区的消防设备类型、场所危险等级，灵活调整模型参数与告警优先级规则，适用于住宅小区、办公楼、工业园区、易燃易爆场所等各类火灾监测报警系统，具有广泛的实际应用价值。