基于多模态AI大模型的厨房安全监测方法及系统与流程

本发明涉及安全监测，尤其涉及基于多模态ai大模型的厨房安全监测方法及系统。

背景技术：

1、现有厨房安全监测方案通常通过烟雾传感器、燃气传感器、温度传感器、摄像头或灶具状态检测装置，对厨房内的烟雾浓度、燃气浓度、温度变化、人员活动和设备开关状态进行采集，并在单一指标超过设定范围时触发报警或联动关阀、断电、排风等处置。部分方案进一步引入视频识别或多模态融合模型，用于识别人员是否在场、火焰是否异常、烟雾是否可见以及设备是否处于开启状态，从而提高厨房安全监测的自动化程度。

2、然而，上述方案大多停留在单点异常判断或多模态特征融合判断层面，缺少对监测时段、厨房功能区域、监测对象和状态内容之间演化过程的结构化表达，难以区分正常烹饪烟雾、短时燃气或烟雾波动、人员正在处置以及设备已执行处置等情形。现有技术即使通过人员检测、区域划分或阈值调整降低误报，也通常无法形成灶具、锅具、燃气阀、烟雾、人员和电器之间的风险诱发链与处置反证链，导致风险证据不完整、报警依据不可追溯、联动处置容易过早或过晚。

3、因此，如何提供基于多模态ai大模型的厨房安全监测方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出基于多模态ai大模型的厨房安全监测方法及系统，本发明利用多模态ai大模型与事件链反证推理，实现厨房风险链式监测，具备识别准确、误报低、处置及时的优点。

2、根据本发明实施例的基于多模态ai大模型的厨房安全监测方法，包括如下步骤：

3、采集厨房多模态安全观测数据；

4、按照同一监测时段和厨房功能区域，对厨房多模态安全观测数据进行时间对齐和空间映射，生成厨房时空对齐观测片段；

5、将厨房时空对齐观测片段输入厨房安全事件链约束多模态大模型，生成状态令牌；

6、依据各状态令牌对应的监测时段、厨房功能区域和监测对象，生成厨房安全事件节点，建立时间延续边、空间邻接边、风险诱发边和处置反证边，得到厨房安全事件链图；

7、通过事件链推理头对厨房安全事件链图进行候选风险链提取；

8、通过反证推理模块对各候选风险链进行反证，生成厨房安全监测结果。

9、可选的，所述厨房多模态安全观测数据包括厨房视频数据、红外热成像数据、声学数据、燃气浓度数据、烟雾浓度数据、灶具状态数据和电器运行数据，均携带采集时间、采集设备编号和厨房功能区域标识。

10、可选的，所述厨房时空对齐观测片段的生成具体包括：

11、以厨房视频数据的采集时间为时间基准，将连续50帧厨房视频数据划分为一个监测时段；

12、依据采集时间，将红外热成像数据、声学数据、燃气浓度数据、烟雾浓度数据、灶具状态数据和电器运行数据归入对应监测时段；

13、依据厨房功能区域标识，将同一监测时段内的各数据映射至灶台区域、锅具区域、燃气阀区域、油烟机区域、插座区域和人员活动区域；

14、按照监测时段、厨房功能区域和采集设备编号，对同一监测时段且位于同一厨房功能区域的数据进行组合，生成区域对齐观测内容；

15、将各厨房功能区域的区域对齐观测内容按监测时段输出，生成厨房时空对齐观测片段。

16、可选的，所述厨房安全事件链约束多模态大模型包括视觉语言基础主干、输入适配层、区域对象解析层、视觉视频编码器、热状态编码器、声学事件编码器、气体烟雾数值编码器、设备状态编码器、令牌对齐层、事件节点生成层、事件边构建层、事件链推理头、反证推理模块和风险解释输出层。

17、可选的，所述状态令牌的生成具体包括：

18、将厨房时空对齐观测片段中的对象解析帧和厨房功能区域文本输入视觉语言基础主干，生成厨房场景语义嵌入，由区域对象解析层结合厨房场景语义嵌入生成监测对象定位结果；

19、由视觉视频编码器依据监测对象定位结果处理厨房视频数据，生成视觉状态令牌；

20、由热状态编码器依据监测对象定位结果处理红外热成像数据，生成热状态令牌；

21、由声学事件编码器处理声学数据，生成声学事件令牌；

22、由气体烟雾数值编码器处理燃气浓度数据和烟雾浓度数据，生成气体状态令牌和烟雾状态令牌；

23、由设备状态编码器处理灶具状态数据和电器运行数据，生成设备状态令牌，并由令牌对齐层生成统一后的状态令牌。

24、可选的，所述厨房安全事件链图的生成具体包括：

25、由事件节点生成层读取统一后的状态令牌，生成厨房安全事件节点；

26、事件边构建层包括时间边构建分支、空间边构建分支、风险边构建分支和反证边构建分支，由时间边构建分支在相邻监测时段内的同一监测对象之间建立时间延续边；

27、由空间边构建分支在同一监测时段内的相邻厨房功能区域之间建立空间邻接边；

28、由风险边构建分支按照厨房安全风险演化路径建立风险诱发边；

29、由反证边构建分支按照人员处置动作状态和设备处置状态建立处置反证边；

30、将厨房安全事件节点、时间延续边、空间邻接边、风险诱发边和处置反证边连接，得到厨房安全事件链图。

31、可选的，所述候选风险链的生成具体包括：

32、事件链推理头包括风险路径解码层、区域连通裁定层、反证入口挂接层和候选风险链输出层，由风险路径解码层读取厨房安全事件链图中的风险诱发边和时间延续边，生成风险节点序列；

33、按照厨房安全风险演化路径对风险节点序列进行路径解码，生成风险路径解码结果；

34、由区域连通裁定层读取风险路径解码结果中的空间邻接边，生成区域连通风险路径；

35、由反证入口挂接层读取与区域连通风险路径相连的处置反证边，生成带有反证入口的区域连通风险路径；

36、由候选风险链输出层依据带有反证入口的区域连通风险路径生成候选风险链。

37、可选的，所述厨房安全监测结果的生成具体包括：

38、反证推理模块包括反证入口解析层、正常烹饪反证层、瞬时波动反证层、处置动作反证层和风险等级生成层；

39、反证入口解析层读取候选风险链中的处置反证边，确定各候选风险链的反证入口；

40、由正常烹饪反证层依据人员在场画面状态和设备处置状态对候选风险链进行正常烹饪反证，生成正常烹饪修正后的候选风险链；

41、由瞬时波动反证层依据相邻监测时段中的气体状态令牌和烟雾状态令牌对候选风险链进行瞬时波动反证，生成波动修正后的候选风险链；

42、由处置动作反证层依据人员处置动作状态和设备处置状态对波动修正后的候选风险链进行处置反证，生成反证修正后的厨房安全事件链；

43、由风险等级生成层依据反证修正后的厨房安全事件链生成风险类型、风险等级和风险发生区域；

44、由风险解释输出层依据反证修正后的厨房安全事件链生成风险证据片段和联动处置指令，并输出厨房安全监测结果。

45、根据本发明实施例的基于多模态ai大模型的厨房安全监测系统，包括：

46、数据采集模块，用于采集厨房多模态安全观测数据；

47、时空对齐模块，用于按照同一监测时段和厨房功能区域，对厨房多模态安全观测数据进行时间对齐和空间映射；

48、状态令牌生成模块，用于将厨房时空对齐观测片段输入厨房安全事件链约束多模态大模型，生成状态令牌；

49、事件链图生成模块，用于依据各状态令牌对应的监测时段、厨房功能区域和监测对象，生成厨房安全事件链图；

50、候选风险链提取模块，用于通过事件链推理头对厨房安全事件链图进行候选风险链提取；

51、反证监测输出模块，用于通过反证推理模块对各候选风险链进行反证，生成厨房安全监测结果。

52、本发明的有益效果是：

53、本发明通过采集厨房视频数据、红外热成像数据、声学数据、燃气浓度数据、烟雾浓度数据、灶具状态数据和电器运行数据，并按照同一监测时段和厨房功能区域进行时间对齐和空间映射，使不同采集频率、不同安装位置和不同数据形态的厨房安全信息能够被统一到厨房时空对齐观测片段中处理。相较于仅依据单一烟雾浓度、燃气浓度或温度数值触发报警的方式，本发明能够同时结合人员、灶具、锅具、燃气阀、油烟机、插座和厨房电器等对象状态，提高厨房异常状态识别的完整性和准确性。

54、本发明进一步通过厨房安全事件链约束多模态大模型生成视觉状态令牌、热状态令牌、声学事件令牌、气体状态令牌、烟雾状态令牌和设备状态令牌，并将各状态令牌转化为厨房安全事件节点，建立时间延续边、空间邻接边、风险诱发边和处置反证边，得到厨房安全事件链图。由此，干烧、燃气泄漏、油锅起火和用电异常不再以孤立异常点形式判断，而是以连续风险链形式表达，能够清楚反映风险从设备状态、环境变化到人员行为之间的演化过程，提高报警依据的可解释性和可追溯性。

55、本发明通过事件链推理头提取候选风险链，并由反证推理模块对候选风险链执行正常烹饪反证、瞬时波动反证、人员处置动作反证和设备处置状态反证，能够有效区分真实安全风险与正常烹饪烟雾、短时燃气或烟雾波动、人员已关火移锅、燃气阀已关闭或电器已断电等情形，从而降低误报警和无效联动处置的发生概率。最终生成的厨房安全监测结果同时包含风险类型、风险等级、风险发生区域、风险证据片段和联动处置指令，便于系统及时执行关阀、断电、排风、报警或移动端推送等处置动作。