车内环境智能监测方法、系统及存储介质与流程

本发明适用于汽车智能控制，尤其涉及一种车内环境智能监测方法、系统及存储介质。

背景技术：

1、在智能交通与汽车电子技术快速发展的当下，车内环境安全日益受到关注。车内环境包含温度、湿度、pm2.5、有害气体（如 co、甲醛）、烟雾、异响等多维度信息，其精准监测对于保障驾乘人员健康、预防安全事故（如火灾、中毒）具有重要意义。

2、然而，现有的车内环境监测方法上的不足之处具体如下：

3、（1）多模态融合缺乏语义交互：现有的融合方法未建立跨模态特征的语义关联，无法有效利用视觉、音频、环境传感器数据间的互补信息，导致特征冗余与关键信息丢失。例如，视觉数据中的烟雾图像与音频数据中的异常爆裂声、环境传感器的温度骤升信号之间存在强关联性，但现有方法难以有效捕捉这种跨模态依赖关系，导致融合后特征表达能力不足。

4、（2）时空特征提取不充分：现有方法对环境数据的时间序列特征与空间分布特征独立建模，未形成时空联合表征，无法捕捉环境变化的时空耦合规律。车内环境数据具有显著的时空动态特性，如烟雾扩散的空间分布与时间演变规律、异味浓度随时间的变化趋势等。现有方法多采用固定结构的神经网络（如卷积神经网络 cnn 或循环神经网络 rnn）分别处理空间或时间特征，缺乏对时空特征的联合建模能力，难以捕捉环境变化的动态模式。

5、（3）关键信息关注不足：现有方法在特征处理过程中未动态评估各模态、各维度特征的重要性，导致模型学习效率低下且抗干扰能力弱。车内环境中，部分特征（如烟雾的颜色纹理、异常气味的浓度峰值）对风险识别起决定性作用，但现有方法对所有特征同等对待，缺乏对关键信息的自适应聚焦机制，导致模型在复杂噪声环境下易出现误报或漏检。

6、因此，亟需一种新的车内环境智能监测方法、系统及存储介质，解决上述技术问题。

技术实现思路

1、本发明提供一种车内环境智能监测方法、系统及存储介质，本发明的目的在于提升车内环境风险识别的精度、实时性与鲁棒性。

2、第一方面，本发明提供一种车内环境智能监测方法，所述车内环境智能监测方法包括以下步骤：

3、s1、获取车内环境时序数据，并对所述车内环境时序数据进行预处理，得到多模态数据；所述多模态数据包括视觉模态数据、音频模态数据以及环境模态数据；

4、s2、对所述多模态数据进行特征提取，得到视觉特征、音频特征以及环境特征；

5、s3、基于多头交叉注意力机制对所述视觉特征、所述音频特征以及所述环境特征进行增强，并将增强后的所述视觉特征、所述音频特征以及所述环境特征进行交互融合，得到跨模态融合特征；基于时空注意力网络对所述跨模态融合特征中的时序动态特征进行捕捉，得到时空时序特征；基于香农熵分别对增强后的所述视觉特征、所述音频特征以及所述环境特征对应的权重进行动态分配，得到香农融合特征；

6、s4、将所述时空时序特征和所述香农融合特征进行融合，得到最终融合特征；

7、s5、根据所述最终融合特征进行风险概率预测，得到预测结果；当所述预测结果为车内环境异常时，发出预警通知。

8、优选地，步骤s1中，包括以下子步骤：

9、s11、通过硬件同步时钟将所述车内环境时序数据进行时间戳对齐；

10、s12、基于目标检测模型对时间戳对齐后的所述车内环境时序数据中的视觉数据进行归一化处理，得到所述视觉模态数据；

11、将时间戳对齐后的所述车内环境时序数据中的音频数据通过短时傅里叶变换转换为梅尔频谱图，并对所述梅尔频谱图进行滤波处理，得到所述音频模态数据；

12、对时间戳对齐后的所述车内环境时序数据中的环境数据进行标准化处理和滑动窗口处理，得到所述环境模态数据。

13、优选地，步骤s2中，包括以下子步骤：

14、基于残差网络对所述视觉模态数据进行特征提取，并通过全局平均池化压缩处理，得到所述视觉特征；

15、基于卷积神经网络对所述音频模态数据进行特征提取，得到所述音频特征；

16、将所述环境模态数据映射到高维特征空间，得到所述环境特征。

17、优选地，步骤s3中，包括以下子步骤：

18、s31、将所述跨模态融合特征作为所述时空注意力网络的输入，对所述跨模态融合特征进行位置编码，得到位置编码特征；

19、s32、基于多头自注意力机制对所述位置编码特征进行拼接处理，得到多头拼接特征；

20、s33、基于前馈网络对所述多头拼接特征进行非线性变换，并通过时间注意力向量计算所述多头拼接特征的时间步权重；

21、s34、将经过非线性变换后的所述多头拼接特征与所述时间步权重进行计算，得到所述时空时序特征。

22、优选地，步骤s3中，包括以下子步骤：

23、s35、分别对增强后的所述视觉特征、所述音频特征以及所述环境特征进行归一化处理，分别计算出增强后的所述视觉特征、所述音频特征以及所述环境特征对应的概率分布，得到分布结果；

24、s36、根据所述分布结果进行香农熵计算，得到香农熵值；

25、s37、根据所述香农熵值分别对增强后的所述视觉特征、所述音频特征以及所述环境特征对应的权重进行调节和融合，得到所述香农融合特征。

26、第二方面，本发明还提供一种车内环境智能监测系统，包括：

27、预处理模块，用于获取车内环境时序数据，并对所述车内环境时序数据进行预处理，得到多模态数据；所述多模态数据包括视觉模态数据、音频模态数据以及环境模态数据；

28、特征提取模块，用于对所述多模态数据进行特征提取，得到视觉特征、音频特征以及环境特征；

29、捕捉模块，用于基于多头交叉注意力机制对所述视觉特征、所述音频特征以及所述环境特征进行增强，并将增强后的所述视觉特征、所述音频特征以及所述环境特征进行交互融合，得到跨模态融合特征；基于时空注意力网络对所述跨模态融合特征中的时序动态特征进行捕捉，得到时空时序特征；

30、以及用于基于香农熵分别对增强后的所述视觉特征、所述音频特征以及所述环境特征对应的权重进行动态分配，得到香农融合特征；

31、融合模块，用于将所述时空时序特征和所述香农融合特征进行融合，得到最终融合特征；

32、风险预测模块，用于根据所述最终融合特征进行风险概率预测，得到预测结果；当所述预测结果为车内环境异常时，发出预警通知。

33、优选地，所述特征提取模块包括以下子单元：

34、视觉提取单元，用于基于残差网络对所述视觉模态数据进行特征提取，并通过全局平均池化压缩处理，得到所述视觉特征；

35、音频提取单元，用于基于卷积神经网络对所述音频模态数据进行特征提取，得到所述音频特征；

36、环境提取单元，用于将所述环境模态数据映射到高维特征空间，得到所述环境特征。

37、优选地，所述捕捉模块包括以下子单元：

38、编码单元，用于将所述跨模态融合特征作为所述时空注意力网络的输入，对所述跨模态融合特征进行位置编码，得到位置编码特征；

39、拼接单元，用于基于多头自注意力机制对所述位置编码特征进行拼接处理，得到多头拼接特征；

40、变换单元，用于基于前馈网络对所述多头拼接特征进行非线性变换，并通过时间注意力向量计算所述多头拼接特征的时间步权重；

41、计算单元，用于将经过非线性变换后的所述多头拼接特征与所述时间步权重进行计算，得到所述时空时序特征。

42、第三方面，本发明还提供一种计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车内环境智能监测程序，所述处理器执行所述车内环境智能监测程序时实现如上述实施例中任意一项所述的车内环境智能监测方法中的步骤。

43、第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有车内环境智能监测程序，所述车内环境智能监测程序被处理器执行时实现如上述实施例中任意一项所述的车内环境智能监测方法中的步骤。

44、与现有技术相比，本发明通过对车内的环境数据、音频数据以及视觉数据的全维度采集，通过多头注意力机制实现不同模态数据的深度语义交互，使视觉、音频、环境特征能够相互引导与增强，有效解决了现有技术中跨模态特征交互不足的问题，构建了更完整的车内环境表征模型。

45、其次，本发明通过时空注意力网络对跨模态融合特征在时间维度与空间维度的联合建模，在时间层面通过动态门控循环单元捕捉环境变化的时序规律，在空间层面利用多尺度卷积注意力网络实现复杂场景的分层特征提取。通过时空特征融合技术形成精细化的时空动态表征，突破了现有模型时空建模割裂的局限，显著提升了对车内异常事件的特征捕捉能力。

46、本发明基于香农熵分别对增强后的所述视觉特征、所述音频特征以及所述环境特征对应的权重进行动态分配，从而对复杂工况的自适应能力大幅提升，有效解决了现有方法中固定权重融合方法场景适应性弱的难题。本发明有效提升了对车内环境风险识别的精度、实时性与鲁棒性。