一种基于多模态感知的工业车辆智能安全管理系统及方法与流程

本发明涉及工业车辆安全，具体涉及一种基于多模态感知的工业车辆智能安全管理系统及方法。

背景技术：

1、现有工业车辆安全管理技术虽已发展多年，但仍呈现“碎片化”特征，未能形成覆盖作业全生命周期的系统性主动防护。

2、身份核验与准入管理方面，以授权公告号为cn110949319b的专利所代表的刷卡/钥匙方案，依赖易丢失、可复制的物理介质，仅实现一次性启动授权，作业过程中无法持续绑定操作者身份，存在权限冒用和管理追溯困难。授权公告号为cn120526488a的指纹识别方案虽实现了生物识别启动，但其功能止步于车辆控制，运行轨迹、越界事件、报警数据均未能与云端管理平台深度融合。

3、作业过程中的驾驶员状态监测同样存在不足。多数环境感知系统（如cn118306384b）虽提及司机状态，但缺乏有效的实时监测手段；少数进行疲劳检测的方案采用通用阈值，未考虑驾驶员个体生理差异（如眼型、嘴部习惯），在工业现场振动和光照变化环境下误报率较高，实用性受限。

4、环境感知方面，基于超声或单目摄像头的方案存在感知盲区；申请公布号为cn120902634a的方案虽采用先进感知技术但系统复杂、成本较高。更为关键的是，上述方案的安全决策模型多为固定距离阈值，未与车辆实时状态（速度、举升高度、载重）动态耦合，无法体现风险等级的实时变化。

5、综上所述，现有方案大多针对单一安全环节，各功能模块相互独立，数据和决策未能贯通，尚未形成“感知-预警-控制-记录-分析”的闭环管理体系。因此，需要一种将高可靠身份准入、个性化驾驶员状态监护、多维度环境感知与云端管理相集成的统一平台。

技术实现思路

1、本发明目的是克服现有技术中存在的至少一个技术问题，提供了一种基于多模态感知的工业车辆智能安全管理系统及方法。

2、一方面，本发明实施例提供了一种基于多模态感知的工业车辆智能安全管理系统，所述系统包括：同步控制盒，用于生成硬件同步时钟信号；多摄像头阵列，包括驾驶员监测摄像头和至少四个环境监控摄像头，所述多摄像头阵列根据所述硬件同步时钟信号同步采集图像；车载处理单元，用于对所述多摄像头阵列同步采集的图像进行处理，实现驾驶员状态监测、车辆周围环境感知和风险评估，并根据评估结果生成与之对应的分级预警指令发送至车控单元，包括：图像处理子模块，用于采用yuv分量分离拼接算法对所述环境监控摄像头采集的多路图像进行实时拼接，生成全景视图；驾驶员监测子模块，用于基于所述驾驶员监测摄像头采集的图像进行驾驶员身份验证和疲劳状态检测；驾驶员监测预警子模块，用于根据驾驶员身份验证结果和疲劳状态检测结果生成与之对应的分级预警指令；行人检测子模块，用于检测所述全景视图中的行人并计算其三维空间坐标；行人检测预警子模块，用于比对所述三维坐标与预建三维动态安全区域模型的空间位置关系，输出分级预警指令；定位子模块，用于获取所述工业车辆的实时位置信息，接收来自云端管理平台的电子围栏模型；将所述实时位置信息与所述电子围栏模型进行比对，判断是否发生越界事件；在发生越界事件时，触发预定的分级预警指令，并将越界事件数据上传至所述云端管理平台；所述车控单元用于基于所述分级预警指令控制车辆生成与之对应的显示信息和控制信息。

3、进一步的，所述驾驶员监测子模块包括人脸识别子模块，所述人脸识别子模块包括：图像预处理模块，用于对驾驶员监测摄像头采集的图像执行光照自适应增强与尺寸归一化；人脸对齐模块，用于检测人脸关键点，并通过几何变换将人脸校正至标准姿态；轻量化多任务识别模块，包含一个经过联合训练的卷积神经网络，用于从对齐图像中同时提取用于身份验证的特征和用于辅助活体判断的面部状态特征；安全比对与决策模块，用于将提取的特征与本地加密特征库比对，并输出身份验证结果。

4、进一步的，所述驾驶员监测子模块包括疲劳状态检测子模块，所述疲劳状态检测子模块包括：个体基线获取子模块，用于调取或建立当前驾驶员的个性化生理基线，所述个性化生理基线至少包括眼部特征基线与嘴部特征基线；个体化相对指标计算子模块，用于实时获取驾驶员的眼部与嘴部当前特征值，分别计算其相对于对应个性化生理基线的偏离度，得到眼部个体化相对指标与嘴部个体化相对指标；综合疲劳指数生成子模块，用于将所述眼部个体化相对指标与嘴部个体化相对指标，按照预设的权重进行加权融合，生成一个统一的综合疲劳指数；状态判定子模块，用于将所述综合疲劳指数输入预设的状态判定模型，输出驾驶员的疲劳等级。

5、进一步的，计算个体化相对指标的具体方式为：对于眼部，计算公式为：眼部个体化相对指标=1-(当前眼部特征值/眼部特征基线值)；对于嘴部，计算公式为：嘴部个体化相对指标=(当前嘴部特征值/嘴部特征基线值)-1，当结果小于0时计为0。

6、进一步的，所述当前眼部特征值为眼部高宽比，所述当前嘴部特征值为嘴部高宽比；生成综合疲劳指数的公式为：

7、综合疲劳指数=(眼部个体化相对指标×w1)+(嘴部个体化相对指标×w2)；

8、其中，w1为眼部权重，w2为嘴部权重，且w1>w2。

9、进一步的，所述状态判定模型为状态机，其状态迁移条件基于所述综合疲劳指数的数值大小与持续时间，所述条件包括：当综合疲劳指数持续超过第一阈值达第一时间长度，判定为轻度疲劳；当处于轻度疲劳状态后，综合疲劳指数进一步上升并持续超过第二阈值达第二时间长度，判定为中度疲劳；当处于中度疲劳状态且系统已发出警报后，综合疲劳指数在第三时间长度内未下降至第三阈值以下，判定为重度疲劳；所述第二阈值大于第一阈值，所述第二时间长度小于第一时间长度。

10、进一步的，所述行人检测子模块用于采用融合方向梯度直方图特征与深度学习特征的多尺度检测模型，对所述全景视图进行行人检测，并基于多视角几何原理计算所述行人相对于车辆的三维空间坐标，包括：使用改进的yolov5s模型与改进的hog特征描述子，在特征图层面对提取的深度特征与传统特征进行动态加权融合，以检测到行人；其中，加权系数根据被检测目标与车辆的预估距离动态调整；基于所述至少四个环境监控摄像头中至少两个不同视角的图像，通过立体视觉算法计算被检测行人的三维空间坐标。

11、进一步的，所述三维动态安全区域模型包括以车辆为中心、范围可动态调整的提醒区、警告区和危险区；其中，区域范围的调整参数包括车辆实时车速、货叉举升高度和载重信息；通过计算人体轮廓中心点与叉车安全区域边界的距离，判断人体是否进入预警区域，包括：当人体轮廓中心点与叉车安全区域边界的距离小于预设的第一距离阈值时，判断进入危险区，生成第一预警指令；当人体轮廓中心点与叉车安全区域边界的距离大于或等于预设的第一距离阈值且小于预设的第二距离阈值时，判断进入警告区，生成第二预警指令；当人体轮廓中心点与叉车安全区域边界的距离大于或等于预设的第二距离阈值且小于预设的第三距离阈值时，判断进入提醒区，生成第三预警指令。

12、进一步的，所述三维动态安全区域模型根据工业车辆的当前作业状态动态确定三维安全区域边界，包括：获取所述车辆的实时车速、举升高度、载重重量中的至少一种状态参数；基于所述状态参数，对预设的基础安全区域模型在相应方向上进行缩放或延伸，其中，行驶速度越高，前方安全区域延伸越长；举升高度越高，上方安全区域扩展越大。

13、第二方面，本发明实施例提供了一种基于多模态感知的工业车辆智能安全管理方法，所述方法应用于上述的基于多模态感知的工业车辆智能安全管理系统中，所述方法包括：步骤s1、通过同步控制盒向多摄像头阵列发送硬件同步触发信号，控制至少四个分布于车辆外围的环境监控摄像头及面向驾驶舱内部的驾驶员监测摄像头同步采集图像；步骤s2、通过图像处理子模块对所述环境监控摄像头采集的多路图像在yuv色彩空间进行实时拼接，生成360度全景视图；步骤s3、通过驾驶员监测子模块基于所述驾驶员监测摄像头采集的图像进行驾驶员身份验证和疲劳状态检测；步骤s4、通过驾驶员监测预警子模块根据驾驶员身份验证结果和疲劳状态检测结果生成与之对应的分级预警指令；步骤s5、通过行人检测子模块采用融合方向梯度直方图特征与深度学习特征的多尺度检测模型，对所述全景视图进行行人检测，并基于多视角几何原理计算所述行人相对于车辆的三维空间坐标；步骤s6、通过行人检测预警子模块采用空间关系判断与预警触发算法实时基于所述三维空间坐标与预先构建的三维动态安全区域模型之间的空间关系，生成与之对应的分级预警指令；步骤s7、通过定位子模块获取所述工业车辆的实时位置信息，接收来自云端管理平台的电子围栏模型；将所述实时位置信息与所述电子围栏模型进行比对，判断是否发生越界事件；在发生越界事件时，触发预定的分级预警指令，并将越界事件数据上传至所述云端管理平台；其中，所述电子围栏模型定义了允许或禁止通行的地理区域边界；步骤s8、通过车控单元基于所述行人检测预警子模块、驾驶员监测预警子模块和定位子模块发送的与之对应的分级预警指令控制车辆生成与之对应的显示信息和控制信息。

14、本发明相比较于现有技术的有益效果是：

15、（1）集成ai人脸识别、疲劳驾驶检测、360全景影像和gps电子围栏等功能，覆盖叉车使用中的多种安全隐患，提供全方位的安全保障。

16、（2）实时监控和异常报警功能有效减少事故发生的可能性。