基于多模态的无感触发的核岛四向门禁控制的制作方法

本技术涉及核岛安防与智能门禁控制，尤其涉及基于多模态的无感触发的核岛四向门禁控制。

背景技术：

1、传统核岛门禁系统多依赖单一模态的身份验证手段，如刷卡或指纹识别，存在代刷、指纹复制等安全风险，且在人员双手持物或人流量大时识别效率与通过率显著下降，难以在确保严格安全管控的同时实现高效、无感的通行体验。

技术实现思路

1、本技术的主要目的在于提供一种基于多模态的无感触发的核岛四向门禁控制，可以解决现有技术中核岛门禁识别精度低、安全性不足的技术问题。

2、为实现上述目的，本技术提供了一种基于多模态的无感触发的核岛四向门禁控制方法，方法包括：

3、对顶部广角摄像头采集的全域图像进行人流密度感知，得到区域人员状态信息，对两侧辅助摄像头采集的图像数据进行手部区域特征分析，得到初步持物状态信息；

4、基于所述区域人员状态信息和所述初步持物状态信息进行触发条件判断，得到全景协同唤醒指令；

5、根据所述全景协同唤醒指令，对四向摄像头阵列进行协同参数调度，采集得到多视角图像数据与深度数据；

6、对所述多视角图像数据中的人员手部图像数据进行持物特征精确识别，得到精确持物状态，并基于所述精确持物状态生成自适应识别策略；

7、基于所述自适应识别策略，对所述多视角图像和人脸数据进行三维活体判别和授权特征比对，得到身份验证结果，并基于所述身份验证结果输出门禁控制信号，所述人脸数据由正面景深相机采集的深度数据中确定。

8、在一实施例中，对两侧辅助摄像头采集的图像数据进行手部区域特征分析，得到初步持物状态信息的步骤包括：

9、控制两侧辅助摄像头按预设休眠与唤醒周期进行间歇式图像采集，得到局部区域图像序列；

10、对所述局部区域图像序列进行手部轮廓与关联物体轮廓的特征提取，得到手部区域轮廓数据；

11、提取所述手部区域轮廓数据中的形态特征与轮廓特征，基于所述形态特征与轮廓特征生成初步持物状态信息。

12、在一实施例中，所述对所述局部区域图像序列进行手部轮廓与关联物体轮廓的特征提取，得到手部区域轮廓数据的步骤包括：

13、对所述局部区域图像序列进行灰度化与噪声抑制处理，得到预处理图像数据；

14、对所述预处理图像数据进行边缘梯度特征计算，得到图像边缘强度与方向信息；

15、基于所述边缘强度与方向信息进行轮廓连续性分析，分离得到手部轮廓及与所述手部相连的物体轮廓；

16、将所述手部轮廓及与所述物体轮廓进行组合，得到所述手部区域轮廓数据。

17、在一实施例中，所述基于所述区域人员状态信息和所述初步持物状态信息进行触发条件判断，得到全景协同唤醒指令的步骤包括：

18、对所述区域人员状态信息进行解析，得到区域人流密度；

19、对所述初步持物状态信息进行解析，得到持物特征；

20、在所述区域人流密度大于预设人流密度或所述持物特征为有效持物特征时，生成用于启动四向摄像头阵列全功率工作的所述全景协同唤醒指令。

21、在一实施例中，所述对所述区域人员状态信息解析，得到区域人流密度的步骤包括：

22、对所述区域人员状态信息中包含的人员位置坐标进行聚类分析，得到若干独立的人员目标点；

23、统计预设识别区域内所述人员目标点的数量，并结合该区域的面积参数，计算得到实时单位面积人员数量；

24、将所述实时单位面积人员数量与预设的时间阈值内的历史数据进行平滑滤波处理，得到区域人流密度。

25、在一实施例中，基于所述自适应识别策略，对所述多视角图像和人脸数据进行三维活体判别和授权特征比对，得到身份验证结果的步骤包括：

26、基于所述自适应识别策略，对所述多视角图像数据与深度数据进行融合，构建人脸三维模型数据；

27、对所述人脸三维模型数据进行活体特征分析，得到活体检测结果；

28、在所述活体检测结果为预设检测结果时，从所述多视角图像数据中提取人脸二维特征，并与本地预存的授权人员特征库进行匹配度计算，得到匹配置信度；

29、基于所述匹配置信度生成身份验证结果。

30、在一实施例中，所述对所述人脸三维模型数据进行活体特征分析，得到活体检测结果的步骤包括：

31、对所述人脸三维模型数据进行表面曲率变化分析，得到微表情动作引起的三维形变特征；

32、对所述多视角图像进行时域分析，提取眼球虹膜纹理的虹膜微动特征；

33、综合所述三维形变特征与所述虹膜微动特征，与预设活体生物特征模型进行一致性比对，得到比对结果；

34、根据所述比对结果生成所述活体检测结果。

35、在一实施例中，所述根据所述全景协同唤醒指令，对四向摄像头阵列进行协同参数调度，采集得到多视角图像数据与深度数据的步骤包括：

36、根据所述全景协同唤醒指令，同步激活顶部广角摄像头、两侧辅摄像头及正面深度相机；

37、基于当前人员的位置信息，分别对所述四向摄像头阵列中各个摄像头的焦距参数与拍摄角度参数进行动态调整处理，以形成覆盖人员面部的立体采集视野；

38、控制调整后的所述四向摄像头阵列同步采集包含人员面部信息的得到可见光图像数据与深度信息数据，得到多视角图像数据与深度数据。

39、在一实施例中，所述对所述多视角图像数据中的人员手部图像数据进行持物特征精确识别，得到精确持物状态，并基于所述精确持物状态生成自适应识别策略的步骤包括：

40、从所述多视角图像数据中提取来自两侧辅助摄像头采集的图像数据进行手部特征点与手持物体边界框的精确标定，得到精确持物状态；

41、在所述精确持物状态为双手持有时，将预设的标准人脸识别时间窗延长至第一预定时长，并同步更新曝光补偿参数，基于所述第一预定时长和所述曝光补偿参数生成自适应识别策略。

42、此外，为实现上述目的，本技术还提出一种基于多模态的无感触发的核岛四向门禁控制装置，基于多模态的无感触发的核岛四向门禁控制装置包括：

43、信息感知模块，用于对顶部广角摄像头采集的全域图像进行人流密度感知，得到区域人员状态信息，对两侧辅助摄像头采集的图像数据进行手部区域特征分析，得到初步持物状态信息；

44、触发判定模块，用于基于所述区域人员状态信息和所述初步持物状态信息进行触发条件判断，得到全景协同唤醒指令；

45、协同调度模块，用于根据所述全景协同唤醒指令，对四向摄像头阵列进行协同参数调度，采集得到多视角图像数据与深度数据；

46、持物识别模块，用于对所述多视角图像数据中的人员手部图像数据进行持物特征精确识别，得到精确持物状态，并基于所述精确持物状态生成自适应识别策略；

47、身份验证模块，用于基于所述自适应识别策略，对所述多视角图像和人脸数据进行三维活体判别和授权特征比对，得到身份验证结果，并基于所述身份验证结果输出门禁控制信号，所述人脸数据由正面景深相机采集的深度数据中确定。

48、此外，为实现上述目的，本技术还提出一种基于多模态的无感触发的核岛四向门禁控制设备，所述基于多模态的无感触发的核岛四向门禁控制设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序配置为实现如上文的基于多模态的无感触发的核岛四向门禁控制方法的步骤。

49、此外，为实现上述目的，本发明还提出一种存储介质，存储介质为计算机可读存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上文的基于多模态的无感触发的核岛四向门禁控制方法的步骤。

50、此外，为实现上述目的，本技术还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序被处理器执行时实现如上文的基于多模态的无感触发的核岛四向门禁控制方法的步骤。

51、本技术提供了一种基于多模态的无感触发的核岛四向门禁控制方法，通过顶部广角摄像头感知人流密度，结合两侧辅助摄像头进行手部持物特征初步分析，生成全景协同唤醒指令以激活四向摄像头阵列；调度阵列采集多视角图像与深度数据后，进行精确持物状态识别并生成自适应识别策略；最终融合多模态数据进行三维活体检测与人脸特征比对，依据身份验证结果输出门禁控制信号。通过上述方式，实现了无接触、高精度的人员通行管控，在降低系统功耗的同时，有效提升了核岛门禁的安全性与智能化水平。