一种基于多源数据融合的生物特征识别方法、装置及电子设备与流程

摘要: 本申请涉及数字图像处理及模式识别,特指一种基于多源数据融合的生物特征识别方法、装置及电子设备,尤其适用于在复杂光照和粉尘干扰环境下,通过多模态门控机制和空间信息...
一种基于多源数据融合的生物特征识别方法、装置及电子设备与流程

本申请涉及数字图像处理及模式识别,特指一种基于多源数据融合的生物特征识别方法、装置及电子设备,尤其适用于在复杂光照和粉尘干扰环境下,通过多模态门控机制和空间信息熵评估,实现可靠的图像特征提取与高精度的生物特征识别验证。

背景技术:

1、在现代工业控制、矿井作业以及户外夜间巡检等应用场景中,人员身份验证及生物特征识别系统往往面临严峻的外部物理环境干扰。传统的单一可见光图像识别设备在低照度条件或矿灯直射产生的高对比度炫光下,极易丢失人脸轮廓或虹膜的边缘特征,导致识别失败。为了应对复杂的非均匀光照问题,现有的多源数据融合方案通常将可见光图像和红外图像的数据流直接输入至卷积神经网络中,通过网络内部的全连接层隐式学习两者的特征拼接权重,以期提升生物特征识别的整体鲁棒性。

2、然而,上述常规的多模态融合技术在实际工程应用中存在明显的局限性与缺陷。当环境出现极端非均匀干扰时,例如生物特征识别设备的保护玻璃某一侧被泥污完全覆盖,导致某单一模态的图像信噪比极低,网络内部隐式学习的权重分配机制响应通常迟缓。由于脏污模态的劣质特征向量不可避免地参与后续深层网络的并发计算过程,这些纯噪声数据会直接污染拼接后的多维特征空间。这种缺乏底层物理状态反馈的黑盒式融合机制,无法有效评估各传感器输入特征的空间信息熵。当系统在面对单一传感器失效或数据质量急剧下降的突发情况时,极易发生聚类中心的偏离与特征误判,降低了复杂工况下身份验证的安全可靠性。

技术实现思路

1、针对复杂环境中部分传感器数据质量下降导致融合识别精度降低的技术问题,本申请提供了一种基于多源数据融合的生物特征识别方法、装置及电子设备。

2、本申请提供了一种基于多源数据融合的生物特征识别方法,应用于硬件平台,包括:通过独立接口并行接收可见光图像、近红外图像及深度图像的数据流;利用多分支特征提取网络分别对数据流进行降维处理,输出对应的底层特征张量;分别计算各底层特征张量的二维空间信息熵;依次判断各底层特征张量的二维空间信息熵是否大于预设的门控极小值阈值;对于二维空间信息熵小于或等于门控极小值阈值的底层特征张量,将对应的融合权重系数赋为零,并将该底层特征张量的元素全部覆写为零;对于二维空间信息熵大于门控极小值阈值的底层特征张量,利用带有温度参数的归一化指数函数计算自适应权重系数;将自适应权重系数与对应的底层特征张量相乘并在通道维度拼接,得到多维融合特征张量进行比对验证。

3、进一步地,分别计算各底层特征张量的二维空间信息熵,包括:将底层特征张量沿通道维度进行压缩处理,生成对应的单通道的灰度响应分布图;提取灰度响应分布图中各个灰度级别的像素分布概率;基于各灰度级别的像素分布概率计算信息熵数值,并将该信息熵数值作为二维空间信息熵。

4、进一步地,将底层特征张量沿通道维度进行压缩处理,包括,利用逐点卷积运算对底层特征张量的多个通道进行加权求和并降维至单一通道;提取灰度响应分布图中各个灰度级别的像素分布概率,包括,预设多个连续的灰度区间,遍历灰度响应分布图中的所有像素点并统计落入每个灰度区间的像素点频数,将每个灰度区间的像素点频数除以像素点总数得到各个灰度级别对应的像素分布概率;基于各灰度级别的像素分布概率计算信息熵数值,包括,计算每个像素分布概率与其对应的底数为2的对数值的乘积,将所有灰度区间的乘积结果进行累加,并将累加结果的相反数作为二维空间信息熵。

5、进一步地,利用带有温度参数的归一化指数函数计算自适应权重系数,包括:针对二维空间信息熵大于门控极小值阈值的底层特征张量,提取该底层特征张量的全局空间响应值;利用温度参数对全局空间响应值进行平滑缩放处理;对经过平滑缩放处理后的全局空间响应值执行归一化指数运算,得到对应的自适应权重系数。

6、进一步地,利用温度参数对全局空间响应值进行平滑缩放处理以及执行归一化指数运算,包括,将每个底层特征张量的全局空间响应值除以温度参数得到标度响应值;其中,温度参数被预先配置为大于0的常数缩放标量;计算自然常数的标度响应值次幂得到各模态的指数映射值;将单一底层特征张量对应的指数映射值除以所有大于门控极小值阈值的底层特征张量的指数映射值之和,得到自适应权重系数。

7、进一步地,将该底层特征张量的元素全部覆写为零,包括:在底层显存空间中定位信息熵衰减至门控极小值阈值及以下的底层特征张量对应的内存地址段;通过内存覆写指令将该内存地址段内的所有浮点数据强制置为零值。

8、本申请还提供了一种基于多源数据融合的生物特征识别装置,包括:传感器阵列,包含处于同一物理法平面的可见光相机、近红外相机和深度相机;独立传输接口,与传感器阵列连接并并行传输异构图像数据流;神经网络加速单元,与独立传输接口连接;神经网络加速单元,配置为接收异构图像数据流并利用多分支特征提取网络降维输出对应的底层特征张量;分别计算各底层特征张量的二维空间信息熵;在任一底层特征张量的二维空间信息熵小于或等于门控极小值阈值时,将对应的融合权重系数赋为零并将该底层特征张量的元素覆写为零;在二维空间信息熵大于门控极小值阈值时,利用带有温度参数的归一化指数函数计算自适应权重系数;将计算得到的自适应权重系数与对应的底层特征张量相乘并在通道维度拼接后进行特征验证。

9、进一步地,可见光相机集成有红外截止滤光片,近红外相机集成有预设波长的窄带通滤光片;独立传输接口包含多路独立的移动产业处理器接口,且分别与可见光相机、近红外相机和深度相机直连互通;神经网络加速单元内部配置有高速缓存区,高速缓存区用于存储多模态的底层特征张量。

10、进一步地,高速缓存区与外部的内存管理模块通信连接;当神经网络加速单元判断底层特征张量中的某一项对应的二维空间信息熵下降至门控极小值阈值及以下时,内存管理模块被配置为发出硬件级中断信号;响应于该硬件级中断信号,内存管理模块越过软件调用层向存储该项底层特征张量的高速缓存区地址段内写入由纯零元素组成的张量掩码。

11、本申请还提供了一种基于多源数据融合的生物特征识别电子设备,包括处理器以及用于存储计算机控制指令的存储器;处理器用于读取并执行计算机控制指令,以实现上述的基于多源数据融合的生物特征识别方法。

12、通过显式提取各模态图像特征的二维空间信息熵,建立基于信息熵极小值阈值的硬门控物理阻断机制,本申请能够在底层识别并隔离被泥污完全遮挡或过曝的劣化数据,防止纯噪声特征稀释优质传感器的特征表达。结合带有温度参数的软权重自适应分配方法,实现了有效特征之间的量纲平稳过渡,并剔除了外部非均匀干扰带来的负面因素,提升了生物特征识别系统在极端工况下的高可用性。

1.一种基于多源数据融合的生物特征识别方法,应用于硬件平台,其特征在于,包括:通过独立接口并行接收可见光图像、近红外图像及深度图像的数据流;利用多分支特征提取网络分别对所述数据流进行降维处理,输出对应的底层特征张量;分别计算各底层特征张量的二维空间信息熵;依次判断各底层特征张量的所述二维空间信息熵是否大于预设的门控极小值阈值;对于所述二维空间信息熵小于或等于所述门控极小值阈值的底层特征张量,将对应的融合权重系数赋为零,并将该底层特征张量的元素全部覆写为零;对于所述二维空间信息熵大于所述门控极小值阈值的底层特征张量,利用带有温度参数的归一化指数函数计算自适应权重系数;将所述自适应权重系数与对应的该底层特征张量相乘并在通道维度拼接,得到多维融合特征张量进行比对验证。

2.如权利要求1所述的基于多源数据融合的生物特征识别方法,其特征在于,所述分别计算各底层特征张量的二维空间信息熵,包括:将所述底层特征张量沿通道维度进行压缩处理,生成对应的单通道灰度响应分布图;提取所述灰度响应分布图中各个灰度级别的像素分布概率;基于各灰度级别的所述像素分布概率计算信息熵数值,并将该信息熵数值作为所述二维空间信息熵。

3.如权利要求2所述的基于多源数据融合的生物特征识别方法,其特征在于,所述将所述底层特征张量沿通道维度进行压缩处理,包括,利用逐点卷积运算对所述底层特征张量的多个通道进行加权求和并降维至单一通道;所述提取所述灰度响应分布图中各个灰度级别的像素分布概率,包括,预设多个连续的灰度区间,遍历所述灰度响应分布图中的所有像素点并统计落入每个灰度区间的像素点频数,将每个灰度区间的所述像素点频数除以像素点总数得到各个所述灰度级别对应的所述像素分布概率;所述基于各灰度级别的所述像素分布概率计算信息熵数值,包括,计算每个所述像素分布概率与其对应的底数为2的对数值的乘积,将所有所述灰度区间的乘积结果进行累加,并将累加结果的相反数作为所述二维空间信息熵。

4.如权利要求1所述的基于多源数据融合的生物特征识别方法,其特征在于,所述利用带有温度参数的归一化指数函数计算自适应权重系数,包括:针对所述二维空间信息熵大于所述门控极小值阈值的所述底层特征张量,提取该底层特征张量的全局空间响应值;利用所述温度参数对所述全局空间响应值进行平滑缩放处理;对经过平滑缩放处理后的所述全局空间响应值执行归一化指数运算,得到对应的所述自适应权重系数。

5.如权利要求4所述的基于多源数据融合的生物特征识别方法,其特征在于,所述利用所述温度参数对所述全局空间响应值进行平滑缩放处理以及执行归一化指数运算,包括,将每个所述底层特征张量的所述全局空间响应值除以所述温度参数得到标度响应值;其中,所述温度参数被预先配置为大于0的常数缩放标量;计算自然常数的标度响应值次幂得到各模态的指数映射值;将单一底层特征张量对应的所述指数映射值除以所有大于所述门控极小值阈值的底层特征张量的指数映射值之和,得到所述自适应权重系数。

6.如权利要求1所述的基于多源数据融合的生物特征识别方法,其特征在于,所述将该底层特征张量的元素全部覆写为零,包括:在底层显存空间中定位信息熵衰减至所述门控极小值阈值及以下的所述底层特征张量对应的内存地址段;通过内存覆写指令将该内存地址段内的所有浮点数据强制置为零值。

7.一种基于多源数据融合的生物特征识别装置,其特征在于,包括:传感器阵列,包含处于同一物理法平面的可见光相机、近红外相机和深度相机;独立传输接口,与所述传感器阵列连接并并行传输异构图像数据流;神经网络加速单元,与所述独立传输接口连接;所述神经网络加速单元,配置为接收所述异构图像数据流并利用多分支特征提取网络降维输出对应的底层特征张量;分别计算各底层特征张量的二维空间信息熵;在任一底层特征张量的所述二维空间信息熵小于或等于门控极小值阈值时,将对应的融合权重系数赋为零并将该底层特征张量的元素覆写为零;在所述二维空间信息熵大于所述门控极小值阈值时,利用带有温度参数的归一化指数函数计算自适应权重系数;将计算得到的所述自适应权重系数与对应的所述底层特征张量相乘并在通道维度拼接后进行特征验证。

8.如权利要求7所述的基于多源数据融合的生物特征识别装置,其特征在于,所述可见光相机集成有红外截止滤光片,所述近红外相机集成有预设波长的窄带通滤光片;所述独立传输接口包含多路独立的移动产业处理器接口,且分别与所述可见光相机、所述近红外相机和所述深度相机直连互通;所述神经网络加速单元内部配置有高速缓存区,所述高速缓存区用于存储多模态的所述底层特征张量。

9.如权利要求8所述的基于多源数据融合的生物特征识别装置,其特征在于,所述高速缓存区与外部的内存管理模块通信连接;当所述神经网络加速单元判断所述底层特征张量中的某一项对应的所述二维空间信息熵下降至所述门控极小值阈值及以下时,所述内存管理模块被配置为发出硬件级中断信号;响应于该硬件级中断信号,所述内存管理模块越过软件调用层向存储该项所述底层特征张量的所述高速缓存区地址段内写入由纯零元素组成的张量掩码。

10.一种基于多源数据融合的生物特征识别电子设备,其特征在于,包括处理器以及用于存储计算机控制指令的存储器;所述处理器用于读取并执行所述计算机控制指令,以实现如权利要求1至6中任一项所述的基于多源数据融合的生物特征识别方法。