一种基于多源特征耦合的智能锁指纹识别方法及系统与流程

本发明涉及智能锁识别，更具体地说，本发明涉及一种基于多源特征耦合的智能锁指纹识别方法及系统。

背景技术：

1、随着智能锁在住宅、办公及智慧安防等场景中的广泛应用，指纹识别、人脸识别等生物特征识别技术已成为智能锁身份认证的主要方式。现有智能锁通常采用指纹特征和人脸特征分别匹配、综合判定的方式完成身份验证，其主要关注各生物特征是否与注册模板一致，并在身份验证通过后直接执行开锁操作。

2、然而，现有技术大多采用静态模板比对方式，仅对单一生物特征进行独立匹配，缺少对指纹特征与人脸特征之间关联关系的分析，无法从整体结构层面对跨模态身份信息的一致性进行验证。当局部特征发生变化或不同模态之间的对应关系发生异常时，难以准确识别身份关联结构的变化，容易影响身份验证的可靠性。

3、此外，现有智能锁通常仅验证是否为本人，缺少对用户当前操作状态的判断能力。即使身份验证通过，也无法识别用户是否处于受胁迫等非自主操作状态。部分方案虽然引入压力变化或人脸表情等辅助信息，但多采用各特征独立分析或简单组合的方式，未能建立不同生物特征之间的耦合分析机制，对按压过程中的异常抖动特征及人脸紧张状态的综合利用不足，导致难以有效区分正常开锁与胁迫开锁场景，影响智能锁的整体安全防护能力。

4、鉴于此，本发明提出一种基于多源特征耦合的智能锁指纹识别方法以解决上述问题。

技术实现思路

1、为了克服现有技术的上述缺陷，为实现上述目的，本发明提供如下技术方案：一种基于多源特征耦合的智能锁指纹识别方法，包括：

2、s1、采集指纹按压信号，根据指纹按压过程中的力度变化特征确定统一触发时刻，并在对应的时刻窗口内采集人脸图像信号，建立身份触发序列；

3、s2、分别提取指纹细节特征点与人脸关键特征点，根据身份触发序列及各特征点的空间位置分布，构建指纹细节特征点与人脸关键特征点之间的跨模态映射关系；

4、s3、以指纹细节特征点与人脸关键特征点为节点、以跨模态映射关系为连接边，构建耦合特征图谱，并将耦合特征图谱存储为注册模板；

5、s4、根据耦合特征图谱调用注册模板，沿连接边逐层传播耦合状态，并执行状态翻转检测，根据状态翻转后的传播覆盖节点比例得到身份验证结果；

6、s5、调用身份验证结果，获取指纹按压信号的高频抖动能量与人脸关键特征点的坐标偏移量，进行耦合运算得到胁迫评分；在身份验证通过且胁迫评分达到预设评分阈值时，判定为胁迫开锁并触发静默告警，否则正常开锁。

7、优选地，所述确定统一触发时刻的方法包括：

8、连续采集指纹按压过程中的按压力度信号，按照采集时间顺序生成按压力度变化序列；计算相邻采样时刻之间的按压力度变化量，并根据预设时间窗口内按压力度累计变化值，确定按压稳定状态；当按压力度达到预设按压力度且按压力度累计变化值小于等于预设累计变化值阈值时，将对应采样时刻确定为统一触发时刻，并以统一触发时刻作为人脸图像采集的时间基准。

9、优选地，所述建立身份触发序列的方法包括：

10、以统一触发时刻作为时间基准建立对应的时刻窗口，在时刻窗口内连续采集人脸图像信号，按照各人脸图像信号对应的采集时刻进行时间排序，生成人脸图像序列；将统一触发时刻对应的指纹按压信号与人脸图像序列进行时间关联，并赋予相同的身份标识，建立身份触发序列。

11、优选地，所述跨模态映射关系的构建方法包括：

12、根据身份触发序列获取对应的指纹按压信号及人脸图像信号，分别提取指纹按压信号中的指纹细节特征点和人脸图像信号中的人脸关键特征点；获取各指纹细节特征点和各人脸关键特征点对应的空间位置参数，根据空间位置参数确定不同特征点之间的位置关联关系，并结合身份触发序列中的时间对应关系，对满足关联条件的指纹细节特征点与人脸关键特征点进行映射连接，生成跨模态映射关系。

13、优选地，所述构建耦合特征图谱的方法包括：

14、将指纹细节特征点和人脸关键特征点分别作为图谱节点，并根据各节点对应的特征属性信息生成节点集合；将跨模态映射关系转换为指纹细节特征点节点与人脸关键特征点节点之间的连接边，生成连接边集合；根据节点集合和连接边集合构建耦合特征图谱，并对耦合特征图谱中的节点信息、连接边信息及对应耦合状态信息进行关联存储，生成注册模板。

15、优选地，所述执行状态翻转检测的方法包括：

16、获取实时采集的指纹按压信号和人脸图像信号对应的实时耦合特征图谱，调用注册模板中的节点信息、连接边信息及耦合状态信息，将实时耦合特征图谱与注册模板进行关联；

17、以注册模板中的耦合状态作为初始传播状态，沿连接边方向对节点耦合状态进行逐层传播，并根据传播后的节点状态更新对应连接边状态；将实时耦合特征图谱中的连接边状态与注册模板中的对应连接边状态进行比较，对连接边执行状态翻转检测，得到对应连接边的状态翻转结果。

18、优选地，所述得到身份验证结果的方法包括：

19、根据连接边的状态翻转结果确定受状态翻转影响的节点集合，并统计节点集合在耦合特征图谱中的节点覆盖范围；计算状态翻转传播覆盖节点比例，将状态翻转传播覆盖节点比例与预设传播覆盖节点比例阈值进行比较；

20、当状态翻转传播覆盖节点比例小于预设传播覆盖节点比例阈值时，判定身份验证通过；当状态翻转传播覆盖节点比例大于等于预设传播覆盖节点比例阈值时，判定身份验证未通过。

21、优选地，所述进行耦合运算得到胁迫评分的方法包括：

22、调用身份验证过程中采集的指纹按压信号和人脸图像信号，根据指纹按压信号中的力度变化特征提取预设频率范围内的高频抖动能量；根据人脸图像信号获取与紧张状态关联的人脸关键特征点，并计算人脸关键特征点相对于注册模板中对应人脸关键特征点的坐标偏移量；对高频抖动能量与坐标偏移量进行归一化并进行加权耦合运算，生成对应的胁迫评分。

23、优选地，所述判定为胁迫开锁并触发静默告警的方法包括：

24、获取身份验证结果及对应的胁迫评分，将胁迫评分与预设评分阈值进行比较；当身份验证结果为验证通过且胁迫评分达到预设评分阈值时，判定当前操作为胁迫开锁状态，控制智能锁执行开锁动作并同步触发静默告警；

25、当身份验证结果为验证通过且胁迫评分未达到预设评分阈值时，判定当前操作为正常开锁状态，控制智能锁执行正常开锁；当身份验证结果为验证未通过时，保持智能锁锁定状态。

26、一种基于多源特征耦合的智能锁指纹识别系统，包括：

27、特征采集模块，用于采集指纹按压信号，根据指纹按压过程中的力度变化特征确定统一触发时刻，并在对应的时刻窗口内采集人脸图像信号，建立身份触发序列；

28、拓扑映射模块，用于分别提取指纹细节特征点与人脸关键特征点，根据身份触发序列及各特征点的空间位置分布，构建指纹细节特征点与人脸关键特征点之间的跨模态映射关系；

29、图谱构建模块，用于以指纹细节特征点与人脸关键特征点为节点、以跨模态映射关系为连接边，构建耦合特征图谱，并将耦合特征图谱存储为注册模板；

30、传播验证模块，用于根据耦合特征图谱调用注册模板，沿连接边逐层传播耦合状态，并执行状态翻转检测，根据状态翻转后的传播覆盖节点比例得到身份验证结果；

31、安防联动模块，用于调用身份验证结果，获取指纹按压信号的高频抖动能量与人脸关键特征点的坐标偏移量，进行耦合运算得到胁迫评分；在身份验证通过且胁迫评分达到预设评分阈值时，判定为胁迫开锁并触发静默告警，否则正常开锁。

32、与现有技术相比，本发明具备以下有益效果：

33、本发明通过构建耦合特征图谱，以指纹细节特征点和人脸关键特征点为节点，以跨模态映射关系为连接边，再以注册模板的耦合状态为起点，沿连接边逐层传播节点状态，让身份验证从单点比对转变为对整个跨模态特征关联结构的一致性验证。通过连接边状态更新机制，节点状态可随传播覆盖整个图谱，能反映局部特征变化对整体结构的影响，当跨模态特征对应关系改变时，还会放大关联异常，更全面验证结构一致性，提升复杂场景的识别能力。通过异或状态翻转检测判断跨模态关联关系是否变化，将关联结构变化转换为状态翻转结果，既可以验证生物特征是否一致，也能验证生物特征间关联关系是否一致，实现跨模态关联一致性的量化检测，提升对关联异常等情况的识别能力，增强智能锁身份验证的安全性与可靠性。

34、在身份验证完成后，本发明引入指纹按压行为特征与人脸状态特征的联合分析机制，对用户按压高频抖动特征与人脸关键特征点空间变化做耦合计算，不单单依据身份匹配结果判断开锁，还建立了用户操作状态综合评价机制，实现身份真实性与操作安全性的协同判断，让智能锁可以识别用户实际操作状态。通过提取按压力度变化的高频抖动特征筛选异常紧张行为，再结合人脸关键特征点相对注册状态的空间偏移，从行为和表情两个维度描述用户当前状态，让两类信息形成互补验证的耦合关系，避免单一特征受环境或个体差异影响出现判断偏差，提升胁迫状态识别的稳定性与可靠性。本发明通过加权耦合构建统一胁迫评分，把相互独立的两类异常信息转换为综合反映用户当前操作状态的评价结果，让不同异常可以在同一体系内度量，为锁控策略提供判定依据。和现有只依据身份验证结果开锁的方式相比，本发明可以有效区分合法用户正常开锁和受胁迫开锁，增强智能锁对异常开锁场景的识别能力，提升整体安全防护水平。