基于AI深度学习的触摸屏人脸识别交互方法及装置与流程

摘要: 本技术涉及电数字数据处理领域,尤其涉及基于ai深度学习的触摸屏人脸识别交互方法及装置。背景技术:1、随着人工智能与生物识别技术的快速发展,人脸识别技术已被广泛应...
基于AI深度学习的触摸屏人脸识别交互方法及装置与流程

本技术涉及电数字数据处理领域,尤其涉及基于ai深度学习的触摸屏人脸识别交互方法及装置。

背景技术:

1、随着人工智能与生物识别技术的快速发展,人脸识别技术已被广泛应用于门禁考勤、金融支付、智能家居等诸多边缘交互场景中。为了提升用户体验,现代人脸识别终端通常配备触摸屏,以实现信息显示与人机交互的结合。

2、相关技术中,为了兼顾防伪安全与交互响应,系统通常采用多传感器协同的工作模式。即,系统在待机状态下会保持红外接近传感器或低功耗摄像头的持续运行,当检测到用户靠近时,系统被唤醒并点亮屏幕。同时开启rgb高清摄像头与深度传感器(或红外双目摄像头)采集用户的面部图像与三维深度信息,利用三维深度信息判断当前目标是否为真实活体,并在确认活体后,确认用户身份并解锁相应权限。

3、然而,在多人同框的公共环境中,当操作者触控屏幕时,系统仅依据摄像头视野内的人脸清晰度或空间距离进行被动抓取,极易将视线并未关注屏幕的旁观者面部特征作为比对对象,导致界面反馈与实际触控者的真实交互意图发生错位,身份验证准确率降低。

技术实现思路

1、本技术提供了一种基于ai深度学习的触摸屏人脸识别交互方法及装置,用于提高身份验证准确率。

2、第一方面,本技术提供了一种基于ai深度学习的触摸屏人脸识别交互方法,应用于交互终端装置,该方法包括:基于搜寻到的移动信标数据确定候选用户身份标识,并在本地存储器检索对应候选用户身份标识的候选人脸特征数据,构建候选人脸特征集;在采集到作用于触摸屏的指纹触控数据时,提取指纹特征数据,并驱动图像采集模块获取面部图像数据;基于预设的深度学习网络模型,提取面部图像数据中的当前人脸特征数据和视线落点方向;计算当前人脸特征数据与候选人脸特征集中各个候选人脸特征数据的对比相似度,根据对比相似度确定身份确认结果;基于触摸屏的屏幕有效显示区域的方位范围,计算视线落点方向的空间指向匹配度,确定意图匹配置信度;在意图匹配置信度大于预设置信度阈值且身份确认结果与指纹特征数据相符时,执行指纹触控数据对应的用户交互指令。

3、在上述实施例中,交互终端装置通过融合移动信标预筛选、指纹触控触发以及视线落点分析,将用户的物理触控行为与视觉关注焦点进行多维度的空间与时序对齐,有效排除了旁观者面部特征的干扰,提高了多用户场景下的身份验证准确率。

4、结合第一方面的一些实施例,在一些实施例中,该基于搜寻到的移动信标数据确定候选用户身份标识,并在本地存储器检索对应候选用户身份标识的候选人脸特征数据,构建候选人脸特征集的步骤,具体包括:提取移动信标数据的接收信号强度;按照接收信号强度由大至小的顺序,在移动信标数据中提取预设数量的候选用户身份标识;在本地存储器中提取候选用户身份标识对应的候选人脸特征数据,构建候选人脸特征集。

5、在上述实施例中,交互终端装置利用接收信号强度对周边设备进行距离排序,优先提取距离较近的候选用户身份标识,缩小了人脸特征数据的比对范围,降低了系统算力消耗并提升了比对效率。

6、结合第一方面的一些实施例,在一些实施例中,在本地存储器中提取候选用户身份标识对应的候选人脸特征数据,构建候选人脸特征集的步骤之后,还包括:在搜寻到新匹配的信标接入数据时,确定信标接入数据的信号接入强度;确定当前已有的移动信标数据中接收信号强度的强度中位值,计算信号接入强度和强度中位值的信号强度差值;在信号强度差值大于预设差值阈值时,提取信标接入数据对应的候选用户身份标识,并更新候选人脸特征集。

7、在上述实施例中,交互终端装置通过监测新接入信标的信号强度并与当前强度中位值进行差值计算,能够动态感知环境内人员的靠近趋势,及时更新候选人脸特征集,确保比对库的时效性与准确性。

8、结合第一方面的一些实施例,在一些实施例中,该基于触摸屏的屏幕有效显示区域的方位范围,计算视线落点方向的空间指向匹配度,确定意图匹配置信度的步骤,具体包括:在提取到多个当前人脸特征数据和对应的多个视线落点方向时,提取各个当前人脸特征数据在面部图像数据中的人脸成像面积;选取人脸成像面积最大的当前人脸特征数据作为主控人脸,并提取主控人脸对应的目标视线落点方向;基于图像采集模块的安装位置与触摸屏的屏幕有效显示区域的边界坐标,构建屏幕有效显示区域对应的空间方位角度范围;在目标视线落点方向处于空间方位角度范围内时,结合预设容差阈值计算目标视线落点方向对应的意图匹配置信度。

9、在上述实施例中,交互终端装置在多人同框时利用人脸成像面积筛选主控人脸,并结合屏幕空间方位角度范围验证视线落点,准确锁定了真实操作者的交互意图,避免了系统对非操作者人脸的误识别。

10、结合第一方面的一些实施例,在一些实施例中,在结合预设容差阈值计算目标视线落点方向对应的意图匹配置信度的步骤之前,该方法还包括:提取指纹触控数据的触控持续时间和触控接触面积;在触控持续时间大于预设时间阈值,或触控接触面积大于预设面积阈值时,增大预设容差阈值至预设宽容度阈值。

11、在上述实施例中,交互终端装置依据触控持续时间或触控接触面积动态调整视线落点的容差阈值,适应了用户在不同操作姿态或长时间按压下的视线偏移情况,提升了交互过程的连贯性与用户体验。

12、结合第一方面的一些实施例,在一些实施例中,该结合预设容差阈值计算目标视线落点方向对应的意图匹配置信度的步骤,具体包括:提取指纹触控数据的触控持续时间内,该图像采集模块连续采集的多帧面部图像数据对应的多个目标视线落点方向,构建视线方向时序序列;计算视线方向时序序列中相邻帧的目标视线落点方向的方向偏转角,计算各个方向偏转角的均值作为视线稳定指数;计算当前帧的目标视线落点方向与指纹触控数据对应的屏幕触控坐标所在方位之间的方位角偏差;对方位角偏差和视线稳定指数进行加权计算,并结合预设容差阈值确定计算结果的意图匹配置信度。

13、在上述实施例中,交互终端装置引入视线方向时序序列与视线稳定指数,结合方位角偏差进行加权计算,量化了用户视线在触控期间的稳定性与指向精准度,进一步增强了意图判断的严谨性。

14、结合第一方面的一些实施例,在一些实施例中,在意图匹配置信度大于预设置信度阈值且身份确认结果与指纹特征数据相符时,执行指纹触控数据对应的用户交互指令的步骤,具体包括:在意图匹配置信度大于预设置信度阈值时,确定指纹特征数据对应的指纹注册标识,以及身份确认结果对应的人脸注册标识;在指纹注册标识与人脸注册标识不一致时,计算对比相似度中最高相似度与次高相似度之间的相似度余量值;在相似度余量值小于预设余量阈值时,保持触摸屏的当前显示画面并重新驱动图像采集模块获取面部图像数据。

15、在上述实施例中,交互终端装置在指纹与人脸标识不一致时,通过分析相似度余量值判断是否存在相似人脸误判风险,并在风险较高时触发重新采集机制,保障了系统在复杂光照或相似面貌条件下的验证安全性。

16、第二方面,本技术实施方式提供了一种交互终端装置,该交互终端装置包括:一个或多个处理器和存储器;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该交互终端装置执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

17、第三方面,本技术实施方式提供一种计算机可读存储介质,包括指令,当上述指令在交互终端装置上运行时,使得上述交互终端装置执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

18、第四方面,本技术实施方式提供一种包含指令的计算机程序产品,当上述计算机程序产品在交互终端装置上运行时,使得上述交互终端装置执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

19、可以理解地,上述第二方面提供的交互终端装置,第三方面提供的计算机存储介质和第四方面提供的计算机程序产品均用于执行本技术实施方式所提供的方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。

20、本技术实施方式中提供的一个或多个技术方案,至少具有如下技术效果或优点:

21、1、由于采用了基于搜寻到的移动信标数据构建候选人脸特征集,并在采集到指纹触控数据时结合视线落点方向进行身份确认与意图匹配的技术手段,所以实现了物理触控与视觉注意力的多维特征对齐,有效解决了现有技术中多人同框场景下易误识别旁观者面部特征的问题,进而实现了身份验证准确率的提升。

22、2、由于采用了依据移动信标数据的接收信号强度排序并提取预设数量的候选用户身份标识构建候选人脸特征集的技术手段,所以实现了比对底库的动态缩减与精准定位,有效解决了现有技术中全局人脸库检索导致的算力冗余与响应延迟问题,进而实现了验证效率与系统资源利用率的优化。

23、3、由于采用了基于人脸成像面积选取主控人脸并结合屏幕有效显示区域构建空间方位角度范围计算意图匹配置信度的技术手段,所以实现了对真实操作者空间位置与交互意图的精准锁定,有效解决了现有技术中仅依靠人脸清晰度进行被动抓取导致的交互错位问题,进而实现了复杂环境下的高可靠性人机交互。