一种多模态大模型的端云协同Web端人脸认证方法及系统与流程

摘要: 本发明属于人脸识别,具体涉及一种多模态大模型的端云协同web端人脸认证方法及系统。背景技术:1、在活动营销h5场景中,轻量化、高便捷性是核心诉求,但当前普遍面临...
一种多模态大模型的端云协同Web端人脸认证方法及系统与流程

本发明属于人脸识别,具体涉及一种多模态大模型的端云协同web端人脸认证方法及系统。

背景技术:

1、在活动营销h5场景中,轻量化、高便捷性是核心诉求,但当前普遍面临着严峻的作弊问题,即这类h5通常依托网页端快速传播,无需复杂安装流程,却因缺乏有效的身份核验机制,成为刷票、恶意抢购、机器人作弊、身份冒用等违规行为的重灾区;例如,投票类h5中存在批量注册账号重复投票的情况,限时抢购h5中使用机器人脚本抢占优惠资源,抽奖类h5中通过批量机器注册账户参与抽取奖励等,这些作弊行为不仅严重破坏了活动的公平性,损害了合规用户的权益,还导致企业营销成本浪费、数据失真,影响营销活动的预期效果与品牌公信力。

2、目前,现有认证方案难以适配活动营销h5的轻量化需求,其中,传统密码认证安全性不足且易被冒用,常见的人机验证码(如滑动验证、字符识别验证等)存在明显安全短板,其验证逻辑和特征易被破解,各类自动化脚本可通过图像识别、模拟操作等手段绕过验证,无法有效阻挡作弊,同时,简单的人机验证也易被恶意攻击者批量突破,难以形成持续有效的防护。

3、虽然目前已经将人脸验证应用于h5端,但其单独的人脸认证多依赖纯云端计算,存在网络传输延迟、云端算力压力大的问题,影响了用户的操作体验;而复杂的多因子认证又会增加用户操作门槛,降低活动参与率;同时,针对h5场景的活体检测与防伪造能力较为薄弱,难以有效抵御照片、视频翻拍等欺诈手段。

4、由此,基于前述不足,亟需提供一种适配活动营销h5轻量化特性,兼顾高效性、安全性与低门槛的用户认证方案,从而在快速完成用户身份核验的同时,来有效防范各类作弊行为。

技术实现思路

1、本发明的目的是提供一种多模态大模型的端云协同web端人脸认证方法及系统,用以解决现有技术所存在的网络传输延迟大、云端算力压力大的问题,多因子认证会增加用户操作门槛,降低活动参与率的问题,以及活体检测与防伪造能力较为薄弱的问题。

2、为了实现上述目的,本发明采用以下技术方案:

3、第一方面,提供了一种多模态大模型的端云协同web端人脸认证方法,包括:

4、web端唤起设备摄像头采集用户的人脸图像,并对人脸图像进行人脸检测,以在检测到人脸图像中存在人脸后,存储所述人脸图像;

5、web端输出动作检测指令,以提示用户执行动作检测指令对应的检测动作,并通过设备摄像头采集检测动作对应的人脸动作图像,以便对所述人脸动作图像进行活体检测,以在活体检测通过后,存储所述人脸动作图像;

6、web端对所述人脸图像和所述人脸动作图像进行翻拍检测,并在翻拍检测通过后,将所述人脸图像和所述人脸动作图像传输至云端;

7、云端对人脸图像和人脸动作图像进行特征提取,以生成所述用户的唯一人脸特征;

8、云端基于所述唯一人脸特征,在已有人脸特征库中进行人脸特征匹配,并在判断出已有人脸特征库中存在有与所述唯一人脸特征相匹配的已有人脸特征后,对人脸图像和人脸动作图像进行同人与伪造检测,以在通过同人与伪造检测后,判定所述用户为有效用户。

9、基于上述公开的内容,本发明通过端云协同架构,在web端本地完成人脸检测、活体检测及翻拍检测,如此,则大幅减少了无效数据传输与云端计算压力,显著降低了网络延迟,从而保障了用户在h5活动中的流畅操作体验;同时,仅将通过初步校验的图像上传云端进行深度特征提取与匹配,可实现轻量化与高效性的统一;进一步的,在安全性方面,本发明融合动作指令活体检测与云端同人与伪造检测,形成端云两级防护机制,即:端侧实时拦截照片、视频等静态翻拍攻击,云端依托特征提取,来与已有人脸进行特征匹配,并结合同人与伪造检测,来精准识别换脸、面具等深度伪造手段,基于此,可有效抵御机器人脚本、批量注册及身份冒用等作弊行为。由此,本发明在无需增加用户复杂操作的前提下,兼顾了高安全性与低参与门槛,从而满足了活动营销h5轻量化的使用需求,可在快速完成用户身份核验的同时,有效防范各类作弊行为,因此,非常适用于大规模应用与推广。

10、在一个可能的设计中,所述人脸动作图像包括:人脸张嘴图像和人脸眨眼图像,其中,对所述人脸动作图像进行活体检测,包括:

11、对所述人脸张嘴图像和所述人脸眨眼图像进行面部关键点检测,以分别得到嘴部关键点和眼睛关键点;

12、基于所述嘴部关键点,计算出所述人脸张嘴图像中用户的嘴巴开合度;

13、根据所述眼睛关键点,计算出人脸眨眼图像中用户的两只眼睛的宽度与高度的比值;

14、判断所述嘴巴开合度是否大于开合度阈值,以及两只眼睛的宽度与高度的比值是否均小于固定宽高比;

15、若是,则判定用户通过活体检测,存储所述人脸张嘴图像和所述人脸眨眼图像。

16、在一个可能的设计中,所述嘴部关键点包括:下唇关键点、上唇关键点、鼻尖关键点和鼻根关键点,其中,所述眼睛关键点包括左眼关键点和右眼关键点,且所述左眼关键点包括左眼内眼角关键点、左眼外眼角关键点、左眼上侧左端点、左眼上侧右端点、左眼下侧右端点和左眼下侧左端点;

17、其中,基于所述嘴部关键点,计算出所述人脸张嘴图像中用户的嘴巴开合度,包括:

18、根据所述下唇关键点、所述上唇关键点、所述鼻尖关键点和所述鼻根关键点,并按照如下公式,计算出所述嘴巴开合度;

19、;

20、式中,表示所述嘴巴开合度,表示所述下唇关键点的纵坐标,表示所述上唇关键点的纵坐标,和分别表示鼻尖关键点的横坐标和纵坐标,和分别表示鼻根关键点的横坐标和纵坐标;

21、相应的,根据所述眼睛关键点,计算出人脸眨眼图像中用户的两只眼睛的宽度与高度的比值,则包括:

22、对于所述人脸眨眼图像中的用户的左眼,根据左眼内眼角关键点、左眼外眼角关键点、左眼上侧左端点、左眼上侧右端点、左眼下侧右端点和左眼下侧左端点,并按照如下公式,计算出左眼的宽度与高度的比值;

23、;

24、式中,ear表示左眼的宽度与高度的比值,表示左眼上侧左端点的坐标,表示左眼下侧左端点的坐标,表示左眼上侧右端点的坐标,表示左眼下侧右端点的坐标,表示左眼内眼角关键点的坐标,表示左眼外眼角关键点的坐标。

25、在一个可能的设计中,web端对所述人脸图像和所述人脸动作图像进行翻拍检测,包括:

26、将人脸图像和人脸动作图像进行灰度转换,得到第一灰度图像和第二灰度图像;

27、对所述第一灰度图像和所述第二灰度图像中的每一行进行一维快速傅里叶变换,以分别得到第一中间结果矩阵和第二中间结果矩阵;

28、对所述第一中间结果矩阵和所述第二中间结果矩阵中的每一列进行一维快速傅里叶变换,分别得到第一复数矩阵和第二复数矩阵,其中,所述第一复数矩阵用于表示第一灰度图像在频域中的分布,且所述第二复数矩阵用于表示第二灰度图像在频域中的分布;

29、基于所述第一复数矩阵,计算出所述第一灰度图像的频谱幅值,以及基于所述第二复数矩阵,计算出所述第二灰度图像的频谱幅值;

30、根据所述第一灰度图像和所述第二灰度图像的频谱幅值,判断所述人脸图像和所述人脸动作图像中是否存在摩尔纹;

31、若否,则确定出所述人脸图像和所述人脸动作图像为非翻拍图像,判定所述人脸图像和所述人脸动作图像通过翻拍检测。

32、在一个可能的设计中,云端对人脸图像和人脸动作图像进行特征提取,以生成所述用户的唯一人脸特征,包括:

33、对所述人脸图像和所述人脸动作图像进行单一人脸检测,以从所述人脸图像和所述人脸动作图像中,提取出有效人脸图;

34、对各个有效人脸图进行仿射变换,得到各个对齐人脸图,并将各个对齐人脸图裁剪为预设尺寸,得到若干标准人脸图;

35、对各个标准人脸图进行灰度归一化以及噪声去除处理,得到若干处理后人脸图;

36、对各个处理后人脸图进行深度特征提取,得到各个处理后人脸图的深度特征向量,其中,任一深度特征向量用于表征对应人脸的骨骼结构与纹理信息;

37、从若干处理后人脸图中,筛选出属于人脸动作图像的处理后人脸图,以作为第一目标图像,并将剩余的处理后人脸图,作为第二目标图像;

38、提取出第一目标图像的人脸动态特征向量,并对第一目标图像的人脸动态特征向量和深度特征向量进行特征融合,得到第一目标图像的最终特征向量;

39、基于所述第一目标图像的最终特征向量以及所述第二目标图像的深度特征向量,生成所述用户的人脸综合特征向量;

40、对所述人脸综合特征向量进行哈希加密,以生成所述用户的唯一人脸特征。

41、在一个可能的设计中,对人脸图像和人脸动作图像进行同人与伪造检测,包括:

42、对各处理后人脸图进行同人校验,以判断各处理后人脸图中的人脸是否属于同一用户;

43、若是,则计算出各个处理后人脸图的关键比例参数,其中,所述关键比例参数包括两眼间距与脸宽比例参数、鼻高与脸高比例参数以及唇厚与嘴宽比例参数;

44、将各个处理后人脸图的关键比例参数与各自对应的真实比例参数进行对比,得到各个处理后人脸图的关键比例参数的偏差置信度;

45、判断各个处理后人脸图的关键比例参数的偏差置信度是否均小于置信度阈值;

46、若是,则确定出各处理后人脸图为非伪造图像,判定所述用户为有效用户。

47、在一个可能的设计中,对各处理后人脸图进行同人校验,以判断各处理后人脸图中的人脸是否属于同一用户,包括:

48、对各个处理后人脸图进行两两配对,得到若干人脸对;

49、对于若干人脸对中的任一人脸对,计算出所述任一人脸对中的两处理后人脸图的深度特征向量之间的相似度,并在将所有人脸对均遍历完毕后,得到若干相似度;

50、提取出各个处理后人脸图的人脸属性特征;

51、若各个人脸属性特征相同,且所有相似度均大于等于相似度阈值,则判定各个处理后人脸图中的人脸属于同一用户。

52、在一个可能的设计中,将各个处理后人脸图的关键比例参数与各自对应的真实比例参数进行对比,得到各个处理后人脸图的关键比例参数的偏差置信度,包括:

53、对于任一处理后人脸图的关键比例参数,按照如下公式,计算出所述任一处理后人脸图的关键比例参数的偏差置信度;

54、;

55、式中,表示所述任一处理后人脸图的关键比例参数中的第i个比例参数的偏差置信度,表示第i个比例参数对应的真实比例参数,分别表示第i个比例参数对应的比例下限和比例上限,其中,i=1,2,3。

56、在一个可能的设计中,在判定所述用户为有效用户后,所述方法还包括:

57、对所述人脸图像和所述人脸动作图像进行加密处理,得到加密图像;

58、获取人脸识别数据,其中,所述人脸识别数据包括同人与伪造检测结果;

59、将所述唯一人脸特征与加密图像进行关联,并在关联后存储至文件存储服务器,其中,所述唯一人脸特征作为加密图像在文件存储服务器中的查找索引;以及

60、根据与所述唯一人脸特征相匹配的已有人脸特征,确定出用户id,并将用户id与所述人脸识别数据存储至mysql数据库,以在存储后,完成所述用户的人脸认证结果的数据存储。

61、第二方面,提供了一种多模态大模型的端云协同web端人脸认证系统,包括:

62、web端,用于唤起设备摄像头采集用户的人脸图像,并对人脸图像进行人脸检测,以在检测到人脸图像中存在人脸后,存储所述人脸图像;

63、web端,用于输出动作检测指令,以提示用户执行动作检测指令对应的检测动作,并通过设备摄像头采集检测动作对应的人脸动作图像,以便对所述人脸动作图像进行活体检测,以在活体检测通过后,存储所述人脸动作图像;

64、web端,还用于对所述人脸图像和所述人脸动作图像进行翻拍检测,并在翻拍检测通过后,将所述人脸图像和所述人脸动作图像传输至云端;

65、云端,用于对人脸图像和人脸动作图像进行特征提取,以生成所述用户的唯一人脸特征;

66、云端,还用于基于所述唯一人脸特征,在已有人脸特征库中进行人脸特征匹配,并在判断出已有人脸特征库中存在有与所述唯一人脸特征相匹配的已有人脸特征后,对人脸图像和人脸动作图像进行同人与伪造检测,以在通过同人与伪造检测后,判定所述用户为有效用户。

67、第三方面,提供了一种多模态大模型的端云协同web端人脸认证装置,以装置为电子设备为例,包括依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如第一方面或第一方面中任意一种可能设计的所述多模态大模型的端云协同web端人脸认证方法。

68、第四方面,提供了一种存储介质,所述存储介质上存储有指令,当所述指令在计算机上运行时,执行如第一方面或第一方面中任意一种可能设计的所述多模态大模型的端云协同web端人脸认证方法。

69、第五方面,提供了一种包含指令的计算机程序产品,当指令在计算机上运行时,使所述计算机执行如第一方面或第一方面中任意一种可能设计的所述多模态大模型的端云协同web端人脸认证方法。

70、有益效果:

71、(1)本发明依托web端完成人脸数据预处理与初步检测,结合云端多模态大模型的深度验证能力,在降低云端算力压力、保障认证响应速度的同时,精准核验用户身份真实性,从而从源头防范活动营销h5中常见的刷票、机器人作弊、身份冒用等违规行为。

72、(2)本发明简化了用户操作流程,无需额外安装应用,仅通过浏览器唤起摄像头即可完成人脸采集、活体检测(张嘴、眨眼等动作验证)与防翻拍检测,降低用户参与门槛,保障了活动参与率。

73、(3)本发明通过端云协同架构与多模态特征融合技术,提升了活体检测与防伪造精度,可有效抵御照片、视频翻拍等欺诈手段,确保了认证结果的可靠性。

74、(4)本发明实现了认证数据的用户隐私安全存储与高效匹配,可为已注册用户提供毫秒级身份校验,兼顾活动营销的灵活性与安全性,最终保障活动公平性、提升数据可信度,维护了企业与合规用户的双重权益。