基于眼动与微手势联合分析的真伪行为判别方法及系统

摘要: 本发明涉及计算机视觉,尤其涉及基于眼动与微手势联合分析的真伪行为判别方法及系统。背景技术:1、目前,基于视觉的真伪行为判别技术大多依赖眼动或手势等单一模态的生物...
基于眼动与微手势联合分析的真伪行为判别方法及系统

本发明涉及计算机视觉,尤其涉及基于眼动与微手势联合分析的真伪行为判别方法及系统。

背景技术:

1、目前,基于视觉的真伪行为判别技术大多依赖眼动或手势等单一模态的生物特征进行分析,忽略了真实行为中眼动与手势之间固有的时空协同耦合关系,导致特征表达不完整,判别准确率和鲁棒性难以满足实际应用需求。

2、例如,眼动追踪易受微跳视等无意识动作干扰,产生“midas touch”问题;微手势识别则因动作幅度小、持续时间短而难以提取稳定特征。当尝试融合眼动与手势时,手部遮挡又常导致眼动跟踪失败,现有方法普遍缺乏对二者协同关系的有效建模,融合效果不佳。

3、因此,现有技术缺乏对眼动与微手势在时间同步性与空间耦合性上的系统量化分析手段,亟须一种联合时空协同特征的真伪行为判别方法,以克服单一模态的局限性,提高判别的准确性和可靠性。

技术实现思路

1、本发明提供基于眼动与微手势联合分析的真伪行为判别方法及系统,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供的基于眼动与微手势联合分析的真伪行为判别方法,包括:

3、s1.获取目标对象在预设刺激呈现过程中的面部视频数据和手部视频数据;

4、s2.解析所述面部视频数据和所述手部视频数据,以分离出眼部运动时序数据、注视空间分布特征、手部运动时序数据和手部运动轨迹特征;

5、s3.对所述眼部运动时序数据和所述手部运动时序数据进行相位重构,构建眼动相位序列和手势相位序列;

6、s4.将所述眼动相位序列和所述手势相位序列进行时序相位差分,得到相位差异序列,并对所述相位差异序列的波动幅值和波动频次进行相干性统计分析,得到眼手时间协同指数;

7、s5.通过所述注视空间分布特征和所述手部运动轨迹特征,划定视觉关注区域与手部作用区域,并对所述视觉关注区域与所述手部作用区域之间的空间重叠度进行交并比量化评估,得到眼手空间协同指数;

8、s6.将所述眼手时间协同指数和所述眼手空间协同指数进行特征间关联编码,并根据联合特征编码结果与预设的参考特征向量之间的结构相似性度量,输出所述目标对象的真伪行为判别结果。

9、优选地,获取目标对象在预设刺激呈现过程中的面部视频数据和手部视频数据,包括:

10、向目标对象呈现预设刺激序列,并以同步触发方式启动目标对象的面部图像采集和手部图像采集;

11、在预设采集时长内,采集所述目标对象的面部图像数据和手部图像数据;

12、对所述面部图像数据和所述手部图像数据进行区域裁剪,得到所述面部视频数据和所述手部视频数据。

13、优选地,解析所述面部视频数据和所述手部视频数据,以分离出眼部运动时序数据、注视空间分布特征、手部运动时序数据和手部运动轨迹特征,包括:

14、对所述面部视频数据中的每一帧面部图像进行面部区域定位,在定位出的面部区域内检测眼部图像区域;

15、追踪所述眼部图像区域内瞳孔坐标变化,得到所述眼部运动时序数据,并统计所述瞳孔的坐标位置在所述面部区域内的位置分布,生成所述注视空间分布特征;

16、对所述手部视频数据中的每一帧手部图像进行手部区域定位,在定位出的手部区域内检测手部关键点位置;

17、追踪所述手部关键点位置在所述手部区域的坐标变化,生成所述手部运动时序数据,并根据所述手部关键点位置的空间坐标分布,得到所述手部运动轨迹特征。

18、优选地,对所述眼部运动时序数据和所述手部运动时序数据进行相位重构,构建眼动相位序列和手势相位序列,包括:

19、对所述眼部运动时序数据和所述手部运动时序数据进行归一化处理,得到归一化眼部时序数据和归一化手部时序数据;

20、对所述归一化眼部时序数据和所述归一化手部时序数据进行带通滤波,提取出眼部频带信号和手部频带信号;

21、对所述眼部频带信号和所述手部频带信号进行希尔伯特变换,得到眼部瞬时相位值和手部瞬时相位值;

22、在时间维度,将所述眼部瞬时相位值和所述手部瞬时相位值进行序列化重构,构建所述眼动相位序列和所述手势相位序列。

23、优选地,将所述眼动相位序列和所述手势相位序列进行时序相位差分,得到相位差异序列,并对所述相位差异序列的波动幅值和波动频次进行相干性统计分析,得到眼手时间协同指数,包括:

24、在共同时间轴上,将所述眼动相位序列和所述手势相位序列进行时序对齐,得到对齐眼动相位序列和对齐手势相位序列;

25、将所述对齐眼动相位序列和所述对齐手势相位序列在同一时刻的相位值进行差值运算,得到初步相位差异序列;

26、对所述初步相位差异序列进行相位解缠绕,得到相位差异序列;

27、对所述相位差异序列进行滑动窗口分割,分别提取每个窗口内的幅值极差和过零频次,得到幅值波动序列和频次波动序列;

28、将所述幅值波动序列和所述频次波动序列进行相干性加权融合,得到所述眼手时间协同指数。

29、优选地,通过所述注视空间分布特征和所述手部运动轨迹特征,划定视觉关注区域与手部作用区域,包括:

30、获取所述注视空间分布特征中的注视点坐标序列,对所述注视点坐标序列进行空间聚类,得到注视点簇;

31、对所述注视点簇进行凸包边界提取,得到注视凸包区域,并对所述注视凸包区域进行区域合并与边界平滑,得到所述视觉关注区域;

32、获取所述手部运动轨迹特征中的轨迹点序列,对所述轨迹点序列进行轨迹平滑和等距插值,得到连续手部轨迹线;

33、通过所述连续手部轨迹线上各点处的局部曲率,对所述连续手部轨迹线进行非均匀膨胀扩展,生成手部轨迹覆盖带;

34、对所述手部轨迹覆盖带进行边界闭合与空洞填充,得到所述手部作用区域。

35、优选地,对所述视觉关注区域与所述手部作用区域之间的空间重叠度进行交并比量化评估,得到眼手空间协同指数,包括:

36、将所述视觉关注区域和所述手部作用区域分别投影至同一空间分辨率的二维网格上,生成第一二值掩膜和第二二值掩膜;

37、对所述第一二值掩膜和所述第二二值掩膜进行逐格逻辑与运算,得到交集掩膜,统计所述交集掩膜中有效网格的数量,得到重叠面积表征值;

38、对所述第一二值掩膜和所述第二二值掩膜进行逐格逻辑或运算,得到并集掩膜,统计所述并集掩膜中有效网格的数量,得到总覆盖面积表征值;

39、对所述重叠面积表征值与所述总覆盖面积表征值进行比值运算,得到空间重叠度;

40、计算所述视觉关注区域的第一区域边界与所述手部作用区域的第二区域边界之间的平均欧氏距离,作为边界贴近度;

41、将所述空间重叠度与所述边界贴近度进行数据耦合,得到所述眼手空间协同指数。

42、优选地,将所述眼手时间协同指数和所述眼手空间协同指数进行特征间关联编码,包括:

43、对所述眼手时间协同指数进行时序维度扩展,生成与所述眼手空间协同指数维度对齐的时间扩展向量;

44、将所述时间扩展向量与所述眼手空间协同指数进行向量拼接,生成初始联合特征向量;

45、对所述初始联合特征向量进行量纲归一化,得到归一化联合特征向量;

46、提取所述归一化联合特征向量中各维度的局部统计特征,并对所述局部统计特征进行非线性映射,生成增强联合特征向量;

47、将所述归一化联合特征向量与所述增强联合特征向量进行残差连接融合,得到联合特征编码结果。

48、优选地,根据联合特征编码结果与预设的参考特征向量之间的结构相似性度量,输出所述目标对象的真伪行为判别结果,包括:

49、调取预设的参考特征向量,所述参考特征向量为基于已知真伪类别的样本数据预先构建的特征模板;

50、对所述联合特征编码结果与所述参考特征向量进行维度差解析,得到差异度向量;

51、对所述差异度向量进行全局聚合,得到所述联合特征编码结果与所述预设参考特征向量之间的结构相似性度量值;

52、将所述结构相似性度量值与预设的判别阈值进行比较,判定所述联合特征编码结果与所述预设参考特征向量的匹配程度;

53、根据所述匹配程度,输出所述目标对象的真伪行为判别结果;

54、当所述匹配程度达到所述判别阈值时,判定所述目标对象的动作为真实行为;

55、当所述匹配程度未达到所述判别阈值时,判定所述目标对象的动作为伪造行为。

56、为了解决上述问题,本发明还提供基于眼动与微手势联合分析的真伪行为判别系统,所述系统包括:

57、数据采集模块,用于获取目标对象在预设刺激呈现过程中的面部视频数据和手部视频数据;

58、特征提取模块,用于解析所述面部视频数据和所述手部视频数据,以分离出眼部运动时序数据、注视空间分布特征、手部运动时序数据和手部运动轨迹特征;

59、相位重构模块,用于对所述眼部运动时序数据和所述手部运动时序数据进行相位重构,构建眼动相位序列和手势相位序列;

60、时序分析模块,用于将所述眼动相位序列和所述手势相位序列进行时序相位差分,得到相位差异序列,并对所述相位差异序列的波动幅值和波动频次进行相干性统计分析,得到眼手时间协同指数;

61、空间量化模块,用于通过所述注视空间分布特征和所述手部运动轨迹特征,划定视觉关注区域与手部作用区域,并对所述视觉关注区域与所述手部作用区域之间的空间重叠度进行交并比量化评估,得到眼手空间协同指数;

62、真伪判别模块,用于将所述眼手时间协同指数和所述眼手空间协同指数进行特征间关联编码,并根据联合特征编码结果与预设的参考特征向量之间的结构相似性度量,输出所述目标对象的真伪行为判别结果。

63、与现有技术相比,本发明具有以下有益效果:

64、本发明通过构建眼动相位序列和手势相位序列并进行时序相位差分,能够量化分析眼动与手势在时间维度上的相位同步性,同时通过划定视觉关注区域与手部作用区域并进行空间重叠度评估,实现了对眼手协同在空间维度上的精确量化。基于时间与空间双重视角的联合分析,充分挖掘了真实行为中眼动与手势之间的内在协同耦合信息,为真伪行为判别提供了更为丰富和全面的特征依据。

65、本发明通过将眼手时间协同指数与空间协同指数进行特征间关联编码,并通过与预设参考特征向量的结构相似性度量进行判别,能够有效提升对真实行为与伪造行为的区分能力。联合特征编码方式增强了不同维度协同信息之间的互补性,使得判别结果具有更高的稳定性和一致性,显著提升了真伪行为判别的整体效果和可靠性。