深度学习手部异物识别与手心手背同一人判别方法及系统与流程

本发明涉及身份验证与安全，更具体的说是涉及深度学习手部异物识别与手心手背同一人判别方法及系统。

背景技术：

1、中小学校食堂食品安全管理工作关系学生身心健康，食堂工作人员的手部晨检直接影响师生的饮食安全。通过对每餐次的手部晨检，确保参与餐饮加工的人员手部健康，从而保障食品加工制作过程的安全。

2、随着科技的发展，逐渐出现了一些智能化的系统与设备，如基于人工智能自动识别手部是否存在异物、伤疤等，并可一键上传晨检详细信息到后台系统。然而，现有的智能化系统功能相对单一，单纯强调是否具备手部异物识别功能，却对识别的效果缺乏保障机制。近年来，基于生物特征的身份核验技术逐渐应用于晨检场景，但现有技术存在明显局限性：①单模态手部识别方案（仅手心或手背）易受姿态和光照影响，且无法解决“非本人手部”的冒检行为。攻击者可使用本人的手心图像通过验证，然后替换为他人的手背进行实际操作。②现有的手心－手背一致性判别方案，多依赖肤色相似度或静脉纹理匹配。肤色特征易受食堂复杂环境光照的影响，导致误判；静脉识别则需要近红外成像设备，成本较高且对硬件有特殊要求，不利于食堂大规模部署。

3、因此，亟需一种适应食堂环境特点、成本低、防伪能力强，且具备手部异物识别功能的非接触式手心－手背同一人判别方法。

技术实现思路

1、本发明的目的是提供深度学习手部异物识别与手心手背同一人判别方法及系统，通过子图切割的深度学习异物检测以及骨骼比例特征与动态连续性验证的融合判定，实现手部异物识别与手心-手背同一人判别。

2、为实现上述目的，本发明提供如下技术方案：

3、一种深度学习手部异物识别与手心手背同一人判别方法，包括以下步骤：

4、s1、通过人脸识别验证晨检人员身份，并获取对应的身份信息；

5、s2、基于所述身份信息调取对应晨检人员预注册的手部蒙版；所述手部蒙版包括：手心蒙版和手背蒙版；

6、s3、判断检测区域是否存在手部，若是，则提取手部关键点，并判断手部关键点是否落入手心蒙版区域内；若否，则输出调整提示直至满足要求；若手部关键点落入手心蒙版区域内，则保存手心图像和手心关键点坐标；

7、s4、采集手掌在翻转过程中的连续视频帧和手背图像，同时对翻转过程的连续视频帧进行动态连续性验证；并判断手背关键点是否落入手背蒙版内，若是，则保存手背图像和手背关键点坐标；

8、s5、对保存的所述手心图像和手背图像及对应的关键点坐标进行图像预处理与切割，并对切割后的图像进行异物检测，并融合异物检测结果，得到手部异物识别结果；

9、s6、基于保存的手心和手背关键点坐标，计算手心和手背的骨骼比例特征，计算手心和手背对应骨骼比例特征的相对差值，获得骨骼比例相似度得分；

10、s7、将动态连续性验证的结果与骨骼比例相似度得分加权融合，并以动态连续性验证通过为必要条件，结合综合得分阈值，判定手心与手背是否属于同一人并输出结果。

11、进一步地，所述s2中，手部蒙版的创建过程包括：

12、分别采集手心和手背的初始图像，通过图像二值化和孔洞填充，获取纯手部区域图像；

13、采用形态学膨胀算法对所述纯手部区域进行扩展，提取扩展后纯手部区域图像的外轮廓坐标点，生成对应的手心蒙版和手背蒙版；其中所述形态学膨胀算法的膨胀阈值支持自定义调节。

14、进一步地，所述s4中，动态连续性验证的过程包括：状态序列完整性验证、时间窗口验证、空间位置连续性验证和皮肤特征连续性验证；

15、所述状态序列完整性验证，用于检测连续视频帧中是否依次出现手心状态、过渡状态和手背状态；

16、所述时间窗口验证，用于判断手心状态翻转至手背状态的时间间隔是否在预设时间阈值内；

17、所述空间位置连续性验证，用于跟踪手部区域中心点的运动轨迹，判断手部区域相邻帧的位移是否超过预设位移阈值；

18、所述皮肤特征连续性验证，用于计算相邻帧手部区域颜色直方图的余弦相似度，判断最小相似度是否低于第一预设相似度阈值或平均相似度是否低于第二预设相似度阈值。

19、进一步地，所述s5中，图像预处理与切割的过程包括：

20、对保存的所述手心图像和手背图像进行二值化和孔洞填充去除背景干扰，获取纯手部区域图像；

21、基于手心和手背关键点坐标对所述纯手部区域图像切割为6个子图；其中6个子图包括：大拇指子图、食指子图、中指子图、无名指子图、小指子图和手掌子图；

22、调用开放性目标检测算法分别识别各个子图是否存在异物，并融合各个子图的识别结果，得到手部异物识别结果。

23、进一步地，所述s6中，骨骼比例特征包括：手掌长宽比、食指相对长度比、中指相对长度比、无名指相对长度比、小指相对长度比和拇指相对长度比；

24、所述骨骼比例相似度得分的计算过程包括：计算手心侧与手背侧对应骨骼比例特征的相对差值；若所有相对差值均不超过预设差值阈值，则通过骨骼比例一致性约束，获得骨骼比例相似度得分。

25、进一步地，所述s7中，将动态连续性验证的结果与骨骼比例相似度得分加权融合的计算公式为：

26、;

27、其中，为骨骼比例相似度得分，为动态连续性验证得分，通过为1，不通过为0；为骨骼比例相似度得分；权重系数，。

28、进一步地，所述s7中，综合得分阈值支持自适应调整，具体为：

29、对于首次注册的用户，采集多组手心－手背图像对计算骨骼比例特征的均值和标准差，建立个性化基准；

30、实时判别时，根据用户历史检测骨骼比例差值的标准差所在的区间，调整综合得分阈值为严格模式阈值、标准模式阈值或宽松模式阈值。

31、本发明还提供了一种用于执行深度学习手部异物识别与手心手背同一人判别方法的系统，包括：

32、身份验证模块，用于通过人脸识别验证晨检人员身份，并获取对应的身份信息；

33、蒙版调取模块，用于基于所述身份信息调取对应人员预注册的手部蒙版；所述手部蒙版包括：手心蒙版和手背蒙版；

34、手部定位与关键点检测模块，用于判断检测区域是否存在手部，若是，则提取手部关键点，并判断手部关键点是否落入手心蒙版区域内；若否，则输出姿态调整提示直至满足要求；若手部关键点落入手心蒙版区域内，则保存手心图像和手心关键点坐标；

35、动态连续性验证模块，用于采集手掌在翻转过程中的连续视频帧和手背图像，同时对翻转过程中的连续视频帧进行动态连续性验证；并判断手背关键点是否落入手背蒙版内，若是，则保存手背图像和手背关键点坐标；

36、异物识别模块，用于对保存的所述手心图像和手背图像及对应的关键点坐标进行图像预处理与切割，并对切割后的图像进行异物检测，并融合结果，得到手部异物识别结果；

37、同一人判别模块，用于基于保存的手心和手背关键点坐标，计算手心和手背的骨骼比例特征，计算手心和手背对应骨骼比例特征的相对差值，获得骨骼比例相似度得分；并将动态连续性验证的结果得分与骨骼比例相似度得分加权融合，并以动态连续性验证通过为必要条件，结合综合得分阈值，判定手心与手背是否属于同一人并输出结果。

38、本发明还提供了一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现深度学习手部异物识别与手心手背同一人判别方法。

39、本发明还提供了一种计算机可读存储介质，所述介质上存储有计算机程序，所述计算机程序被处理器执行时，实现深度学习手部异物识别与手心手背同一人判别方法。

40、根据本发明提供的具体实施例，本发明相对于现有技术具有以下技术效果：

41、本发明通过人脸身份验证与预注册蒙版的结合，实现了人员身份的精准绑定与手部区域的标准化约束，有效提升了手部关键点提取的定位精度与抗干扰能力；采用基于关键点坐标的子图切割与结果融合策略，克服了整体图像检测易受背景噪声干扰的缺陷，显著提高了手部异物识别的细粒度与准确率；将翻转过程的动态连续性验证与基于骨骼比例特征的生物相似度计算进行加权融合，不仅利用骨骼比例特征的生理稳定性克服了手心手背因外观差异导致的匹配难题，更以动态连续性验证通过为必要条件，能够在保证识别效率的同时，提升同一人判别的防伪鲁棒性与结果可靠性，完美契合晨检等高真实性要求场景的严苛需求。