一种签字人身份识别的方法与系统与流程

1.本发明涉及视频分析、智能双录、远程开户、远程开卡、远程合同签署等相关技术领域，尤其是涉及一种签字人身份识别的方法与系统。


背景技术：

2.自2020年以来，人与人之间见面受限。因此金融领域中，越来越多的金融行为以远程的方式进行，例如远程开户、远程信贷、远程开卡、远程理财、远程谈判、远程签约等。同时，由于远程的方式方便了老百姓，提高了办事效率，因此我们也可以预测到，疫情过去以后网上和线上的金融活动不仅会持续下去，而且会越来越频繁。在这些远程金融活动中，参与的某一方、双方、多方在各种不同的文档上签字是必不可少的环节。银行、证券、保险等金融机构在销售理财产品、贵重金属、保险产品时，根据监管部门的要求必须进行录音录像（简称双录）。不仅如此，双录音视频还必须要符合监管部门的一系列规范与要求。其中，消费者在产品说明书、风险提示上签字是表达消费者是出于本人意愿购买产品的重要途经。在这些应用中，判断签字动作是本人做出还是他人代签的，具有非常重要的现实意义。
3.基于上述背景现状，现急需设计应对线上双录视频签字人身份识别的方法及其配套的硬件。


技术实现要素：

4.为了解决现有技术中双录视频中签字人身份识别的问题，本发明提供一种签字人身份识别的方法与系统，采用如下的技术方案：一种签字人身份识别的方法，包括以下步骤：步骤1：创建签字人的人脸数据库，把具备签字权限的所有人的人脸信息录入数据库；步骤2：签字动作检测，获取签字视频，并对签字视频进行签字动作检测，得到签字关联信息，所述签字关联信息包括签字动作发生的开始时间点、结束时间点以及该时间点内的视频帧图像集合，获得视频帧图像集合中每帧图像中签字的手的坐标位置信息；步骤3：人脸检测与跟踪，对于步骤2中视频帧图像集合中图像帧进行逐帧或抽帧方式的人脸检测，获得检测到的人脸坐标信息；步骤4：将视频中签字动作的手与视频中的人脸进行关联，对步骤2中获得视频帧图像集合的图像帧进行出去背景部分的人体图像分割，图像分割的每个区域为一个人的人体，所述人体至少包括人脸、人手和躯干，判断每个分割的人体区域中是否同时包含签字的手和人脸，如果同时包含，则把对应的签字的手和人脸关联进行关联标记；步骤5：把关联标记的人脸与签字人脸库进行人脸比对，确定签字动作的执行人身份信息。
5.通过上述技术方案，可以高效的实现双录视频中签字人身份识别。
6.可选的，所述步骤1具体是指把具备签字权限的所有人的人脸图像录入数据库db=
{image_i, i=0,1,2,3,
…
,m}。
7.通过上述技术方案，把具备签字权限的所有人的人脸图像录入数据库，便于后续对于检测出的签字人的人脸信息对边。
8.可选的，所述步骤2中，签字动作检测具体采用动作检测算法检测人的手部，对检测到的手进行跟踪，获取同一个手对应的手部视频，对获得的手的视频判断该视频中手部动作是否是签字动作，若判断是签字动作，则获得该签字动作发生的开始时间点t_start和结束时间点t_final，同时获得签字过程中的每帧图像中签字的手的坐标位置信息（hxi，hyi，hwi，hhi），i=0,1,2，...，n。
9.通过上述技术方案，签字动作检测可以使用动作检测与识别领域的任何算法，先检测出手部动作，再对该动作进行识别是否为签字动作，这样才能准确的抓取到需要进行对比的签字人脸信息。
10.可选的，签字动作检测具体采用yolov3算法检测人的手部；具体采用slowfast算法对获得的手的视频判断手部动作否是签字动作。
11.通过上述技术方案，具体使用yolov3算法通过逐帧或者抽帧的方式检测人的手部，yolov3更加高效，slowfast是何凯明在《slowfast networks for video recognition》一文中提出的动作识别算法，模型包含两部分，低帧率运行的slow pathway用来捕获空间语义信息，高帧率运行的fast pathway，以精细的时间分辨率捕获运动信息，能高效的完成手部动作是否是签字动作的判定，并输出判定结果。
12.可选的，所述步骤3中具体对t_start和t_final之间的视频帧fi，i=0,1,2，...，n进行人脸检测与跟踪，获得人脸每张图上的人脸坐标（fx
ji
，fy
ji
，fw
ji
，fh
ji
），i=0,1,2，...，n，j=0,1,2，...，ki,ki是指第i帧图像中的人脸数。
13.通过上述技术方案，获得人脸坐标（fx
ji
，fy
ji
，fw
ji
，fh
ji
），i=0,1,2，...，n，j=0,1,2，...，ki，用于后续对该坐标到人脸进行对比。
14.可选的，所述步骤3中具体采用yolov5s算法对t_start和t_final之间的视频帧进行人脸检测，并采用kcf算法进行人脸跟踪。
15.通过上述技术方案，采用yolov5s算法进行人脸检测更加高效；采用传统的kcf算法进行跟踪，准确高效。
16.可选的，所述步骤4具体是对t_start和t_final之间的视频帧fi，i=0,1,2，...，n采用yoloact算法进行实例分割，把图像中除背景之外的人体目标分割出来，并且可以区分同一类别下的不同个体，由此把图像分为mi个区域a
imi
，mi为第i帧分割的区域数量，即第i帧中包含的人体数量。
17.通过上述技术方案，yoloact算法能高效的完成视频帧的实例分割，将包含人体各部位的图像区域划为一个区域ai，便于后续的精准比对。
18.可选的，所述步骤5具体是：设定max_roi_h，表示人体区域和检测到的签字的手的最大交并并比，初始化为0；设定max_roi_f表示人体区域和人脸区域的最大交并比，初始化为0；采用yoloact算法逐一遍历t_start和t_final中的每帧图像，逐一遍历每帧图的每个分割区域a
imi
；计算a
imi
和（hxi，hyi，hwi，hhi），i=0,1,2，...，n的交并比，记为roi_hand；
计算a
imi
和（fx
ji
，fy
ji
，fw
ji
，fh
ji
），i=0,1,2，...，n，j=0,1,2，...，ki的最大交并比，记为roi_face，把交并比最大的人脸标记为（fxi，fyi，fwi，fhi）；如果当前帧的交并比更大，则跟新max_roi_h和max_roi_f。
19.通过上述技术方案，先计算a
imi
和（hxi，hyi，hwi，hhi），i=0,1,2，...，n的交并比，交并比最大的视频帧代表的是真正在做签字动作的手部动作的视频帧，计算a
imi
和（fx
ji
，fy
ji
，fw
ji
，fh
ji
），i=0,1,2，...，n，j=0,1,2，...，ki的最大交并比，得到的是具有签字动作的人对应的人脸帧，并将该区域人脸标记为（fxi，fyi，fwi，fhi），便于后续对该区域人脸数据对比，实现准确的具有签字动作的人脸信息的检测。
20.可选的，所述步骤5具体是把最终关联的人脸max_roi_f跟人脸库db={image_i, i=0,1,2,3,
…
,m}进行人脸比对，确定签字动作的执行人身份信息。
21.通过上述技术方案，实现得到的是具有签字动作的人对应的人脸帧，该区域人脸标记为（fxi，fyi，fwi，fhi），并对该区域的人脸信息采用人脸对比算法跟数据库db={image_i, i=0,1,2,3,
…
,m}，最终得到准确的具有签字动作人的身份信息。
22.一种签字人身份识别的系统，包括录音录像设备、处理器、存储器和显示设备，所述存储器内预装有根据权利要求1-9中任一项所述方法设计的签字人身份识别程序，所述录音录像设备采集到的视频储存在存储器，所述处理器运行存储器内的签字人身份识别程序完成对录音录像设备采集到的视频的签字人身份识别，所述处理器通过显示设备显示签字人身份识别程序运行界面和结果。
23.通过上述技术方案，录音录像设备采集相关需要检测的视频，并将视频储存在存储器，处理器运行存储器内的签字人身份识别程序完成对录音录像设备采集到的视频的签字人身份识别，并最终将签字人身份识别结果通过显示设备显示。
24.综上所述，本发明包括以下至少一种有益技术效果：1.本发明的一种签字人身份识别的方法，首先，把可能执行签字动作的人的人脸图像注册到系统中，形成签字人的人脸库；其次，进行签字动作检测，获得视频中签字动作出现的起始时间和结束时间；再次，在视频的签字动起止时间范围内进行人脸检测；然后，把视频中签字动作的手与视频中的人脸进行关联；最后，把关联的人脸与签字人脸库进行人脸比对，确定签字动作的执行人的身份。该方法具有高效准确的优点，能够准确的判断视频中签字者的身份。
25.2.本发明的一种签字人身份识别的系统能完成对待稽核视频的采集存储，同时完成对视频的签字人身份识别并输出识别结果，高效精准。
附图说明
26.图1是本发明一种签字人身份识别的方法的流程示意图；图2是本发明一种签字人身份识别的系统的结构原理示意图。
具体实施方式
27.以下结合附图1-图2对本发明作进一步详细说明。
28.本发明实施例公开一种话者角色区分方法及系统。
29.参照图1，一种签字人身份识别的方法与系统，包括以下步骤：
一种签字人身份识别的方法，包括以下步骤：步骤1：创建签字人的人脸数据库，把具备签字权限的所有人的人脸信息录入数据库；步骤2：签字动作检测，获取签字视频，并对签字视频进行签字动作检测，得到签字关联信息，签字关联信息包括签字动作发生的开始时间点、结束时间点以及该时间点内的视频帧图像集合，获得视频帧图像集合中每帧图像中签字的手的坐标位置信息；步骤3：人脸检测与跟踪，对于步骤2中视频帧图像集合中图像帧进行逐帧或抽帧方式的人脸检测，获得检测到的人脸坐标信息；步骤4：将视频中签字动作的手与视频中的人脸进行关联，对步骤2中获得视频帧图像集合的图像帧进行出去背景部分的人体图像分割，图像分割的每个区域为一个人的人体，人体至少包括人脸、人手和躯干，判断每个分割的人体区域中是否同时包含签字的手和人脸，如果同时包含，则把对应的签字的手和人脸关联进行关联标记；步骤5：把关联标记的人脸与签字人脸库进行人脸比对，确定签字动作的执行人身份信息。
30.可以高效的实现双录视频中签字人身份识别。
31.步骤1具体是指把具备签字权限的所有人的人脸图像录入数据库db={image_i, i=0,1,2,3,
…
,m}。
32.把具备签字权限的所有人的人脸图像录入数据库，便于后续对于检测出的签字人的人脸信息对边。
33.步骤2中，签字动作检测具体采用动作检测算法检测人的手部，对检测到的手进行跟踪，获取同一个手对应的手部视频，对获得的手的视频判断该视频中手部动作是否是签字动作，若判断是签字动作，则获得该签字动作发生的开始时间点t_start和结束时间点t_final，同时获得签字过程中的每帧图像中签字的手的坐标位置信息（hxi，hyi，hwi，hhi），i=0,1,2，...，n。
34.签字动作检测可以使用动作检测与识别领域的任何算法，先检测出手部动作，再对该动作进行识别是否为签字动作，这样才能准确的抓取到需要进行对比的签字人脸信息。
35.签字动作检测具体采用yolov3算法检测人的手部；具体采用slowfast算法对获得的手的视频判断手部动作否是签字动作。
36.具体使用yolov3检测人的手部，yolov3更加高效，slowfast是何凯明在《slowfast networks for video recognition》一文中提出的动作识别算法，模型包含两部分，低帧率运行的slow pathway用来捕获空间语义信息，高帧率运行的fast pathway，以精细的时间分辨率捕获运动信息，能高效的完成手部动作是否是签字动作的判定，并输出判定结果。
37.步骤3中具体对t_start和t_final之间的视频帧fi，i=0,1,2，...，n进行人脸检测与跟踪，获得人脸每张图上的人脸坐标（fx
ji
，fy
ji
，fw
ji
，fh
ji
），i=0,1,2，...，n，j=0,1,2，...，ki,ki是指第i帧图像中的人脸数。
38.获得人脸坐标（fx
ji
，fy
ji
，fw
ji
，fh
ji
），i=0,1,2，...，n，j=0,1,2，...，ki，用于后续对该坐标到人脸进行对比。
39.步骤3中具体采用yolov5s算法对t_start和t_final之间的视频帧进行人脸检测，
并采用kcf算法进行人脸跟踪。
40.采用yolov5s算法进行人脸检测更加高效；采用传统的kcf算法进行跟踪，准确高效。
41.步骤4具体是对t_start和t_final之间的视频帧fi，i=0,1,2，...，n采用yoloact算法进行实例分割，把图像中除背景之外的人体目标分割出来，并且可以区分同一类别下的不同个体，由此把图像分为mi个区域a
imi
，mi为第i帧分割的区域数量，即第i帧中包含的人体数量。
42.yoloact算法能高效的完成视频帧的实例分割，将包含人体各部位的图像区域划为一个区域ai，便于后续的精准比对。
43.步骤5具体是：设定max_roi_h，表示人体区域和检测到的签字的手的最大交并并比，初始化为0；设定max_roi_f表示人体区域和人脸区域的最大交并比，初始化为0；采用yoloact算法逐一遍历t_start和t_final中的每帧图像，逐一遍历每帧图的每个分割区域a
imi
；计算a
imi
和（hxi，hyi，hwi，hhi），i=0,1,2，...，n的交并比，记为roi_hand；计算a
imi
和（fx
ji
，fy
ji
，fw
ji
，fh
ji
），i=0,1,2，...，n，j=0,1,2，...，ki的最大交并比，记为roi_face，把交并比最大的人脸标记为（fxi，fyi，fwi，fhi）；如果当前帧的交并比更大，则跟新max_roi_h和max_roi_f。
44.先计算a
imi
和（hxi，hyi，hwi，hhi），i=0,1,2，...，n的交并比，交并比最大的视频帧代表的是真正在做签字动作的手部动作的视频帧，计算a
imi
和（fx
ji
，fy
ji
，fw
ji
，fh
ji
），i=0,1,2，...，n，j=0,1,2，...，ki的最大交并比，得到的是具有签字动作的人对应的人脸帧，并将该区域人脸标记为（fxi，fyi，fwi，fhi），便于后续对该区域人脸数据对比，实现准确的具有签字动作的人脸信息的检测。
45.步骤5具体是把最终关联的人脸max_roi_f跟人脸库db={image_i, i=0,1,2,3,
…
,m}进行人脸比对，确定签字动作的执行人身份信息。
46.实现得到的是具有签字动作的人对应的人脸帧，该区域人脸标记为（fxi，fyi，fwi，fhi），并对该区域的人脸信息采用人脸对比算法跟数据库db={image_i, i=0,1,2,3,
…
,m}，最终得到准确的具有签字动作人的身份信息。
47.参照图2，一种签字人身份识别的系统，包括录音录像设备、处理器、存储器和显示设备，存储器内预装有根据权利要求1-9中任一项方法设计的签字人身份识别程序，录音录像设备采集到的视频储存在存储器，处理器运行存储器内的签字人身份识别程序完成对录音录像设备采集到的视频的签字人身份识别，处理器通过显示设备显示签字人身份识别程序运行界面和结果。
48.录音录像设备采集相关需要检测的视频，并将视频储存在存储器，处理器运行存储器内的签字人身份识别程序完成对录音录像设备采集到的视频的签字人身份识别，并最终将签字人身份识别结果通过显示设备显示。
49.本发明实施例一种签字人身份识别的方法与系统的实施原理为：录音录像设备采集相关需要检测的视频，并将视频储存在存储器，处理器运行存储器内的签字人身份识别程序完成对录音录像设备采集到的视频的签字人身份识别，具体
过程为：对于视频文件，进行以下操作，得到签字人的身份：1.创建签字人的人脸数据库，把具备签字权限的所有人的人脸图像录入数据库db={image_i,i=0,1,2,3,
…
,m}；2.签字动作检测，获得视频中签字动作出现的起始时间和结束时间。
50.签字动作检测可以使用动作检测与识别领域的任何算法，例如，我们实现了一种两阶段的签字动作检测算法。首先，使用yolov3检测人的手部，对检测到的手使用kcf进行跟踪，获取同一个手的手部视频，其次把获得的手的视频使用slowfast算法判断该视频是否是签字动作。由此，不仅获得了签字动作发生的开始时间点t_start和结束时间点t_final，而且获得签字过程中的每一帧图像的签字的手的坐标位置（hxi，hyi，hwi，hhi），i=0,1,2，...，n。其中，slowfast是何凯明在《slowfastnetworksforvideorecognition》一文中提出的动作识别算法，模型包含两部分，低帧率运行的slowpathway用来捕获空间语义信息，高帧率运行的fastpathway，以精细的时间分辨率捕获运动信息。
51.3.在视频的签字动作起止时间范围内进行人脸检测与跟踪。
52.对t_start和t_final之间的视频帧fi，i=0,1,2，...，n,使用yolov5s进行人脸检测，并且采用传统的kcf算法进行跟踪，由此获得人脸每张图上的人脸坐标（fx
ji
，fy
ji
，fw
ji
，fh
ji
），i=0,1,2，...，n，j=0,1,2，...，ki,其中，ki是第i帧图像中的人脸数。其中，我们使用了基于yolov3的目标检测算法实现了人脸检测的功能。
53.4.把视频中签字动作的手与视频中的人脸进行关联。
54.对t_start和t_final之间的视频帧fi，i=0,1,2，...，n采用yoloact算法进行实例分割，把图像中除背景之外的人体目标分割出来，并且可以区分同一类别下的不同个体，由此把图像分为若干区域a
imi
，mi为第i帧分割的区域数量，即第i帧中包含的人体数量。
55.max_roi_h=0//max_roi_h表示人体区域和检测到的签字的手的最大交并并比，初始化为0max_roi_f=0//max_roi_f表示人体区域和人脸区域的最大交并比，初始化为0max_roi_face=[]forifrom0ton//逐一遍历t_start和t_final中的每一帧图像forjfrom0tomi//逐一遍历每帧图的每个分割区域a
imi
。
[0056]
计算a
imi
和（hxi，hyi，hwi，hhi）的交并比，记为roi_hand。
[0057]
计算a
imi
和（fx
ji
，fy
ji
，fw
ji
，fh
ji
）的最大交并比，记为roi_face，把交并比最大的人脸记为（fxi，fyi，fwi，fhi）。
[0058]
ifmax_roi_h《roi_handandmax_roi_f《roi_face//如果当前帧的交并比更大，则跟新max_roi_h和max_roi_fmax_roi_h=roi_handmax_roi_f=roi_facemax_roi_face=（fxi，fyi，fwi，fhi）。
[0059]
5.把关联的人脸max_roi_face与签字人脸库进行人脸比对，确定签字动作的执行人。
[0060]
以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明
的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。