一种身份证区域定位方法和系统与流程

1.本发明涉及身份证区域识别技术领域，尤其涉及一种身份证区域定位方法和系统。


背景技术：

2.在身份证信息自动化识别过程中，用户拍摄的身份证图片往往会附加其他的文本信息，直接使用文本检测与文字识别技术无法辨别或定位哪些是身份证文字，也难以结构化地提取身份证信息，对身份证信息识别的后处理要求极高。因此，在进行身份证信息识别前，定位图片中的身份证区域并将身份证的方向调整为基准方向对身份证信息结构化提取尤为重要。
3.当前的身份证区域定位方法主要采用目标检测算法，比如faster rcnn、yolo、ssd等，仅使用这些目标检测算法只能检测图片中的矩形框，缺少图片旋转角度信息，不利于身份证信息结构化提取。尽管现有技术也有能够识别目标区域的旋转角度的方法，但是在识别一张待检测图片时需要处理多张二次图片，且需要耗费大量的时间标注角度信息，效率低下。


技术实现要素：

4.本发明实施例提供了一种身份证区域定位方法和系统，用于解决现有的身份证区域定位方法不利于身份证信息结构化提取和需要处理多张二次图片，以及需要耗费大量的时间标注角度信息，导致可靠性和效率低下的技术问题。
5.有鉴于此，本发明第一方面提供了一种身份证区域定位方法，包括：
6.获取业务场景下的预置数量的身份证原始图片；
7.对身份证原始图片进行标注框标注并给标注框赋予标注框类别标签，制作身份证原始图片数据集，其中，标注框类别标签包括正右、正上、正左、正下、反右、反上、反左和反下，正右对应基准身份证正面旋转0
°
，正上对应基准身份证正面旋转90
°
，正左对应基准身份证正面旋转180
°
，正下对应基准身份证正面旋转270
°
，反右对应基准身份证反面旋转0
°
，反上对应基准身份证反面旋转90
°
，反左对应基准身份证反面旋转180
°
，反下对应基准身份证反面旋转270
°
；
8.将身份证原始图片数据集划分为训练集、测试集和验证集；
9.使用训练集训练目标识别模型并使用验证集验证训练得到的目标识别的模型，得到验证后的目标识别模型；
10.使用测试集对验证后的目标识别模型进行测试，获得通过测试的最终目标识别模型；
11.将待身份识别的用户拍摄的待检测身份证图片输入最终目标识别模型，得到待检测身份证图片的识别结果，其中，识别结果包括有无身份证、身份证区域坐标和身份证标注框类别标签；
12.根据识别结果确定待检测身份证图片的身份证正反面和粗略方向；
13.将待检测身份证图片按照粗略方向反向旋转，得到旋转图片；
14.将待检测身份证图片中的身份证区域坐标按照粗略方向反向旋转，得到旋转坐标；
15.从旋转图片中截取旋转坐标区域，得到最终定位的身份证区域。
16.可选地，目标识别模型为yolo网络模型。
17.可选地，给标注框赋予标注框类别标签的标注工具为labelme或labelimg。
18.可选地，训练集、测试集和验证集的比例为8:1:1。
19.可选地，使用训练集训练目标识别模型并使用验证集验证训练得到的目标识别的模型，得到验证后的目标识别模型，包括以下步骤：
20.s1、将训练集输入目标识别模型进行训练，得到训练后的目标识别模型；
21.s2、将验证集输入训练后的目标识别模型，记录当前迭代次数和均值平均精度；
22.s3、判断当前迭代次数是否大于阈值或均值平均精度是否满足早停条件，若是，则停止训练目标识别模型，得到验证后的目标识别模型，否则，返回步骤s1。
23.本发明第二方面提供了一种身份证区域定位系统，包括：
24.样本获取模块，用于获取业务场景下的预置数量的身份证原始图片；
25.标注标签模块，用于对身份证原始图片进行标注框标注并给标注框赋予标注框类别标签，制作身份证原始图片数据集，其中，标注框类别标签包括正右、正上、正左、正下、反右、反上、反左和反下，正右对应基准身份证正面旋转0
°
，正上对应基准身份证正面旋转90
°
，正左对应基准身份证正面旋转180
°
，正下对应基准身份证正面旋转270
°
，反右对应基准身份证反面旋转0
°
，反上对应基准身份证反面旋转90
°
，反左对应基准身份证反面旋转180
°
，反下对应基准身份证反面旋转270
°
；
26.数据集划分模块，用于将身份证原始图片数据集划分为训练集、测试集和验证集；
27.模型训练模块，用于使用训练集训练目标识别模型并使用验证集验证训练得到的目标识别的模型，得到验证后的目标识别模型；
28.模型测试模块，用于使用测试集对验证后的目标识别模型进行测试，获得通过测试的最终目标识别模型；
29.目标识别模块，用于将待身份识别的用户拍摄的待检测身份证图片输入最终目标识别模型，得到待检测身份证图片的识别结果，其中，识别结果包括有无身份证、身份证区域坐标和身份证标注框类别标签；
30.目标信息获取模块，用于根据识别结果确定待检测身份证图片的身份证正反面和粗略方向；
31.目标图片旋转模块，用于将待检测身份证图片按照粗略方向反向旋转，得到旋转图片；
32.目标坐标旋转模块，用于将待检测身份证图片中的身份证区域坐标按照粗略方向反向旋转，得到旋转坐标；
33.目标截取模块，用于从旋转图片中截取旋转坐标区域，得到最终定位的身份证区域。
34.可选地，目标识别模型为yolo网络模型。
35.可选地，给标注框赋予标注框类别标签的标注工具为labelme或labelimg。
36.可选地，训练集、测试集和验证集的比例为8:1:1。
37.可选地，模型训练模块具体用于执行以下步骤：
38.s1、将训练集输入目标识别模型进行训练，得到训练后的目标识别模型；
39.s2、将验证集输入训练后的目标识别模型，记录当前迭代次数和均值平均精度；
40.s3、判断当前迭代次数是否大于阈值或均值平均精度是否满足早停条件，若是，则停止训练目标识别模型，得到验证后的目标识别模型，否则，返回步骤s1。
41.从以上技术方案可以看出，本发明提供的身份证区域定位方法和系统具有以下优点：
42.本发明实施例中提供的身份证区域定位方法，将身份证图片样本的标注框分成4个正面方向类别和4个反面方向类别，构建身份证图片数据集后对目标识别模型进行训练、验证和测试，得到最终目标识别模型，将用户拍摄的待检测身份证图片输入最终目标识别模型，得到待检测身份证图片的识别结果，然后根据识别结果对待检测身份证图片和身份证区域坐标进行旋转调整，最后截取出旋转后的坐标区域，得到最终定位的身份证区域。本发明实施例中提供的身份证区域定位方法标注框标签制作简单，不需要改变检测模型结构，无需对输入图片进行多次旋转得到多个二次图片，在得到训练好的模型后只需要直接将输入图片输入到模型即可，同时，在不改变检测模型结构的情况下可以同时获取到身份证三种信息，包括身份证区域，身份证正反面信息以及身份证方向信息，且目标识别模型后处理简单，实时性高，满足后续身份证信息结构化提取要求，解决了现有的身份证区域定位方法不利于身份证信息结构化提取和需要处理多张二次图片，以及需要耗费大量的时间标注角度信息，导致可靠性和效率低下的技术问题。
43.本发明提供的身份证区域定位系统，用于执行本发明提供的身份证区域定位方法，其原理和所取得的技术效果，与本发明提供的身份证区域定位方法相同，在此不再进行赘述。
附图说明
44.图1为本发明实施例中提供的一种身份证区域定位方法的流程示意图；
45.图2为本发明实施例中提供的一种身份证区域定位方法的逻辑处理框图；
46.图3为本发明实施例中提供的一种身份证区域定位方法的目标识别模型训练流程示意图；
47.图4为本发明实施例中提供的一种身份证区域定位系统的结构示意图。
具体实施方式
48.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.为了便于理解，请参阅图1至图3，本发明实施例中提供的身份证区域定位方法包括：
50.步骤101、获取业务场景下的预置数量的身份证原始图片。
51.需要说明的是，本发明实施例中，首先获取业务场景下的预置数量的身份证原始图片作为训练目标识别模型的样本数据，记为image_origin。
52.步骤102、对身份证原始图片进行标注框标注并给标注框赋予标注框类别标签，制作身份证原始图片数据集。
53.需要说明的是，标注框类别标签包括正右、正上、正左、正下、反右、反上、反左和反下，正右对应基准身份证正面旋转0
°
，正上对应基准身份证正面旋转90
°
，正左对应基准身份证正面旋转180
°
，正下对应基准身份证正面旋转270
°
，反右对应基准身份证反面旋转0
°
，反上对应基准身份证反面旋转90
°
，反左对应基准身份证反面旋转180
°
，反下对应基准身份证反面旋转270
°
。以上所说的旋转0
°
、90
°
、180
°
和270
°
可为顺时针旋转也可为逆时针旋转，不影响结果。在一个实施例中，使用labelme或者labelimg开源工具对image_origin进行标注框标注，并给标注框打上标注框类别标签，得到标注标签的身份证原始图片数据集，记作dataset。
54.步骤103、将身份证原始图片数据集划分为训练集、测试集和验证集。
55.需要说明的是，将身份证原始图片数据集dataset按比例划分成训练集、测试集以及验证集，分别记作train，test，validation，训练集、测试集和验证集的比例为8:1:1。
56.步骤104、使用训练集训练目标识别模型并使用验证集验证训练得到的目标识别的模型，得到验证后的目标识别模型。
57.需要说明的是，利用train训练目标识别模型并使用validation验证本次训练得到的模型，记录当前迭代次数epoch以及模型在validation上的map(mean average precision的缩写，即均值平均精度)，并保存模型。判断当前迭代次数是否大于阈值或均值平均精度是否满足早停条件，早停条件可以是最近n次迭代map的变化值不超过阈值p，比如n取3，p取0.1，若是，则停止训练目标识别模型，得到验证后的目标识别模型，否则，返回继续利用train训练目标识别模型。目标识别模型可以选择当前主流的开源模型，如fasterrcnn，ssd，yolo系列等，在此不做限制，可以根据业务需求择优选择。本发明实施例中使用yolo系列网络模型。
58.步骤105、使用测试集对验证后的目标识别模型进行测试，获得通过测试的最终目标识别模型。
59.需要说明的是，利用测试集test测试验证后的目标识别模型进行测试，得到通过测试的最终目标识别模型，记作model_best。
60.步骤106、将待身份识别的用户拍摄的待检测身份证图片输入最终目标识别模型，得到待检测身份证图片的识别结果，其中，识别结果包括有无身份证、身份证区域坐标和身份证标注框类别标签。
61.需要说明的是，将待身份识别的用户拍摄的待检测身份证图片记为image，使用最终目标识别模型model_best对image进行检测，得到检测结果，记作result。识别结果result包括有无身份证、身份证区域坐标和身份证标注框类别标签。如果result为空，则image上没有身份证。如果result不为空，则输出身份证区域坐标box1和身份证标注框类别标签label。
62.步骤107、根据识别结果确定待检测身份证图片的身份证正反面和粗略方向。
63.需要说明的是，根据label得到image的正反面信息，以及粗略方向(记作direction)，即步骤1中的正右、正上、正左、正下、反右、反上、反左和反下。
64.步骤108、将待检测身份证图片按照粗略方向反向旋转，得到旋转图片。
65.需要说明的是，对待检测身份证图片image按照粗略方向direction进行反向旋转，得到旋转图片，记为image_rotate。
66.步骤109、将待检测身份证图片中的身份证区域坐标按照粗略方向反向旋转，得到旋转坐标。
67.需要说明的是，对身份证区域坐标box1按照粗略方向direction进行反向旋转，得到旋转坐标box2。
68.步骤110、从旋转图片中截取旋转坐标区域，得到最终定位的身份证区域。
69.需要说明的是，从旋转图片image_rotate中截取旋转坐标box2区域，得到最终定位的身份证区域。
70.本发明实施例中提供的身份证区域定位方法，将身份证图片样本的标注框分成4个正面方向类别和4个反面方向类别，构建身份证图片数据集后对目标识别模型进行训练、验证和测试，得到最终目标识别模型，将用户拍摄的待检测身份证图片输入最终目标识别模型，得到待检测身份证图片的识别结果，然后根据识别结果对待检测身份证图片和身份证区域坐标进行旋转调整，最后截取出旋转后的坐标区域，得到最终定位的身份证区域。本发明实施例中提供的身份证区域定位方法标注框标签制作简单，不需要改变检测模型结构，无需对输入图片进行多次旋转得到多个二次图片，在得到训练好的模型后只需要直接将输入图片输入到模型即可，同时，在不改变检测模型结构的情况下可以同时获取到身份证三种信息，包括身份证区域，身份证正反面信息以及身份证方向信息，且目标识别模型后处理简单，实时性高，满足后续身份证信息结构化提取要求，解决了现有的身份证区域定位方法不利于身份证信息结构化提取和需要处理多张二次图片，以及需要耗费大量的时间标注角度信息，导致可靠性和效率低下的技术问题。
71.为了便于理解，请参阅图4，本发明中提供了一种身份证区域定位系统的实施例，包括：
72.样本获取模块，用于获取业务场景下的预置数量的身份证原始图片；
73.标注标签模块，用于对身份证原始图片进行标注框标注并给标注框赋予标注框类别标签，制作身份证原始图片数据集，其中，标注框类别标签包括正右、正上、正左、正下、反右、反上、反左和反下，正右对应基准身份证正面旋转0
°
，正上对应基准身份证正面旋转90
°
，正左对应基准身份证正面旋转180
°
，正下对应基准身份证正面旋转270
°
，反右对应基准身份证反面旋转0
°
，反上对应基准身份证反面旋转90
°
，反左对应基准身份证反面旋转180
°
，反下对应基准身份证反面旋转270
°
；
74.数据集划分模块，用于将身份证原始图片数据集划分为训练集、测试集和验证集；
75.模型训练模块，用于使用训练集训练目标识别模型并使用验证集验证训练得到的目标识别的模型，得到验证后的目标识别模型；
76.模型测试模块，用于使用测试集对验证后的目标识别模型进行测试，获得通过测试的最终目标识别模型；
77.目标识别模块，用于将待身份识别的用户拍摄的待检测身份证图片输入最终目标
识别模型，得到待检测身份证图片的识别结果，其中，识别结果包括有无身份证、身份证区域坐标和身份证标注框类别标签；
78.目标信息获取模块，用于根据识别结果确定待检测身份证图片的身份证正反面和粗略方向；
79.目标图片旋转模块，用于将待检测身份证图片按照粗略方向反向旋转，得到旋转图片；
80.目标坐标旋转模块，用于将待检测身份证图片中的身份证区域坐标按照粗略方向反向旋转，得到旋转坐标；
81.目标截取模块，用于从旋转图片中截取旋转坐标区域，得到最终定位的身份证区域。
82.目标识别模型为yolo网络模型。
83.给标注框赋予标注框类别标签的标注工具为labelme或labelimg。
84.训练集、测试集和验证集的比例为8:1:1。
85.模型训练模块具体用于执行以下步骤：
86.s1、将训练集输入目标识别模型进行训练，得到训练后的目标识别模型；
87.s2、将验证集输入训练后的目标识别模型，记录当前迭代次数和均值平均精度；
88.s3、判断当前迭代次数是否大于阈值或均值平均精度是否满足早停条件，若是，则停止训练目标识别模型，得到验证后的目标识别模型，否则，返回步骤s1。
89.本发明实施例中提供的身份证区域定位系统，将身份证图片样本的标注框分成4个正面方向类别和4个反面方向类别，构建身份证图片数据集后对目标识别模型进行训练、验证和测试，得到最终目标识别模型，将用户拍摄的待检测身份证图片输入最终目标识别模型，得到待检测身份证图片的识别结果，然后根据识别结果对待检测身份证图片和身份证区域坐标进行旋转调整，最后截取出旋转后的坐标区域，得到最终定位的身份证区域。本发明实施例中提供的身份证区域定位系统标注框标签制作简单，不需要改变检测模型结构，无需对输入图片进行多次旋转得到多个二次图片，在得到训练好的模型后只需要直接将输入图片输入到模型即可，同时，在不改变检测模型结构的情况下可以同时获取到身份证三种信息，包括身份证区域，身份证正反面信息以及身份证方向信息，且目标识别模型后处理简单，实时性高，满足后续身份证信息结构化提取要求，解决了现有的身份证区域定位方法不利于身份证信息结构化提取和需要处理多张二次图片，以及需要耗费大量的时间标注角度信息，导致可靠性和效率低下的技术问题。
90.本发明实施例提供的身份证区域定位系统用于执行前述的身份证区域定位方法实施例中的身份证区域定位方法，可取得与前述的身份证区域定位方法实施例相同的技术效果，其原理与前述的实施例的身份证区域定位方法相同，在此不再进行赘述。
91.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
92.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。