一种证件识读一体机及其基于双摄像头的证件识读方法与流程

本发明涉及证件识读，具体而言，涉及一种证件识读一体机及其基于双摄像头的证件识读方法。

背景技术：

1、在证件识读技术领域，政务大厅、金融网点、机场车站、酒店民宿等场景普遍采用证件识读设备完成客户身份信息的登记与核验。现有证件识读设备主要依托光学字符识别（ocr）和射频识别（rfid）技术实现证件信息采集，其硬件方案多采用模块化拼装模式，核心运算模块与外设（摄像头、读卡模组）多为外购集成。从环境适配能力来看，现有设备以室内专用型为主，针对室内标准化光照环境设计，多数设备不具备自动曝光调节和宽动态优化功能，难以适应室外强光、弱光、逆光等复杂光线条件，导致室外场景下图像过曝或细节丢失，识别准确率大幅下降，使用场景局限较大。从条码识别功能来看，现有设备大多仅配备单一摄像头，其景深和视野无法兼顾，要么只能识别贴合设备窗口的近距离条码，无法识别远处条码；要么景深较大但视野狭窄，难以完整识别大面积或多数量的条码，存在识别盲区。此外，现有设备对条码信息与证件ocr信息的输出模式固定，仅有单一独立输出或合并输出两种方式，缺乏灵活切换的机制，既无法满足证件自带条码时的信息合并处理需求，也无法适配需分别识别两类信息且避免相互干扰的场景，功能灵活性不足。

技术实现思路

1、本说明书提供一种证件识读一体机及其基于双摄像头的证件识读方法，用以克服相关技术中存在的至少一个技术问题。

2、根据本说明书实施例的第一方面，提供一种证件识读一体机，包括：

3、壳体；

4、主摄像头，设置在所述壳体上，用于采集证件图像和贴合设备窗口区域的条码图像；

5、副摄像头，设置在所述壳体上，用于采集距离设备窗口中心处于远距离范围内的条码图像，其中所述远距离范围大于所述贴合设备窗口区域的距离；

6、控制器，分别与所述主摄像头和所述副摄像头电连接，所述控制器包括至少一个处理器和存储有计算机程序的存储器；

7、其中，所述计算机程序被所述处理器执行时，实现如下模块：

8、环境适配模块，用于响应于设备处于室外模式，实时获取所述主摄像头的输出画面的亮度数值，将所述亮度数值与预设阈值比对，并根据比对结果实时调整所述主摄像头的曝光参数与信号增益，以及启用宽动态技术对画面进行成像优化；

9、拍照触发模块，用于对经所述环境适配模块调整后的所述主摄像头的每一帧画面进行实时稳定性计算，当检测到画面内出现疑似证件的目标区域且稳定性达到设定标准后，对所述目标区域进行证件四个角点检测，并根据角点匹配结果判定目标是否为规范放置的证件，若是，则触发拍照识别操作；

10、条码识别模块，用于控制所述主摄像头和所述副摄像头同步实时采集画面，并各自独立开展条码检测作业，其中，所述副摄像头用于当检测到画面内出现移动物体时启动逐帧条码扫描，所述主摄像头用于在执行证件拍照识别判定流程前同步开展针对贴合设备窗口区域的条码检测；

11、信息输出模块，用于根据预设的合并模式、独立模式或互斥模式，对所述条码识别模块识别出的条码信息与所述拍照触发模块触发的证件光学字符识别信息进行输出。

12、在一些可选的实施方式中，所述信息输出模块包括：

13、合并单元，用于在设定短时间内同步检测到条码信息与证件光学字符识别信息时，将两类数据整合为一组数据包后输出；

14、独立单元，用于当单独检测到条码信息或证件光学字符识别信息时，将对应数据单独输出，并使两类数据的传输、处理流程相互独立；

15、互斥单元，用于当检测到条码信息或证件光学字符识别信息中的任一类信息后，在设定时间段内暂停对另一类信息的识别与输出，并在所述时间段结束后恢复常规识别状态。

16、在一些可选的实施方式中，所述副摄像头的景深大于所述主摄像头的景深。

17、在一些可选的实施方式中，所述环境适配模块还用于响应于设备处于室内模式，不执行室外模式下的画面亮度数值比对、曝光参数与信号增益调整操作。

18、根据本说明书实施例的第二方面，提供一种基于双摄像头的证件识读方法，应用于前文中任一项所述的证件识读一体机，包括以下步骤：

19、响应于设备处于室外模式，实时采集所述主摄像头的输出画面，对采集到的每一帧画面依次进行亮度检测以得到画面亮度数值、将所述画面亮度数值与预设的画面预期亮度阈值进行比较并根据比较结果实时调整所述主摄像头的曝光参数与信号增益，以及启用宽动态技术对画面进行成像优化，然后对经过优化后的每一帧画面进行实时稳定性计算，当检测到画面内出现疑似证件的目标区域且画面稳定性达到设定标准后，对所述目标区域进行证件四个角点检测，通过角点匹配判定所述目标是否为规范放置的证件，并在判定为是时触发拍照识别操作以完成证件图像采集；

20、在所述主摄像头执行证件拍照识别判定流程的同时，控制所述主摄像头和所述副摄像头同步实时采集画面并各自独立开展条码检测作业，其中通过所述副摄像头持续监测画面动态，当检测到画面内出现移动物体时启动逐帧条码扫描检测以针对设备窗口前方处于远距离范围内的目标进行条码识别，并且通过所述主摄像头在执行证件拍照识别判定流程前同步开展针对贴合设备窗口区域的条码检测；

21、获取用户预设的合并模式、独立模式或互斥模式作为信息输出模式，并根据所获取的信息输出模式对识别到的条码信息与证件光学字符识别信息进行输出。

22、在一些可选的实施方式中，所述根据所获取的信息输出模式对识别到的条码信息与证件光学字符识别信息进行输出的步骤包括：

23、当所述信息输出模式为合并模式时，若在设定短时间内同步检测到条码信息与证件光学字符识别信息，则将两类数据整合为一组数据包后输出；

24、当所述信息输出模式为独立模式时，若单独检测到条码信息或证件光学字符识别信息，则将对应数据单独输出，并使两类数据的传输、处理流程相互独立；

25、当所述信息输出模式为互斥模式时，若检测到条码信息或证件光学字符识别信息中的任一类信息，则在设定时间段内暂停对另一类信息的识别与输出，并在所述时间段结束后恢复常规识别状态。

26、在一些可选的实施方式中，在所述对经过优化后的每一帧画面进行实时稳定性计算的步骤之后，还包括步骤：

27、当所述画面稳定性未达到设定标准时，不触发拍照识别操作，并继续对下一帧画面进行稳定性计算。

28、在一些可选的实施方式中，所述通过角点匹配判定所述目标是否为规范放置的证件的步骤包括：

29、将检测到的四个角点与预设的证件角点标准进行匹配，根据匹配结果判定当前目标是否为规范放置的证件。

30、在一些可选的实施方式中，还包括步骤：

31、响应于设备处于室内模式，不执行所述对每一帧画面进行亮度检测、将所述画面亮度数值与预设的画面预期亮度阈值进行比较的步骤，直接执行证件图像采集。

32、在一些可选的实施方式中，还包括在触发拍照识别操作之前，基于所述主摄像头采集的连续多帧画面中的角点位置变化序列，动态预测证件的最佳拍照时机，具体包括：

33、提取所述连续多帧画面中证件四个角点的坐标序列，计算每帧画面中证件的中心点坐标和平面旋转角；

34、根据中心点坐标序列拟合证件在图像平面中的运动轨迹，采用卡尔曼滤波器对运动轨迹进行平滑与预测，估计出下一帧画面中证件中心点的预测位置；

35、根据平面旋转角序列计算证件角速度，当角速度低于预设角速度阈值且所述预测位置与当前帧中心点的偏差小于预设位移阈值时，判定为证件即将进入最佳静止状态；

36、在判定为即将进入最佳静止状态的下一帧画面到达时，提前触发拍照识别操作，使拍照时刻与证件实际静止时刻之间的延迟小于一个图像采集周期。

37、在一些可选的实施方式中，所述通过所述副摄像头持续监测画面动态，当检测到画面内出现移动物体时启动逐帧条码扫描检测，还包括基于移动物体的运动方向与速度自适应调整条码解码引擎的参数，具体包括：

38、当副摄像头检测到画面内出现移动物体时，提取该移动物体的运动矢量，计算其相对于设备窗口中心点的接近速度与接近角度；

39、若接近速度超过预设高速阈值，判断为快速扫过式条码识别场景，自动将条码解码引擎从全局搜索模式切换至动态跟踪模式，并将解码超时时间缩短至第一预设时长；

40、若接近速度低于预设低速阈值且接近角度与设备窗口法线方向夹角小于预设角度，判断为稳定放置式条码识别场景，自动将条码解码引擎切换至高精度全局解码模式，并将解码超时时间延长至第二预设时长，所述第二预设时长大于所述第一预设时长；

41、同时，根据接近速度的正负值判定移动物体是靠近还是远离，若判定为远离，则停止当前条码扫描检测并清空解码缓存，以释放计算资源。

42、在一些可选的实施方式中，还包括将所述提前触发的拍照识别操作与所述自适应调整后的条码解码引擎的参数进行时间同步融合，形成多模态协同采集决策，具体包括：

43、当所述基于角点运动预测的提前拍照触发信号产生时，同时获取所述条码解码引擎经自适应调整后所处的模式与超时参数；

44、计算所述提前拍照触发信号的产生时刻与副摄像头检测到移动物体运动方向改变时刻的时间差，若该时间差小于预设同步阈值，则判定为证件与条码属于同一用户交互行为；

45、在判定为同一交互行为后，将主摄像头的拍照曝光时间与副摄像头的条码解码扫描帧对齐，使主摄像头采集的证件图像与副摄像头识别的条码信息在时间戳上相差小于半个图像采集周期；

46、将对齐后的证件图像与条码信息合并输出至信息输出模块，并在合并数据包中附加一个同步置信度字段，所述同步置信度字段的取值与所述时间差的大小负相关。

47、本说明书实施例的有益效果如下：

48、本技术技术方案中，通过为证件识读一体机配置主副双摄像头，并基于室外模式下的自动曝光与宽动态优化、实时稳定性计算及四点角点检测，可以实现证件成像的全自动质量控制。进而，不是采用传统单一摄像头景深视野无法兼顾、室内外模式无法区分以及固定输出模式的粗放方式，而是基于双摄像头的同步采集与独立检测，使副摄像头持续监测画面动态以识别远距离移动条码、主摄像头在执行证件拍照前同步检测贴合窗口条码，同时根据用户预设的合并、独立或互斥三种信息输出模式，灵活适配证件自带条码合并、分别统计或互斥防干扰等不同场景需求。通过将室外环境的亮度突变、手持抖动、证件倾斜等干扰因素纳入逐帧自适应调节与稳定性判定，以及在室内模式下直接跳过亮度调节步骤，整个识读过程能够在复杂光照条件下自动优化成像参数、精准触发拍照，并实现远近距离条码的无盲区协同识别，输出模式能够根据不同业务逻辑动态切换，从而本方案能够在无需人工干预、不增加操作负担的前提下，实现对证件信息与条码信息的智能化、自适应、高效率识读，可以有效解决现有设备室外成像质量差、条码识别范围受限、输出模式僵化等问题，同时提升多场景复用率并降低信息处理成本。