车牌文字识别方法、系统和电子设备与流程

摘要: 本技术涉及图像识别,具体涉及一种车牌文字识别方法、系统和电子设备。背景技术:1、车牌识别技术广泛应用于交通管控、厂区通行、矿山运输、工地安防等车辆管理场景,其识...
车牌文字识别方法、系统和电子设备与流程

本技术涉及图像识别,具体涉及一种车牌文字识别方法、系统和电子设备。

背景技术:

1、车牌识别技术广泛应用于交通管控、厂区通行、矿山运输、工地安防等车辆管理场景,其识别精度与稳定性直接决定车辆通行核验、台账统计、安防管控的整体可靠性。

2、目前的车牌文字识别系统,通过单一识别装置采集目标车牌的视频连续帧图像,通过光学字符识别(ocr,optical character recognition)对连续视频帧图像进行逐帧识别与简单比对筛选,输出车牌字符识别结果及对应的置信度分值至上位机应用软件。当前上位机应用软件直接采纳置信度分值超过置信阈值的车牌字符识别结果,通过车牌登记库对低置信度分值的车牌字符识别结果进行匹配修正。该方案依赖单一概率阈值判定逻辑,缺乏系统化容错优化机制,难以从算法机制层面系统性提升复杂工况下的车牌识别正确率,环境适配性与容错性极差。

3、在矿山、工地、厂区等恶劣室外开放场景中,受动态光照、镜头脏污、拍摄角度偏差影响,采集的目标车牌的视频连续帧图像容易出现画面模糊、画面存在污渍污染区域、画面内容畸变等情况,引发光学字符识别准确性下降,车牌字符识别结果的置信度下跌,而依赖数据库对车牌字符识别结果进行匹配修正具有稳定差和容错率低的不足。

4、所以,目前车牌识别及上位机数据处理技术存在场景适配性差、抗干扰能力弱、识别精度低、无系统化优化机制等技术短板,亟需一种适配恶劣室外工况、可实现多源置信度融合优化、系统性提升车牌识别正确率的技术方案。

技术实现思路

1、本技术的目的在于提供车牌文字识别方法、系统和电子设备,可以摆脱对单一识别装置的图像采集精度依赖和置信度依赖,通过多个识别装置的车牌识别结果和置信度分值的处理进行数据综合处理提高车牌识别的准确性。

2、根据本技术实施例的第一方面,提供一种车牌文字识别方法,应用于上位机,所述上位机与至少两个识别装置连接,所述识别装置用于对采集目标车牌得到的车牌原始图像进行光学字符识别得到车牌识别结果和置信度分值;所述方法包括:

3、获取来自至少两个识别装置的车牌识别结果和置信度分值,得到多装置识别结果集;

4、前置过滤所述多装置识别结果集得到有效识别结果集,所述有效识别结果集包括有效识别结果和置信度分值;

5、对所述有效识别结果集中的置信度分值进行多源置信度交叉增强计算,得到各有效识别结果对应的融合权重;其中,所述多源置信度交叉增强计算包括分段钳位归一化、非线性幂次增强映射、同一方向组下多源累计基础分值计算和跨方向组融合增强计算;

6、对所述有效识别结果进行逐一字符地近似字符替换得到重组识别结果,根据所述重组识别结果与所述有效识别结果之间的字符相似度系数,结合所述融合权重计算得到所述重组识别结果的混合权重;

7、根据应用需求对应计算策略对所述重组识别结果和所述混合权重进行处理,得到最终识别结果和最终权重;其中,所述应用需求包括精确匹配核验、纯识别和多候选备选。

8、在一种实施方式中,前置过滤所述装置识别结果集得到有效识别结果集,包括:从所述多装置识别结果集中筛除与预设的异常字符串数据库模糊匹配的无效数据,得到所述有效识别结果集。

9、在一种实施方式中,对所述有效识别结果集中的置信度分值进行多源置信度交叉增强计算,得到各有效识别结果对应的融合权重,包括:

10、对所述有效识别结果对应的置信度分值进行分段钳位处理后,执行非线性幂次增强映射,得到单识别增强分值;

11、同一采集方向,将各个有效识别结果对应的单识别增强分值取最大值,构建所述采集方向的多源基础权重分;

12、融合所有采集方向的多源基础权重分,通过归一化加权计算,得到所述融合权重。

13、在一种实施方式中,所述分段钳位处理包括:

14、,其中,为第i个识别装置的有效识别结果对应的置信度分值,m为高分阈值,n为低分阈值,为上限钳位值,为下限钳位值,,为第i个识别装置的有效识别结果对应的映射置信度;

15、所述非线性幂次增强映射包括:

16、,其中,为分母缩放系数,,为幂次参数,,为整体缩放系数,,为第i个识别装置的有效识别结果对应的单识别增强分值。

17、在一种实施方式中,主采集方向的多源基础权重分为:

18、,其中,为主方向组编号,p为目标车牌编号,为目标车牌p在方向组所有有效识别结果对应识别装置的编号的集合,为第i个识别装置的有效识别结果对应的单识别增强分值,为取最大值,为目标车牌p在方向组的多源基础权重分;

19、其他采集方向的多源基础权重分为:

20、,其中,为其他方向组编号,m为预定时间窗口内方向组识别目标车牌p的有效识别次数,j为方向组识别帧索引,为方向组内第j次识别对应的单识别增强分值,为全局缩放系数,,为单样本尺度调节系数,,为幂次参数,为目标车牌p在方向组的多源基础权重分。

21、在一种实施方式中,融合所有采集方向的多源基础权重分,通过归一化加权计算,得到所述融合权重,包括:

22、计算目标车牌p在所有方向组的多方向增强总分,

23、,其中,为目标车牌p在方向组的多源基础权重分,为第k个方向组的编号,为目标车牌p的多方向增强总分;

24、将所述多方向增强总分归一化为百分制置信度,

25、,其中,为目标车牌p的多方向增强总分,为所有的最大值,为置信度上限值,为的百分制置信度;

26、根据重复次数调节所述百分制置信度得到所述融合权重,

27、,其中,为时间窗口内各个方向一共识别到目标车牌p的总次数,为重复识别增益系数,,为对数函数,为所述融合权重。

28、在一种实施方式中,对所述有效识别结果进行逐一字符地近似字符替换得到重组识别结果,包括:

29、在有效识别结果的原始字符串与登记库内的待选字符串之间的相似度达到相似度阈值时,将触发的待选字符串判定为近似字符串,得到近似字符映射集合,

30、,其中,为字符串a与b之间的操作距离,为字符串a的字符长度,为字符串b的字符长度,,为与之间的最大值,为与之间的最小值,为基础相似度,为长度比例补偿项,为字符串a与字符串b之间的相似度;

31、,其中,为相似度阈值,为有效识别结果第i位字符串,为待选字符串,是字符串与字符串之间的相似度,为第i位字符的近似字符映射集合;

32、根据有效识别结果的各个近似字符映射集合,通过笛卡尔积组合合法字符生成所述重组识别结果,得到候选集合,

33、,其中,为有效识别结果第n位字符的近似字符映射集合,为候选集合。

34、在一种实施方式中,根据所述重组识别结果与所述有效识别结果之间的字符相似度系数,结合所述融合权重计算得到所述重组识别结果的混合权重,包括:

35、遍历重组识别结果,逐位比对所述重组识别结果与所述有效识别结果,计算所述重组识别结果集中候选车牌q每一位字符的单字符贡献权重,

36、,其中,为重组识别结果集中候选车牌q的第i位字符,为有效识别结果p的第i位字符,为第i位字符的近似字符映射集合,为高相似度判定阈值,为高度相似字符的权重系数,为普通相似字符的权重系数,为衰减系数,为第i位字符对重组识别结果集中候选车牌q的单字符贡献权重;

37、根据每一个字符的单字符贡献权重和归一化权重,计算得到重组识别结果的混合权重,

38、,,其中,为第i位字符的近似字符映射集合基数,,为第i位字符的近似字符映射集合,n为目标车牌的字符总位数,k为归一化因子,为重组识别结果集中候选车牌q的混合权重。

39、在一种实施方式中,根据应用需求对应计算策略对所述重组识别结果和所述混合权重进行处理,得到最终识别结果和最终权重,包括:

40、在应用需求为精确匹配核验时,将重组识别结果集与登记库的车牌信息进行混合,再与重组识别结果进行笛卡尔积得到全部配对组合,计算每一配对组合的字符串编辑距离,根据字符串编辑距离执行权重增益修正得到每一配对组合的差异化相似度增益,根据重组识别结果、混合权重和差异化相似度增益构建混合向量矩阵得到综合增益分值,将综合增益分值最大的重组识别结果作为最终识别结果,将最终识别结果对应的混合权重作为最终权重;

41、在应用需求为纯识别时,将混合权重的最大值作为最终权重,将混合权重最大值对应的重组识别结果作为所述最终识别结果;

42、在应用需求为多候选备选时,按照从大到小的顺序从所述混合权重选定预设数量个作为所述最终权重,将各个所述最终权重对应的所述重组识别结果作为所述最终识别结果。

43、根据本技术实施例的第二方面,提供一种车牌文字识别系统,包括上位机和至少两个识别装置,所述识别装置用于采集目标车牌得到的车牌原始图像,并对所述车牌原始图像进行光学字符识别得到车牌识别结果和置信度分值;所述上位机包括:

44、接收模块,与至少两个所述识别装置连接,用于根据来自至少两个所述识别装置的车牌识别结果和置信度分值,得到多装置识别结果集;

45、前置过滤模块,与所述接收模块连接,用于前置过滤所述多装置识别结果集得到有效识别结果集,所述有效识别结果集包括有效识别结果和置信度分值;

46、多源交叉增强模块,与所述前置过滤模块连接,用于对所述有效识别结果集中的置信度分值进行多源置信度交叉增强计算得到各有效识别结果对应的融合权重,所述多源置信度交叉增强计算包括分段钳位归一化、非线性幂次增强映射、同一方向组下多源累计基础分值计算和跨方向组融合增强计算;

47、字符重组模块,与所述前置过滤模块连接,用于对所述有效识别结果进行逐一字符地近似字符替换得到重组识别结果;

48、重组权重调制模块,与所述前置过滤模块和所述字符重组模块连接,用于根据所述重组识别结果与所述有效识别结果之间的字符相似度系数,结合所述融合权重计算得到所述重组识别结果的混合权重;

49、需求策略处理模块,与所述重组权重调制模块连接,用于根据应用需求对应计算策略对所述重组识别结果和所述混合权重进行处理,得到最终识别结果和最终权重;

50、输出模块,与所述需求策略处理模块连接,用于输出所述最终识别结果和所述最终权重。

51、根据本技术实施例的第三方面,提供一种电子设备,包括存储器与处理器,所述存储器用于存储所述处理器可执行的计算机程序;所述处理器用于执行所述存储器中的计算机程序,以实现上述的方法。

52、与现有技术相比,本技术的有益效果在于:

53、(1)通过至少两个不同角度、不同位置采集的识别装置,对以不同速度运动的同一目标车辆的目标车牌进行识别得到车牌识别结果和置信度分值。注入上位机的车牌识别结果来源于多个识别装置,上位机输出最终识别结果,上位机对来源于多个识别装置的车牌识别结果和置信度分值进行处理,实现对多源识别结果的综合处理,避免了因单一识别装置因脏污、角度、光照等因素导致的系统性偏差,通过多源识别结果的互补与校验,实现多源交叉验证,整体准确性得到提高。

54、(2)先通过前置过滤剔除明显错误结果得到有效识别结果集,再通过多源置信度交叉增强计算得到有效识别结果对应的融合权重,使可信字符的权重更高、不可信字符的权重压低,实现分层次过滤与增强,抑制错误识别结果。

55、(3)对有效识别结果进行逐一字符地近似字符替换,从而将有效识别结果中的易混淆字符替换为正确的近似字符得到重组识别结果,并根据有效识别结果的融合权重重新计算重组识别结果的混合权重,支持对于常见识别歧义字符的正确识别,避免丢弃潜在正确识别结果。

56、(4)在应用需求是精确匹配核验时,通过笛卡尔积对重组识别结果与登记库中已知车牌信息两两配对得到全部配对组合,根据重组识别结果、混合权重和差异化相似度增益构建混合向量矩阵得到综合增益分值,最终确定综合增益分值最大的重组识别结果作为最终识别结果,实现最优匹配。

57、(5)本技术的上位机连接至少两个识别装置,支持根据算力和实时性要求灵活配置识别装置的数量和位置,调节上位机的输入泛用性和输出的准确性,不仅支持识别装置安装在小区、写字楼车库,还支持识别装置配置在矿山、工地、厂区等恶劣工况。