车牌识别结果可信输出方法及系统与流程

本发明涉及图像识别与智能交通，具体涉及一种车牌识别结果可信输出方法及系统。

背景技术：

1、车牌识别（license plate recognition，lpr）是智能交通系统的核心技术之一，广泛应用于停车场管理、电子收费、交通流量监测、违章抓拍等场景。随着深度学习技术的快速发展，基于目标检测与光学字符识别（ocr）的车牌识别系统已成为主流技术方案。

2、目前，主流的车牌识别系统通常采用以下处理流程：通过视频取流或抓拍图像获取输入图像；利用目标检测算法（如yolo等目标检测器）对输入图像中的车牌区域进行检测与定位；对定位出的车牌区域执行ocr识别，提取车牌号码字符串；之后根据识别结果的置信度，作为最优的车牌识别结果进行输出。上述处理架构在静态图片、清晰抓拍或单次准确识别等应用场景中能够取得较为理想的识别效果。

3、然而，基于单帧目标检测与ocr的车牌识别技术，重点在于提高单帧图像中的车牌定位、颜色识别或字符识别，但通常只输出单次最高分结果，这种方式将视频流割裂为互不关联的静态图像，视频流各帧之间的识别结果缺乏有效的关联与融合机制，缺少对同一车辆连续经过过程的候选车牌进行整合。

4、在真实车道环境中，同一车辆会在视频流的多个连续视频帧内依次出现，受夜间、大雾等微光环境、运动模糊、遮挡、反光、视频压缩码流失真、车牌倾斜角度变化、临近车辆干扰以及摄像机安装条件等多种因素的影响，单帧最高分识别结果不一定代表同一车辆经过过程中的最可信车牌结果。当该帧图像质量不佳时，即便基于图像增强技术进行处理，也只是对单帧图像修复和校正，无法克服单帧识别容易误识别的固有缺陷。

5、而且，同一车辆在不同视频帧中的成像质量存在显著差异，导致抽取不同视频帧可能输出多个相近但相互冲突的候选车牌。但现有方案缺乏能有效解决不同帧识别结果之间冲突消解的技术手段。

6、综上所述，现有技术方案缺乏对同一车辆在视频流中的多帧识别候选车牌进行整合、评估与输出的机制，无法保证最终输出车牌识别结果的可信度。

技术实现思路

1、为了解决背景技术中提出的现有车牌识别系统在真实车道连续视频流场景中采用单帧孤立处理，缺乏对同一车辆在视频流中的多帧识别候选车牌进行整合、评估与输出的决策机制，导致车牌识别准确率和可信度不足的技术问题，本发明提供了一种车牌识别结果可信输出方法及系统。

2、为解决上述技术问题，本发明提供如下技术方案：

3、一种车牌识别结果可信输出方法，包括以下步骤：

4、s1、从车道连续视频流中获取当前视频帧；

5、s2、对所述当前视频帧进行目标检测，获得当前视频帧的车牌目标框和车牌类型，对所述车牌目标框区域进行光学字符识别，获得车牌字符串和车牌识别分数；其中，车牌类型和车牌字符串作为候选车牌；

6、s3、将所述当前视频帧与已有车辆事件轨迹中的视频帧进行比对；

7、若当前视频帧满足归入条件，将当前视频帧归入已有车辆事件轨迹；若当前视频帧不满足归入条件，则为其新建车辆事件轨迹；

8、s4、重复s1至s3，直至当前视频帧的车牌目标框超出目标检测区域或当前视频帧的帧数达到设定帧数阈值，得到包含多个视频帧的同一车辆事件轨迹；

9、s5、在同一车辆事件轨迹内，对上述多个视频帧的候选车牌进行聚合统计：若统计结果仅存在一个候选车牌，则将该候选车牌作为最佳候选车牌；若统计结果存在多个候选车牌，则获得每个候选车牌的支持帧数和平均车牌识别分数；

10、s6、以支持帧数为第一优先级、平均车牌识别分数为第二优先级，对上述多个候选车牌进行排序，将排名第一的候选车牌作为最佳候选车牌；同时将排名第二的候选车牌作为次优候选车牌；

11、s7、判断上述最佳候选车牌的稳定性，依据稳定性将最佳候选车牌标记为强赢家或者弱赢家；

12、s8、输出可信车牌结果：

13、若最佳候选车牌标记为强赢家，则将最佳候选车牌作为可信车牌结果输出；

14、若最佳候选车牌标记为弱赢家，则将最佳候选车牌作为可信车牌结果输出，同时，将次优候选车牌作为补充结果输出。

15、进一步地，所述s7，包括：

16、s71、计算最佳候选车牌的支持帧数占该同一车辆事件轨迹内全部候选车牌帧数总和的比例，作为赢家占比；判断赢家占比是否小于预设比例阈值；若是，将最佳候选车牌标记为弱赢家；若否，则执行s72；

17、s72、计算最佳候选车牌与次优候选车牌之间支持帧数的差值，作为领先帧数；判断领先帧数是否小于预设差值阈值，若是，将最佳候选车牌标记为弱赢家；若否，则执行s73；

18、s73、当所述赢家占比大于等于预设比例阈值，且领先帧数大于等于预设差值阈值时，将最佳候选车牌标记为强赢家；否则，将最佳候选车牌标记为弱赢家。

19、进一步地，所述s7，还包括：

20、s74、判断标记为弱赢家的最佳候选车牌与次优候选车牌，是否仅存在省份字符不一致，若存在，则将最佳候选车牌标记为省份冲突；若不存在，则不标记；

21、s75、判断标记为弱赢家的最佳候选车牌与次优候选车牌，是否在相同字符位置存在数字/字母相似字符，若存在，则将最佳候选车牌标记为相似字符冲突；若不存在，则不标记。

22、进一步地，所述s1，包括：

23、s11、从车道连续视频流中获取当前视频帧；

24、s12、对上述当前视频帧进行清晰度检测，判断当前视频帧的清晰度分数是否高于预设清晰度阈值；

25、若当前视频帧的清晰度分数高于预设清晰度阈值，则将当前视频帧输出；

26、否则，将当前视频帧作为模糊候选视频帧，重复s11，直至当前视频帧的清晰度高于预设清晰度阈值；或者，模糊候选视频帧数达到预设跳过帧数，将模糊候选视频帧中清晰度分数最高的一帧作为当前视频帧进行输出。

27、进一步地，所述s3中：

28、归入条件为：车牌类型相同，车牌字符串差异度低于预设差异度阈值，且车牌目标框位于预设区域内。

29、进一步地，还包括s9，无牌车辆特情处理：

30、s91、当s2中车牌类型为未悬挂车牌类，触发无牌车辆特情处理：

31、s92、重复s1和s2，得到连续多帧视频帧，车牌类型均为未悬挂车牌类，确认当前车辆为未悬挂机动车号牌车辆，将当前车辆的车牌类型和车牌字符串标记为默认车牌类型和默认车牌字符串；并保存清晰度最高的当前视频帧作为当前车辆未悬挂机动车号牌备用图；

32、s93、调用车道控制器侧方摄像头，采集当前车辆临时车牌图像；

33、s94、对当前车辆临时车牌图像进行目标检测，获得该车辆临时车牌图像的车牌目标框和车牌类型，对该车辆临时车牌图像的车牌目标框区域进行光学字符识别，获得车牌字符串，将上述车牌类型和车牌字符串作为当前车辆临时车牌，将当前车辆的默认车牌类型和默认车牌字符串更新为当前车辆临时车牌的车牌类型和车牌字符串；并将该当前车辆临时车牌作为可信车牌结果输出；

34、s95、将上述当前车辆临时车牌图像与上述当前车辆未悬挂机动车号牌备用图拼合，成为当前车辆临时车牌证据图像。

35、进一步地，所述s93还包括：

36、若第一设定时长内未检测到当前车辆临时车牌图像，则调用车道控制器麦克风，采集语音识别录入的临时车牌；

37、若第二设定时长内未检测到语音识别录入的临时车牌，则人工介入。

38、进一步地，在可信车牌结果输出的同时，生成结构化证据，所述结构化证据包括：

39、标记为强赢家的最佳候选车牌以及标记为强赢家的最佳候选车牌对应的视频帧；

40、或，标记为弱赢家的最佳候选车牌和次优候选车牌，以及标记为弱赢家的最佳候选车牌对应的视频帧；

41、或，临时车牌以及临时车牌证据图像。

42、同时，基于上述一种车牌识别结果可信输出方法，本技术同时提供一种车牌识别结果可信输出系统，包括获取当前视频帧模块、车牌目标检测模块、车牌字符识别模块、车辆事件轨迹模块、最佳候选决策模块、车牌稳定性判断模块和可信车牌输出模块；

43、获取当前视频帧模块，用于从车道连续视频流中获取当前视频帧；

44、车牌目标检测模块，用于对当前视频帧进行目标检测，获得车牌目标框和车牌类型；

45、车牌字符识别模块，用于对车牌目标框区域进行光学字符识别，获得车牌字符串和车牌识别分数；

46、车辆事件轨迹模块，用于按照是否满足归入条件，将当前视频帧归入已有车辆事件轨迹或新建车辆事件轨迹；

47、最佳候选决策模块，用于在同一车辆事件轨迹内统计各候选车牌的支持帧数和平均车牌识别分数，并按照各候选车牌的支持帧数和平均车牌识别分数，从同一车辆事件轨迹的候选车牌中决策出最佳候选车牌和次优候选车牌；

48、车牌稳定性判断模块，用于对最佳候选车牌进行稳定性判定，当最佳候选车牌赢家占比不足，或者，当最佳候选车牌领先帧数不足，将最佳候选车牌标记为弱赢家，否则，标记为强赢家；

49、可信车牌输出模块，用于将标记为弱赢家的最佳候选车牌作为可信车牌结果输出，同时次优候选车牌作为补充结果与可信车牌结果一起输出；或者，将标记为强赢家的最佳候选车牌，作为可信车牌结果对外输出。

50、进一步地，所述车牌稳定性判断模块包括赢家数据统计单元、赢家类型标记单元、相似字符冲突标记单元和省份冲突标记单元；

51、赢家数据统计单元，用于计算最佳候选车牌的赢家占比和领先帧数；

52、赢家类型标记单元，用于判断赢家占比是否大于等于预设比例阈值，且领先帧数是否大于等于预设差值阈值，若是，将最佳候选车牌标记为强赢家；否则，将最佳候选车牌标记为弱赢家；

53、省份冲突标记单元，用于判断标记为弱赢家的最佳候选车牌与次优候选车牌，是否仅存在省份字符不一致，若存在，则将最佳候选车牌标记为省份冲突；

54、相似字符冲突标记单元，用于判断标记为弱赢家的最佳候选车牌与次优候选车牌，是否在相同字符位置存在数字/字母相似字符，若存在，则将最佳候选车牌标记为相似字符冲突。

55、综上所述，本发明具有以下有益技术效果：

56、本发明通过获取连续多帧视频帧，识别其候选车牌，并以车牌类型一致性、车牌字符串差异度和车牌目标框位置形成三维条件，将连续多帧视频帧中属于同一车辆的候选车牌的视频帧归集为同一车辆事件轨迹，改变了现有技术将视频流割裂为互不关联静态图像的处理架构；进而通过在同一车辆事件轨迹内统计各候选车牌的支持帧数和平均车牌识别分数；并以支持帧数为第一优先级、平均车牌识别分数为第二优先级决策出最佳候选车牌，避免了单帧偶发误识别仅凭最高分直接输出；在此基础上，对最佳候选车牌执行稳定性判定，当赢家占比不足或领先帧数不足时，将最佳候选车牌标记为弱赢家，同时输出次优候选车牌，解决了在弱赢家场景下，次优候选车牌与最佳候选车牌相近但相互冲突易误覆盖可能正确车牌的缺陷。上述技术特征有机组合，形成了从输入获取、车辆事件轨迹归集、多帧统计、优先级择优决策、稳定性判断、冲突解决到可信车牌结果输出的完整闭环，对连续视频流中不同视频帧可能输出多个相近但相互冲突的候选车牌进行聚合统计判断后决策输出，显著提高了真实车道连续视频流场景下车牌识别结果的可信度，降低了单帧误识别和弱赢家误覆盖风险。