基于人像特征比对的副驾复驾查缉方法、系统、设备及存储介质与流程
本发明涉及交通监控领域,具体涉及一种基于人像特征比对的副驾复驾查缉方法、系统、设备及存储介质。
背景技术:
1、酒后驾驶是导致重特大道路交通事故的主要原因之一,随着“醉驾入刑”和持续整治,代驾服务快速普及,但伴生出一种隐蔽的异常出行模式:部分饮酒人员在代驾将其送至目的地、代驾司机离开后,又自行驾车外出。此类“代驾后副驾复驾”行为在时间、地点上高度随机,传统路面设卡人力成本高,覆盖时段与路段有限,查缉命中率极低。
2、其他现有解决方法还包括:通过分析车辆行驶轨迹与时间规律,识别在餐饮娱乐场所周边停车后短时间内再次启动的车辆,作为疑似异常出行线索推送,但该方法缺乏直接的视觉证据支撑,误报率较高。部分地区交管系统建立了酒驾前科人员人脸库,在卡口抓拍后进行实时人脸比对,发现酒驾前科人员驾驶车辆时触发预警。但该方法仅能识别酒驾历史记录人员,无法发现首次异常出行者,存在大量漏检,且无法覆盖非机动车复驾场景。
3、此外,还有通过代驾服务平台获取代驾订单数据(起始地点、时间、车牌等),与卡口抓拍数据进行时空关联。但该方法依赖代驾平台的数据共享,存在数据隐私、商务壁垒等问题,且无法解决非机动车复驾的检测需求。
技术实现思路
1、本发明的目的在于提供一种基于人像特征比对的副驾复驾查缉方法、系统、设备及存储介质,以解决如何在海量的交通卡口抓拍数据中,自动化、智能化地发现并识别“代驾服务结束后,原副驾乘客再次驾车上路”的异常出行行为。
2、为解决上述技术问题,本发明采用如下技术方案:
3、一种基于人像特征比对的副驾复驾查缉方法,包括如下步骤:
4、获取第一卡口图像,基于所述第一卡口图像,提取主驾位人员的图像信息;
5、基于自定义训练的代驾识别模型判定该主驾位人员是否为代驾人员;
6、若判定为代驾人员,则提取所述第一卡口图像中主驾位人员的人脸特征转换为第一人脸特征向量,存入代驾人脸库,提取副驾位人员的人脸特征转换为第二人脸特征向量,存入副驾人脸库,并记录该目标车辆的车牌号;
7、以所述车牌号为索引监测所述目标车辆、和/或以所述第二人脸特征向量为监测依据监测所述副驾位人员,在预设时间窗口内,获取所述目标车辆和/或所述副驾位人员再次被卡口抓拍时采集的第二卡口图像;
8、提取所述第二卡口图像中主驾位人员的人脸特征,生成表征该人员身份的第三人脸特征向量;
9、将所述第三人脸特征向量与所述第二人脸特征向量进行比对,当比对结果满足设定的匹配条件时,判定匹配成功,产生告警信息。
10、优选的,所述代驾识别模型通过以下步骤预先训练获得:
11、采集多张代驾人员驾驶的主驾小图作为正样本,多张非代驾普通驾驶员驾驶的主驾小图作为负样本,输入来源为卡口预裁剪的主驾小图,将所述正样本和所述负样本的图像统一缩放至设定像素,并按设定比例随机划分训练集和验证集;
12、以深度学习图像分类网络作为基线模型,采用迁移学习方式进行训练;
13、以所述验证集上的top-1准确率和f1值作为模型质量评价指标,直至所述验证集上的top-1准确率和f1值均达到设定的合格标准,即得到训练完成的所述代驾识别模型。
14、优选的,所述基于自定义训练的代驾识别模型判定该主驾位人员是否为代驾人员,包括:
15、将所述主驾位人员的图像信息输入至所述代驾识别模型,获取所述代驾识别模型输出的置信度分数,所述置信度分数为所述代驾识别模型输出的代驾类别的概率值;
16、当所述置信度分数大于或等于第一预设阈值时,判定该主驾位人员为高置信度代驾人员,提取所述第一卡口图像中主驾位人员的人脸特征转换为第一人脸特征向量存入代驾人脸库,提取副驾位人员的人脸特征转换为第二人脸特征向量存入副驾人脸库,并记录该目标车辆的车牌号;
17、当所述置信度分数大于或等于第二预设阈值且小于所述第一预设阈值时,判定该主驾位人员为低置信度代驾人员,提取所述第一卡口图像中主驾位人员的人脸特征转换为第一人脸特征向量存入代驾人脸库,提取副驾位人员的人脸特征转换为第二人脸特征向量存入副驾人脸库,并记录该目标车辆的车牌号,并标记待复核;
18、当所述置信度分数小于所述第二预设阈值时,判定该主驾位人员为非代驾人员,不做处理。
19、优选的,所述代驾识别模型还包括更新步骤:
20、在所述代驾识别模型部署后,采集所述高置信度代驾人员的样本图像,作为正样本新增训练数据;
21、采集所述低置信度代驾人员的样本图像,经人工复核标注后,作为难例样本新增训练数据;
22、按设定周期将所述新增训练数据回流至所述代驾识别模型的训练集,对已部署的所述代驾识别模型进行增量训练或微调,以更新所述代驾识别模型的版本。
23、优选的,所述第一卡口图像和/或所述第二卡口图像来源于具备主副驾预裁剪功能的第一类卡口设备,所述第一类卡口设备输出的卡口图像中包括过车大图、主驾小图和副驾小图,所述主驾位人员的人脸特征、所述副驾位人员的人脸特征提取均直接采用所述主驾小图和副驾小图作为输入。
24、优选的,所述第一卡口图像和/或所述第二卡口图像还来源于不具备主副驾预裁剪功能的第二类卡口设备,所述第二类卡口设备包括过车大图,以及右上角叠加的驾驶员特写小图,从第二类卡口设备中获取所述主驾位人员的人脸特征,包括:
25、在所述第一卡口图像中,遮蔽其右上角叠加的驾驶员特写小图区域;
26、以设定的驾驶位模板图像与遮蔽后的第一卡口图像进行模板匹配,确定匹配度最高的区域作为驾驶位区域;
27、当所述匹配度低于设定阈值时,放弃该帧处理,当匹配度高于或等于设定阈值时,裁剪所述驾驶位区域,得到真实的主驾小图,作为主驾位人员的人脸特征提取的输入;
28、当识别为代驾状态时,从所述第一卡口图像中获取副驾位人员的副驾小图的方法包括:
29、根据所述驾驶位区域与副驾位区域之间预设的空间偏移量,在所述第一卡口图像中自适应构建副驾位roi区域;
30、裁剪所述副驾位roi区域,得到副驾位人员的副驾小图,作为副驾位人员的人脸特征提取的输入。
31、优选的,所述的提取所述第一卡口图像中主驾位人员的人脸特征并生成第一人脸特征向量,以及所述提取副驾位人员的人脸特征转换为第二人脸特征向量,包括:
32、从所述第一卡口图像中获取所述主驾位人员的主驾小图和/或副驾位人员的副驾小图,对所述主驾小图和/或副驾小图进行关键点定位,获取面部关键点坐标;
33、基于所述关键点坐标,将所述主驾小图和/或副驾小图校正至标准化姿态,得到对齐后人脸图像;
34、将所述对齐后人脸图像输入至人脸特征提取网络,提取人脸特征向量,并对所述人脸特征向量进行归一化处理,得到表征人员身份的第一人脸特征向量和/或第二人脸特征向量。
35、优选的,所述的提取所述第二卡口图像中主驾位人员的人脸特征,生成表征该人员身份的第三人脸特征向量,包括:
36、以所述车牌号为索引,监测机动车卡口的过车记录,当识别到同一车牌号的车辆在机动车卡口再次出现时,获取对应的机动车卡口的第二卡口图像;
37、获取所述第二卡口图像中的主驾小图,对所述主驾小图进行人脸检测,定位人脸区域;
38、当所述主驾小图中未检测到人脸时,回退至所述第二卡口图像中的过车大图进行人脸检测,取置信度最高的人脸区域作为驾驶位人员的人脸;
39、对所述人脸区域进行抠图处理,得到真实的驾驶位人员的主驾小图,提取人脸特征,生成第三人脸特征向量;
40、和/或
41、以所述第二人脸特征向量为监测依据,在所述预设时间窗口内对非机动车卡口的抓拍图像进行实时人脸检索;
42、当检索到与所述第二人脸特征向量匹配的人脸时,获取对应的非机动车卡口的第二卡口图像;
43、获取所述第二卡口图像的过车大图,对所述过车大图进行人脸检测;
44、当检测到多个人脸时,取面积最大的人脸作为非机动车驾驶位人员人脸区域;
45、对所述人脸区域进行抠图处理,得到驾驶位人员的主驾小图,提取人脸特征,生成第三人脸特征向量。
46、优选的,所述的将所述第三人脸特征向量与所述第二人脸特征向量进行比对,包括:
47、当所述第二卡口图像来源于机动车卡口且识别到车牌号时,以所述车牌号为索引,在所述副驾人脸库中进行精确匹配,提取与所述车牌号关联存储的第二人脸特征向量,计算所述第三人脸特征向量与所述第二人脸特征向量之间的相似度;
48、当所述第二卡口图像来源于非机动车卡口时,以所述第三人脸特征向量为查询向量,按所述预设时间窗口对所述副驾人脸库进行时间过滤后,计算所述查询向量与各第二人脸特征向量之间的相似度,取相似度最高的前k个作为召回候选;
49、根据所述相似度的计算结果,判定所述第三人脸特征向量与所述第二人脸特征向量是否匹配。
50、优选的,所述相似度通过以下任一种方式计算:
51、通过点积运算计算标准余弦相似度;和/或,
52、通过余弦增强函数计算增强相似度,所述余弦增强函数用于对所述第三人脸特征向量与所述第二人脸特征向量进行非线性相似度计算,输出增强后的相似度值。
53、优选的,所述副驾复驾查缉方法还包括入库质量校验,用于第一人脸特征向量存入代驾人脸库、以及第二人脸特征向量存入副驾人脸库之前执行,所述入库质量校验包括以下至少一种校验方式:
54、同一样本最小相似度校验:将待入库的人脸特征向量与该车牌号已有的人脸特征逐一对比,取最小相似度值;
55、当所述最小相似度值低于第一质量阈值时,判定当前人脸特征向量质量不合格,拒绝存入代驾人脸库和/或副驾人脸库;
56、不同样本最大相似度校验:将待入库的人脸特征向量与其他车牌号已存储的人脸特征向量逐一对比,取最大相似度值;
57、当所述最大相似度值高于第二质量阈值时,判定当前人脸特征向量与另一车牌已有入库特征高度相似,执行标记关联处理;
58、其中,所述第一质量阈值小于所述第二质量阈值。
59、优选的,所述副驾复驾查缉方法还包括多维度联合校验方法,包括:
60、在提取人脸特征前获取人脸属性信息和/或遮挡检测结果,所述人脸属性信息包括性别信息和/或年龄组信息,所述遮挡检测结果包括遮挡类型和/或遮挡程度分数;
61、执行属性一致性校验的步骤,包括:
62、对所述第三人脸特征向量对应的驾驶位人员的性别信息与所述第二人脸特征向量对应的人员的性别信息进行一致性校验,若性别不一致,则降低判定等级或转入人工复核;
63、对所述第三人脸特征向量对应的驾驶位人员的年龄组信息与所述第二人脸特征向量对应的人员的年龄组信息进行一致性校验,若年龄组差异超过预设范围,则降低判定等级或转入人工复核;
64、执行遮挡过滤校验的步骤,包括:
65、当所述遮挡程度分数高于预设遮挡阈值时,判定该人脸图像为严重遮挡,降低该维度校验的权重或跳过属性一致性校验,并标记为需人工复核;
66、根据各维度校验的通过情况计算综合得分;
67、根据所述综合得分调整判定结果等级:综合得分高于第一分数阈值时确认告警,综合得分介于第二分数阈值与第一分数阈值之间时转入人工复核,综合得分低于第二分数阈值时维持原判定或降级处理;
68、和/或,获取所述目标车辆在所述预设时间窗口内的多张第二卡口图像,对多次比对结果进行多帧投票校验,根据投票结果调整判定等级。
69、优选的,所述告警信息包括告警基础信息、代驾场景信息、复驾场景信息以及比对结果信息中的至少一种。
70、本发明还提供一种基于人像特征比对的副驾复驾查缉系统,包括:
71、图像获取模块,用于获取第一卡口图像和/或第二卡口图像;
72、特征提取模块,用于提取所述第一卡口图像中主驾位人员的人脸特征转换为第一人脸特征向量、提取副驾位人员的人脸特征转换为第二人脸特征向量,以及提取所述第二卡口图像中主驾位人员的人脸特征转化为第三人脸特征向量;
73、代驾识别模块,用于基于所述第一卡口图像中提取的主驾位人员的图像信息,并基于自定义训练的代驾识别模型判定该主驾位人员是否为代驾人员;
74、人脸库构建模块,用于将所述第一人脸特征向量,存入代驾人脸库,第二人脸特征向量,存入副驾人脸库,并记录该目标车辆的车牌号;
75、目标监测模块,用于以所述车牌号为索引监测所述目标车辆、和/或以所述第三人脸特征向量为监测依据监测所述副驾位人员,在预设时间窗口内,获取所述目标车辆和/或所述副驾位人员再次被卡口抓拍时采集的第二卡口图像;
76、比对判定模块,用于将所述第三人脸特征向量与所述第二人脸特征向量进行比对,当比对结果满足设定的匹配条件时,判定匹配成功,产生告警信息。
77、本发明还提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的基于人像特征比对的副驾复驾查缉方法。
78、本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上所述的基于人像特征比对的副驾复驾查缉方法。
79、与现有技术相比,本发明通过代驾人员的工服视觉特征进行身份判断,不依赖代驾平台订单数据,利用现有卡口中的预裁剪小图简化处理流程,并同时设计了兼容老旧卡口的模板匹配遮蔽法,通过代驾人脸库与副驾人脸库分库独立建表,以车牌号为天然关联键,实现代驾到复驾的全链路可追溯,并通过人脸特征实现跨时空身份关联,构建了“代驾检测—人脸检测与抠图—特征提取与双库入库—复驾检测—特征比对—告警输出”全链路自动化闭环的代驾后副驾复驾异常出行行为智能检测方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com