基于视觉识别的区域车辆特征聚合与画像生成方法及装置与流程

摘要: 本发明涉及计算机视觉与数据处理,尤其涉及一种基于视觉识别的区域车辆特征聚合与画像生成方法及装置。背景技术:1、随着深度学习技术的快速发展,基于计算机视觉的车辆识...
基于视觉识别的区域车辆特征聚合与画像生成方法及装置与流程

本发明涉及计算机视觉与数据处理,尤其涉及一种基于视觉识别的区域车辆特征聚合与画像生成方法及装置。

背景技术:

1、随着深度学习技术的快速发展,基于计算机视觉的车辆识别技术已在智能交通、安防监控等领域得到广泛应用。现有技术中,基于卷积神经网络的目标检测方法已被用于车辆目标的定位与识别。然而,现有技术在面向特定区域进行车辆特征聚合与统计分析时,仍存在以下技术问题:

2、一,单帧识别在复杂场景下的准确率不稳定。在暗光、偏斜视角、局部遮挡、运动模糊等非理想条件下,仅依赖单帧图像进行车辆品牌、车型、年份的细粒度识别,识别置信度低且波动大,导致统计结果不可靠。

3、二,同一物理车辆的跨帧去重困难。同一品牌、同一型号、同一年份的车辆在外观上高度相似。在视频序列中,同一辆车的多帧检出结果容易被重复计数,而两辆外观相同的不同车辆又可能被误判为同一辆。现有的单纯基于外观特征或单纯基于空间位置的方法,均难以在遮挡和视角变化下维持准确的身份绑定。

4、三,原始视频数据直接上传云端分析存在数据安全风险与带宽浪费。视频流中往往包含车牌、人脸、精确活动轨迹等个人可识别信息,直接上传云端分析不仅传输数据量大,而且存在隐私泄露隐患。

5、四,聚合统计后的区域车辆数据与外部信息需求之间的匹配缺乏高效的技术实现。聚合统计后的多维度数据如何转化为可用于信息展示调度的量化指标,现有技术缺乏从数据采集到统计输出的完整技术链路。

技术实现思路

1、本发明的目的在于提供一种基于视觉识别的区域车辆特征聚合与画像生成方法及装置,用于解决现有技术在复杂场景下识别准确率低、跨帧去重困难、数据隐私风险高、技术链路不完整的技术问题。

2、本发明的目的采用以下技术方案实现:

3、基于视觉识别的区域车辆特征聚合与画像生成方法,包括以下步骤:

4、获取目标区域内的视频流数据,对所述视频流数据进行抽帧处理,得到待检测图像序列;

5、将所述待检测图像序列输入预训练的车辆检测模型,输出各待检测图像中车辆目标对应的边界框信息;所述车辆检测模型基于卷积神经网络构建,用于提取车辆目标的深层视觉特征;

6、基于所述边界框信息,通过多目标跟踪算法对连续帧中出现的同一车辆目标进行关联,并分配唯一的目标身份标识,以生成去重后的车辆目标记录数据;

7、对于所述车辆目标记录数据中的每一车辆目标,从所述视频流数据中提取该目标身份标识对应的车辆局部图像集合,并基于所述车辆局部图像集合进行多帧联合分类识别,得到该车辆目标的多维度分类特征向量;所述多帧联合分类识别为对同一车辆目标的多帧局部图像分别进行单帧分类识别后,对各单帧分类识别的结果进行一致性聚合;所述多维度分类特征向量包含品牌、车型及年份属性绑定的分类标签;

8、将所述车辆目标记录数据及其对应的多维度分类特征向量,按照预设的聚合维度进行数值化与离散化处理,生成不包含个体标识信息的区域车辆画像矩阵。

9、在其中一个实施例中,所述对同一车辆目标的多帧局部图像分别进行单帧分类识别后,对各单帧分类识别的结果进行一致性聚合,包括:

10、获取该目标身份标识对应的车辆目标在所述视频流数据中出现的全部图像帧;

11、对所述全部图像帧按照采集时间进行排序,剔除时序位于前部预设比例和后部预设比例的图像帧,得到有效帧集合;

12、对所述有效帧集合进行抽样,并对抽样得到的各车辆局部图像分别进行单帧分类识别,生成多个初步分类结果及对应的置信度;

13、对所述多个初步分类结果进行一致性统计:若相同的初步分类结果在所述多个初步分类结果中的占比超过预设占比阈值,或连续获得的相同初步分类结果的次数达到预设次数阈值,则将该相同的初步分类结果确定为该车辆目标的最终分类结果;

14、基于所述最终分类结果,生成所述多维度分类特征向量。

15、在其中一个实施例中,在所述对所述多个初步分类结果进行一致性统计之前,还包括:

16、获取各初步分类结果对应的置信度;

17、若存在初步分类结果的置信度低于预设的置信度阈值,则判定该初步分类结果不可靠,将对应的车辆局部图像上传至云端识别接口进行二次识别;

18、接收所述云端识别接口返回的云端识别结果,并以所述云端识别结果替代所述置信度低于预设的置信度阈值的初步分类结果;

19、所述对所述多个初步分类结果进行一致性统计,为对经云端识别结果替代后的多个初步分类结果进行一致性统计;

20、若经云端识别结果替代后,所述多个初步分类结果仍不满足所述预设占比阈值条件和所述预设次数阈值条件,则以云端识别结果中置信度最高的分类结果作为该车辆目标的最终分类结果。

21、在其中一个实施例中,所述预设的置信度阈值为0.95。

22、在其中一个实施例中,所述前部预设比例为前三分之一,所述后部预设比例为后三分之一,保留中间三分之一的图像帧作为所述有效帧集合,所述预设占比阈值为70%,所述预设次数阈值为连续3次。

23、在其中一个实施例中,所述对抽样得到的各车辆局部图像分别进行单帧分类识别,包括:

24、将所述车辆局部图像输入预训练的单分类模型,所述单分类模型以车辆款型标识作为分类标签进行全量分类;所述车辆款型标识为品牌、车型及年份属性的绑定组合;

25、所述单分类模型的分类层采用度量学习策略构建,通过计算输入图像特征向量与各分类标签对应类别原型向量之间的相似度,输出与该车辆局部图像最匹配的车辆款型标识作为初步分类结果,并输出对应的置信度。

26、在其中一个实施例中,所述通过多目标跟踪算法对连续帧中出现的同一车辆目标进行关联,包括:

27、提取所述边界框内车辆目标的外观特征向量;

28、结合所述边界框在相邻帧中的空间位置交并比以及所述外观特征向量的余弦相似度,计算关联置信度;

29、基于所述关联置信度,利用匈牙利算法或卡尔曼滤波预测进行相邻帧间目标的匹配关联,以维持同一车辆目标在视频流中的唯一目标身份标识;

30、当某一目标身份标识在连续n帧内未被检测到时,将该目标身份标识标记为暂离状态而非直接删除;当后续帧中检测到新的车辆目标时,计算新目标的外观特征向量与处于暂离状态的目标身份标识所对应的历史外观特征向量之间的余弦相似度;若余弦相似度大于预设阈值,且新目标出现的位置与暂离目标最后消失位置之间的空间距离小于基于帧间隔时间的动态阈值,则将该新目标关联至原目标身份标识;若连续超过m帧仍未匹配,则删除该暂离目标身份标识。

31、在其中一个实施例中,所述生成不包含个体标识信息的区域车辆画像矩阵,包括:

32、剥离与个体隐私强关联的原始图像数据和精确时空定位数据;

33、仅统计所述目标区域内车辆目标在品牌维度、车型维度、年份维度以及基于外部数据库映射得到的估值维度上的频次分布与占比分布;

34、将所述频次分布与占比分布以矩阵或向量的形式进行结构化存储。

35、在其中一个实施例中,在所述生成不包含个体标识信息的区域车辆画像矩阵之后,还包括:

36、从所述区域车辆画像矩阵中提取品牌分布向量、车龄分布向量及估值分布向量;

37、对所述品牌分布向量、车龄分布向量及估值分布向量分别进行归一化加权处理,生成对应的品牌特征参数、车龄特征参数及经济特征参数;

38、基于所述品牌特征参数、车龄特征参数、经济特征参数以及用于表征车型多样性的离散度参数,计算所述目标区域的综合画像评估指标;

39、将所述综合画像评估指标与待展示信息的目标受众特征向量进行相似度计算;

40、若所述相似度超过预设阈值,则生成针对所述目标区域的信息展示调度指令。

41、基于视觉识别的区域车辆特征聚合与画像生成装置,包括:

42、视频采集与预处理单元,用于获取目标区域内的视频流数据,并对所述视频流数据进行抽帧处理;

43、目标检测单元,用于利用预训练的车辆检测模型确定待检测图像中车辆目标的边界框;

44、跟踪去重单元,用于通过多目标跟踪算法对连续帧中的同一车辆目标进行关联,并生成去重后的车辆目标记录数据;

45、特征识别单元,用于根据目标身份标识提取车辆局部图像集合,执行多帧联合分类识别,输出包含品牌、车型及年份属性绑定分类标签的多维度分类特征向量;

46、聚合画像生成单元,用于将所述车辆目标记录数据及多维度分类特征向量进行数值化与离散化处理,生成不包含个体标识信息的区域车辆画像矩阵。

47、与现有技术相比,本发明的有益效果至少包括:

48、本技术提供了一种基于视觉识别的区域车辆特征聚合与画像生成方法,通过视频抽帧、车辆检测、跟踪去重、多帧联合识和聚合脱敏输出,这个五个环节的协同配合,在暗光、遮挡等复杂场景下仍能准确识别车辆品牌、车型及年份,同时从输出数据结构上杜绝个体隐私泄露,实现对目标区域车辆特征的轻量化聚合统计。

49、该方法通过多帧联合分类识别,利用同一车辆在多帧中的多视角、多时刻视觉证据进行一致性聚合,有效抑制了单帧识别在暗光、偏斜、遮挡场景下的偶发性错误。在暗光场景测试集上,多帧联合一致性统计后的分类准确率比单帧识别提升约15个百分点。

50、该方法通过外观特征与时空约束联合的多目标跟踪,配合暂离恢复机制,有效解决了同一辆车被重复计数和同款不同车被错误合并的问题。在包含遮挡场景的测试视频中,车辆计数的平均误差从传统方法的约12%降低至约3%。

51、该方法的输出端仅输出聚合统计矩阵,从数据结构层面杜绝了车牌、精确轨迹等个体信息的泄露可能。同时,原始视频流数据仅需在本地处理,无需上传云端,显著降低了数据传输带宽需求和隐私泄露风险。

52、该方法从视频采集到检测跟踪、从多帧识别到聚合脱敏、从统计矩阵到评估指标,形成了一套完整的数据处理技术方案,可直接对接外部信息展示调度系统。