一种基于车辆轨迹时序候选加权共识的车辆属性识别方法

本发明涉及智能交通、视频结构化分析，具体涉及一种基于车辆轨迹时序候选加权共识的车辆属性识别方法。

背景技术：

1、随着智能交通、道路视频监控及视频结构化分析技术的发展，基于交通视频的车辆检测、车辆跟踪和车辆属性识别已广泛应用于车辆监管、交通运行分析、违法取证和道路安全管理等场景。现有车辆属性识别方法通常以单帧车辆图像为处理对象，即在某一视频帧中检测到车辆后，直接对该帧车辆区域进行车牌号码、车牌颜色、车身颜色或车辆类型识别。然而，在实际道路交通视频中，车辆目标处于连续运动状态，容易受到运动模糊、车辆遮挡、强光反射、夜间补光、视角变化、检测框截断及视频压缩失真等因素影响，导致同一车辆在不同视频帧中的识别结果存在波动，单帧识别结果难以稳定表征车辆真实属性。

2、为提高车辆属性识别稳定性，部分现有方法会对同一车辆的多帧识别结果进行简单投票或选取最高置信度结果作为最终属性，但该类方法通常未充分考虑候选结果来源帧的质量差异、车辆检测置信度、车辆区域尺度、检测框完整度以及候选结果在轨迹时序中的稳定性。当低质量帧数量较多、错误候选重复出现或第一候选与第二候选得分接近时，现有方法仍可能输出错误或低可信度属性结果。

技术实现思路

1、本发明所要解决的技术问题是：克服现有交通视频车辆属性识别过程中存在单帧识别结果易受遮挡、运动模糊、光照反射、检测框截断及视角变化影响，多帧识别结果缺乏有效质量约束与冲突判定，导致车辆属性识别稳定性差、可信度低的问题，提出一种基于车辆轨迹时序候选加权共识的车辆属性识别方法，以同一车辆的连续轨迹为处理单元，依次进行轨迹帧质量评价、属性识别关键帧筛选、候选属性生成、候选属性加权共识和候选冲突判定；通过将来源帧质量、车辆检测置信度、属性识别置信度、候选出现次数及时序稳定性共同引入车辆属性决策过程，将单帧车辆属性识别结果转化为车辆级稳定属性结果或候选不确定结果，从而提高复杂交通视频场景下车辆属性识别结果的稳定性和可信度。

2、为了解决上述问题，本发明采用如下技术方案：

3、首先，本发明提出一种基于车辆轨迹时序候选加权共识的车辆属性识别方法，包括以下步骤：

4、步骤一、获取交通视频中同一车辆在连续视频帧中的车辆轨迹序列，车辆轨迹序列中包含车辆轨迹观测数据；基于所述车辆轨迹观测数据计算得到对应的车辆区域清晰度、车辆区域尺度及检测框完整度；

5、步骤二、对车辆轨迹观测数据进行质量评价，得到轨迹帧质量得分，根据所述轨迹帧质量得分筛选属性识别关键帧；

6、步骤三、对属性识别关键帧中的车辆区域进行车辆属性识别，生成同一车辆在至少两个关键帧下的候选属性集合，所述候选属性集合包括候选属性值、属性识别置信度以及对应来源关键帧的质量信息；

7、步骤四、根据候选属性集合的来源帧质量、车辆检测置信度、车辆检测框完整度、属性识别置信度、候选出现次数及时序稳定性，对同一车辆的候选属性值进行加权共识计算，得到候选属性值的综合得分；

8、步骤五、将各候选属性值按照综合得分由高到低进行排序，将得分最高者确定为第一候选属性值，将得分次高者确定为第二候选属性值，计算候选冲突比例，并根据第一候选属性值的综合得分、候选出现次数及候选冲突比例，确定车辆级稳定属性结果或候选不确定结果；

9、步骤六、对车辆级稳定属性结果或候选不确定结果进行结构化输出，将同一车辆不同车辆属性类型对应的识别结果按照车辆编号进行归并，形成统一的车辆级属性记录。

10、优选地，步骤一中，所述车辆轨迹序列表示为：

11、；

12、其中，表示第个车辆的车辆轨迹序列，表示第个车辆在第帧中的轨迹观测数据，表示车辆索引，表示视频帧索引，表示车辆轨迹序列长度；

13、所述车辆轨迹观测数据表示为：

14、；

15、其中，表示车辆检测框，表示帧编号，表示时间戳，表示车辆检测置信度，表示车辆位置特征。

16、优选地，步骤二中，所述轨迹帧质量得分按照以下公式计算：

17、；

18、其中，表示第个车辆在第帧中的轨迹帧质量得分，表示车辆检测置信度，表示车辆区域清晰度，表示车辆区域尺度评分，表示车辆检测框完整度，表示轨迹帧质量评分中的权重系数。

19、优选地，步骤二中，所述属性识别关键帧按照以下公式确定：

20、；

21、其中，表示第个车辆的属性识别关键帧集合，表示轨迹帧质量阈值，表示检测置信度阈值，表示车辆区域尺度阈值，表示相邻属性识别关键帧之间的最小帧间隔，表示上一已选属性识别关键帧的帧索引。

22、优选地，步骤三中，所述车辆属性包括车牌号码、车牌颜色、车身颜色、车辆类型中的至少一种；对于第个车辆的第类车辆属性，其候选属性集合表示为：

23、；

24、其中，表示第个车辆关于第类车辆属性的候选属性集合，表示第个车辆关于第类车辆属性的第个候选属性结果，表示候选属性结果数量；

25、所述候选属性结果表示为：

26、；

27、其中，表示第个候选属性结果中的候选属性值，表示第个候选属性结果中的属性识别置信度，表示第个候选属性结果对应来源关键帧的轨迹帧质量得分，表示第个候选属性结果对应来源关键帧的车辆检测置信度，表示第个候选属性结果对应来源关键帧的车辆检测框完整度。

28、优选地，步骤四中，所述候选属性结果的来源帧权重按照以下公式计算：

29、；

30、其中，表示第个候选属性结果的来源帧权重，表示第个候选属性结果对应来源关键帧的轨迹帧质量得分，表示第个候选属性结果对应来源关键帧的车辆检测置信度，表示第个候选属性结果对应来源关键帧的车辆检测框完整度，表示来源帧权重计算中的权重系数。

31、优选地，步骤四中，对于任一候选属性值，其综合得分按照以下公式计算：

32、；

33、其中，表示待评分的候选属性值，表示候选属性值在第个车辆第类车辆属性中的综合得分，表示候选一致性函数，表示第个候选属性结果的来源帧权重，表示第个候选属性结果中的属性识别置信度，表示候选属性值在第个车辆第类候选属性集合中的出现次数，表示候选属性值的时序稳定性，表示候选出现次数和时序稳定性的权重系数。

34、优选地，所述候选一致性函数按照车辆属性类型确定：

35、当所述车辆属性为类别型属性时，若与相同，则，否则；

36、当所述车辆属性为字符串型属性时，根据与之间的字符相似度或编辑距离确定；

37、所述时序稳定性按照如下方式计算：

38、；

39、其中，表示候选属性值的时序稳定性，表示选属性值在属性识别关键帧序列中的最长连续出现长度，表示所述车辆轨迹所包含的总关键帧数，表示防止分母为零的极小常数。

40、优选地，步骤五中，所述第一候选属性值和第二候选属性值按照如下方式确定：

41、；

42、；

43、其中，表示综合得分最高的第一候选属性值，表示综合得分次高的第二候选属性值，表示候选属性值的综合得分；

44、所述候选冲突比例按照如下方式计算：

45、；

46、其中，表示第个车辆第类车辆属性的候选冲突比例，表示第一候选属性值的综合得分，表示第二候选属性值的综合得分，表示防止分母为零的极小常数。

47、优选地，在确定车辆级稳定属性结果时，当满足如下条件时，将所述第一候选属性值确定为车辆级稳定属性结果：

48、；

49、其中，表示综合得分阈值，表示最小候选数量阈值，表示候选冲突比例阈值；

50、所述车辆级稳定属性结果表示为：

51、；

52、其中，表示第个车辆第类车辆属性的车辆级属性输出结果，表示第个车辆的车辆编号，表示车辆属性类型索引，表示最终输出的车辆属性值，表示候选冲突比例，表示第个车辆第类车辆属性的属性状态；

53、当所述综合得分小于综合得分阈值、候选属性值出现次数小于最小候选数量阈值，或者候选冲突比例大于候选冲突比例阈值时，输出候选不确定结果。

54、本发明采用上述技术方案，具有以下有益效果：

55、（1）通过车辆轨迹时序建模，将同一车辆在连续视频帧中的检测结果关联为轨迹序列，并在此基础上进行轨迹帧质量评价与属性识别关键帧筛选，综合检测置信度、图像清晰度、目标尺度及检测框完整度筛除低质量观测帧，有效降低模糊、遮挡、反光、尺度过小及检测框截断对属性识别的影响。

56、（2）通过候选属性加权共识机制，将来源帧质量、检测置信度、属性识别置信度、候选出现次数及时序稳定性纳入综合评分，使高质量、高一致性的候选属性值获得更高得分，抑制偶发误识别结果的干扰。

57、（3）通过候选冲突判定机制，对第一候选与第二候选的得分进行比对，在证据不足或候选结果明显冲突时输出候选不确定结果，避免强制输出低可信度属性。