一种基于多角度特征提取的车辆目标检测与分类识别方法与流程
本发明涉及一种智能交通道路车辆目标检测与分类识别方法,具体涉及一种基于多角度特征提取的车辆目标检测与分类识别方法。
背景技术:
1、道路图像中的车辆通常以正面、侧面、后面、斜侧面及远距离小目标等不同观察条件出现。同一车辆类别在不同观察角度下的外观差异较大,而不同车辆类别在某些局部角度下又可能具有相似结构,例如汽车与救护车在侧面轮廓上较为接近,公交车与卡车在远距离图像中均可能呈现为长条形目标。因此,车辆拍摄角度变化会直接影响类别特征的稳定性。
2、现有车辆识别方法通常先利用目标检测网络定位车辆,再将车辆区域输入单一卷积神经网络,通过全局平均池化获得一组整体特征并完成分类。该方式对所有观察角度采用同一套固定特征表达,容易使分类结果受局部遮挡、车身朝向、车辆尺度以及背景干扰影响。
3、部分方法通过设置正面、侧面和后面等人工视角标签分别训练分类器,但该类方法需要额外标注车辆视角,数据制作成本较高;在斜侧面、遮挡或视角连续变化情况下,离散视角标签难以准确描述真实观察状态。另一些方法使用单一注意力图增强显著区域,但单一注意力区域难以同时覆盖车灯、车窗、车身比例、车轮和车顶设备等多种结构特征。
4、此外,多分支特征直接拼接后输入分类器时,若某一分支尚未学习到有效结构,其噪声特征会与整体特征共同参与分类,从而削弱稳定的全局表达。固定比例融合也无法根据当前车辆外观自适应调整各分支贡献。因此,需要一种不依赖额外车辆视角标签、能够学习多个互补角度相关特征,并能根据车辆当前外观动态控制分支权重及融合强度的车辆检测与分类识别方法。
5、现有技术主要存在以下不足:
6、(1)采用单一整体特征进行分类,对车辆正面、侧面、后面及斜侧面变化的适应性不足;
7、(2)依赖人工视角标签的方法增加标注成本,且难以表示连续变化的观察角度;
8、(3)单一注意力区域难以同时关注不同角度下具有分类贡献的多个车辆结构;
9、(4)多分支特征直接拼接或固定加权容易引入无效分支信息,影响分类稳定性;
10、(5)车辆类别样本数量不均衡时,常见类别容易主导训练,少样本车辆类别的识别能力不足。
技术实现思路
1、为解决现有车辆检测与分类模型对车辆拍摄角度变化适应性不足的问题,本发明提供一种基于多角度特征提取的车辆目标检测与分类识别方法。
2、在不设置车辆视角标签的情况下,通过多个角度相关特征分支提取不同观察条件下的车辆局部结构特征,根据车辆整体外观自适应确定各分支权重,并将加权后的角度特征与车辆整体特征进行动态融合,从而减少无效特征干扰,提高五类车辆的检测与分类识别能力。
3、本发明提供如下技术方案:
4、一种基于多角度特征提取的车辆目标检测与分类识别方法,包括以下步骤:
5、s1、首先将道路图像输入五类别车辆目标检测模型,设置检测置信度阈值、非极大值抑制交并比阈值,获得车辆预测框、车辆检测置信度和车辆初始类别;
6、s2、随后提取车辆区域,根据有效车辆预测框裁剪车辆区域,对裁剪后的车辆区域进行预处理,将处理后的车辆区域输入多角度自适应车辆分类模型对车辆整体特征提取,获取车辆卷积特征图和车辆整体原始特征,进行车辆类别识别;
7、s3、最后输出车辆目标检测与分类结果,即输出救护车、公交车、汽车、摩托车和卡车五类车辆识别结果。
8、步骤s1中,获取道路监控设备、园区监控设备或者车载摄像设备采集的道路图像,将第张道路图像输入车辆目标检测模型,得到车辆检测结果集合:
9、(1)
10、其中,为第张道路图像中检测出的车辆目标数量,为第个车辆目标的预测框,为车辆检测置信度,为车辆目标检测模型输出的初始车辆类别。
11、步骤s1中,车辆预测框表示为:
12、(2)
13、其中,为车辆预测框左上角坐标,为车辆预测框右下角坐标。
14、进一步的,步骤s2提取车辆区域之前,应先读取数据集中道路图像对应的真实车辆标注框,并根据真实车辆标注框裁剪车辆区域,扩展后的车辆标注框表示为:
15、(3)
16、其中,和分别为真实车辆标注框的实际宽度和高度,为车辆标注框外扩比例,根据扩展后的真实车辆标注框裁剪车辆区域。
17、进一步的,预处理包括尺寸调整、张量转换和归一化处理,归一化方法表示为:
18、(4)
19、其中,表示张量转换后第个颜色通道在位置处的像素值,表示归一化后的像素值,和分别表示第个颜色通道的归一化均值和标准差。
20、进一步的,步骤s2中,对车辆整体特征提取:
21、将预处理后的车辆区域输入预训练的resnet18特征提取主干,得到车辆卷积特征图:
22、(5)
23、其中,表示resnet18特征提取主干,表示车辆卷积特征图;
24、对车辆卷积特征图进行全局平均池化,得到车辆整体原始特征:
25、(6)
26、其中,和分别为车辆卷积特征图的高度和宽度,为512维车辆整体原始特征,表示车辆卷积特征图在空间位置处的全部通道特征向量,表示选取全部特征通道。
27、进一步的,多角度自适应车辆分类模型利用四个相互独立的角度相关空间注意力分支提取车辆局部结构特征;根据车辆整体原始特征生成四个角度相关特征分支的自适应权重,并对四组角度相关特征进行动态加权;通过门控残差方式将角度相关融合特征与车辆整体投影特征进行动态融合。
28、进一步的,利用四个相互独立的角度相关空间注意力分支提取车辆局部结构特征过程中,将车辆卷积特征图分别输入四个角度相关空间注意力分支,获得四组角度相关特征,对于第个角度相关特征分支,根据车辆卷积特征图生成空间注意力图:
29、(7)
30、其中,为第个角度相关特征分支的空间注意力图,和分别为第个分支的第一卷积层和第二卷积层,为批归一化操作,为relu激活函数,为sigmoid激活函数;
31、利用空间注意力图对车辆卷积特征图进行逐元素加权,并执行注意力归一化池化:
32、(8)
33、其中,为防止分母为零而设置的正数,为第个角度相关特征分支的池化特征。
34、根据车辆整体原始特征生成四个角度相关特征分支的自适应权重过程中,采用softmax函数将各分支权重得分转换为归一化分支权重:
35、(9)
36、其中,为第个角度相关特征分支的权重得分,为第个角度相关特征分支的自适应权重,为分母中的求和下标,用于对四个角度相关特征分支的权重得分进行求和;
37、根据所述自适应分支权重,对四个角度相关特征进行动态加权:
38、(10)
39、其中,为第个角度相关特征,为加权后的角度相关融合特征。
40、通过门控残差方式将角度相关融合特征与车辆整体投影特征进行动态融合过程中,
41、为了使车辆整体投影特征与角度相关融合特征具有相同维度,将512维车辆整体原始特征输入车辆整体特征投影模块:
42、(11)
43、其中,依次包括全连接层、层归一化层、relu激活层和随机失活层,为256维车辆整体投影特征;
44、将车辆整体投影特征与角度相关融合特征进行拼接,并将拼接后的特征输入门控生成层,得到动态融合门控向量:
45、(12)
46、其中,为动态融合门控向量,和分别为门控生成层的权重和偏置;
47、采用门控残差方式将车辆整体投影特征与角度相关融合特征进行动态融合:
48、(13)
49、其中,为层归一化操作,为逐元素相乘,为最终融合特征。
50、进一步的,步骤s3中,最后输出车辆目标检测与分类结果过程中,将最终融合特征输入车辆分类器,采用softmax函数计算车辆属于各类别的概率,并选取概率最大的类别作为最终分类结果:
51、(14)
52、(15)
53、其中,为第类车辆的分类得分,为第类车辆的分类概率,为最终车辆类别。
54、与现有技术相比,本发明的有益效果是:
55、1、本发明通过车辆目标检测模型从道路图像中定位车辆目标,并根据车辆预测框提取车辆区域;利用预训练resnet18特征提取主干提取车辆整体原始特征和车辆卷积特征图;利用四个相互独立的角度相关空间注意力分支提取车辆局部结构特征;根据车辆整体原始特征生成四个角度相关特征分支的自适应权重,并对四组角度相关特征进行动态加权;通过门控残差方式将角度相关融合特征与车辆整体投影特征进行动态融合,输出救护车、公交车、汽车、摩托车和卡车五类车辆识别结果。在保证车辆目标检测效率的基础上,实现了车辆目标的准确分类,提高了复杂道路场景下车辆识别的准确性和稳定性;
56、2、四个角度相关特征分支采用相互独立的网络参数,并在注意力多样性损失和分支权重平衡损失的约束下提取具有差异性的车辆局部结构信息,车辆整体投影特征作为门控残差融合过程中的主特征路径,角度相关融合特征作为自适应增强信息,使模型能够自适应关注车辆不同角度的局部结构特征,增强了车辆特征表达能力,以降低无效角度相关特征对车辆整体特征的干扰;
57、3、本发明根据各车辆类别的样本数量设置类别权重,通过差异化学习率分别更新预训练resnet18主干网络和新增多角度特征模块,并形成道路图像输入、车辆目标检测、车辆区域提取、车辆整体特征提取、多角度相关特征提取、自适应分支加权、门控残差动态融合和五类别车辆输出的完整处理链路。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com