一种基于自然语言和视觉特征的车辆检索方法与流程

1.本发明涉及智慧交通技术领域，具体为一种基于自然语言和视觉特征的车辆检索方法。


背景技术：

2.目标追踪是计算机视觉研究的热门领域之一，是指在一段连续的视频帧中，利用人工智能技术，自动追踪视频连续帧中出现的某个固定目标。目标追踪作为一项基础技术广泛应用于各种领域，例如：自动驾驶、智慧城市以及智能监控等多个场景。
3.基于自然语言和视觉特征的车辆检索方法在智慧城市交通的目标追踪中发挥着重要作用。基于自然语言和视觉特征的车辆检索任务是指，给定自然语言需要从视频片段库中将对应的车辆轨迹片段检索出来，比如“一辆红色的suv在路口右转”，需要将对应的车辆轨迹片段检索召回，然而在现有技术中，基于自然语言和视觉特征的跨模态车辆检索，使用的视觉特征比较简单，比如基于imagenet预训练，与车辆在域上的差异比较大，无法提取高效辨别能力强的特征，或者仅仅基于视觉模态检索，缺少灵活性，同时检索的门槛也较高，跨模态车辆检索使用的特征较为简单，无法对车辆进行细粒度级别的描述。因此我们对此做出改进，提出一种基于自然语言和视觉特征的车辆检索方法。


技术实现要素：

4.为了解决上述技术问题，本发明提供了如下的技术方案：
5.本发明一种基于自然语言和视觉特征的车辆检索方法，包括如下步骤：
6.s1、构建车辆重识别数据集，通过从不同摄像头采集视频，之后利用检测模型从视频中检测出车辆图片，构建数据集；
7.s2、使用多任务学习框架作为基础模型，训练车辆重识别模型，具体步骤如下：
8.s2-1、将车辆图片进行一些数据预处理，包括随机擦除、随机剪切和标准化处理，然后构建批训练数据，具体为从库中不放回的抽取p各类，每个类k张图片，使用这些图片作为训练的批数据；
9.s2-2、将批数据送入到一个残差网络中，通过卷积操作，得到特征图，然后对这个特征图进行广义平均池化，将特征图转化为一位向量，并定义这个特征为f1，之后利用此一位向量计算度量学习损失；
10.s2-3、将特征f1经过一个批归一化层，得到特征f2，然后使用这个特征计算分类损失；
11.s2-4、通过反向传播对网络参数进行优化，通过多次迭代，此时网络具备分辨不同车辆的能力，之后将训练好的网络参数保存；
12.s3、获得特征提取器，去掉re-id模型的头部即分类层，也就是bn后的所有部分，然后使用bn后的获得的特征即上述的特征f2作为车辆的特征表示，便可得到车辆的特征提取器；
13.s4、构建基于自然语言和视觉特征的多模态车辆轨迹检索系统，对车辆轨迹进行检索，具体步骤如下：
14.s4-1、视觉特征提取，对每段视频进行视频抽帧，并从每一帧中将车辆的主体部分裁剪出来，之后使用s3中的车辆特征提取器对每张帧图片进行特征提取，并将其转化为特征向量v，最后通过gru模型挖掘时序信息进行融合，得到视觉特征fv；
15.s4-2、自然语言特征提取，输入n段自然语言，并对于每一段自然语言，使用在大规模语料数据上预训练的glove模型提取词向量特征s，之后使用通过gru模型对词向量特征进行融合，得到自然语言特征fs；
16.s4-3、对比学习，使用得到的视觉特征fv和自然语言特征fs，在高维空间上计算对比损失，计算自然语言与车辆轨迹视频的匹配度，即余弦相似度，之后将车辆轨迹按照匹配度进行排序，将相似度最高的若干个车辆轨迹进行返回，便可现实通过自然语言对车辆轨迹进行检索。
17.作为本发明的一种优选技术方案，在s1中，构建数据集的具体方式为：将相同车牌号视为一类，顺序给予其id标签，并将id数目定义为n。
18.作为本发明的一种优选技术方案，在s2-2中，计算度量学习损失是利用三元组损失计算，三元组损失如下：
[0019][0020]
式中：l
t
代表三元组损失，f(*)代表网络的映射函数，即将图片转化为一维向量的函数，xa，x
p
，xn分表代表三元组的锚图像、正例图像和反例图像，三元组是通过一种难采样方式获取的，具体为，针对一组批数据，会循环将每一个图片作为锚图像，然后找到距离最远的同类图片作为正例图像以及距离最近的不同类图片作为反例图像，以此来构建一个三元组。
[0021]
作为本发明的一种优选技术方案，在s2-3中，计算分类损失，这里的分类损失标签是之前设定的id标签，使用的损失函数为交叉熵损失：
[0022][0023]
式中：ls代表分类学习损失，即交叉熵损失，yi是一个指示变量，如果第i个类别和目标类别匹配则yi＝1否则为0，pi为图片属于第i类的预测出来的可能性。
[0024]
作为本发明的一种优选技术方案，在s4-1中，特征向量v＝其中tv是一段视频中的帧数，c
t
是第t帧的特征表示，2048是特征的维度，之后将tv个特征通过gru挖掘时序信息进行融合得到融合后的特征最后通过一个全连接层将特征映射到高维空间并经过批标准化，得到最后的视觉特征这里的w
α
和b
α
代表全连接层的权重和偏差。
[0025]
作为本发明的一种优选技术方案，在s4-2中，词向量特征2中，词向量特征其中ts代表这段自然语言中词语的数目，w
t
代表第t个词向量，之后使用另一个gru模块对词
向量特征进行融合向量特征进行融合最后将融合后的特征通过一个全连接和批处理层得到最后的自然语言特征这里的w
γ
和b
γ
代表全连接层的权重和偏差。
[0026]
作为本发明的一种优选技术方案，在s4-3中，定义对比损失为l，其中n代表样本对数目，d代表两种特征的欧式距离，即d＝||f
s-fv||2，y代表两种特征是否匹配，当自然语言特征和视觉特征是匹配情况下，y＝1，反之不匹配时，y＝0，m为预设的阈值。
[0027]
本发明的有益效果是：
[0028]
该种基于自然语言和视觉特征的车辆检索方法，可以通过自然语言方便的找到和语义匹配的车辆，相比之前仅仅基于视觉的车辆检索系统更具灵活性，降低了检索的门槛，同时利用车辆重识别模型提取出辨别能力强的车辆的视觉特征，丰富了特征的细粒度信息。
附图说明
[0029]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0030]
在附图中：
[0031]
图1是本发明车辆重识别模型示意图；
[0032]
图2是本发明车辆轨迹检索系统示意图。
具体实施方式
[0033]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0034]
实施例1
[0035]
本发明一种基于自然语言和视觉特征的车辆检索方法，包括如下步骤：
[0036]
s1、构建车辆重识别数据集，通过从不同摄像头采集视频，之后利用检测模型从视频中检测出车辆图片，构建数据集；
[0037]
s2、如图1所示，使用多任务学习框架作为基础模型，训练车辆重识别模型，具体步骤如下：
[0038]
s2-1、将车辆图片进行一些数据预处理，包括随机擦除、随机剪切和标准化处理，然后构建批训练数据，具体为从库中不放回的抽取p各类，每个类k张图片，使用这些图片作为训练的批数据；
[0039]
s2-2、将批数据送入到一个残差网络中，通过卷积操作，得到特征图，然后对这个特征图进行广义平均池化，将特征图转化为一位向量，并定义这个特征为f1，之后利用此一位向量计算度量学习损失；
[0040]
s2-3、将特征f1经过一个批归一化层，得到特征f2，然后使用这个特征计算分类损失；
[0041]
s2-4、通过反向传播对网络参数进行优化，通过多次迭代，此时网络具备分辨不同
车辆的能力，之后将训练好的网络参数保存；
[0042]
s3、获得特征提取器，去掉re-id模型的头部即分类层，也就是bn后的所有部分，然后使用bn后的获得的特征即上述的特征f2作为车辆的特征表示，便可得到车辆的特征提取器，这个特征提取器的作用是把一张车辆图片转换为一个特征向量，这个特征向量是对一个车辆包含高级语义信息的完整描述，因为这个特征提取器已经使用id标签进行了完整训练；
[0043]
s4、如图2所示，构建基于自然语言和视觉特征的多模态车辆轨迹检索系统对车辆轨迹进行检索，具体步骤如下：
[0044]
s4-1、视觉特征提取，对每段视频进行视频抽帧，并从每一帧中将车辆的主体部分裁剪出来，之后使用s3中的车辆特征提取器对每张帧图片进行特征提取，并将其转化为特征向量v，最后通过gru模型挖掘时序信息进行融合，得到视觉特征fv；
[0045]
s4-2、自然语言特征提取，输入n段自然语言，并对于每一段自然语言，使用在大规模语料数据上预训练的glove模型提取词向量特征s，之后使用通过gru模型对词向量特征进行融合，得到自然语言特征fs；
[0046]
s4-3、对比学习，使用得到的视觉特征fv和自然语言特征fs，在高维空间上计算对比损失，拉近匹配的自然语言特征和视觉特征的距离，同时拉远不匹配的自然语言特征和视觉特征的距离，计算自然语言与车辆轨迹视频的匹配度，即余弦相似度，之后将车辆轨迹按照匹配度进行排序，将相似度最高的若干个车辆轨迹进行返回，便可现实通过自然语言对车辆轨迹进行检索。
[0047]
其中，在s1中，构建数据集的具体方式为：将相同车牌号视为一类，顺序给予其id标签，并将id数目定义为n。
[0048]
其中，在s2-2中，计算度量学习损失是利用三元组损失计算，三元组损失如下：
[0049][0050]
式中：l
t
代表三元组损失，f(*)代表网络的映射函数，即将图片转化为一维向量的函数，xa，x
p
，xn分表代表三元组的锚图像、正例图像和反例图像，三元组是通过一种难采样方式获取的，具体为，针对一组批数据，会循环将每一个图片作为锚图像，然后找到距离最远的同类图片作为正例图像以及距离最近的不同类图片作为反例图像，以此来构建一个三元组。
[0051]
其中，在s2-3中，计算分类损失，这里的分类损失标签是之前设定的id标签，使用的损失函数为交叉熵损失：
[0052][0053]
式中：ls代表分类学习损失，即交叉熵损失，yi是一个指示变量，如果第i个类别和目标类别匹配则yi＝1否则为0，pi为图片属于第i类的预测出来的可能性，这样通过度量学习和分类学习的多任务学习机制可以缓解车辆重识别中存在的类内差异大，类间差异小的问题。
[0054]
其中，在s4-1中，特征向量其中tv是一段视频中的帧数，c
t
是第t帧的特征表示，2048是特征的维度，之后将tv个特征通过gru挖掘时序信息进行融合得到融合后的特征最后通过一个全连接层将特征映射到高维空间并经过批标准化，得到最后的视觉特征fv，这里的w
α
和b
α
代表全连接层的权重和偏差。
[0055]
其中，在s4-2中，词向量特征其中ts代表这段自然语言中词语的数目，w
t
代表第t个词向量，之后使用另一个gru模块对词向量特征进行融合最后将融合后的特征通过一个全连接和批处理层得到最后的自然语言特征这里的w
γ
和b
γ
代表全连接层的权重和偏差。
[0056]
其中，在s4-3中，定义对比损失为l，3中，定义对比损失为l，其中n代表样本对数目，d代表两种特征的欧式距离，即d＝||f
s-fv||2，y代表两种特征是否匹配，当自然语言特征和视觉特征是匹配情况下，y＝1，反之不匹配时，y＝0，m为预设的阈。
[0057]
在对模型训练完成后，利用上述模型的自然语言部分对query库中所有自然语言进行特征提取，将自然语言转化为特征表示，同时，利用上述模型的视觉特征部分对gallery集中的车辆轨迹视频进行特征提取。针对一段自然语言，计算它与gallery库中的所有的车辆轨迹的匹配度，即余弦相似度，然后我们将车辆轨迹按照匹配度进行排序，将相似度最高的若干个车辆轨迹进行返回，此时便完成了通过自然语言对车辆轨迹进行检索。
[0058]
本发明的车辆检索方式更加灵活，所需要的检索门槛较低，是一句自然语言；同时利用车辆重识别模型提取出辨别能力强的车辆的视觉特征，丰富了特征的细粒度信息。
[0059]
实施例2
[0060]
本发明一种基于自然语言和视觉特征的车辆检索方法在cityflow-nl数据集上的表现，如下表所示：
[0061]
方法mrrrecall@5recall@10基础方法0.02690.02640.0491本发明的方法(imagenet特征)0.10910.16690.3178本发明的方法(re-id特征)0.16130.25850.3925
[0062]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。