目标跟踪方法、装置、计算机设备和存储介质与流程

1.本技术涉及图像识别技术领域，特别是涉及一种目标跟踪方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术：

2.在开发基于单目视觉的高级辅助驾驶系统的过程中，前向碰撞预警（fcw，forward collision warning）和自动紧急制动系统aeb ( autonomous emergency brake)功能要求摄像头具备稳定精确测量车辆距离和相对运动的能力，从而在周边车辆加减速和变道时，及时采取相应的辅助措施，保证安全驾驶，避免交通事故的发生。
3.然而在传统技术中，在面对不同时间、天气和道路类型的驾驶环境以及不同角度的交通车辆，无法精确地识别出道路上不同角度的车尾框，也就无法精确的计算出前车与当前车辆之间的距离，降低了高级辅助驾驶系统的安全性。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种目标跟踪方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
5.第一方面，本技术提供了一种目标跟踪方法。所述方法包括：在跟踪图像序列中确定参考帧和当前帧，从所述参考帧中确定目标所在图像块，从所述当前帧中确定搜索图像块；将所述目标所在图像块与所述搜索图像块的差分特征经过卷积计算，得到对所述目标所在图像块的跟踪状态；所述跟踪状态用于指示所述目标在所述搜索图像块中的存在状态；当所述目标存在于所述搜索图像块时，将所述差分特征经过卷积计算，得到所述目标在所述搜索图像块中每一像素点的匹配概率；从所述搜索图像块中选择匹配概率大于零的候选像素点，并对每个所述候选像素点的图像特征进行卷积计算，得到每个所述候选像素点所对应的目标外包框位置和大小；根据每个所述候选像素点的所述匹配概率，对所有所述候选像素点对应的所述目标外包框的位置和大小进行加权平均，得到所述目标在所述搜索图像块中的最终位置和大小。
6.在其中一个实施例中，所述在跟踪图像序列中确定参考帧和当前帧，从所述参考帧中确定目标所在图像块，从所述当前帧中确定搜索图像块，包括：在跟踪图像序列中随机选取相邻两帧图像，将相邻两帧图像中前一帧作为参考帧，后一帧作为当前帧；从所述参考帧中确定目标所在图像块；根据所述目标所在图像块的位置在所述当前帧中查找到对应位置，并将所述对应位置扩大预设倍数的区域作为搜索图像块。
7.在其中一个实施例中，所述从所述参考帧中确定目标所在图像块，包括：若所述参考帧为第一帧，则检测所述参考帧中目标的初始位置和大小，根据所述目标的初始位置和大小确定目标所在图像块；若所述参考帧为非第一帧，则根据所述非第一帧相邻前一帧中目标的位置和大小得到所述非第一帧中目标的位置和大小，再根据所述非第一帧中目标的位置和大小确定目标所在图像块。
8.在其中一个实施例中，所述卷积计算采用训练好的车辆跟踪神经网络模型实现；所述车辆跟踪神经网络模型的训练方式包括：获取多个训练图像样本，每个所述训练图像样本包含一组样本参考帧中的样本目标图像块和一个样本当前帧中的样本搜索图像块；一组样本参考帧包括至少一个样本参考帧，每个样本参考帧的样本目标图像块是基于预先标注的包含目标的标注区域得到，所述样本搜索图像块是基于预先标注的包含目标的标注区域扩大预设倍数得到；对一组样本参考帧中的样本目标图像块进行编码得到一组编码特征，再对所述一组编码特征进行平均计算，得到所述目标的参考平均特征；对所述样本当前帧中的样本搜索图像块进行编码得到所述样本搜索图像块的特征；将所述样本搜索图像块的特征减去所述参考平均特征，得到所述目标与样本搜索图像块的各点匹配的差分特征，对所述差分特征进行卷积计算，得到所述目标在所述样本搜索图像块中每个像素点的预测匹配概率；根据所述预测匹配概率和真实匹配概率计算第一损失函数；根据所述差分特征进行卷积计算，得到目标跟踪状态的分数；根据所述目标跟踪状态的分数计算第二损失函数；根据所述样本搜索图像块的特征进行卷积计算，得到所述样本搜索图像块中每个像素点到目标的上下边界和左右边界的预测距离；根据所述样本搜索图像块中每个像素点到目标的上下边界和左右边界的预测距离和真实距离计算第三损失函数；根据所述第一损失函数、所述第二损失函数和所述第三损失函数训练车辆跟踪神经网络模型，得到训练好的车辆跟踪神经网络模型。
9.在其中一个实施例中，所述标注区域的确定方式，包括：获取在车辆样本图像上标注的车尾框；采用三次曲线方程对所述车尾框的宽度或高度进行平滑拟合，得到标注区域。
10.第二方面，本技术还提供了一种目标跟踪装置。所述装置包括：图像确定模块，用于在跟踪图像序列中确定参考帧和当前帧，从所述参考帧中确定目标所在图像块，从所述当前帧中确定搜索图像块；状态确定模块，用于将所述目标所在图像块与所述搜索图像块的差分特征经过卷积计算，得到对所述目标图像块的跟踪状态；所述跟踪状态用于指示所述目标在所述搜索图像块中的存在状态；概率获取模块，用于当所述目标存在于所述搜索图像块时，将所述差分特征经过卷积计算，得到所述目标在所述搜索图像块中每一像素点的匹配概率；预测模块，用于从所述搜索图像块中选择匹配概率大于零的候选像素点，并对每个所述候选像素点的图像特征进行卷积计算，得到每个所述候选像素点所对应的目标外包框位置和大小；目标确定模块，用于根据每个所述候选像素点的所述匹配概率，对所有所述候选像素点对应的所述目标外包框的位置和大小进行加权平均，得到所述目标在所述搜索图像块中的最终位置和大小。
11.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：在跟踪图像序列中确定参考帧和当前帧，从所述参考帧中确定目标所在图像块，从所述当前帧中确定搜索图像块；将所述目标所在图像块与所述搜索图像块的差分特征经过卷积计算，得到对所述目标图像块的跟踪状态；所述跟踪状态用于指示所述目标在所述搜索图像块中的存在状态；当所述目标存在于所述搜索图像块时，将所述差分特征经过卷积计算，得到所述目标在所述搜索图像块中每一像素点的匹配概率；从所述搜索图像块中选择匹配概率大于零的候选像素点，并对每个所述候选像素点的图像特征进行卷积计算，得到每个所述候
选像素点所对应的目标外包框位置和大小；根据每个所述候选像素点的所述匹配概率，对所有所述候选像素点对应的所述目标外包框的位置和大小进行加权平均，得到所述目标在所述搜索图像块中的最终位置和大小。
12.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：在跟踪图像序列中确定参考帧和当前帧，从所述参考帧中确定目标所在图像块，从所述当前帧中确定搜索图像块；将所述目标所在图像块与所述搜索图像块的差分特征经过卷积计算，得到对所述目标图像块的跟踪状态；所述跟踪状态用于指示所述目标在所述搜索图像块中的存在状态；当所述目标存在于所述搜索图像块时，将所述差分特征经过卷积计算，得到所述目标在所述搜索图像块中每一像素点的匹配概率；从所述搜索图像块中选择匹配概率大于零的候选像素点，并对每个所述候选像素点的图像特征进行卷积计算，得到每个所述候选像素点所对应的目标外包框位置和大小；根据每个所述候选像素点的所述匹配概率，对所有所述候选像素点对应的所述目标外包框的位置和大小进行加权平均，得到所述目标在所述搜索图像块中的最终位置和大小。
13.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：在跟踪图像序列中确定参考帧和当前帧，从所述参考帧中确定目标所在图像块，从所述当前帧中确定搜索图像块；将所述目标所在图像块与所述搜索图像块的差分特征经过卷积计算，得到对所述目标图像块的跟踪状态；所述跟踪状态用于指示所述目标在所述搜索图像块中的存在状态；当所述目标存在于所述搜索图像块时，将所述差分特征经过卷积计算，得到所述目标在所述搜索图像块中每一像素点的匹配概率；从所述搜索图像块中选择匹配概率大于零的候选像素点，并对每个所述候选像素点的图像特征进行卷积计算，得到每个所述候选像素点所对应的目标外包框位置和大小；根据每个所述候选像素点的所述匹配概率，对所有所述候选像素点对应的所述目标外包框的位置和大小进行加权平均，得到所述目标在所述搜索图像块中的最终位置和大小。
14.上述目标跟踪方法、装置、计算机设备、存储介质和计算机程序产品，在跟踪图像序列中确定参考帧和当前帧，从参考帧中确定目标所在图像块，从当前帧中确定搜索图像块；将目标所在图像块与搜索图像块的差分特征经过卷积计算，得到对目标图像块的跟踪状态；当目标存在于搜索图像块时，将差分特征经过卷积计算，得到目标在搜索图像块中每一像素点的匹配概率；从搜索图像块中选择匹配概率大于零的候选像素点，并对每个候选像素点的图像特征进行卷积计算，得到每个候选像素点所对应的目标外包框位置和大小；根据每个候选像素点所对应的目标外包框位置和大小确定目标在搜索图像块中的位置和大小，通过对多个目标预测外包框大小和位置进行加权平均，使得当前车辆可以精确地识别出道路上不同角度的车尾框，提高了高级辅助驾驶系统的安全性。
附图说明
15.图1为一个实施例中目标跟踪方法的应用环境图；图2为一个实施例中目标跟踪方法的流程示意图；图3为一个实施例中图像确定步骤的流程示意图；
图4为一个实施例中状态确定步骤的流程示意图；图5为一个实施例中车辆跟踪神经网络模型示意图；图6为一个实施例中车尾框标注处理前后的矩形框的宽度变化曲线；图7为另一个实施例中目标跟踪方法的流程示意图；图8为一个实施例中目标跟踪装置的结构框图；图9为一个实施例中计算机设备的内部结构图。
具体实施方式
16.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
17.本技术实施例提供的目标跟踪方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102采集跟踪图像序列，服务器104接收终端102发送的跟踪图像序列，在跟踪图像序列中确定参考帧和当前帧，从参考帧中确定目标所在图像块，从当前帧中确定搜索图像块；将目标所在图像块与搜索图像块的差分特征经过卷积计算，得到对目标图像块的跟踪状态；跟踪状态用于指示目标在搜索图像块中的存在状态；当目标存在于所述搜索图像块时，将差分特征经过卷积计算，得到目标在所述搜索图像块中每一像素点的匹配概率；从搜索图像块中选择匹配概率大于零的候选像素点，并对每个候选像素点的图像特征进行卷积计算，得到每个候选像素点所对应的目标外包框位置和大小；根据每个所述候选像素点的所述匹配概率，对所有所述候选像素点对应的所述目标外包框的位置和大小进行加权平均，得到所述目标在所述搜索图像块中的最终位置和大小。其中，终端102可以但不限于是摄像机以及个人计算机、笔记本电脑、智能手机、平板电脑上的摄像头；服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
18.在一个实施例中，如图2所示，提供了一种目标跟踪方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：s202，在跟踪图像序列中确定参考帧和当前帧，从参考帧中确定目标所在图像块，从当前帧中确定搜索图像块。
19.其中，参考帧中的目标图像块是指参考帧图像中目标所在的图像块，当前帧中的搜索图像块是指在当前帧中用于搜索目标图像块的区域的图像块。当参考帧是跟踪图像序列上的第一帧图像时，可以通过检测器来获取在参考帧图像中的目标所在图像块，当参考帧图像为非第一帧图像时，则根据前一时刻的视频帧中目标所在图像块来确定当前时刻的参考帧中目标所在的图像块。
20.具体地，服务器获取终端设备发送的一段待跟踪的图像序列，从待跟踪图像序列中随机选取相邻的两帧，将t
‑
1时刻的图像帧作为参考帧，将t时刻的图像帧作为当前帧，其中t表示的是跟踪图像序列中的任一时刻，然后从参考帧中确定目标所在图像块，从当前帧中确定搜索图像块。
21.s204，将目标所在图像块与搜索图像块的差分特征经过卷积计算，得到对目标图
像块的跟踪状态；其中跟踪状态用于指示目标在搜索图像块中的存在状态。
22.具体地，将当前帧搜索图像块的特征减去取得的参考帧目标图像特征，得到目标与搜索区域的各点匹配的特征差值，将该特征差值输入到第一卷积层，得到第一卷积结果，将第一卷积层结果输入到第二卷积层，得到第二卷积结果，然后将第二卷积结果输入到全连接层，从而得到目标在搜索图像块中的存在状态，其中当目标存在与搜索图像块中时可用真值“1”来表示，当目标不存在于搜索图像块中时，可用真值“0”来表示。
23.s206，当目标存在于搜索图像块时，将差分特征经过卷积计算，得到目标在搜索图像块中每一像素点的匹配概率。
24.具体地，当s204得到的目标在搜索图像块中存在时，将当前帧搜索图像块的特征减去参考帧目标图像特征得到的特征差值输入到第一卷积层中，得到第一卷积结果，在将第一卷积结果输入到采样层中，得到目标在搜索图像块中每一像素点的匹配概率。
25.s208，从搜索图像块中选择匹配概率大于零的候选像素点，并对每个候选像素点的图像特征进行卷积计算，得到每个候选像素点所对应的目标外包框位置和大小。
26.具体地，首先服务器通过编码器对搜索图像块进行编码得到搜索图像特征，并从搜索图像特征中选择匹配概率大于零的像素点，并将该像素点确定为候选像素点，并将候选像素点特征输入到第一卷积层，得到第一卷积结果，再将第一卷积结果输入到第二卷积层，得到第二卷积结果，再将第二卷积结果输入到第三卷积层，得到第三卷积结果，再将第三卷积结果输入到上采样层，得到每一像素点最终的输出为一个四通道的值，并能够根据四通道的值来确定当前帧搜索图像内的每一像素点的预测目标图像的大小和位置。
27.s210，根据每个所述候选像素点的所述匹配概率，对所有所述候选像素点对应的所述目标外包框的位置和大小进行加权平均，得到所述目标在所述搜索图像块中的最终位置和大小。
28.将s208得到的各候选像素点的预测得到的目标图像的大小和位置进行加权平均得到均值化的目标位置和大小，并将其作为搜索图像中的目标的位置和大小。
29.上述目标跟踪方法，在跟踪图像序列中确定参考帧和当前帧，从参考帧中确定目标所在图像块，从当前帧中确定搜索图像块；将目标所在图像块与搜索图像块的差分特征经过卷积计算，得到对目标图像块的跟踪状态；当目标存在于搜索图像块时，将差分特征经过卷积计算，得到目标在搜索图像块中每一像素点的匹配概率；从搜索图像块中选择匹配概率大于零的候选像素点，并对每个候选像素点的图像特征进行卷积计算，得到每个候选像素点所对应的目标外包框位置和大小；根据每个候选像素点所对应的目标外包框位置和大小确定目标在搜索图像块中的位置和大小，通过对多个目标预测外包框大小和位置进行加权平均，使得当前车辆可以精确地识别出道路上不同角度的车尾框，提高了高级辅助驾驶系统的安全性。
30.在一个实施例中，如图3所示，从参考帧中确定目标所在图像块，包括包括：s302，在跟踪图像序列中随机选取相邻两帧图像，将相邻两帧图像中前一帧作为参考帧，后一帧作为当前帧。
31.其中，跟踪图像序列中包含一段时间内各个时刻的视频帧。当对该待识别的跟踪图像序列中各帧图像中的目标进行识别时，当识别对象是第一帧图像时，则第一帧图像为当前帧，此时无参考帧；当识别对象为非第一帧图像时，将识别对象确定为当前帧，将当前
帧的前一帧图像确定为参考帧。
32.s304，从参考帧中确定目标所在图像块。
33.从参考帧中确定目标所在图像块有两种方式。若参考帧为第一帧图像，则利用检测器检测出第一帧图像中目标的初始位置和大小，根据所述目标的初始位置和大小确定目标所在图像块；若参考帧为非第一帧，则根据非第一帧相邻前一帧中目标的位置和大小得到非第一帧中目标的位置和大小，再根据非第一帧中目标的位置和大小确定目标所在图像块。
34.在一具体的实施例中，若当前帧为跟踪视频序列中的第一帧，则通过检测器检测出第一帧图像中的目标的初始位置和大小，若当前帧为跟踪视频序列中的第二帧，则以跟踪视频序列中第一帧为参考帧，并获取第一帧图像中目标的图像特征，将第一帧图像中目标的图像特征作为第一目标特征。将第一目标特征输入到预先训练好的车辆跟踪神经网络模型，从而预测出当前帧也就是第二帧的搜索图像块中与第一目标特征一致的目标图像的位置和大小，再根据该目标图像的位置和大小确定在当前帧的目标所在图像块。
35.若当前帧为跟踪视频序列中的第三帧，则以跟踪视频序列中的第二帧为参考帧，并将第二帧中的目标图像块作为参考帧的目标所在图像块。
36.s306，根据目标所在图像块的位置在当前帧中查找到对应位置，并将对应位置扩大预设倍数的区域作为搜索图像块。
37.根据s304获取的目标所在图像块在参考帧中的相对位置关系，根据该相对位置关系在当前帧中找到对应的位置，并将目标所在图像块的宽度和高度扩大预设倍数，在当前帧上形成搜索图像块。
38.本实施例中，在每一当前帧中识别目标时，都使用当前帧的前一帧中的目标所在图像作为参考帧的目标图像块，而不是一直以初始帧的目标所在图像块作为参考帧的目标所在图像块，可以提高目标跟踪的准确率。
39.在一个实施例中，目标所在图像块与搜索图像块的差分特征的确定方式，包括：若参考帧为第一帧，则获取目标所在图像块的特征，并计算目标所在图像块的特征与搜索图像块的特征之间的差分特征；若参考帧为非第一帧，则获取参考帧的前一帧上的目标特征和参考帧上的目标特征进行加权平均得到目标所在图像块的特征，再计算目标所在图像块的特征与所述搜索图像块的特征之间的差分特征。
40.在本实施例中，通过将多个参考帧的目标特征进行加权平均，而每帧参考帧上的目标图像块是具有不同的偏移量以及角度，可以使得在下一次跟踪过程中更好地在当前帧中识别出目标所在位置和大小。
41.在一个实施例中，如图4所示，提供了一种车辆跟踪神经网络模型的训练方法，卷积计算采用训练好的车辆跟踪神经网络模型实现，该车辆跟踪神经网络模型如图5所示；该车辆跟踪神经网络模型的训练方式包括：s402，获取多个训练图像样本，每个所述训练图像样本包含一组样本参考帧中的样本目标图像块和一个样本当前帧中的样本搜索图像块；一组样本参考帧包括至少一个样本参考帧，每个样本参考帧的样本目标图像块是基于预先标注的包含目标的标注区域得到，所述样本搜索图像块是基于预先标注的包含目标的标注区域扩大预设倍数得到。
42.具体地，首先获取一段待跟踪图像序列，包含同一个目标及标注的具体目标大小，随机选取待跟踪图像序列中某一帧作为当前帧，当前帧的邻近帧为参考帧，并从一组参考帧中截取的目标图像块，定义为patch11,patch12,...，patch1n，从一组当前帧中截取搜索图像块，定义为patch2。具体的做法为，对于一帧参考图像，根据标注的目标图像位置，对标注框大小加轻微的随机扰动后，截取相应的图像块作为目标图像块，截取的目标区域和标注的目标区域重合度须大于90%。对于当前帧，则根据目标的标注大小加随机偏移，截取相当于目标大小2倍的图像块。对于一组正样本，应对随机偏移加以限制，保证目标完整的存在于截取的搜索图像块内。对于一组负样本，应对随机偏移加以限制，保证目标不完整的存在于截取的搜索图像块内，即表示目标跟踪失败的情况。正负样本用来训练后续的跟踪状态判断分类器。
43.s404，对一组样本参考帧中的样本目标图像块进行编码得到一组编码特征，再对一组编码特征进行平均计算，得到目标的参考平均特征；对样本当前帧中的样本搜索图像块进行编码得到样本搜索图像块的特征。
44.在一组样本参考帧中的样本目标图像块进行编码得到一组编码特征，在改组中所有参考帧的编码特征进行均值处理，得到目标的参考平均特征。需要强调的是，所有目标图像块和搜索图像块需要在输入模型前进行一定的边界补零操作。利用编码器获取当前帧中样本搜索图像中的样本搜索图像块特征。本搜索图像块进行编码得到样本搜索图像块的特征。将搜索图像块采样到2h*2w大小，进行边界补零后，输入编码器进行编码，获取四维(h/4)*(w/4)的特征图。由于搜索图像块的大小为目标图像块大小的两倍，这模拟了实际跟踪过程中图像帧间的搜索范围，因此编码器输出的特征是一个具有长宽的四维特征图，这里面包含了目标的特征和周围边界的特征。目标内部的区域可以视为正样本，目标周围的边界可以视为负样本，构成下一步目标匹配的输入特征。
45.s406，将样本搜索图像块的特征减去参考平均特征，得到目标与样本搜索图像块的各点匹配的差分特征，对差分特征进行卷积计算，得到目标在样本搜索图像块中每个像素点的预测匹配概率；根据预测匹配概率和真实匹配概率计算第一损失函数。
46.其中，kl散度函数可以用来计算预测概率与真实匹配概率之间的差异：其中，i表示每个像素点。
47.将当前帧搜索图像块的特征减去取得的参考帧目标平均特征，得到目标与搜索区域的各点匹配的特征差值，经过卷积层和上采样层计算后，即可得到目标在搜索区域内的预测匹配概率，将预测匹配概率与真实匹配概率进行对比，计算出第一损失函数。
48.s408，根据差分特征进行卷积计算，得到目标跟踪状态的分数；根据目标跟踪状态的分数计算第二损失函数。
49.其中，用来训练分类任务的第二损失函数可以是交叉熵损失函数：其中，y
i
为预测的样本i的标签，c为样本i的真实标签，p(y
i
)为样本i标签为y
i
的概率。其中当函数的判断条件为真时值为1，反之值为0。
50.目标与搜索区域的各点匹配的特征差值包含了目标匹配的信息，因此其亦作为判断目标跟踪状态的特征，经过卷积层和全连接层的计算后，可以得到目标跟踪状态的分数。训练阶段，若搜索区域内存在目标，则类别为1，反之，则类别为0。
51.s410，根据样本搜索图像块的特征进行卷积计算，得到样本搜索图像块中每个像素点到目标的上下边界和左右边界的预测距离；根据样本搜索图像块中每个像素点到目标的上下边界和左右边界的预测距离和真实距离计算第三损失函数。
52.其中，第三损失函数可以是l1损失函数，其定义如下：其中，err代表某一个预测值和真实值之间的误差，例如h
11
的预测值和真实值之间的误差。smooth l1损失函数的含义为，当误差过大时，反向传播梯度为
±
1，可以较快的在训练中更新参数，而当误差小于1时，则反向传播梯度为|x|，降低参数的更新速度。
53.s412，根据第一损失函数、第二损失函数和第三损失函数训练车辆跟踪神经网络模型，得到训练好的车辆跟踪神经网络模型。
54.根据s406得到的第一损失函数，s408得到的第二损失函数，s410得到的第三损失函数来训练车辆跟踪神经网络模型，从而得到训练好的车辆跟踪神经网络模型。
55.在本实施例中，由于n个目标图像块代表的是不同角度和偏移的同一目标，对特征做平均计算，可以约束存在差异的不同输入学习到相近的目标特征，保证编码器对不同状态的目标具备鲁棒的编码能力。
56.在一个实施例中，标注区域的确定方式，包括：获取在车辆样本图像上标注的车尾框。
57.具体地，以目标为车尾框为例，对参考帧中的车尾框的标注方法为：当目标位于正前方车辆时，标注框的上边界以车顶平面为基准，下边界以两后车轮接地点为基准，左边界以车尾左边最宽处为基准，右边界以车尾右边最宽处为基准。当目标位于左侧方车辆车尾时，上，左，右边界标注准则和正前方车辆相同，下边界以左侧后车轮接地点为基准。当目标位于右侧方车辆车尾时，上，左，右边界标注准则和正前方车辆相同，下边界以右侧后车轮接地点为基准。
58.采用三次曲线方程对车尾框的宽度或高度进行平滑拟合，得到标注区域。
59.由于人工标注的精度上限有限和图像模糊等因素影响，车尾框的标注结果无法精确到一个像素甚至亚像素级别，反映到序列标注的车尾框曲线上，呈现出抖动的曲线变化。如图6所示，纵轴表示一段序列的车尾框宽度的变化，横轴表示图像帧的序号，其中抖动的曲线说明了原始人工标注的非平滑性。因此，需要进行一定的后处理来抑制这种标注噪声，以促使后续的神经网络模型学习输出较平滑的车尾框大小。采用三次曲线方程来拟合平滑的车尾框框宽变：，其中，x表示图像帧序号，y表示车尾框的宽度或者高度，对车尾框的宽高分别进行了平滑后处理。在其他实施例中，实际车辆在行驶过程中，由于加减速过于频繁，弯道行驶等复杂的驾驶状况，会导致车尾框宽高变化曲线复杂，无法用低阶曲线方程来拟合，在这种情况下，将采用原始的人工标注作为训练数据。当曲线拟合平均误差大于一定的阈值时，例如三个像素，则放弃拟合后处理，继续采用原始的车尾框标注
宽高作为训练真值。
60.在本实施例中，采用三次曲线方程对车尾框的宽度或高度进行平滑拟合，其中平滑的曲线为经过后处理的车尾框序列的宽度变化曲线，有效提高了训练数据的平滑性，避免了标注噪声的影响，为后续模型训练提供较好的监督数据。
61.在一个实施例中，如图7所示，提供了一种稳定鲁棒的车尾框跟踪的测试方法，该方法包括以下步骤：s1，通过摄像头获取图像序列和模型的输入图像块。具体地，取相邻的两帧t
‑
1和t，将t
‑
1帧作为参考帧，获取目标图像块，将t帧作为当前帧。若参考帧为第1帧，则通过预先训练的检测器获取目标的初始位置和大小，否则t
‑
1帧的目标位置和大小通过上一次跟踪t
‑
2帧的目标得到。根据t
‑
1帧的目标位置和大小，在t帧的相同位置，截取2倍大小的区域作为搜索图像块。获取参考帧目标图像块和当前帧搜索图像块，预测跟踪状态和目标在当前帧的位置和大小。
62.s2，若参考帧为第一帧，则取参考帧目标的编码特征作为目标模板，否则，将上一次跟踪计算的目标模板和本次跟踪获取的目标特征进行加权平均，获取新的目标模板。
63.s3，计算匹配特征并获取跟踪状态分类。若跟踪状态为0，则判断为跟踪失效，将当前帧作为第一帧起始帧，重新检测目标并重启跟踪过程。若跟踪状态为1，则进入后续步骤，计算目标的位置和大小。
64.s4，当判断跟踪成功时，计算参考目标在搜索图像块区域的匹配概率。预测的匹配概率分布与训练真值类似，目标的匹配概率在目标的内部，靠近目标中心的位置，一定范围内大于0，远离目标中心的位置和超出目标范围的位置，匹配概率为0。
65.s5，对于一个匹配概率大于0的位置x1，可以得到一组预测的h
11
, h
12
, w
11
, w
12
值，再根据x1自身的坐标位置，能够计算目标外包框的左上角起始坐标(r
x1
，c
x1
)和宽高(w
11
w
12
,h
11
h
12
)。对于所有的匹配概率大于0的点x1, x2, ...,x
n
，可以计算出n个候选的目标外包框，对所有外包框的起始坐标和宽高进行加权平均，即可以得到最终的目标外包框位置和大小，其中权重为该点的匹配概率。
66.s6，重复执行返回子步骤s1，继续下一次跟踪流程，直至完成所有跟踪任务。
67.在本实施例中，提出了训练仿真推理的训练策略，提高了车尾框跟踪模型的鲁棒性；同时预测多个候选车尾框，根据跟踪的匹配概率，对多个候选车尾框进行加权平均，计算出最终的车尾框，提高了序列跟踪结果的稳定性和平滑度。
68.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
69.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的目标跟踪方法的目标跟踪装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个目标跟踪装置实施例中的具体限定可以参见上文中
对于目标跟踪方法的限定，在此不再赘述。
70.在一个实施例中，如图8所示，提供了一种目标跟踪装置800，包括：图像确定模块、状态确定模块、概率获取模块、预测模块和目标确定模块，其中：图像确定模块802，用于在跟踪图像序列中确定参考帧和当前帧，从所述参考帧中确定目标所在图像块，从所述当前帧中确定搜索图像块；状态确定模块804，用于将所述目标所在图像块与所述搜索图像块的差分特征经过卷积计算，得到对所述目标图像块的跟踪状态；所述跟踪状态用于指示所述目标在所述搜索图像块中的存在状态；概率获取模块806，用于当所述目标存在于所述搜索图像块时，将所述差分特征经过卷积计算，得到所述目标在所述搜索图像块中每一像素点的匹配概率；预测模块808，用于从所述搜索图像块中选择匹配概率大于零的候选像素点，并对每个所述候选像素点的图像特征进行卷积计算，得到每个所述候选像素点所对应的目标外包框位置和大小；目标确定模块810，用于根据每个所述候选像素点的所述匹配概率，对所有所述候选像素点对应的所述目标外包框的位置和大小进行加权平均，得到所述目标在所述搜索图像块中的最终位置和大小。
71.上述目标跟踪装置800，在跟踪图像序列中确定参考帧和当前帧，从参考帧中确定目标所在图像块，从当前帧中确定搜索图像块；将目标所在图像块与搜索图像块的差分特征经过卷积计算，得到对目标图像块的跟踪状态；当目标存在于搜索图像块时，将差分特征经过卷积计算，得到目标在搜索图像块中每一像素点的匹配概率；从搜索图像块中选择匹配概率大于零的候选像素点，并对每个候选像素点的图像特征进行卷积计算，得到每个候选像素点所对应的目标外包框位置和大小；根据每个候选像素点所对应的目标外包框位置和大小确定目标在搜索图像块中的位置和大小，通过对多个目标预测外包框大小和位置进行加权平均，使得当前车辆可以精确地识别出道路上不同角度的车尾框，提高了高级辅助驾驶系统的安全性。
72.在一个实施例中，图像确定模块包括：当前帧确定子模块，用于在跟踪图像序列中随机选取相邻两帧图像，将相邻两帧图像中前一帧作为参考帧，后一帧作为当前帧；参考图像块子模块，用于从所述参考帧中确定目标所在图像块；搜索图像块确定子模块，用于根据所述目标所在图像块的位置在所述当前帧中查找到对应位置，并将所述对应位置扩大预设倍数的区域作为搜索图像块。
73.在一个实施例中，图像确定模块用于若所述参考帧为第一帧，则检测所述参考帧中目标的初始位置和大小，根据所述目标的初始位置和大小确定目标所在图像块；若所述参考帧为非第一帧，则根据所述非第一帧相邻前一帧中目标的位置和大小得到所述非第一帧中目标的位置和大小，再根据所述非第一帧中目标的位置和大小确定目标所在图像块。
74.在一个实施例中，状态确定模块用于若参考帧为第一帧，则获取所述目标所在图像块的特征，并计算所述目标所在图像块的特征与所述搜索图像块的特征之间的差分特征；若参考帧为非第一帧，则获取参考帧的前一帧上的目标特征和参考帧上的目标特征进行加权平均得到所述目标所在图像块的特征，上一次跟踪输入的目标特征和本次跟踪获取的目标特征进行加权平均得到所述目标所在图像块的特征，再计算所述目标所在图像块的
特征与所述搜索图像块的特征之间的差分特征。
75.在一个实施例中，所述装置还包括模型训练模块，其中模型训练模块包括：样本获取子模块，用于获取多个训练图像样本，每个所述训练图像样本包含一组样本参考帧中的样本目标图像块和一个样本当前帧中的样本搜索图像块；一组样本参考帧包括至少一个样本参考帧，每个样本参考帧的样本目标图像块是基于预先标注的包含目标的标注区域得到，所述样本搜索图像块是基于预先标注的包含目标的标注区域扩大预设倍数得到；概率获取子模块，用于将所述样本搜索图像块的特征减去所述参考平均特征，得到所述目标与样本搜索图像块的各点匹配的差分特征，对所述差分特征进行卷积计算，得到所述目标在所述样本搜索图像块中每个像素点的预测匹配概率；第一函数计算子模块，用于根据所述预测匹配概率和真实匹配概率计算第一损失函数；分数获取子模块，用于根据所述差分特征进行卷积计算，得到目标跟踪状态的分数；第二函数获取子模块，用于根据所述目标跟踪状态的分数计算第二损失函数；距离预测子模块，用于根据所述样本搜索图像块的特征进行卷积计算，得到所述样本搜索图像块中每个像素点到目标的上下边界和左右边界的预测距离；第三函数获取子模块，用于根据所述样本搜索图像块中每个像素点到目标的上下边界和左右边界的预测距离和真实距离计算第三损失函数；跟踪模型生成子模块，用于根据所述第一损失函数、所述第二损失函数和所述第三损失函数训练车辆跟踪神经网络模型，得到训练好的车辆跟踪神经网络模型。
76.在一个实施例中，样本获取子模块包括：车尾框获取单元，用于获取在车辆样本图像上标注的车尾框；区域标注单元，用于采用三次曲线方程对所述车尾框的宽度或高度进行平滑拟合，得到标注区域。
77.上述目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
78.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储匹配概率数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
79.本领域技术人员可以理解，图9中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
80.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：在跟踪图像序列中确定参考帧和当前帧，从所述参考帧中确定目标所在图像块，从所述当前帧中确定搜索图像块；将所述目
标所在图像块与所述搜索图像块的差分特征经过卷积计算，得到对所述目标图像块的跟踪状态；所述跟踪状态用于指示所述目标在所述搜索图像块中的存在状态；当所述目标存在于所述搜索图像块时，将所述差分特征经过卷积计算，得到所述目标在所述搜索图像块中每一像素点的匹配概率；从所述搜索图像块中选择匹配概率大于零的候选像素点，并对每个所述候选像素点的图像特征进行卷积计算，得到每个所述候选像素点所对应的目标外包框位置和大小；根据每个所述候选像素点的所述匹配概率，对所有所述候选像素点对应的所述目标外包框的位置和大小进行加权平均，得到所述目标在所述搜索图像块中的最终位置和大小。
81.在一个实施例中，处理器执行计算机程序时还实现以下步骤：在跟踪图像序列中随机选取相邻两帧图像，将相邻两帧图像中前一帧作为参考帧，后一帧作为当前帧；从所述参考帧中确定目标所在图像块；根据所述目标所在图像块的位置在所述当前帧中查找到对应位置，并将所述对应位置扩大预设倍数的区域作为搜索图像块。
82.在一个实施例中，处理器执行计算机程序时还实现以下步骤：若所述参考帧为第一帧，则检测所述参考帧中目标的初始位置和大小，根据所述目标的初始位置和大小确定目标所在图像块；若所述参考帧为非第一帧，则根据所述非第一帧相邻前一帧中目标的位置和大小得到所述非第一帧中目标的位置和大小，再根据所述非第一帧中目标的位置和大小确定目标所在图像块。
83.在一个实施例中，处理器执行计算机程序时还实现以下步骤：若参考帧为第一帧，则获取所述目标所在图像块的特征，并计算所述目标所在图像块的特征与所述搜索图像块的特征之间的差分特征；若参考帧为非第一帧，则获取参考帧的前一帧上的目标特征和参考帧上的目标特征进行加权平均得到所述目标所在图像块的特征，再计算所述目标所在图像块的特征与所述搜索图像块的特征之间的差分特征。
84.在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取多个训练图像样本，每个所述训练图像样本包含一组样本参考帧中的样本目标图像块和一个样本当前帧中的样本搜索图像块；一组样本参考帧包括至少一个样本参考帧，每个样本参考帧的样本目标图像块是基于预先标注的包含目标的标注区域得到，所述样本搜索图像块是基于预先标注的包含目标的标注区域扩大预设倍数得到；对一组样本参考帧中的样本目标图像块进行编码得到一组编码特征，再对所述一组编码特征进行平均计算，得到所述目标的参考平均特征；对所述样本当前帧中的样本搜索图像块进行编码得到所述样本搜索图像块的特征；将所述样本搜索图像块的特征减去所述参考平均特征，得到所述目标与样本搜索图像块的各点匹配的差分特征，对所述差分特征进行卷积计算，得到所述目标在所述样本搜索图像块中每个像素点的预测匹配概率；根据所述预测匹配概率和真实匹配概率计算第一损失函数；根据所述差分特征进行卷积计算，得到目标跟踪状态的分数；根据所述目标跟踪状态的分数计算第二损失函数；根据所述样本搜索图像块的特征进行卷积计算，得到所述样本搜索图像块中每个像素点到目标的上下边界和左右边界的预测距离；根据所述样本搜索图像块中每个像素点到目标的上下边界和左右边界的预测距离和真实距离计算第三损失函数；根据所述第一损失函数、所述第二损失函数和所述第三损失函数训练车辆跟踪神经网络模型，得到训练好的车辆跟踪神经网络模型。
85.在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取在车辆样本图
像上标注的车尾框；采用三次曲线方程对所述车尾框的宽度或高度进行平滑拟合，得到标注区域。
86.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：在跟踪图像序列中确定参考帧和当前帧，从所述参考帧中确定目标所在图像块，从所述当前帧中确定搜索图像块；将所述目标所在图像块与所述搜索图像块的差分特征经过卷积计算，得到对所述目标图像块的跟踪状态；所述跟踪状态用于指示所述目标在所述搜索图像块中的存在状态；当所述目标存在于所述搜索图像块时，将所述差分特征经过卷积计算，得到所述目标在所述搜索图像块中每一像素点的匹配概率；从所述搜索图像块中选择匹配概率大于零的候选像素点，并对每个所述候选像素点的图像特征进行卷积计算，得到每个所述候选像素点所对应的目标外包框位置和大小；根据每个所述候选像素点的所述匹配概率，对所有所述候选像素点对应的所述目标外包框的位置和大小进行加权平均，得到所述目标在所述搜索图像块中的最终位置和大小。
87.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在跟踪图像序列中随机选取相邻两帧图像，将相邻两帧图像中前一帧作为参考帧，后一帧作为当前帧；从所述参考帧中确定目标所在图像块；根据所述目标所在图像块的位置在所述当前帧中查找到对应位置，并将所述对应位置扩大预设倍数的区域作为搜索图像块。
88.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若所述参考帧为第一帧，则检测所述参考帧中目标的初始位置和大小，根据所述目标的初始位置和大小确定目标所在图像块；若所述参考帧为非第一帧，则根据所述非第一帧相邻前一帧中目标的位置和大小得到所述非第一帧中目标的位置和大小，再根据所述非第一帧中目标的位置和大小确定目标所在图像块。
89.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若参考帧为第一帧，则获取所述目标所在图像块的特征，并计算所述目标所在图像块的特征与所述搜索图像块的特征之间的差分特征；若参考帧为非第一帧，则获取参考帧的前一帧上的目标特征和参考帧上的目标特征进行加权平均得到所述目标所在图像块的特征，上一次跟踪输入的目标特征和本次跟踪获取的目标特征进行加权平均得到所述目标所在图像块的特征，再计算所述目标所在图像块的特征与所述搜索图像块的特征之间的差分特征。
90.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取多个训练图像样本，每个所述训练图像样本包含一组样本参考帧中的样本目标图像块和一个样本当前帧中的样本搜索图像块；一组样本参考帧包括至少一个样本参考帧，每个样本参考帧的样本目标图像块是基于预先标注的包含目标的标注区域得到，所述样本搜索图像块是基于预先标注的包含目标的标注区域扩大预设倍数得到；对一组样本参考帧中的样本目标图像块进行编码得到一组编码特征，再对所述一组编码特征进行平均计算，得到所述目标的参考平均特征；对所述样本当前帧中的样本搜索图像块进行编码得到所述样本搜索图像块的特征；将所述样本搜索图像块的特征减去所述参考平均特征，得到所述目标与样本搜索图像块的各点匹配的差分特征，对所述差分特征进行卷积计算，得到所述目标在所述样本搜索图像块中每个像素点的预测匹配概率；根据所述预测匹配概率和真实匹配概率计算第一损失函数；根据所述差分特征进行卷积计算，得到目标跟踪状态的分数；根据所述目标跟踪状态的分数计算第二损失函数；根据所述样本搜索图像块的特征进行卷积计算，得到所述样
本搜索图像块中每个像素点到目标的上下边界和左右边界的预测距离；根据所述样本搜索图像块中每个像素点到目标的上下边界和左右边界的预测距离和真实距离计算第三损失函数；根据所述第一损失函数、所述第二损失函数和所述第三损失函数训练车辆跟踪神经网络模型，得到训练好的车辆跟踪神经网络模型。
91.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取在车辆样本图像上标注的车尾框；采用三次曲线方程对所述车尾框的宽度或高度进行平滑拟合，得到标注区域。
92.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：在跟踪图像序列中确定参考帧和当前帧，从所述参考帧中确定目标所在图像块，从所述当前帧中确定搜索图像块；将所述目标所在图像块与所述搜索图像块的差分特征经过卷积计算，得到对所述目标图像块的跟踪状态；所述跟踪状态用于指示所述目标在所述搜索图像块中的存在状态；当所述目标存在于所述搜索图像块时，将所述差分特征经过卷积计算，得到所述目标在所述搜索图像块中每一像素点的匹配概率；从所述搜索图像块中选择匹配概率大于零的候选像素点，并对每个所述候选像素点的图像特征进行卷积计算，得到每个所述候选像素点所对应的目标外包框位置和大小；根据每个所述候选像素点的所述匹配概率，对所有所述候选像素点对应的所述目标外包框的位置和大小进行加权平均，得到所述目标在所述搜索图像块中的最终位置和大小。
93.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在跟踪图像序列中随机选取相邻两帧图像，将相邻两帧图像中前一帧作为参考帧，后一帧作为当前帧；从所述参考帧中确定目标所在图像块；根据所述目标所在图像块的位置在所述当前帧中查找到对应位置，并将所述对应位置扩大预设倍数的区域作为搜索图像块。
94.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若所述参考帧为第一帧，则检测所述参考帧中目标的初始位置和大小，根据所述目标的初始位置和大小确定目标所在图像块；若所述参考帧为非第一帧，则根据所述非第一帧相邻前一帧中目标的位置和大小得到所述非第一帧中目标的位置和大小，再根据所述非第一帧中目标的位置和大小确定目标所在图像块。
95.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若参考帧为第一帧，则获取所述目标所在图像块的特征，并计算所述目标所在图像块的特征与所述搜索图像块的特征之间的差分特征；若参考帧为非第一帧，则获取参考帧的前一帧上的目标特征和参考帧上的目标特征进行加权平均得到所述目标所在图像块的特征，再计算所述目标所在图像块的特征与所述搜索图像块的特征之间的差分特征。
96.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取多个训练图像样本，每个所述训练图像样本包含一组样本参考帧中的样本目标图像块和一个样本当前帧中的样本搜索图像块；一组样本参考帧包括至少一个样本参考帧，每个样本参考帧的样本目标图像块是基于预先标注的包含目标的标注区域得到，所述样本搜索图像块是基于预先标注的包含目标的标注区域扩大预设倍数得到；对一组样本参考帧中的样本目标图像块进行编码得到一组编码特征，再对所述一组编码特征进行平均计算，得到所述目标的参考平均特征；对所述样本当前帧中的样本搜索图像块进行编码得到所述样本搜索图像块的特征；将所述样本搜索图像块的特征减去所述参考平均特征，得到所述目标与样本搜索图像
块的各点匹配的差分特征，对所述差分特征进行卷积计算，得到所述目标在所述样本搜索图像块中每个像素点的预测匹配概率；根据所述预测匹配概率和真实匹配概率计算第一损失函数；根据所述差分特征进行卷积计算，得到目标跟踪状态的分数；根据所述目标跟踪状态的分数计算第二损失函数；根据所述样本搜索图像块的特征进行卷积计算，得到所述样本搜索图像块中每个像素点到目标的上下边界和左右边界的预测距离；根据所述样本搜索图像块中每个像素点到目标的上下边界和左右边界的预测距离和真实距离计算第三损失函数；根据所述第一损失函数、所述第二损失函数和所述第三损失函数训练车辆跟踪神经网络模型，得到训练好的车辆跟踪神经网络模型。
97.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取在车辆样本图像上标注的车尾框；采用三次曲线方程对所述车尾框的宽度或高度进行平滑拟合，得到标注区域。
98.需要说明的是，本技术所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
99.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read
‑
only memory，rom）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（reram）、磁变存储器（magnetoresistive random access memory，mram）、铁电存储器（ferroelectric random access memory，fram）、相变存储器（phase change memory，pcm）、石墨烯存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random access memory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
100.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
101.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。