基于机器视觉的无人驾驶车辆目标识别方法及装置

1.本发明属于无人驾驶的技术领域，具体涉及一种基于机器视觉的无人驾驶车辆目标识别方法及装置。


背景技术：

2.基于机器视觉的无人驾驶车辆通过图像传感器实时采集道路信息，控制车辆并自动躲避障碍，以实现车辆操纵控制的安全性和乘员乘坐的舒适性，涉及图像采集、传感数据融合、人工智能算法、计算数学等多门学科。
3.在车辆高速行驶状态下，机器视觉需要快速识别车前障碍，追踪定位运动目标，计算运动轨迹，预测碰撞几率。在目标表征变化不大的情况下，基于传统特征点提取的人工智能算法可以准确识别和追踪运动目标和障碍，如行人、动物、路障、车辆等。然而在实际行驶中，目标障碍物表征会随运动轨迹而发生较大变化，如外观形变、无序旋转、碎片撕裂、色差亮斑等。如果采用传统特征值提取方法识别目标障碍，用退变的外观表征预测其无规则的运动状态，容易造成识别错误和目标跟踪丢失现象，从而导致机器视觉识别率较低，无法实现提前预警和自动避障功能，影响行车安全。


技术实现要素：

4.本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于机器视觉的无人驾驶车辆目标识别方法及装置，本方法使用贝叶斯边缘图像滤波去除图像帧背景，并对目标特征进行描述，获取多个特征点，将其状态矢量概率分布转换为多维粒子，建立轨迹线性方程组，通过粒子群算法求解方程组多个近优解，最后根据粒子聚集度判断目标表征是否出现变化，并定位目标位置，描述运动轨迹，追踪目标状态，从而解决复杂场景下机器视觉识别错误、跟踪目标容易丢失的问题，保证了行车安全。
5.为了达到上述目的，本发明采用以下技术方案：
6.一方面，本发明提供了一种基于机器视觉的无人驾驶车辆目标识别方法，其特征在于，包括下述步骤：
7.采集无人驾驶车辆行车过程中移动目标的连续视频帧，得到移动目标轨迹状态矢量；
8.定义粒子群集合，使用贝叶斯边缘图像滤波去除视频帧图像背景，提取特征点，初始化粒子群并计算特征点概率分布密度；
9.建立移动目标轨迹线性方程组，并使用粒子群求解方程组多个近似解，计算粒子聚集度；
10.根据粒子聚集度判断目标表征变化情况，并定位目标位置，描述运动轨迹，追踪目标状态，确定行车状态。
11.作为优选的技术方案，所述得到移动目标轨迹状态矢量，具体为：
12.在连续视频帧中，设x
(t，k)
是在t时刻移动目标的k维状态矢量，则移动目标轨迹状
态矢量表示为：
13.x
(t0，t1
…
tm)，(k0，k1
…
km)
＝{x
(t0，k0)
,x
(t1，k1)
,x
(t2，k2)
…
x
(tm，km)
}
14.其中，x
(t0，t1
…
tm)，(k0，k1
…
km)
为在t0至tm时刻，移动目标在k0至km维状态矢量。
15.作为优选的技术方案，所述定义粒子群集合，具体为：
16.在一个由n个粒子组成的密闭d维空间，定义粒子群集合y为：
17.y＝(y1,y2…yn
)
18.其中，yn为第n个粒子在d维空间中的位置；
19.定义粒子i在d维空间的向量为y
id
，在d维空间的飞行速度为vi，粒子i的个体极值为xi。
20.作为优选的技术方案，所述初始化粒子群并计算特征点概率分布密度，具体为：
21.在密闭d维空间内随机初始化粒子群，每个粒子代表一个特征点，定义粒子群体运动矢量概率分布参数为p(x0)；
22.初始化粒子群集合分布密度和t时刻下移动目标的轨迹状态矢量；
23.使用贝叶斯边缘图像滤波去除视频帧图像背景，提取特征点，获得特征点在t时刻的概率分布密度为h(x
t
|y
t
)；
24.定义x
0t
为初始化状态下特征点的横坐标，y
0t
为初始化状态下特征点的纵坐标；x
t
为t时刻下特征点的横坐标，y
t
为t时刻下特征点的纵坐标；
25.则在t-n时刻，特征点的概率分布密度为h(x
t-n
|y
t-n
)，利用递归法得出特征点状态矢量的初始概率分布密度为：
[0026][0027]
将贝叶斯公式代入特征点状态矢量的初始概率分布密度中并分解，得到：
[0028]
h(x
0t
|y
0t
)＝h
t
(y
t
|y
t-1
,x
0t
)
·
h(x
t-n
|y
t-n
)|
·ht-1
(x
t-1
,y
t-1
)
[0029]
其中，h
t
(y
t
|y
t-1
,x
0t
)为特征点在t时刻的概率分布密度，h
t-1
(x
t-1
,y
t-1
)为特征点在t-1时刻的概率分布密度。
[0030]
作为优选的技术方案，所述建立移动目标轨迹线性方程组，具体为：
[0031]
初始化粒子群后，定义移动目标轨迹线性方程组，用于求解特征点位置y
id
，表示为：
[0032][0033]
其中，a
nn
为系数，x
nn y
nn
为线性方程组n维解，bn为常数。
[0034]
作为优选的技术方案，所述使用粒子群求解方程组多个近似解，具体为：
[0035]
根据粒子群体运动矢量概率分布参数p(x0)，设粒子群体极值为pg(x
t
|y
t
)，基于最小均方误差将移动目标轨迹线性方程组转换为线性不等式组：
[0036][0037]
求解粒子i在t时刻的位置：
[0038][0039]
其中，p(x
0t
|y
0t
)表示t时刻粒子群的概率分布参数；
[0040]
求解粒子i在t时刻的状态运动矢量，即当粒子群体极值pg(x
t
|y
t
)取更优值时，其状态运动矢量为x
0t
，表示为：
[0041]
x
0t
＝argmax[p(x
0t
|y
0t
)]
[0042]
所有粒子根据粒子群体极值pg(x
t
|y
t
)所取的最优值，在全局范围内寻找下一粒子位置并以此更新当前位置和速率，直到所有粒子聚合在一起，得到方程组多个近似解。
[0043]
作为优选的技术方案，所述更新速率公式为：
[0044][0045]
其中，m为粒子群循环次数，是粒子i在m 1次循环后在d维分量的更新速率，w为权重参数，c为粒子加速系数，是第m次循环中粒子i选取的随机值，是第m次循环中粒子i的群体极值在d维的投影分量，是第m次循环中粒子i的个体极值在d维的投影分量；
[0046]
所述更新位置公式为：
[0047][0048]
其中，是第m 1次循环中粒子i的个体极值在d维的投影分量，是第m次循环中粒子i的个体极值在d维的投影分量，为第m 1次循环中粒子i在d维的投影速率，t为第m 1次循环和第m次循环之间的时间差。
[0049]
作为优选的技术方案，所述计算粒子聚集度，公式为：
[0050][0051]
其中，xi为粒子i当前位置，pgi为粒子i个体极值，d表示维度；
[0052]
根据粒子聚集度，当粒子聚集度density＜r时，r为粒子半径，表示所有粒子重合在一个点，特征点聚集，则表明目标表征未出现明显变化，或出现变化后并未影响移动目标的运动状态，通过求解移动目标的轨迹线性方程组得出移动目标在t时刻的目标位置，得到足够多的位置信息后，描述目标的运动轨迹，预测目标的移动方向，确定行车状态；
[0053]
当粒子聚集度density≥r时，r为粒子半径，表示粒子在多个区域内重合，重合点不一致，则表明目标表征出现明显变化，并分裂成多个子目标，通过求解子目标各自的轨迹线性方程组，同时追踪多个移动子目标和各自轨迹。
[0054]
本发明另一方面提供了一种基于机器视觉的无人驾驶车辆目标识别系统，其特征在于，包括目标获取模块、概率计算模块、求解模块及判断模块；
[0055]
所述目标获取模块用于采集无人驾驶车辆行车过程中移动目标的连续视频帧，得到移动目标轨迹状态矢量；
[0056]
所述概率计算模块用于定义粒子群集合，使用贝叶斯边缘图像滤波去除视频帧图像背景，提取特征点，初始化粒子群并计算特征点概率分布密度；
[0057]
所述求解模块建立移动目标轨迹线性方程组，并使用粒子群求解方程组多个近似解，计算粒子聚集度；
[0058]
所述判断模块根据粒子聚集度判断目标表征变化情况，并定位目标位置，描述运动轨迹，追踪目标状态，确定行车状态。
[0059]
本发明还一方面提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现上述的基于机器视觉的无人驾驶车辆目标识别方法。
[0060]
本发明与现有技术相比，具有如下优点和有益效果：
[0061]
在视频采集过程中，目标障碍物表征发生较大变化时会导致目标丢失，存在无法追踪轨迹的问题；现有技术通过相邻帧之间匹配特征点，但是当目标障碍物发生较大变化时，则无法匹配成功导致超时并发生预警，只能交由驾驶员进行手动操作。而本发明将特征点状态矢量概率分布转换为多维粒子，根据粒子聚合度判断目标表征是否出现变化(如裂变成多个目标),具体情况为：
[0062]
(1)当粒子聚集度density＜r时，r为粒子半径，则所有粒子重合在一个点(特征点聚集一处，重合点一致)，表示目标表征未出现明显变化，此时通过求解单个轨迹线性方程组描述运动轨迹；
[0063]
(2)当粒子聚集度density≥r时，r为粒子半径，则粒子在多个区域内重合(特征点聚集多处，重合点不一致)，表示目标表征出现明显变化，并分裂成多个子目标，此时通过求解子目标各自的轨迹线性方程组，同时追踪多个移动子目标和各自轨迹。
[0064]
通过判断粒子聚合度大小判断目标表征是否出现变化,避免现有技术目标追踪丢失现象，保证了自动驾驶行车安全。
附图说明
[0065]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0066]
图1为本发明实施例中基于机器视觉的无人驾驶车辆目标识别方法的流程图；
[0067]
图2为本发明实施例中基于机器视觉的无人驾驶车辆目标识别系统的结构图；
[0068]
图3为本发明实施例中计算机可读存储介质的结构示意图。
具体实施方式
[0069]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是
本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0070]
在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本技术所描述的实施例可以与其它实施例相结合。
[0071]
如图1所示，本实施例提供了基于机器视觉的无人驾驶车辆目标识别方法，包括下述步骤：
[0072]
s1、采集无人驾驶车辆行车过程中移动目标的连续视频帧，得到移动目标轨迹状态矢量，具体的：
[0073]
在连续视频帧中，设x
(t，k)
是在t时刻移动目标的k维状态矢量，则移动目标轨迹状态矢量表示为：
[0074]
x
(t0，t1
…
tm)，(k0，k1
…
km)
＝{x
(t0，k0)
,x
(t1，k1)
,x
(t2，k2)
…
x
(tm，km)
}
[0075]
其中，x
(t0，t1
…
tm)，(k0，k1
…
km)
为在t0至tm时刻，移动目标在k0至km维状态矢量。
[0076]
s2、定义粒子群集合，使用贝叶斯边缘图像滤波去除视频帧图像背景，提取特征点，初始化粒子群并计算特征点概率分布密度，具体为：
[0077]
首先定义粒子群集合，在一个由n个粒子组成的密闭d维空间，定义粒子群集合y为：
[0078]
y＝(y1,y2…yn
)
[0079]
其中，yn为第n个粒子在d维空间中的位置；
[0080]
定义粒子i在d维空间的向量为y
id
，在d维空间的飞行速度为vi，粒子i的个体极值(即粒子i在密闭d维空间找到的全局最优值称为个体极值)为xi；
[0081]
接着在密闭d维空间内随机初始化粒子群，每个粒子代表一个特征点，定义粒子群体运动矢量概率分布参数为p(x0)；
[0082]
初始化粒子群集合分布密度和t时刻下移动目标的轨迹状态矢量，通过贝叶斯边缘图像滤波去除视频帧图像背景，提取特征点，获得特征点在t时刻的概率分布密度为h(x
t
|y
t
)；
[0083]
接着定义为初始化状态下特征点的横坐标，为初始化状态下特征点的纵坐标；x
t
为t时刻下特征点的横坐标，y
t
为t时刻下特征点的纵坐标；
[0084]
则在t-n时刻，特征点的概率分布密度为h(x
t-n
|y
t-n
)，利用递归法得出特征点状态矢量的初始概率分布密度为：
[0085][0086]
将贝叶斯公式代入特征点状态矢量的初始概率分布密度中并分解，得到：
[0087]
h(x
0t
|y
0t
)＝h
t
(y
t
|y
t-1
,x
0t
)
·
h(x
t-n
|y
t-n
)|
·ht-1
(x
t-1
,y
t-1
)
[0088]
其中，h
t
(y
t
|y
t-1
,x
0t
)为特征点在t时刻的概率分布密度，h
t-1
(x
t-1
,y
t-1
)为特征点在t-1时刻的概率分布密度。
[0089]
s3、建立移动目标轨迹线性方程组，并使用粒子群求解方程组多个近似解，计算粒子聚集度，具体为：
[0090]
初始化粒子群后，定义移动目标轨迹线性方程组，用于求解特征点位置y
id
，表示为：
[0091][0092]
其中，a
nn
为系数，x
nn y
nn
为线性方程组n维解，bn为常数。
[0093]
将上述求解特征点位置方程组的过程，转换为对粒子状态y
id
位置矢量不断优化估算的过程；由于在外观表征变化不大情况下，通过机器视觉采集到的连续视频帧之间，目标前景可描述为水平和纵向位移的合集，其运动状态和方向一致，与相邻背景图像之间存在较为密切的相关性和连续性；而在外观表征变化较大情况下，通过机器视觉采集到的连续视频帧之间，只有相邻背景图像之间存在较为相关性和连续性，而目标前景则体现出多种视觉特征，其运动状态和方向可能一致，也可能无序(如目标分裂成多个碎片情况)。此时，可将目标识别和跟踪过程，转换为利用粒子群求解多个特征目标轨迹线性方程组的问题。
[0094]
根据上述定义的粒子群体运动矢量概率分布参数为p(x0)，设粒子群体极值为pg(x
t
|y
t
)，基于最小均方误差将移动目标轨迹线性方程组转换为线性不等式组：
[0095][0096]
求解粒子i在t时刻的位置：
[0097][0098]
其中，p(x
0t
|y
0t
)表示t时刻粒子群的概率分布参数；
[0099]
求解粒子i在t时刻的状态运动矢量，即当群体极值pg(x
t
|y
t
)取更优值时，其状态运动矢量为x
0t
，表示为：
[0100]
x
0t
＝argmax[p(x
0t
|y
0t
)]
[0101]
所有粒子根据粒子群体极值pg(x
t
|y
t
)所取的最优值，在全局范围内寻找下一粒子位置并以此更新当前位置和速率，直到所有粒子聚合在一起，得到方程组多个近似解。
[0102]
其中，更新速率公式为：
[0103][0104]
其中，m为粒子群循环次数，是粒子i在m 1次循环后在d维分量的更新速率，w为权重参数，c为粒子加速系数，是第m次循环中粒子i选取的随机值，是第m次循环中粒子i的群体极值在d维的投影分量，是第m次循环中粒子i的个体极值在d维的投影分量；
[0105]
更新位置公式为：
[0106][0107]
其中，是第m 1次循环中粒子i的个体极值在d维的投影分量，是第m次循环中粒子i的个体极值在d维的投影分量，为第m 1次循环中粒子i在d维的投影速率，t为第m 1次循环和第m次循环之间的时间差。
[0108]
计算粒子聚集度计算公式为：
[0109][0110]
其中，xi为粒子i当前位置，pgi为粒子i个体极值，d表示维度；
[0111]
经多次循环后，所有粒子根据群体极值pg(x
t
|y
t
)找到下一粒子位置，以此更新自身位置和速度，直到所有粒子聚合在一起，从而找出全局若干近优解。
[0112]
s4、根据粒子聚集度判断目标表征变化情况，并定位目标位置，描述运动轨迹，追踪目标状态，确定行车状态，具体为：
[0113]
根据粒子聚集度，当粒子聚集度density＜r时，r为粒子半径，表示所有粒子重合在一个点，则特征点聚集，目标表征未出现明显变化，或出现变化后并未影响移动目标的运动状态，通过求解移动目标的轨迹线性方程组得出移动目标在t时刻的目标位置，得到足够多的位置信息后，描述目标的运动轨迹，预测目标的移动方向，确定行车状态；
[0114]
当粒子在多个区域内重合，重合点不一致时，表示目标表征出现明显变化，并分裂成多个子目标(目标发生严重形变或分裂成多个碎片)，通过求解子目标各自的轨迹线性方程组，同时追踪多个移动子目标和各自轨迹，预测子目标的移动方向确定行车状态，从而解决外观表征变化较大时目标追踪丢失的问题。
[0115]
如通过预测目标的移动方向，判断是否有碰撞的危险性，若有，则车辆控制系统控制无人驾驶车辆躲避目标，远离障碍；若无则继续行驶，继续检测行车过程中的移动目标。
[0116]
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
[0117]
基于与上述实施例中的基于机器视觉的无人驾驶车辆目标识别方法相同的思想，本发明还提供基于机器视觉的无人驾驶车辆目标识别系统，该系统可用于执行上述基于机器视觉的无人驾驶车辆目标识别方法。为了便于说明，基于机器视觉的无人驾驶车辆目标识别系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0118]
如图2所示，本发明另一个实施例提供了一种基于机器视觉的无人驾驶车辆目标识别系统，包括目标获取模块、概率计算模块、求解模块及判断模块；
[0119]
目标获取模块用于采集无人驾驶车辆行车过程中移动目标的连续视频帧，得到移动目标轨迹状态矢量；
[0120]
概率计算模块用于定义粒子群集合，使用贝叶斯边缘图像滤波去除视频帧图像背景，提取特征点，初始化粒子群并计算特征点概率分布密度；
[0121]
求解模块建立移动目标轨迹线性方程组，并使用粒子群求解方程组多个近似解，
计算粒子聚集度；
[0122]
判断模块根据粒子聚集度判断目标表征变化情况，并定位目标位置，描述运动轨迹，追踪目标状态，确定行车状态。
[0123]
需要说明的是，本发明的基于机器视觉的无人驾驶车辆目标识别系统与本发明的基于机器视觉的无人驾驶车辆目标识别方法一一对应，在上述基于机器视觉的无人驾驶车辆目标识别方法的实施例阐述的技术特征及其有益效果均适用于基于机器视觉的无人驾驶车辆目标识别系统的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
[0124]
此外，上述实施例的基于机器视觉的无人驾驶车辆目标识别系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于机器视觉的无人驾驶车辆目标识别系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
[0125]
如图3所示，在一个实施例中，提供了一种计算机可读存储介质，存储有程序于存储器中，所述程序被处理器执行时，实现所述的基于机器视觉的无人驾驶车辆目标识别方法，具体为：
[0126]
采集无人驾驶车辆行车过程中移动目标的连续视频帧，得到移动目标轨迹状态矢量；
[0127]
定义粒子群集合，使用贝叶斯边缘图像滤波去除视频帧图像背景，提取特征点，初始化粒子群并计算特征点概率分布密度；
[0128]
建立移动目标轨迹线性方程组，并使用粒子群求解方程组多个近似解，计算粒子聚集度；
[0129]
根据粒子聚集度判断目标表征变化情况，并定位目标位置，描述运动轨迹，追踪目标状态，确定行车状态。
[0130]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
[0131]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0132]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。