一种基于车辆远光灯抓拍双目视觉和卫星导航数据的多目标跟踪系统的制作方法

1.本发明涉及一种基于车辆远光灯抓拍双目视觉和卫星导航数据的多目标跟踪系统，具体是用车辆远光灯抓拍双目视觉和坐标转化的算法实现车辆多目标跟踪，以及视觉跟踪和卫星跟踪融合的系统框架。


背景技术：

2.跟踪是估计系统所观察到的静止和移动目标的状态的过程。观测系统可以是视觉、卫星或任何其他传感器，它们被动或主动地探测一个区域或体积内的目标物体。任何观测系统都容易受到噪声的影响，包括来自环境的内部和外部噪声。这种噪音会导致跟踪系统必须处理的错误测量。这些错误的测量通常被称为杂波。一个关键的挑战是要知道哪些测量数据在一段时间内是属于一起的，通常被称为数据关联问题。在本发明中，"算法"将被用来描述跟踪方法或方法中的主要逻辑，而 "系统框架"将被用来描述包括主要算法的一个完整的多目标跟踪系统。
3.车辆远光灯抓拍双目视觉是机器视觉的一种重要形式，它是利用两个摄像头从不同的角度获取被测物体的两幅视觉图像，基于视差原理，建立两幅图像特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，并通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。在将所有的图像转换为点云后，接下来将点云转换为测量值。在给定的相邻标准下，用相邻检测之间的顶点建立图形，并将检测优化到该目标的聚类中。当一组检测目标被聚在一起时，它们各自的测量值被计算为由探测组成的多边形的中心点，并将它们的信号强度进行加权，最后发送到跟踪模块。
4.卫星导航数据辅助根据车辆的速度和状态，以不同的时间间隔广播静态、动态和行驶信息。静态信息每1分钟传送一次，卫星导航数据收发器使用两个预留的频道：s 1
ꢀ‑ꢀ
1915.8mhz(bd)和s 2
ꢀ‑ꢀ
1575.6mhz(gps)以提高抗干扰能力。


技术实现要素：

5.本发明的目的在于提供基于车辆远光灯抓拍双目视觉和卫星导航数据的多目标跟踪系统，利用车辆远光灯抓拍双目视觉摄像头采集车辆图像，基于车辆远光灯抓拍双目视觉算法计算车辆位置，结合卫星导航数据实现车辆的多目标跟踪。主要包含以下几个步骤。
6.步骤1双目摄像头采集车辆不同视角的图像，特征点匹配，计算车辆三维几何点云数据。
7.使用笛卡尔直角坐标系框架，即通用的横轴直角坐标系，将所有的输入传感器数据都转换到这个框架。只要系统工作的区域在一个网格内，这种从大地坐标系到笛卡尔坐标系的局部投影是可以接受的。
8.在图像坐标系中，摄像机摄取的图像传输到计算机后，为一串0和1的二进制串，以
二维矩阵的方式存储，反映场景的强度值。通常以（u,v）表示，u表示某个像素点在二维矩阵中列坐标值，v表示变形图像中每一个像素点在二维矩阵中行坐标值，组成这些坐标值的是一个个的像素，而不是实际物理量。而深度信息是以毫米或米为单位，并不以像素为单位，因此我们在衡量深度信息时不能局限于图像坐标系，所以需要建立基于实际物理单位的像平面坐标系，并符合ccd相机的习惯，即原点在摄像机的光轴中心，方便坐标的转换计算。
9.步骤2双目摄像头采集车辆不同视角的图像，特征点匹配，计算车辆三维几何点云数据，主要步骤如下：（1）建立摄像机透视投影的成像模型，使用张正友平面标定法，建立相应坐标系间的深度变换关系，获得摄像机内外参数；（2）利用双目摄像机对行驶中的车辆进行捕捉，每隔0.01秒获取两个不同视角的车辆图像；（3）计算机基于图像处理算法处理摄取的包含被测车辆的图像，计算出偏移量；（4）进行特征点匹配，并利用透视投影几何原理算法计算出车辆三维几何信息；（4）进行特征点匹配，并利用透视投影几何原理算法计算出车辆三维几何信息；（4）进行特征点匹配，并利用透视投影几何原理算法计算出车辆三维几何信息；（4）进行特征点匹配，并利用透视投影几何原理算法计算出车辆三维几何信息；其中：其中：其中：的值取决于设备的安装位置，即通过校准实验来确定。
10.启动多目标跟踪器。
11.由于启动器只是一个位置，而不是一个带有速度的完整状态，所有方向的可能性都是一样的，这个步骤中唯一的设计参数是要跟踪的目标的最大速度。这个参数为目标跟踪器设定了一个外部限制，作为第二次和确认测量的门。当用第二次测量来匹配启动器时，本发明选择最接近的测量，并假设两个连续的测量是最有可能属于一起的。在单一目标的情况下，这将是计算所有备选测量的距离并选择最低的，关联已经完成。而在多目标情况下，可以选择离任何启动器最近的测量值，但必须一次只做一个启动器。
12.不同目标的跟踪结果，取决于该编程中启动器的设计。一种方法是计算任何可能的启动器和测量组合的所有不同距离，对列表进行排序，并从最短到最长的可能距离中分配距离。该方法不会受到随机性的影响，但不一定会给出关于多少启动器被分配到测量值和它们各自的距离的最佳关联。
13.将多目标跟踪问题表述为一个全局组合问题。
14.为了将新的测量值与现有的假设进行比较，将它们的状态预测到与测量值相同的
时间用卡尔曼滤波器时间更新方程进行计算。
15.。
16.步骤3 卫星导航数据辅助目标跟踪结果。
17.所有的卫星导航测量值都经过预处理，以去除失序信息和id交换错误，并且只有每个目标的最新卫星导航数据更新被传递到目标跟踪环。
18.所有在车辆远光灯抓拍双目视觉摄像头监视区域之外的卫星导航测量值会从测量集中删除。
19.将卫星导航测量值整合到多目标跟踪系统框架中采用顺序融合方法。
20.车辆远光灯抓拍双目视觉测量结果通常以固定的时间间隔到达，不与外部时钟同步。另一方面，卫星导航数据是以异步间隔传输的，并且信息是以整秒的utc时间标记的。这些特性导致了每次视觉数据扫描之间可能出现的卫星导航数据时间戳数量有限，而且在大多数情况下相对较少。融合算法每次迭代的运行时间较长，有利于在每次视觉数据扫描到达时同步处理卫星导航数据和视觉测量数据（同步处理）。
21.卫星导航数据是辅助，选择了连续门控的方法。在卫星导航信息时间比较和门控卫星导航测量，或者预测卫星导航测量到视觉测量时间并与视觉测量同时门控。
22.本发明的有益效果：可广泛应用于不同场景、不同天气条件的道路交通监测中，具有开发检测结果准确、系统鲁棒性高等特点。
附图说明
23.图1 是多目标跟踪系统整体流程图。
24.图2 是多目标系统框架示意图。


技术特征：
1.一种基于车辆远光灯抓拍双目视觉和卫星导航数据的多目标跟踪系统，其特征在于，包括以下步骤：步骤1坐标系转换车辆远光灯抓拍双目视觉传感器数据在本质上是极坐标框架，而目标运动模型最好用直角坐标框架描述，本发明的解决方案是将车辆远光灯抓拍双目视觉测量值转换为直角坐标系；步骤2多目标轨道跟踪本发明将每一次目标测量都视为一个潜在的新轨道，每次扫描时用轨道分割和测量到轨道的关联来维护已经存在的轨道；步骤3 ais辅助对于跟踪锁定的目标，卫星导航数据不存在像车辆远光灯抓拍双目视觉测量那样的关联不确定性、噪声和低精度问题。2.如权利要求1所述的一种基于车辆远光灯抓拍双目视觉和卫星导航数据的多目标跟踪系统，其特征在于，步骤1将车辆远光灯抓拍双目视觉测量值转换为直角坐标系，为了避免转换后的测量值出现偏差和协方差，使用下述转换方式。值出现偏差和协方差，使用下述转换方式。。3.如权利要求1所述的一种基于车辆远光灯抓拍双目视觉和卫星导航数据的多目标跟踪系统，其特征在于，在本发明中，步骤2将使用当笛卡尔直角坐标系；目标的状态（3）是在二维笛卡尔框架内用位置和速度来模拟的，其中x轴的正方向指向东，y轴的正方向指向北；两个最新的状态是各自方向上的速度；由于模拟任何车辆在车道上的实时行为几乎是不可能的，本发明假设，给定的时间区间内，每个车辆目标都会照常前进，更确切地说，它们的速度是不变的；在该假设下，车辆被建模为一个线性时间不变系统，具有时间演化（4）、测量模型（5）、过渡和观测矩阵（6）。
。4.如权利要求1所述的一种基于车辆远光灯抓拍双目视觉和卫星导航数据的多目标跟踪系统，其特征在于，步骤3利用卫星导航数据来提高多目标跟踪系统的可靠性；当收到新的卫星导航数据时，从每个没有任何视觉测量或者高噪声视觉测量的目标中创建一个卫星导航假设；然后给每个新的假设赋予权重分数，并将这个航迹假设与具有相同id的测量目标相关联。

技术总结
本发明公开了一种基于车辆远光灯抓拍双目视觉和卫星导航数据的多目标跟踪系统。为了实现车辆远光灯滥用的自动检测，需要一个实时的多目标跟踪系统。由于车辆远光灯抓拍双目视觉和卫星导航数据具有不同的强弱特性，因此在真实的道路环境下，一个包含车辆远光灯抓拍双目视觉传感器和卫星导航传感器数据的跟踪系统是首选。该系统由两个主要部分组成，一个基于视觉传感器图像的初始化算法和一个面向车道中行驶车辆的自动识别系统。该多目标跟踪系统在乡村、城市等不同场景、平坦、陡峭、急弯等不同地形、和雨、雪等天气形态具有广泛的适应性和系统鲁棒性。性和系统鲁棒性。性和系统鲁棒性。


技术研发人员：薛均晓 李庆宾 王威立 毕宵飞 李荣德 吕彤辉 董婷婷
受保护的技术使用者：郑州高识智能科技有限公司
技术研发日：2021.08.06
技术公布日：2021/10/23