一种融合感知系统设备间时间同步的方法及装置与流程

1.本发明涉及交通监控领域，具体涉及一种融合感知系统设备间时间同步的方法及装置。


背景技术：

2.现有的雷视融合系统一般采用3种方法以实现两个系统(视频摄像头系统和毫米波雷达系统)之间的时钟同步：
3.1、两套系统各自采用自身的rtc时钟记录数据，融合算法根据rtc值将两套数据进行融合；
4.2、在网络中设置一台设备作为时钟服务器，其他设备利用ntp协议与之同步时间；
5.3、将路网的网络升级为1588同步网络，网络摄像机及毫米波雷达均采用支持1588同步以太网协议的通讯模式。
6.三种常用的同步方法均存在时钟源差异、网络延时、协议等因素导致的时钟不同步。将两个时间存在差异的数据源进行空间同步，再加上视频摄像头对空间距离的测量精度低这个不利因素，经常出现雷视数据不一致，导致融合结果丢目标或多目标现象发生。


技术实现要素：

7.为解决以上技术问题，本发明提供了一种融合感知系统设备间时间同步的方法及装置，本发明通过将毫米波雷达与摄像头获取的信息进行对比来实现毫米波雷达与摄像头时间同步。
8.第一方面，本技术实施例提供了一种融合感知系统设备间时间同步的方法，包括以下步骤：s1：利用毫米波雷达并使用跟踪算法获取单位时间间隔内连续的可视范围内的第一雷达信息list_a，并根据第一雷达信息list_a确定车辆目标信息，包括车辆位置坐标、姿态角度、速度；s2：在毫米波雷达获取目标动态信息的同时，获取摄像头精度范围内单位时间间隔的第一视频信息list_b，并根据第一视频信息list_b确定车辆目标信息，包括车辆位置坐标、姿态角度、速度； s3：将具有相同时间终点的时间段内的第一视频信息list_b、第一雷达信息list_a 按若干等时间间隔抽取得到第二视频信息a(t)、第二雷达信息b(t)；s4：经过坐标变换，使第二视频信息b(t)、第二雷达信息a(t)在同一坐标系下，将第二视频信息b(t0)/第二雷达信息a(t0)中最近时刻车辆目标信息与时间段内所有时刻的第二雷达信息a(t)/第二视频信息b(t)逐一匹配，通过匹配算法对所述第二视频信息b(t0)/第二雷达信息a(t0)车辆目标及第二雷达信息a(t)/第二视频信息b(t) 车辆目标进行匹配，确定两者之间相同车辆目标和数量；s5：若两者之间车辆目标和数量相同，则计算第二雷达信息a(t)/第二视频信息b(t)的车辆目标信息与第二视频信息b(t0)/第二雷达信息a(t0)的车辆目标信息的损失矩阵cost
i,j
，选取全局最小cost
i,j
的第二雷达信息a(t)与第二视频信息b(t)作为最相近数据，并确定两者之间的时间戳差值；s6：根据时间戳差值来调整毫米波雷达或者摄像头的网络时间使得毫米波雷达与摄像头时间同步。
9.作为优选，使用匈牙利匹配算法或者km匹配算法来对所述第二视频信息 b(t0)/第二雷达信息a(t0)车辆目标信息及第二雷达信息a(t)/第二视频信息b(t)车辆目标信息进行匹配并计算损失矩阵cost
i,j
，所述损失矩阵 cost
i,j
＝βcost
(a)i,j
(1-β)cost
(b)i,j
，β为权重系数，0《β《1；第一损失矩阵 cost
(a)i,j
＝α
·h(1)i,j
(xi,yj) (1-α)
·h(2)i,j
(mi,nj)，α为权重系数，0《α《1， h
(1)i,j
(xi，yj)＝min{1-cossim(xi，yj)}，xi和yj分别是第二视频信息b(t)的第i个车辆目标和第j车辆目标员的位置距离信息，mi和nj分别是第二雷达信息a(t)的第i个车辆目标和第j个车辆目标的位置距离信息，z 为目标车辆的数量；第二损失矩阵cost
(b)i,j
＝α
·h(1)i,j
(xi,yj) (1-α)
·h(2)i,j
(mi,nj)，α为权重系数，0《α《1，h
(1)i,j
(ai，bj)＝min{1-cossim(ai，bj)}， ai和bj分别是第二视频信息b(t)的第i个车辆目标和第j车辆目标的速度、姿态角度信息，ci和dj分别是第二视频信息b(t)的第i个车辆目标和第j车辆目标的速度、姿态角度信息，z为目标车辆的数量。
10.作为优选，在s2中，采用yolov5算法在第一视频信息list_b中确定车辆目标信息。
11.作为优选，车辆目标信息还包括车辆的车牌号或者自定义序号。
12.作为优选，还包括s7：若干时间后重复s1-s6或者持续重复s1-s6。
13.作为优选，所述s1中，通过对雷达反射点的过滤杂波(静态/镜面反射)、聚类、动态目标跟踪来获取第一雷达信息list_a。
14.第二方面，本技术实施例提供了一种融合感知系统设备间时间同步装置，其特征在于，包括：
15.车辆毫米波雷达信息获取单元，用于获取单位时间间隔内连续的可视范围内的第一雷达信息，并根据第一雷达信息确定车辆目标信息，包括车辆位置坐标、姿态角度、速度；
16.车辆视频信息获取单元，用于获取摄像头精度范围内单位时间间隔的第一视频信息，并根据第一视频信息确定车辆目标信息，包括车辆位置坐标、姿态角度、速度；
17.车辆信息取样单元，用于将具有相同时间终点的时间段内的第一视频信息、第一雷达信息按若干等时间间隔抽取得到第二视频信息、第二雷达信息；
18.车辆信息匹配单元，用于经过坐标变换，使第二视频信息、第二雷达信息在同一坐标系下，将第二视频信息/第二雷达信息中最近时刻车辆目标信息与时间段内所有时刻的第二雷达信息/第二视频信息逐一匹配，确定两者之间相同车辆目标和数量；
19.时间戳差值确定单元，用于两个第二视频信息、第二雷达信息匹配后，确定两者之间的时间戳差值；
20.时间同步单元，用于根据时间戳差值来调整毫米波雷达或者摄像头的网络时间使得毫米波雷达与摄像头时间同步。
21.与现有技术相比，本发明具有以下优点：本发明通过将毫米波雷达与摄像头获取的信息进行对比来实现毫米波雷达与摄像头时间同步，利用匈牙利km 算法进行多目标匹配计算全局最小cost，以此来作为时间同步的依据，提升系统同步精度，并且对视频数据的处理仅提取其静态基础特征，极大降低系统算力需求。
附图说明
22.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
23.图1是一个实施例中融合感知系统设备间时间同步方法的流程示意图；
具体实施方式
24.为了便于理解本发明技术方案，以下结合附图与具体实施例进行详细说明。
25.实施例1
26.如图1所示，一种融合感知系统设备间时间同步的方法，包括以下步骤：
27.s1：利用毫米波雷达并使用跟踪算法获取单位时间间隔内连续的可视范围内的第一雷达信息list_a，并根据第一雷达信息list_a确定车辆目标信息，包括车辆位置坐标、姿态角度、速度；通过对雷达反射点的过滤杂波(静态/镜面反射)、聚类、动态目标跟踪来获取第一雷达信息list_a，通过聚类算法将与目标相关的所有检测合并为一个点，有助于检测和分配目标的轨迹；
28.s2：在毫米波雷达获取目标动态信息的同时，获取摄像头精度范围内单位时间间隔的第一视频信息list_b，并根据第一视频信息list_b确定车辆目标信息，包括车辆位置坐标、姿态角度、速度，采用yolov5算法在第一视频信息list_b 中确定车辆目标信息；
29.s3：将具有相同时间终点的时间段内的第一视频信息list_b、第一雷达信息 list_a按若干等时间间隔抽取得到第二视频信息a(t)、第二雷达信息b(t)；
30.s4：经过坐标变换，使第二视频信息b(t)、第二雷达信息a(t)在同一坐标系下，将第二视频信息b(t)中最近时刻车辆目标信息与时间段内所有时刻的第二雷达信息a(t)逐一匹配，通过匹配算法对所述第二视频信息b(t0)车辆目标及第二雷达信息a(t)车辆目标进行匹配，确定两者之间相同车辆目标和数量，本实施例中，所述t0指的是最后时刻点，例如摄像头获取1秒时间内的第一雷达信息 list_a，则第二视频信息b(t0)为1秒时的车辆目标信息；
31.s5：若两者之间车辆目标和数量相同，则计算第二雷达信息a(t)的车辆目标信息与第二视频信息b(t0)的车辆目标信息的损失矩阵cost
i,j
，选取全局最小 cost
i,j
的第二雷达信息a(t)与第二视频信息b(t)作为最相近数据，并确定两者之间的时间戳差值；也即若存在若干个第二视频信息b(t)与二雷达信息a(t)匹配，则需要选取若干个第二视频信息b(t)中全局最小cost
i,j
的第二视频信息b(t)作为时间最接近的时刻进行同步。
32.具体的，使用匈牙利匹配算法或者km匹配算法来对所述若干个第二视频信息b(t)车辆目标信息及第二雷达信息a(t)车辆目标信息分别进行匹配并计算损失矩阵cost
i,j
，所述损失矩阵cost
i,j
＝βcost
(a)i,j
(1-β)cost
(b)i,j
，β为权重系数， 0《β《1；其中，第一损失矩阵cost
(a)i,j
为各个车辆之间距离的评价参数，其值越小说明第二视频信息b(t0)与第二雷达信息a(t)之间的匹配度越高；第二损失矩阵cost
(b)i,j
为各个车辆之间速度、姿态角度的评价参数，其值越小说明第二视频信息b(t0)与第二雷达信息a(t)之间的匹配度越高，利用位置信息和头姿态角度、速度信息共同组成损失矩阵cost
i,j
用于相似度匹配，此损失矩阵cost
i,j
中的元素代表第二视频信息b(t0)车辆目标信息及第二雷达信息a(t)车辆目标信息之间的差异，由它们之间的姿态角度、速度匹配程度和运动位置距离进行加权求和组成，从
而提高目标识别的精确度，使时间匹配融合更精准，其中，损失矩阵cost 通过以下公式计算：
[0033][0034]
第一损失矩阵cost
(a)i,j
＝α
·h(1)i,j
(xi,yj) (1-α)
·h(2)i,j
(mi,nj)，α为权重系数，0《α《1， h
(1)i,j
(xi，yj)＝min{1-cossim(xi，yj)}，xi和yj分别是第二视频信息b(t)的第i个车辆目标和第j车辆目标员的位置距离信息，mi和nj分别是第二雷达信息a(t)的第i个车辆目标和第j个车辆目标的位置距离信息， z为目标车辆的数量；
[0035]
第二损失矩阵cost
(b)i,j
＝α
·h(1)i,j
(xi,yj) (1-α)
·h(2)i,j
(mi,nj)，α为权重系数，0《α《1， h
(1)i,j
(ai，bj)＝min{1-cossim(ai，bj)}，ai和bj分别是第二视频信息b(t)的第i个车辆目标和第j车辆目标的速度、姿态角度信息，ci和 dj分别是第二视频信息b(t)的第i个车辆目标和第j车辆目标的速度、姿态角度信息，z为目标车辆的数量；
[0036]
s6：根据时间戳差值来调整毫米波雷达或者摄像头的网络时间使得毫米波雷达与摄像头时间同步。
[0037]
s7：若干时间后重复s1-s6或者持续重复s1-s6，通过多次重复s1-s6得出若干次时间戳差值，通过取平均数来缩小时间戳差值的误差，最终确定准确的时间戳差值。
[0038]
其中，车辆目标信息还包括车辆的车牌号或者自定义序号，在进行车辆识别时，若不方便识别车牌号来作为车辆标记的依据则可以设置自定义序号来标记车辆。
[0039]
作为优选，本发明的第二种计算方式为：可以使用第二雷达信息a(t0)与第二视频信息b(t)进行比对，来计算毫米波雷达与摄像头的时间差，并调整毫米波雷达或者摄像头的网络时间使得毫米波雷达与摄像头时间同步。
[0040]
作为优选，本发明还可以将上述两种计算毫米波雷达或者摄像头的时间差的方法的结果进行加权平均来得到更为精确的时间差值；由于所述t0指的是最后时刻点，那么与第二视频信息b(t0)最接近的第二雷达信息a(t)可能在1秒之外，可能为1.1秒，就无法最准确的获取与第二视频信息b(t0)最接近的第二雷达信息a(t)，故通过上述的第二种计算方式，在面临上述问题时，使用第二雷达信息a(t0)与第二视频信息b(t)进行比对，与第二雷达信息a(t0)最接近的第二视频信息b(t)可能就为0.9秒，提高了计算的准确度。
[0041]
作为优选，根据权利要求1所述的一种融合感知系统设备间时间同步的方法，其特征在于，所述s5还包括以下步骤：将最为接近的第二雷达信息与第二视频信息的时间为基准，抽取前后间隔一个时间间隔t的信息并形成第三雷达信息与第三视频信息，截取某一时刻第三视频信息，并将其与若干等时间间隔 t1任意初始时刻第三雷达信息逐一匹配，通过匹配算法对所述第三视频信息车辆目标及第三雷达信息车辆目标进行匹配，计算第三视频
信息的车辆目标信息与第三雷达信息的车辆目标信息的损失矩阵cost
i,j
，选取全局最小cost
i,j
的第三雷达信息与第三视频信息b(t)作为最相近数据，并确定两者之间的时间戳差值。
[0042]
本实施例还提供了一种融合感知系统设备间时间同步装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0043]
车辆毫米波雷达信息获取单元，用于获取单位时间间隔内连续的可视范围内的第一雷达信息，并根据第一雷达信息确定车辆目标信息，包括车辆位置坐标、姿态角度、速度；
[0044]
车辆视频信息获取单元，用于获取摄像头精度范围内单位时间间隔的第一视频信息，并根据第一视频信息确定车辆目标信息，包括车辆位置坐标、姿态角度、速度；
[0045]
车辆信息取样单元，用于将具有相同时间终点的时间段内的第一视频信息、第一雷达信息按若干等时间间隔抽取得到第二视频信息、第二雷达信息；
[0046]
车辆信息匹配单元，用于经过坐标变换，使第二视频信息、第二雷达信息在同一坐标系下，将第二视频信息/第二雷达信息中最近时刻车辆目标信息与时间段内所有时刻的第二雷达信息/第二视频信息逐一匹配，确定两者之间相同车辆目标和数量；
[0047]
时间戳差值确定单元，用于两个第二视频信息、第二雷达信息匹配后，确定两者之间的时间戳差值；
[0048]
时间同步单元，用于根据时间戳差值来调整毫米波雷达或者摄像头的网络时间使得毫米波雷达与摄像头时间同步。
[0049]
一种计算机装置，包括存储器，处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述的方法的步骤。
[0050]
一种计算机刻度存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
[0051]
一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
[0052]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。