Spark分布式计算引擎的多传感器目标数据分区方法、系统以及目标物数据融合方法、系统与流程

spark分布式计算引擎的多传感器目标数据分区方法、系统以及目标物数据融合方法、系统
技术领域
1.本发明涉及车辆多传感器目标数据技术领域，具体涉及spark分布式计算引擎的多传感器目标数据分区方法、系统以及目标物数据融合方法、系统。


背景技术：

2.随着智能驾驶汽车的兴起，其自动驾驶功能控制软件可靠性、准确性的验证越发重要，因此需要构建高速公路场景、城市快速路拥堵场景等多种场景的智能网联汽车智能驾驶场景库，在构建过程中，需对车辆进行智能化改装，加装智能摄像头，激光雷达，毫米波雷达等多种目标物探测传感器及其他传统传感器，如加速度传感器，gps定位，车辆can总线采集等，在后续数据处理分析的过程中，需要利用多种目标物探测传感器，对同一目标物进行目标物级融合与跟踪，以弥补单一传感器带来的目标物丢失的不足。但超高的数采频率以及超长的数据采集里程使车辆数据呈指数级爆炸式增长，采集数据量达到t级，如何从采集的历史数据中，快速准确的对多种传感器数据进行目标物融合，输出稳定的目标物数据，成为一大难点。
3.目前解决此问题可以通过以下两种方式：1、在车辆端进行目标物融合方式，依据时间序列，依次获取激光雷达探测目标物、毫米波雷达探测目标物、摄像头探测目标物等多种传感器探测的目标物数据，进行位姿融合，输出融合的目标物数据。2、融合传感器原始数据方式，如摄像头的图像数据，激光雷达、毫米波雷达的点云数据，二者进行叠加，形成叠加后的具有多传感器特征的融合数据，之后进行目标物检测，输出融合的目标物数据。
4.两种方式都可实现对目标物数据的融合，但是运用该方式存在缺陷为：
5.1)均需在车辆运行过程中实时进行输出。
6.2)在一次性处理亿行甚至更大量数据时，运行耗时长、效率极低。
7.综上因素，现有的对目标物数据的融合方式只能在车辆运行过程中实时输出，且在一次性处理亿行甚至更大量数据时，运行耗时长、效率极低。
8.因此，在现有技术中，针对目标物数据的融合方式只能在车辆运行过程中实时输出，且在一次性处理亿行甚至更大量数据时，运行耗时长、效率极低，例如：专利文献cn111222568a公开了“一种车辆网联数据融合方法及装置”，通过传感器融合数据以及时空同步的车辆网联数据进行融合处理，得到车辆网联融合数据，进而实现不仅能够对本车自身的传感数据进行融合，还能够将传感数据与网联数据进行融合，进而准确预测本车及其本车与周围其他物体之间的行驶情况。该专利文献所述技术方案仅仅能够将传感数据与网联数据进行融合，准确预测本车及其本车与周围其他物体之间的行驶情况，没有明确针对目标物数据的融合方式只能在车辆运行过程中实时输出，且在一次性处理亿行甚至更大量数据时，运行耗时长、效率极低的问题给出解决方案。专利文献cn111913177a公开了“对目标物探测方法、装置以及存储介质”，利用传感器融合获取目标物信息，对目标物进行判断、识别，可提高对目标物探测的可靠性。该专利文献提高了对目标物探测的可靠性，其分析结
果也不能够给出针对目标物数据的融合方式只能在车辆运行过程中实时输出，且在一次性处理亿行甚至更大量数据时，运行耗时长、效率极低的问题给出解决方案。


技术实现要素：

9.本发明解决了现有的对目标物数据的融合方式只能在车辆运行过程中实时输出，且在一次性处理亿行甚至更大量数据时，运行耗时长、效率极低的问题。
10.本发明所述的spark分布式计算引擎的多传感器目标物数据分区方法，包括如下步骤：
11.步骤s1，选取多传感器探测的本车车速大于0的历史数据，将连续的时间点内的历史数据作为一个分区，每一段分区的终止时间与下一段分区的起始时间之差小于1s的分区进行合并；
12.步骤s2，设定分区结束阈值i为10，计算每个分区的行数与最大分区行数之差，直至每个分区的行数与最大分区行数之差满足小于i％，则结束每个分区的切分；
13.步骤s3，若最终分区结束i值超过30，则需对历史数据重新进行分区，以保证每个分区的数据行数与最大分区行数之差小于30％。
14.进一步地，在本发明的一个实施例中，所述步骤s2中，所述的计算每个分区的行数与最大分区行数之差为：
15.若大于i％，则按照每个分区中目标物历史数据量小于1为条件，将每个分区中目标物历史数据量进行切分获得新的分区；
16.若小于i％，i值未超过30，分区结束。
17.进一步地，在本发明的一个实施例中，所述的将每个分区中目标物历史数据量进行切分获得新的分区后，计算每个分区的行数与最大分行数之差为：
18.若仍然大于i％，则按照目标物历史数据量大于1且相对距离、相对速度2s内稳定不变的条件进行切分获得新的分区；
19.若小于i％，i值未超过30，分区结束。
20.进一步地，在本发明的一个实施例中，所述的按照目标物历史数据量大于1且相对距离、相对速度2s内稳定不变的条件进行切分获得新的分区后，计算每个分区的行数与最大分区行数之差为：
21.若仍然大于i％，则更新i值为10*循环次数，计算每个分区的行数与最大分区行数之差，若仍然大于i％，采用相同的方法进行切分获得新的分区，直至每个分区的行数与最大分区行数之差满足小于i％；
22.若小于i％，i值未超过30，分区结束。
23.本发明所述的spark分布式计算引擎的多传感器目标物数据提取融合方法，包括如下步骤：
24.选取多传感器目标物历史数据作为待处理的数据；
25.步骤s4，将所述待处理的数据执行目标物位姿匹配，随机选取目标物位姿匹配所得的通道，作为基准通道集合s＝{基准id，匹配id},遍历其余通道集合dn＝{基准id，匹配id}，当s∩dn的个数大于1时，则更新s集合为s＝s∪dn；
26.步骤s5，在所有目标物通道中，去除满足步骤s4的dn通道，再次随机选取所得的通
道，直至所有的通道均作为基准通道，完成了目标物id融合；
27.步骤s6，提取的每一个通道进行重新编号，作为目标物的融合id；
28.步骤s7，提取目标物的融合id所包含的所有原始传感器对应时间点探测的数据值；
29.步骤s8，任意选取历史数据经过提取的融合id，执行目标物历史数据融合。
30.进一步地，在本发明的一个实施例中，在步骤s4中，首先，对选取的多传感器目标物历史数据采用权利要求1所述的spark分布式计算引擎的多传感器目标物数据分区方法进行分区形成待处理的数据，然后，针对每个分区中的数据执行步骤s4至步骤s8的目标物历史数据融合处理。
31.本发明所述的spark分布式计算引擎的多传感器目标数据分区系统，所述的系统包括以下模块：
32.模块s1，用于选取多传感器探测的本车车速大于0的历史数据，将连续的时间点内的历史数据作为一个分区，每一段分区的终止时间与下一段分区的起始时间之差小于1s的分区进行合并；
33.模块s2，用于设定分区结束阈值i为10，计算每个分区的行数与最大分区行数之差，直至每个分区的行数与最大分区行数之差满足小于i％，则结束每个分区的切分；
34.模块s3，用于最终分区结束i值超过30，则需对历史数据重新进行分区，以保证每个分区的数据行数与最大分区行数之差小于30％。
35.本发明所述的spark分布式计算引擎的多传感器目标物数据提取融合系统，所述的系统包括以下模块：
36.数据选取模块，用于选取多传感器目标物历史数据作为待处理的数据；
37.模块s4，将所述待处理的数据执行目标物位姿匹配，随机选取目标物位姿匹配所得的通道，作为基准通道集合s＝{基准id，匹配id},遍历其余通道集合dn＝{基准id，匹配id}，当s∩dn的个数大于1时，则更新s集合为s＝s∪dn；
38.模块s5，用于在所有目标物通道中，去除满足步骤s4的dn通道，再次随机选取所得的通道，直至所有的通道均作为基准通道，完成了目标物id融合；
39.模块s6，用于提取的每一个通道进行重新编号，作为目标物的融合id；
40.模块s7，用于提取目标物的融合id所包含的所有原始传感器对应时间点探测的数据值；
41.模块s8，用于任意选取历史数据经过提取的融合id，执行目标物历史数据融合。
42.本发明所述的一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时实现上述方法中任意一项方法所述的步骤。
43.本发明所述的一种计算机设备，包括存储器和处理器，所述的存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时执行上述方法中任意一项方法所述的步骤。
44.本发明解决了现有的对目标物数据的融合方式只能在车辆运行过程中实时输出，且在一次性处理亿行甚至更大量数据时，运行耗时长、效率极低的问题。
45.具体有益效果包括：
46.1、本发明提出的spark分布式计算引擎的多传感器目标物数据分区方法，是通过
采取车辆不同传感器探测的目标物数据的历史数据，不需在车辆运行过程中对目标物数据实时进行输出。
47.2、本发明提出的spark分布式计算引擎的多传感器目标物数据分区方法，对多传感器探测的目标物历史大量数据进行有效切分，实现不同传感器的数据融合与扩充，最大限度利用集群资源并行计算，并且该分区计算方式是根据实际数据情况进行分区，简单的分区逻辑容易导致计算结果错误，因此，该分区计算方式除了能够有效提高计算速度，还可以提高计算的准确度。
48.3、本发明提出的spark分布式计算引擎的多传感器目标物数据提取融合方法，通过基准通道融合方法，选择目标物的融合id作为索引，建立索引通道，达到快速准确地对目标物历史数据进行提取融合的效果。
49.4、本发明将spark分布式计算引擎的多传感器目标数据分区方法与目标物数据融合方法的结合有效避免了采用大量数据进行融合而导致的费时问题可以有效地将现有技术的融合方法运行耗时超过5天缩短至分钟级。
50.本发明适用于智能网联汽车测试技术领域中，解决在超高的数采频率以及超长的数据采集里程使车辆数据呈指数级爆炸式增长，采集数据量达到t级情况下，从采集的历史数据中，快速准确的对多种传感器数据进行目标物融合，输出稳定的目标物数据的技术问题。
附图说明
51.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
52.图1是本发明所述的spark分布式计算引擎的多传感器目标数据融合方法与系统的流程图。
53.图2是实施方式一所述的分区流程图。
54.图3是实施方式五所述的目标物id融合图。
55.图4是实施方式五所述的目标物id融合流程图。
56.图5是实施方式五所述的类高斯核函数滤波图；(a)初始扫描值图；(b)重合部分为两种不同传感器图；(c)重合部分为同种传感器图。
57.图6是实施方式六所述的目标物通道图。
58.图7是实施方式六所述的位姿匹配流程图。
具体实施方式
59.下面结合附图将对本发明的多种实施方式进行清楚、完整地描述。通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
60.实施方式一、本实施方式所述的spark分布式计算引擎的多传感器目标物数据分区方法，其特征在于，包括如下步骤：
61.步骤s1，选取多传感器探测的本车车速大于0的历史数据，将连续的时间点内的历史数据作为一个分区，每一段分区的终止时间与下一段分区的起始时间之差小于1s的分区进行合并；
62.步骤s2，设定分区结束阈值i为10，计算每个分区的行数与最大分区行数之差，直至每个分区的行数与最大分区行数之差满足小于i％，则结束每个分区的切分；
63.步骤s3，若最终分区结束i值超过30，则需对历史数据重新进行分区，以保证每个分区的数据行数与最大分区行数之差小于30％。
64.本实施方式中，获取车辆多传感器探测的历史的目标物数据，并分析不同传感器探测的大量历史目标物数据，通过目标物数据位姿、速度、距离等信息，实现不同传感器的数据融合与扩充。不同传感器探测的目标物数据包括：本车车速、时间列、目标物相对距离、目标物相对速度、目标物相对距离、目标物类型、目标物航向角、目标物长宽高。
65.具体地，将不同传感器探测的目标物数据建数据分区序号列，使得采集数据按照该列进行分区，保证每个分区内，数据行数大致相同，分区规则如图2所示，用户可设定分区结束阈值与最终值i，若最终i值超过设置最大值，则需对数据进行清洗，滤除，再次进行分区，以保证每个分区的数据行数与最大分区行数之差小于设置的最大值。
66.采用本实施方式所述的分区并行运行的计算方式对传感器历史数据根据实际数据情况进行分区处理，不仅能够有效提高计算速度的效率，还可以提高计算的准确度。
67.实施方式二、本实施方式是对实施方式一所述的spark分布式计算引擎的多传感器目标物数据分区方法进一步地限定，本实施方式中，所述步骤s2中，所述的计算每个分区的行数与最大分区行数之差为：
68.若大于i％，则按照每个分区中目标物历史数据量小于1为条件，将每个分区中目标物历史数据量进行切分获得新的分区；
69.若小于i％，i值未超过30，分区结束。
70.本实施方式中，按照每个分区中周围目标物历史数据量小于1为条件，进行第一次分区，即在每个车速不为0的区间内，再进行切分，是由于要保证每个分区中应包含目标物稳定出现的全部时刻数据，避免同一个目标物的数据被划分到不同的分区中，造成最终结果的错误。
71.实施方式三、本实施方式是对实施方式二所述的spark分布式计算引擎的多传感器目标物数据区分方法进一步地限定，本实施方式中，所述的将每个分区中目标物历史数据量进行切分获得新的分区后，计算每个分区的行数与最大分行数之差为：
72.若仍然大于i％，则按照目标物历史数据量大于1且相对距离、相对速度2s内稳定不变的条件进行切分获得新的分区；
73.若小于i％，i值未超过30，分区结束。
74.本实施方式中，按照目标物历史数据量大于1且相对距离、相对速度2s内稳定不变的条件进行切分，是为了保证在每个分区的边界为目标物与本车处于相对稳定的状态，尽可能将目标物与本车发生交互过程划分到一个分区中，保证目标物与本车发生交互过程时，融合后的id号稳定不变。
75.实施方式四、本实施方式是对实施方式三所述的spark分布式计算引擎的多传感器目标物数据分区方法进一步地限定，本实施方式中，所述的按照目标物历史数据量大于1且相对距离、相对速度2s内稳定不变的条件进行切分获得新的分区后，计算每个分区的行数与最大分区行数之差为：
76.若仍然大于i％，则更新i值为10*循环次数，计算每个分区的行数与最大分区行数
之差，若仍然大于i％，采用相同的方法进行切分获得新的分区，直至每个分区的行数与最大分区行数之差满足小于i％；
77.若小于i％，i值未超过30，分区结束。
78.本实施方式中，采用相同的方法为采用实施方式二与实施方式三所述的方法进行切分获得新的分区，直至每个分区的行数与最大分区行数之差满足小于i％且i值未超过30，分区结束。
79.实施方式五、spark分布式计算引擎的多传感器目标物数据提取融合方法，包括如下步骤：
80.选取多传感器目标物历史数据作为待处理的数据；
81.步骤s4，将所述待处理的数据执行目标物位姿匹配，随机选取目标物位姿匹配所得的通道，作为基准通道集合s＝{基准id，匹配id},遍历其余通道集合dn＝{基准id，匹配id}，当s∩dn的个数大于1时，则更新s集合为s＝s∪dn；
82.步骤s5，在所有目标物通道中，去除满足步骤s4的dn通道，再次随机选取所得的通道，直至所有的通道均作为基准通道，完成了目标物id融合；
83.步骤s6，提取的每一个通道进行重新编号，作为目标物的融合id；
84.步骤s7，提取目标物的融合id所包含的所有原始传感器对应时间点探测的数据值；
85.步骤s8，任意选取历史数据经过提取的融合id，执行目标物历史数据融合。
86.本实施方式中，在每个分区中，执行目标物id融合的流程如图4所示。如图3所示，将提取的每一个通道进行重新编号，作为目标物的融合id，从图3可以看出，每一个融合id下，包含匹配到的其他传感器探测的同一个目标物所对应的id号，例如：融合后id号为1的目标物数据中，包含了传感器1的0号id对应的数据、传感器2的14号id对应的数据与传感器n的20号id的数据。至此，将不同传感器对用一个目标物探测的不同id号的数据融合起来，生成了新的融合id号。
87.执行目标物历史数据融合，条件为：
88.当该时间点时刻仅匹配到一个传感器历史数据时，则保留该历史数据，作为融合后的最终历史数据；
89.当该时间点时刻匹配到两个不同传感器历史数据时，则保留置信度高的传感器返回历史数据；
90.当该时间点时刻有匹配到两个相同传感器历史数据时，则优先保留先出现的目标物id历史数据。
91.采用本实施方式的基准通道融合方法，选择目标物的融合id作为索引，建立索引通道，达到快速准确地对目标物历史数据进行提取融合的效果。
92.每个分区目标物融合id包含的所有原始传感器对应时间点探测的历史数据值，包括目标物的相对位置信息、相对速度信息、航向角、目标物置信度、目标物类型、传感器类型等。
93.在每个分区中，对目标物相对距离、相对速度等连续变量执行类高斯核函数滤波，平滑目标物历史数据，具体的步骤为：
94.1、选取任意一个融合id的最终历史数据；
95.2、构造高斯核函数的标准差为σ，均值为μ，以均值以外μ
±
nσ标准差的长度进行截断的高斯模板，为：
[0096][0097]
3、采用该高斯模板对每一个连续性变量进行扫描滤波，完成最终数据融合，滤波过程如下：
[0098]
1)依据出现时间顺序，使用模板从该融合id的第一个点进行扫描，当模板未与数据完全重合时，未重合部分的数据，采用边界延长的方式补齐，将模板值与数据重合的位置对应的值进行累计乘积运算，作为高斯模板中的中值所对应的点的数据滤波值，如图5(a)所示。
[0099]
2)当模板与数据完全重合时，且重合部分为不同传感器返回的数据时，则将模板均值更改为倾向于置信度高的那个传感器数据值，模板扫描示意如图5(b)所示。
[0100]
3)当重合部分为相同传感器返回的数据时，则均值更改为0，模板扫描示意如图5(c)所示。
[0101]
4)以图5(c)为例，跟新高斯模板均值处对应的原始数据为：
[0102]
x5＝g1
×
x3 g2
×
x4 g3
×
x5 g2
×
x6 g1
×
x7。
[0103]
实施方式六、根据实施方式五所述的spark分布式计算引擎的多传感器目标物数据融合方法，本实施方式中，在步骤s4中，首先，对选取的多传感器目标物历史数据采用实施方式一所述的spark分布式计算引擎的多传感器目标物数据分区方法进行分区形成待处理的数据，然后，针对每个分区中的数据执行步骤s4至步骤s8的目标物历史数据融合处理。
[0104]
本实施方式中，对多个分区数据进行处理的方式为并行或串行的方式处理，可以有效提高大量历史数据的计算速度。
[0105]
具体的目标物位姿匹配流程，如图7所示，匹配流程包括以下步骤：
[0106]
步骤s601，随机选取分区内一个传感器的目标物id作为融合基准id；
[0107]
步骤s602，选择该id出现的时间段内的其他目标物传感器探测到的所有目标物id作为待融合目标物id；
[0108]
步骤s603，依据不同传感器特点，依据指定条件确定待融合目标物id与基准id作为匹配的目标物通道，继续随机匹配分区内一个传感器的目标物，直至分区内所有传感器的所有目标物id均作为基准id进行匹配，并记录所有匹配的目标物通道。
[0109]
可以更好的了解具体地匹配流程。记录的所有匹配的目标物通道的结果图7所示，从图6可以看出基准id为0的通道中，匹配到的其他传感器相同目标物对应的id，如基准id为0，经过位姿匹配后，认为传感器1中id号为15，传感器2中，id号为10，传感器n中id号为6的目标物为同一个目标物，由于基准id选取的传感器不同，则可能出现，基准id值相同的情况。
[0110]
其中，欧式距离公式为：
[0111][0112]
式中，p为点(x1,x2)与点(y1,y2)之间的欧氏距离,欧式距离常采用的距离定义，指在空间中两个点之间的真实距离。
[0113]
采用本实施方式可以有效避免了采用大量数据进行融合而导致的费时问题可以有效地将现有技术的融合方法运行耗时超过5天缩短至分钟级。
[0114]
实施方式七、spark分布式计算引擎的多传感器目标数据分区系统，所述的系统包括以下模块：
[0115]
模块s1，用于选取多传感器探测的本车车速大于0的历史数据，将连续的时间点内的历史数据作为一个分区，每一段分区的终止时间与下一段分区的起始时间之差小于1s的分区进行合并；
[0116]
模块s2，用于设定分区结束阈值i为10，计算每个分区的行数与最大分区行数之差，直至每个分区的行数与最大分区行数之差满足小于i％，则结束每个分区的切分；
[0117]
模块s3，用于最终分区结束i值超过30，则需对历史数据重新进行分区，以保证每个分区的数据行数与最大分区行数之差小于30％。
[0118]
实施方式八、spark分布式计算引擎的多传感器目标物数据提取融合系统，所述的系统包括以下模块：
[0119]
数据选取模块，用于选取多传感器目标物历史数据作为待处理的数据；
[0120]
模块s4，将所述待处理的数据执行目标物位姿匹配，随机选取目标物位姿匹配所得的通道，作为基准通道集合s＝{基准id，匹配id},遍历其余通道集合dn＝{基准id，匹配id}，当s∩dn的个数大于1时，则更新s集合为s＝s∪dn；
[0121]
模块s5，用于在所有目标物通道中，去除满足步骤s4的dn通道，再次随机选取所得的通道，直至所有的通道均作为基准通道，完成了目标物id融合；
[0122]
模块s6，用于提取的每一个通道进行重新编号，作为目标物的融合id；
[0123]
模块s7，用于提取目标物的融合id所包含的所有原始传感器对应时间点探测的数据值；
[0124]
模块s8，用于任意选取历史数据经过提取的融合id，执行目标物历史数据融合。
[0125]
实施方式九、一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时实现实施方式一至六中任意一项实施方式所述的方法的步骤。
[0126]
实施方式十、一种计算机设备，包括存储器和处理器，所述的存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时执行实施方式一至六中任意一项实施方式所述的方法的步骤。