一种测试数据处理方法、装置、存储介质、仪器及车辆与流程

1.本发明属于虚拟仪器技术领域，尤其涉及一种测试数据处理方法、装置、存储介质、仪器及车辆。


背景技术：

2.针对海量数据的处理方法，常采用基于spark/storm/flink等大数据处理框架的分布式计算；其中，spark是加州大学伯克利分校的amp实验室所开源的类hadoop mapreduce的通用并行框架。
3.发明人发现：远程标定采集得到的海量数据是一种满足asam（association for standardisation of automation and measuring systems, 自动化及测量系统标准协会）协议的mf4格式数据，其形态和spark预先定义的rdd（resilient distributed datasets，弹性分布式数据集）弹性分布数据集、dataframe数据表等差异巨大，目前没有现成的处理库、函数包，用以满足相应的功能，亟需将asam数据处理成符合spark框架的数据类型。
4.发明人还发现：匹配标定领域对数据研究方式具有特殊性，对数据的研究往往有时间连续性要求，需要有效的考察数据片段。传统的大数据往往更倾向于关注某个数据样本点，因此只有针对单个样本的hashpartitioner（基于键值的分区）以及rangepartitioner（范围分区）。
5.研究某个物理现象时，如图1的环状区域（100）标记出来的位置是感兴趣的挖掘事件。在使用spark等框架进行处理分析的时候，内，由于数据量很大，因此需要切分并存储在各个结点的分区（partition）当中，对rdd进行操作时，实际上是对每个分区中的数据并行操作。如图1所示，当spark对数据进行自动分区，若出现了两个分区（partition0和partition1），恰好把目标片段截断，将可能造成特征丢失、数据挖掘失败。


技术实现要素：

6.本发明公开了一种测试数据处理方法、装置、存储介质、仪器及车辆，为测试过程的数据采集和预处理提供了优化方案。具体地，通过获取可测目标单元的原始数据，得到系统分析的基础资源；包括：第一数据和/或第二数据；其中，第一数据是目标单元的资料信息，第二数据是目标单元的参数信息；目标单元是测试对象的可测单元。
7.通过抽取第一数据和/或第二数据中的原始数据获得n个单通道数据，这里n是自然数，代表通道的数量；按预设规则在第1至第n个单通道数据中获得一个种子通道，并根据种子通道构造一个新的时间轴，将新的时间轴和新的时间轴对应的数据值填入第一向量结构；按预设规则处理种子通道以外的其它m个通道的数据，并连接到第一向量结构，获得第一目标矩阵；同样，m是自然数。
8.进一步地，构造由t个第一目标矩阵形成的第一结构域；将第一结构域存入架构单
元；对t个第一目标矩阵进行预设的处理获得t个第二目标矩阵；对t个第二目标矩阵进行封装获得t个第三目标矩阵；这t个第三目标矩阵形成了第一目标数据集。
9.进一步地，这里的预设处理至少包括下列方法之一：即转置处理、array、aarraybuffer、list、listbuffer、tuple、tuple2、tuple 3等等；这里的封装包括采用scale中的seq列表结构。
10.进一步地，这里的原始数据包括：时间、信号数值、转换公式、字符串；且符合asam数据标准。
11.进一步地，读取待优化的第一目标数据集，对第一目标数据集进行分割得到r个分区，其中r为自然数；将主键分成p个连续等距的第一片段或将主键。
12.还可采用基于ecu控制策略的定步长计算；其中，定步长计算至少包括下列方法之一：即带有时序的有向图计算、无向图计算和状态图计算。
13.进一步地，运用spark内置的方法进行分析处理；对计算结果进行合并和/或去重处理。
14.本发明还涉及一种测试数据处理装置，包括：输入单元、转换单元、输出单元。
15.与上述方法相对应：即输入单元获取目标单元的第一数据和/或第二数据；且第一数据是目标单元的资料信息，第二数据是目标单元的参数信息；目标单元是测试对象的可测单元；转换单元抽取第一数据和/或第二数据中的原始数据获得n个单通道数据，其中n是自然数。
16.按预设规则在第1至第n个单通道数据中获得一个种子通道，根据种子通道构造一个新的时间轴，并将新的时间轴和新的时间轴对应的数据值填入第一向量结构。
17.输出单元按预设规则处理种子通道以外的其它m个通道的数据，连接到第一向量结构，输出第一目标矩阵；同样，m是自然数。
18.进一步地，该装置通过构造由t个第一目标矩阵形成的第一结构域；将第一结构域存入架构单元；对t个第一目标矩阵进行预设的处理获得t个第二目标矩阵；对t个第二目标矩阵进行封装获得t个第三目标矩阵；t个第三目标矩阵形成了第一目标数据集；其中，t为自然数。
19.进一步地，预设的处理可包括下列方法之一：即转置处理、array、aarraybuffer、list、listbuffer、tuple、tuple2、tuple 3等等；其封装操作包括采用scale中的seq列表结构。
20.进一步地，这里的原始数据包括时间、信号数值、转换公式、字符串且原始数据采用asam标准数据。
21.进一步地，通过读取待优化的第一目标数据集，对第一目标数据集进行分割得到r个分区，其中r为自然数；将主键分成p个连续等距的第一片段或将主键；基于ecu控制策略的定步长计算；其中，定步长计算至少包括下列方法之一：即带有时序的有向图计算、无向图计算、状态图计算；运用spark内置的方法进行分析处理；对计算结果进行合并和/或去重处理。
22.进一步地，本发明涉及一种计算机可读存储介质，包括用于存储计算机程序的存储介质本体；当计算机程序在被微处理器执行时，可实现上述任一方法。
23.进一步地，本发明涉及一种分析仪器及车辆，可实现以上任一装置或存储介质实
现的方法或操作。
24.其中，还包括一种分区补偿方法，通过读取待优化的第一目标数据集，对第一目标数据集进行分割得到r个分区，其中r为自然数；将主键分成p个连续等距的第一片段或将主键。
25.同时，还可基于ecu控制策略的定步长计算；即带有时序的有向图计算、无向图计算、状态图计算对数据进行进一步的处理或者通过运用spark内置的方法进行分析处理；对计算结果进行合并和/或去重处理。
26.需要说明的是，在本发明中采用的“第一”、“第二”等类似的语汇，仅仅是为了描述技术方案中的各组成要素，并不构成对技术方案的限定，也不能理解为对相应要素重要性的指示或暗示；带有“第一”、“第二”等类似语汇的要素，表示在对应技术方案中，该要素至少包含一个。
27.本发明的有益效果还在于：1、使得远程标定的原始asam数据向spark
‑
rdd/dataframe进行转化，产生满足标准spark处理流程的数据类型。
28.2、对spark原有partition（分区）进行了合理补偿，使得结果更加准确，避免了连续片段进行捕捉时对大数据处理的错漏问题（如图1所示）。
附图说明
29.为了更加清晰地说明本发明的技术方案，利于对本发明的技术效果、技术特征和目的进一步理解，下面结合附图对本发明进行详细的描述，附图构成说明书的必要组成部分，与本发明的实施例一并用于说明本发明的技术方案，但并不构成对本发明的限制。
30.附图中的同一标号代表相同的部件，具体地：图1为现有技术中出现挖掘信息丢失或损失的实例；图2为本发明数据转换流程示意图；图3为本发明实施例数据转换流程图；图4为本发明实施例分区优化方法流程图；图5为本发明实施例数据优化流程图；其中：1
‑
获取资料和参数、2
‑
抽取数据、3
‑
重构向量、4
‑
构造矩阵、5
‑
创建结构域、6
‑
优化处理、7
‑
后续处理、8
‑
生成数据集；11
‑
切割分片、22
‑
分片补偿、33
‑
生成对抗样本、44
‑
辅助运输、55
‑
分析计算、66
‑
合并去重。
具体实施方式
31.下面结合附图和实施例，对本发明作进一步的详细说明。当然，下列描述的具体实施例只是为了解释本发明的技术方案，而不是对本发明技术方案的限定。
32.此外，实施例或附图中表述的部分，也仅仅是对本发明相关部分的举例说明，而不是本发明的全部。
33.如图2
‑
5所示，为本发明数据转换流程的示意图，通过获取目标单元的第一数据
和/或第二数据。
34.其中，第一数据是目标单元的资料信息，第二数据是目标单元的参数信息；目标单元是测试对象的可测单元；通过抽取第一数据和/或第二数据中的原始数据获得n个单通道数据，其中n是自然数。
35.按预设规则在第1至第n个单通道数据中获得一个种子通道，根据种子通道构造一个新的时间轴，并将新的时间轴和新的时间轴对应的数据值填入第一向量结构；按预设规则处理种子通道以外的其它m个通道的数据，连接到第一向量结构，获得第一目标矩阵；其中，m是自然数。
36.进一步地，构造由t个第一目标矩阵形成的第一结构域；将第一结构域存入架构单元；对t个第一目标矩阵进行预设的处理获得t个第二目标矩阵；对t个第二目标矩阵进行封装获得t个第三目标矩阵；t个第三目标矩阵形成了第一目标数据集；其中，t为自然数。
37.进一步地，此处预设的处理至少包括下列方法之一：即转置处理、array、aarraybuffer、list、listbuffer、tuple、tuple2、tuple 3等等；此处的封装包括采用scale中的seq列表结构。
38.进一步地，此处的原始数据包括时间、信号数值、转换公式、字符串；且原始数据采用asam标准数据。
39.进一步地，读取待优化的第一目标数据集，对第一目标数据集进行分割得到r个分区，其中r为自然数；将主键分成p个连续等距的第一片段或将主键。
40.进一步地，基于ecu控制策略的定步长计算；至少采用下列方法之一：即带有时序的有向图计算、无向图计算、状态图计算；或者运用spark内置的方法进行分析处理；并对计算结果进行合并和/或去重处理。
41.与上述方法对应，本发明还涉及一种测试数据处理装置，包括：输入单元、转换单元和输出单元。
42.其中，输入单元获取目标单元的第一数据和/或第二数据；第一数据是目标单元的资料信息，第二数据是目标单元的参数信息。
43.目标单元是测试对象的可测单元；转换单元抽取第一数据和/或第二数据中的原始数据获得n个单通道数据，其中n是自然数；按预设规则在第1至第n个单通道数据中获得一个种子通道，根据种子通道构造一个新的时间轴，并将新的时间轴和新的时间轴对应的数据值填入第一向量结构。
44.输出单元按预设规则处理种子通道以外的其它m个通道的数据，连接到第一向量结构，输出第一目标矩阵；其中，m是自然数。
45.进一步地，构造由t个第一目标矩阵形成的第一结构域；将第一结构域存入架构单元；对t个第一目标矩阵进行预设的处理获得t个第二目标矩阵；对t个第二目标矩阵进行封装获得t个第三目标矩阵；t个第三目标矩阵形成了第一目标数据集。
46.进一步地，预设的处理包括下列方法之一：即转置处理、array、aarraybuffer、list、listbuffer、tuple、tuple2、tuple 3；而封装包括采用scale中的seq列表结构。
47.进一步地，原始数据包括时间、信号数值、转换公式、字符串；原始数据采用asam标准数据。
48.进一步地，如图5，通过读取待优化的第一目标数据集，对第一目标数据集进行分
割得到r个分区，其中r为自然数；将主键分成p个连续等距的第一片段或将主键；基于ecu控制策略的定步长计算；其中，定步长计算至少包括下列方法之一：带有时序的有向图计算、无向图计算、状态图计算；运用spark内置的方法进行分析处理；对计算结果进行合并和/或去重处理。
49.需要说明的是，上述实施例仅是为了更清楚地说明本发明的技术方案，本领域技术人员可以理解，本发明的实施方式不限于以上内容，基于上述内容所进行的明显变化、替换或替代，均不超出本发明技术方案涵盖的范围；在不脱离本发明发明构思的情况下，其它实施方式也将落入本发明的范围。