一种多线程下测试数据文件动态处理方法及系统与流程

本发明涉及测试数据处理领域，尤其涉及一种多线程下测试数据文件动态处理方法及系统。

背景技术：

1、随着工业自动化测试、仿真验证以及产线数据采集等领域的快速发展，测试设备在运行过程中持续产生的数据量急剧增长。以汽车零部件耐久测试、航空发动机仿真、电子元器件老化测试等典型场景为例，单台测试设备在单位时间内即可产生数千条至数万条测试数据记录，多台测试设备并行运行时，数据总量更为庞大。这些测试数据通常需要实时写入存储介质，以供后续分析、追溯和异常判定使用。

2、例如，中国专利公开号：cn109086186a，公开了一种日志检测方法及装置，通过获取用户当前的日志序列，根据预设的全局字典确定日志序列对应的索引序列，索引序列包括多个顺序执行的索引号，将至少一个索引号输入到日志预测模型中，得到至少一个索引号对应的预测索引号集合，若预测索引号集合中不包含索引序列中至少一个索引号对应的下一索引号，则提示日志序列存在异常。通过上述方法实现对日志逻辑及日志健康度的预测，当日志存在异常时发出提示信息，辅助测试人员进行测试工作，提高了测试效率和准确率。

3、但是，现有技术中还存在以下问题，

4、现有技术对测试数据的异常检测依赖全量解析数据内容，未考虑测试数据在数据流层面的时域行为特征，存在i/o开销大、多线程并发时读写锁竞争导致写入阻塞的问题；同时，正常数据与异常数据均以相同方式写入，异常数据的完整性难以保障且发现延迟较高。

技术实现思路

1、为此，本发明提供一种多线程下测试数据文件动态处理方法及系统，用以克服现有技术中对测试数据的异常检测依赖全量解析数据内容，未考虑测试数据在数据流层面的时域行为特征，存在i/o开销大、多线程并发时读写锁竞争导致写入阻塞的问题。

2、为实现上述目的，一方面，本发明提供一种多线程下测试数据文件动态处理方法，其包括：

3、获取历史周期内各测试设备所采集测试数据时域映射的数据表现行为特征集，所述数据表现行为特征集合由行为分量构成；

4、依据数据表现行为特征集对各所述测试设备对应的数据链属性进行分析，包括，以梯度递增的抽取长度对所述时域行为特征集的时域数据流进行抽取，构成若干候选数据链，分析各所述候选数据链对应行为分量的稳定性，验证数据链的有效长度，并确定敏感行为分量；

5、响应于对测试设备所采集测试数据进行处理，调用测试设备对应的数据链属性，以对应有效长度周期性抽取所采集测试数据，仅提取各所述敏感行为分量对应的分量数据链，依据所述分量数据链前置分析所述测试数据的潜在异常；

6、依据潜在异常分析结果对测试数据进行处理，包括，

7、将存在潜在异常的测试数据全量写入目标区域并进行标记；

8、以及，构建临时缓冲区，以临时存储不存在潜在异常的所述测试数据，并确定临时读取对象，以临时读取对应的局部测试数据进行关联验证，依据关联验证结果矫正潜在异常分析结果或将所述测试数据降载写入目标区域。

9、需要说明的是，分析各所述候选数据链对应行为分量的稳定性的过程包括，

10、聚类相同抽取长度下对应的若干候选数据链；

11、提取各所述候选数据链对应的行为分量；

12、分别比对各候选数据链之间相同的行为分量，确定行为分量的稳定性指标，包括，分量间相似度以及分量内离散度；

13、依据稳定性指标确定所述抽取长度下对应行为分量的稳定性；

14、其中，所述行为分量包括，传输节律行为分量、数据分布行为分量以及传输链路行为分量，若分量间相似度大于预定相似度门限且分量内离散度小于预定离散度门限，则确定行为分量具备稳定性。

15、需要说明的是，验证数据链的有效长度的过程包括，

16、若所述抽取长度下存在行为分量具备稳定性，则将所述抽取长度确定为候选抽取长度；

17、确定各候选抽取长度下具备稳定性的行为分量数量；

18、将行为分量数量最多的候选抽取长度确定为有效长度。

19、需要说明的是，确定敏感行为分量的过程包括，

20、确定有效长度下具备稳定性的各所述行为分量，依据行为分量对应的时域数据流分析敏感性指标；

21、依据敏感性指标对行为分量进行降序排列；

22、依据预定比例在降序序列首端选取行为分量作为敏感行为分量；

23、其中，所述敏感性指标通过在测试设备引入异常数据所确定。

24、需要说明的是，确定敏感性指标的过程包括，

25、在测试设备引入异常数据，以进行异常测试，同步采集对应行为分量；

26、确定行为分量的偏移时机，依据偏移时机相对异常数据的引入时机确定偏移滞后时间，并确定对应的偏移量；

27、依据偏移量以及偏移滞后时间确定敏感性指标。

28、需要说明的是，依据所述分量数据链前置分析所述测试数据的潜在异常的过程包括，

29、将敏感行为分量的分量数据链与时域维度先验规律进行匹配；

30、若存在分量数据链未与时域维度先验规律匹配，则确定存在潜在异常；

31、其中，时域维度先验规律包括若干对敏感行为分量的规律性限制，时域维度先验规律依据历史周期内的数据表现行为特征集所确定，各敏感行为分量与时域维度先验规律一一对应。

32、需要说明的是，确定时域维度先验规律的过程包括，

33、确定历史周期内无异常工况下的数据表现行为特征集，依据数据链属性以对应抽取长度抽取敏感行为分量的若干候选数据链；

34、依据候选数据链总结针对各所述敏感行为分量的规律性限制，包括，幅值限制范围以及变化率限制范围。

35、需要说明的是，临时存储不存在潜在异常的所述测试数据，并确定临时读取对象，以临时读取对应的局部测试数据进行关联验证的过程包括，

36、确定分量数据链对应的时域，并进行拆解得到若干时域段；

37、确定各时域段内分量数据链对应规律性指标相对规律性限制对应边界的差异占比；

38、依据差异占比将时域段升序排列，依据预定比例在升序序列首端选取时域段；

39、临时读取各所述时域段内的局部测试数据；

40、确定各局部测试数据之间的语义相似度；

41、若语义相似度大于或等于预定的相似度阈值，则确定关联验证无异常；

42、若语义相似度小于预定的相似度阈值，则确定关联验证存在异常。

43、需要说明的是，依据关联验证结果矫正潜在异常分析结果或将所述测试数据降载写入目标区域时，

44、若关联验证无异常，则将所述测试数据降载写入目标区域；

45、若关联验证存在异常，矫正潜在异常分析结果，以将潜在异常结果更改为存在潜在异常。

46、另一方面、还提供一种应用多线程下测试数据文件动态处理方法的系统，包括：

47、行为采集模块，其用以获取历史周期内各测试设备所采集测试数据时域映射的数据表现行为特征集，所述数据表现行为特征集合由行为分量构成；

48、数据链分析模块，其用以依据数据表现行为特征集对各所述测试设备对应的数据链属性进行分析，包括，以梯度递增的抽取长度对所述时域行为特征集的时域数据流进行抽取，构成若干候选数据链，分析各所述候选数据链对应行为分量的稳定性，验证数据链的有效长度，并确定敏感行为分量；

49、潜在异常识别模块，其响应于对测试设备所采集测试数据进行处理，调用测试设备对应的数据链属性，以对应有效长度周期性抽取所采集测试数据，仅提取各所述敏感行为分量对应的分量数据链，依据所述分量数据链前置分析所述测试数据的潜在异常；

50、后端处理模块，其用以依据潜在异常分析结果对测试数据进行处理，包括，

51、将存在潜在异常的测试数据全量写入目标区域并进行标记；

52、以及，构建临时缓冲区，以临时存储不存在潜在异常的所述测试数据，并确定临时读取对象，以临时读取对应的局部测试数据进行关联验证，依据关联验证结果矫正潜在异常分析结果或将所述测试数据降载写入目标区域。

53、与现有技术相比，本发明通过获取各测试设备的数据表现行为特征集，整合不同的行为分量，后续利用数据表现行为特征集对测试设备对应的数据链属性进行分析，构建不同测试设备专属的数据链属性，在后续需对测试设备所采集的数据进行处理时，调用测试设备对应的数据链属性，以对应的有效长度抽取采集测试数据，仅提取敏感行为分量对应的分量数据链，进而前置分析测试数据的潜在异常，后续利用异常分析结果构建差异化的测试数据处理逻辑。本发明为不同测试设备构建专属的数据链属性，使行为特征分析能够自适应匹配各设备的传输规律，无需解析数据前置分析潜在异常，减少资源浪费，同时正常数据与异常数据的差异化处理，降低写入负载。

54、有益之处在于，本发明构建数据表现行为特征集，并分析数据链属性，数据表现行为特征集由多个行为分量构成，行为分量包含了传输节律行为分量、数据分布行为分量以及传输链路行为分量，充分考虑测试设备差异化对流式数据传输的影响，工业测试场景中，测试设备所采集的数据并非随机产生，而是由设备按固定采样周期、固定通信协议、固定通道轮询机制持续输出的，因此在设备正常运行状态下，数据流的传输行为天然具备重复性、规律性与周期性。例如，传感器以恒定频率采样并上传，其传输间隔均值与方差趋于稳定，体现为传输节律行为分量的规律性；测试设备在稳态工况下连续输出的记录字段结构固定、数值波动极小，其单条记录字节数分布集中，体现为数据分布行为分量的相似性，因此，数据表现行为特征集会在设备出现异常时能够观察异常，例如设备卡顿时传输间隔方差骤增、数据格式错乱时字节数分布离散度增大、通道故障时活跃通道数减少，因此，通过构建由多个行为分量构成的数据表现行为特征集从多个维度全面刻画各测试设备的数据传输行为规律，为后续进行数据链属性分析提供支持。

55、有益之处在于，本发明针对测试数据进行数据链属性中包含了敏感行为分量以及有效长度，其中，有效长度通过对时域数据流以梯度递增的抽取长度进行抽取并分析各抽取长度下行为分量的稳定性所确定，实际情况中，当抽取长度过短时，抽取所得的数据链不足以覆盖测试设备一个完整的行为周期，各行为分量在数据链之间的取值差异较大，稳定性无法收敛，当抽取长度过长时，数据链跨越多个行为周期，不同周期之间的缓变漂移被引入，反而稀释了周期内的规律性特征，导致稳定性下降，因此，存在覆盖测试设备一个完整行为周期的抽取长度，在对应抽取长度下各行为分量呈现最显著的周期性规律与观察价值，从而使得后续仅需在此时长窗口内即可完成对测试设备行为的规律性判断，无需依赖长时段的数据积累，同时保证分析准确性，并且，考虑到测试设备不同，测试数据的生成逻辑存在差异，并非所有具备稳定性的行为分量都对异常具有同等的表征能力，部分行为分量虽然自身波动小、规律性强，但在测试设备出现异常时其变化幅度有限或响应滞后，难以作为异常前置识别的有效依据，因此，进一步的筛分能够最先、最显著地偏离其时域维度先验规律的敏感行为分量，提高后续前置分析潜在异常的准确性以及可靠性。

56、有益之处在于，本发明依据潜在异常分析结果对测试数据执行差异化处理，其中，对于前置分析判定存在潜在异常的测试数据，直接全量写入目标区域，确保异常数据的原始完整性与优先可见性，避免因降载或压缩处理导致异常细节丢失而影响后续故障诊断与追溯；对于前置分析判定不存在潜在异常的测试数据，则不直接执行降载写入，而是先构建临时缓冲区进行临时存储，并确定临时读取对象以读取对应的局部测试数据进行关联验证，意义在于前置异常分析是基于数据流的时域行为特征所作出的初步判断，其优势在于低开销与高效率，但由于未解析数据内容，存在一定的误报可能，因此，本发明通过临时缓冲区为无异常判定保留一个可回溯的缓冲阶段，在该阶段内选取局部测试数据进行内容级关联验证，以语义相似度作为二次确认依据，仅当关联验证确认无异常时才执行降载写入，若关联验证发现异常则矫正前置判定结果并将数据全量写入目标区域，进而保证前置分析的低开销优势，同时确保异常数据完整性，避免了全量解析的高i/o开销，减少误报以及数据丢失的风险，同时降低了写入负载。