面向无人移动设备集成测试质量评估的多源数据关联与版本判定装置及其方法与流程

本发明涉及自动化测试、数据分析和测试报告生成，具体为面向无人移动设备集成测试质量评估的多源数据关联与版本判定装置及其方法。

背景技术：

1、无人移动设备在集成测试阶段通常会产生任务执行数据、设备运行数据、日志数据、通信通道数据、链路耗时数据、系统性能数据、模块性能数据以及人工或半自动标注的问题单数据。上述数据往往分布在任务管理平台、日志分析平台、性能监控平台、问题管理平台和回放平台中。

2、现有测试评估方式中，测试人员通常需要分别查询任务明细、复制任务链接、下载日志分析结果、统计性能峰值或分位数、整理问题链接，再手工填入报告模板。该方式难以保证不同版本、不同车型、不同硬件架构之间指标口径的一致性。

3、1.数据源分散，任务、性能、日志、链路耗时和问题单之间缺少统一关联主键，人工合并容易遗漏。

4、2.不同车型、设备架构和软件版本之间的指标统计口径不一致，导致集成版本横向或纵向比较困难。

5、3.单次极端值容易干扰评估，若只看平均值或最大值，难以反映较稳定的集成质量水平。

6、4.阈值判定和历史版本回归判定依赖人工经验，报告生成耗时长且容易出现误判。

7、5.测试明细、汇总指标、问题链接和任务追溯链接分散保存，影响异常定位效率。

8、因此，需要能够自动采集多源测试数据、统一指标映射、执行分位数聚合与版本对比，并自动生成结构化测试报告的技术方案。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术的不足，本发明提供了面向无人移动设备集成测试质量评估的多源数据关联与版本判定装置及其方法，在无人移动设备集成测试中，如何将任务执行、日志数据量、通信频率、链路耗时、系统性能、模块性能和问题单等多源异构数据自动关联，并基于统一指标模型完成分位数评估、阈值判定、历史版本对比和报告生成。进一步地，本发明还解决模板字段与程序字段耦合、不同硬件架构指标混算、短任务或偶发异常影响统计结果、测试报告缺少任务级追溯信息等问题。

3、（二）技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：面向无人移动设备集成测试质量评估的多源数据关联与版本判定方法，包括以下步骤： 接收测试参数，所述测试参数包括测试时间窗口、集成版本、对比版本和运营域； 根据所述测试时间窗口和运营域分页获取任务集合，并按照集成版本过滤任务集合；针对任务集合中的每个任务，生成包含任务标识、设备标识、任务时间窗口、设备类型、任务状态、覆盖率、清扫面积和集成版本的任务数据对象； 根据所述设备标识获取设备架构，并将所述设备架构写入所述任务数据对象； 基于所述任务标识获取日志数据量和通信通道频率，基于所述设备标识和任务时间窗口获取链路耗时和性能资源占用，基于所述设备标识和任务时间窗口获取问题单数据； 将所述日志数据量、通信通道频率、链路耗时、性能资源占用和问题单数据关联至对应的任务数据对象，以任务标识、设备标识、任务时间窗口为联合关联主键完成多源数据融合； 按照设备类型和设备架构对关联后的数据进行分组，并过滤清扫面积小于预设面积阈值的任务； 对每个分组中的链路耗时、性能资源占用、日志数据量和通信频率计算预设分位数指标，得到当前版本质量指标； 先基于预设静态阈值对当前版本质量指标进行绝对超限判定，在存在对比版本时，调取对比版本质量指标并结合波动阈值完成相对版本退化判定，综合得到最终版本质量判定结果； 输出版本质量判定结果以及与失败指标对应的任务追溯关系，并将当前版本汇总指标结构化序列化存储，以供后续版本对比调用。

5、进一步地，所述多源数据包括任务执行数据、日志数据量、通信通道频率、链路耗时、性能资源占用和问题单数据。

6、进一步地，所述按照设备类型和设备架构分组，用于避免不同硬件平台的性能和链路耗时指标混合统计。

7、进一步地，所述过滤清扫面积小于预设面积阈值的任务，所述预设面积阈值为100平方米至500平方米。

8、进一步地，所述预设分位数指标包括： 对链路耗时、性能资源占用、日志产生速度、通信数据产生速度和通信频率计算第90分位值； 对贴边距离指标计算第20分位值。

9、进一步地，所述基于静态阈值和对比版本质量指标的波动阈值进行版本质量判定，包括： 读取报告模板中每一行指标对应的比较方向、最小阈值、最大阈值和波动阈值；获取对比版本的历史汇总指标，取出与当前指标相同分组和指标名称对应的历史指标值；若比较方向为大于等于，判断当前值是否低于历史值乘以允许下降比例后的结果，若是则判定失败； 若比较方向为小于等于，判断当前值是否高于历史值乘以允许上升比例后的结果，若是则判定失败； 若比较方向为等于，判断当前值是否超出历史值上下波动区间，若是则判定失败。

10、进一步地，所述输出版本质量判定结果以及与失败指标对应的任务追溯关系，包括： 将任务明细、链路耗时、数据量、性能、问题明细以及整体总结写入报告模板，生成结构化测试报告； 在所述结构化测试报告中，对任务标识、任务链接、缺陷链接和回放链接写入可点击超链接； 对判定失败的指标写入突出显示样式。

11、进一步地，所述将任务数据对象、数据量对象、链路耗时对象、性能数据对象、问题对象、整体总结对象映射至统一的汇总数据对象，所述汇总数据对象的字段设置有指标显示名称元数据；加载报告模板，读取模板表头中的指标名称，根据所述指标显示名称元数据确定对应的字段值，并写入报告模板。

12、进一步地，所述基于设备标识和任务时间窗口获取性能资源占用，包括：获取系统cpu、系统内存、系统负载、各模块cpu和各模块内存；对模块名称进行归一化处理，并将对应值写入性能数据对象。

13、面向无人移动设备集成测试质量评估的多源数据关联与版本判定装置，包括：

14、参数解析模块，用于接收测试参数，所述测试参数包括测试时间窗口、集成版本、对比版本和运营域；用于接收测试开始时间、测试结束时间、集成版本、对比版本、运营域以及是否保存统计结果等参数。 任务采集模块，用于根据所述测试时间窗口和运营域分页获取任务集合，并按照集成版本过滤任务集合；针对任务集合中的每个任务，生成包含任务标识、设备标识、任务时间窗口、设备类型、任务状态、覆盖率、清扫面积和集成版本的任务数据对象；用于分页获取任务数据，执行版本过滤和运营域过滤，并生成任务数据对象。 设备架构关联模块，用于根据所述设备标识获取设备架构，并将所述设备架构写入所述任务数据对象； 数据量采集模块，用于基于所述任务标识获取日志数据量和通信通道频率；用于按任务标识获取日志分析结果，解析文本日志产生速度、通信数据产生速度和通信通道频率。 链路耗时采集模块，用于基于所述设备标识和任务时间窗口获取链路耗时；用于按设备标识和任务时间窗口获取激光、感知、预测、规划、控制、仲裁等链路耗时，并计算整体耗时。 性能采集模块，用于基于所述设备标识和任务时间窗口获取性能资源占用，对模块名称进行归一化处理，并生成性能数据对象；用于按设备标识和任务时间窗口获取系统 cpu、系统内存、系统负载、模块 cpu 和模块内存，并对模块名称归一化。 问题采集模块，用于基于所述设备标识和任务时间窗口获取问题单数据；用于按任务时间窗口和设备标识获取问题记录，并生成缺陷追溯链接和回放追溯链接。 指标汇总模块，用于按照设备类型和设备架构对关联后的数据进行分组，并过滤清扫面积小于预设面积阈值的任务；对每个分组中的链路耗时、性能资源占用、日志数据量和通信频率计算预设分位数指标，得到当前版本质量指标；用于按设备类型、设备架构和指标类别聚合数据，并计算分位数指标。 指标判定模块，用于基于预设静态阈值对当前版本质量指标进行绝对超限判定，在存在对比版本时，调取对比版本质量指标并结合波动阈值完成相对版本退化判定，综合得到最终版本质量判定结果；用于根据模板阈值和历史版本数据执行通过或失败判定。 报告生成模块，用于将任务明细、链路耗时、数据量、性能、问题明细以及整体总结写入报告模板，生成结构化测试报告，并在所述结构化测试报告中，对任务标识、任务链接、缺陷链接和回放链接写入可点击超链接，对判定失败的指标写入突出显示样式；用于将任务明细、链路耗时、数据量、性能、问题明细和整体总结写入报告。 版本统计存储模块，用于将当前版本汇总指标序列化保存，以供后续版本对比调用。

15、本发明不应主张为普通报表工具。普通报表工具通常仅将已有数据按模板展示，不能解决无人移动设备集成测试中多源数据时间窗口不一致、硬件架构混算、短任务采样偏差和版本回退识别不稳定的问题。本发明的区别至少包括：

16、1.数据关联方式不同：本发明使用任务标识、设备标识和任务时间窗口共同建立跨数据源关联，而不是仅按时间或版本汇总。

17、2.评估维度不同：本发明引入设备类型和硬件架构维度，对不同算力平台分别统计链路耗时和性能资源占用。

18、3.指标处理方式不同：本发明根据无人移动设备测试任务特性选取高位或低位分位数，并过滤低清扫面积任务，减少偶发异常和无效任务对版本质量判定的影响。

19、4.判定机制不同：本发明同时执行当前版本静态阈值判定和历史版本波动阈值判定，能够识别绝对超限和相对上一版本的质量退化。

20、5.技术输出不同：本发明输出的是版本质量判定结果及其任务级追溯关系，报告只是该判定结果的承载形式。

21、本方案可以通过任务标识、设备标识和任务时间窗口联合关联，多源数据能够落到同一测试任务，降低因跨平台时间口径不一致导致的错误匹配。

22、本方案可以通过设备架构分组统计，避免不同硬件平台的性能和链路耗时指标混算，提高版本质量评估结果对具体设备平台的适配性。

23、本方案可以通过低清扫面积任务过滤，减少短任务或无效任务对性能采样的干扰，提高性能指标的稳定性。

24、本方案可以通过分位数统计，降低单点极端值对版本质量判定的影响，同时保留高位耗时和高位资源占用的风险表达。

25、本方案可以通过静态阈值与历史波动阈值联合判定，既能发现指标绝对超限，也能发现版本间性能回退。

26、本方案可以通过失败指标与任务、问题和回放数据的追溯关系，缩短异常定位路径，提高测试系统对版本质量问题的定位效率。

27、本方案为面向无人移动设备集成测试质量评估的多源数据关联、架构分组和版本判定机制。

28、（三）有益效果

29、本发明提供了面向无人移动设备集成测试质量评估的多源数据关联与版本判定装置及其方法，具备以下有益效果：

30、1．通过任务标识、设备标识和任务时间窗口将多源数据自动关联，降低人工整理成本。

31、2.通过带指标显示名称元数据的数据对象，实现模板字段和程序字段的自动映射，减少报告模板变更带来的代码改动。

32、3.通过按设备类型和硬件架构分组统计，提升不同车型、不同算力平台之间指标评估的准确性。

33、4.通过分位数聚合代替简单平均或单点最大值，降低偶发异常对版本质量判断的干扰。

34、5.通过静态阈值和历史版本阈值双重判定，能够同时发现绝对指标超限和版本回退。

35、6.通过自动生成带超链接的明细报告，使异常指标能够追溯至具体任务、问题单和回放数据，提高定位效率。