一种验证覆盖率分析方法、装置、设备及存储介质与流程

摘要: 本公开涉及集成电路验证,尤其涉及一种验证覆盖率分析方法、装置、设备及存储介质。背景技术:1、随着集成电路设计复杂度的指数级增长,芯片的功能和性能验证已成为整个设...
一种验证覆盖率分析方法、装置、设备及存储介质与流程

本公开涉及集成电路验证,尤其涉及一种验证覆盖率分析方法、装置、设备及存储介质。

背景技术:

1、随着集成电路设计复杂度的指数级增长,芯片的功能和性能验证已成为整个设计流程中最耗时、最具挑战性的环节,而验证覆盖率是衡量芯片功能和性能验证的核心指标,现有技术主要通过验证工程师手动分析覆盖率报告,逐一判断未覆盖原因,而未覆盖点数量可达数万乃至更多,因此容易遗漏关键风险点,人工分析效率低下;此外,各覆盖点的风险等级不同,而现有技术将所有未覆盖点设为同等重要,进而导致验证资源浪费。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种验证覆盖率分析方法、装置、设备及存储介质。

2、本公开示例性实施例提供了一种验证覆盖率分析方法,所述方法包括:

3、获取验证过程中的多源数据,对所述多源数据进行特征提取,获取多源特征,所述多源数据包括验证覆盖率数据、缺陷数据和设计数据;

4、基于所述多源特征,构建覆盖点维度、模块维度和历史验证维度的三维特征空间,得到未覆盖点的特征向量;

5、将所述特征向量输入预先训练的风险评估模型,输出所述未覆盖点的风险等级、评估概率和沙普利特征贡献值,所述风险评估模型基于历史缺陷数据标注进行监督学习训练;

6、基于所述风险等级、所述评估概率和所述沙普利特征贡献值,生成所述验证覆盖率数据的分析报告。

7、在一些示例性实施例中,所述风险等级包括低风险、中风险和高风险;

8、所述风险评估模型包括极端梯度提升模型和随机森林模型;

9、所述将所述特征向量输入预先训练的风险评估模型,输出所述未覆盖点的风险等级、评估概率和沙普利特征贡献值,所述风险评估模型基于历史缺陷数据标注进行监督学习训练,包括:

10、将所述特征向量输入所述极端梯度提升模型中,基于所述极端梯度提升模型,确定所述特征向量的风险等级和各风险等级的评估概率;

11、响应于至少一个所述评估概率不低于预设的评估概率阈值,则选取评估概率最大值对应的风险等级,作为所述未覆盖点的风险等级;

12、响应于所述评估概率均低于预设的评估概率阈值,则将所述特征向量输入所述随机森林模型中,重新确定各风险等级对应的评估概率,并选取重新确定后的评估概率最大值对应的风险等级,作为所述未覆盖点的风险等级。

13、在一些示例性实施例中,所述基于所述多源特征,构建覆盖点维度、模块维度和历史验证维度的三维特征空间,得到未覆盖点的特征向量,包括:

14、基于所述多源特征,获取未覆盖点的覆盖类型、覆盖深度、当前覆盖率值和历史波动性,确定所述覆盖点维度的特征;

15、获取所述未覆盖点的标签编码、圈复杂度、代码行数、缺陷密度和变更频率,基于所述标签编码确定模块关键等级,基于所述圈复杂度和所述代码行数进行加权求和,确定代码复杂度;

16、基于所述模块关键等级、所述代码复杂度、所述缺陷密度和所述变更频率,确定所述模块维度的特征;

17、获取所述未覆盖点的历史用例触发次数、平均执行时间、上次覆盖时间和是否曾为缺陷根因,确定所述历史验证维度的特征;

18、将所述覆盖点维度的特征、所述模块维度的特征和所述历史验证维度的特征进行组合,得到所述未覆盖点的特征向量。

19、在一些示例性实施例中,所述风险评估模型通过以下方式构建并训练:

20、获取历史缺陷数据,对所述历史缺陷数据进行划分,确定缺陷等级,所述缺陷等级包括致命、主要、次要和轻微;

21、基于所述历史缺陷数据构建所述风险评估模型的监督信号,若未覆盖点在目标时间内触发所述致命,则将未覆盖点标注为高风险;

22、若未覆盖点超出目标时间未覆盖但未触发所述致命,或仅触发所述轻微,则将未覆盖点标注为低风险;

23、若未覆盖点超出预设版本时间未覆盖且触发所述致命、或所述主要或所述次要,或未覆盖点在目标时间内触发所述主要或所述次要,则将未覆盖点标注为中风险;

24、将多分类交叉熵损失函数,作为所述风险评估模型的模型目标函数;

25、预设模型超参数,作为所述风险评估模型的优化器,所述模型超参数包括学习率、最大树深和正则化参数;

26、基于所述监督信号、所述模型目标函数和所述优化器,构建所述风险评估模型;

27、将所述历史缺陷数据划分为训练集与测试集,对所述风险评估模型进行训练。

28、在一些示例性实施例中,获取验证过程中的多源数据之后,还包括:

29、将验证过程中的多源数据统一写入分布式数据湖,基于数据类型对所述分布式数据湖进行区域划分,获取一级分区,所述一级分区包括覆盖率分区、缺陷分区和设计分区;

30、基于项目标识、日期和设计版本哈希值对所述一级分区进行三级子分区组织;

31、基于所述三级子分区组织对所述多源数据进行存储;

32、对所述多源数据进行特征提取,包括:

33、对存储的多源数据进行特征提取。

34、本公开示例性实施例还提供了一种验证覆盖率分析装置,所述装置包括:

35、获取模块,用于获取验证过程中的多源数据,对所述多源数据进行特征提取,获取多源特征,所述多源数据包括验证覆盖率数据、缺陷数据和设计数据;

36、得到模块,用于基于所述多源特征,构建覆盖点维度、模块维度和历史验证维度的三维特征空间,得到未覆盖点的特征向量;

37、输出模块,用于将所述特征向量输入预先训练的风险评估模型,输出所述未覆盖点的风险等级、评估概率和沙普利特征贡献值,所述风险评估模型基于历史缺陷数据标注进行监督学习训练;

38、第一生成模块,用于基于所述风险等级、所述评估概率和所述沙普利特征贡献值,生成所述验证覆盖率数据的分析报告;

39、第二生成模块,用于响应于所述风险等级不低于预设风险等级阈值,则确定目标未覆盖点,通过预先训练的用例生成模型,生成所述目标未覆盖点的测试用例,基于所述测试用例,补全所述验证覆盖率数据,生成覆盖率增量分析报告。

40、在一些示例性实施例中,所述获取模块之后,还包括:

41、将验证过程中的多源数据统一写入分布式数据湖,基于数据类型对所述分布式数据湖进行区域划分,获取一级分区,所述一级分区包括覆盖率分区、缺陷分区和设计分区;

42、基于项目标识、日期和设计版本哈希值对所述一级分区进行三级子分区组织;

43、基于所述三级子分区组织对所述多源数据进行存储;

44、对所述多源数据进行特征提取,包括:

45、对存储的多源数据进行特征提取。

46、在一些示例性实施例中,所述得到模块,包括:

47、基于所述多源特征,获取未覆盖点的覆盖类型、覆盖深度、当前覆盖率值和历史波动性,确定所述覆盖点维度的特征;

48、获取所述未覆盖点的标签编码、圈复杂度、代码行数、缺陷密度和变更频率,基于所述标签编码确定模块关键等级,基于所述圈复杂度和所述代码行数进行加权求和,确定代码复杂度;

49、基于所述模块关键等级、所述代码复杂度、所述缺陷密度和所述变更频率,确定所述模块维度的特征;

50、获取所述未覆盖点的历史用例触发次数、平均执行时间、上次覆盖时间和是否曾为缺陷根因,确定所述历史验证维度的特征;

51、将所述覆盖点维度的特征、所述模块维度的特征和所述历史验证维度的特征进行组合,得到所述未覆盖点的特征向量。

52、在一些示例性实施例中,所述风险等级包括低风险、中风险和高风险;

53、所述风险评估模型包括极端梯度提升模型和随机森林模型;

54、所述输出模块,包括:

55、将所述特征向量输入所述极端梯度提升模型中,基于所述极端梯度提升模型,确定所述特征向量的风险等级和各风险等级的评估概率;

56、响应于至少一个所述评估概率不低于预设的评估概率阈值,则选取评估概率最大值对应的风险等级,作为所述未覆盖点的风险等级;

57、响应于所述评估概率均低于预设的评估概率阈值,则将所述特征向量输入所述随机森林模型中,重新确定各风险等级对应的评估概率,并选取重新确定后的评估概率最大值对应的风险等级,作为所述未覆盖点的风险等级。

58、在一些示例性实施例中,所述输出模块,所述风险评估模型通过以下方式构建并训练:

59、获取历史缺陷数据,对所述历史缺陷数据进行划分,确定缺陷等级,所述缺陷等级包括致命、主要、次要和轻微;

60、基于所述历史缺陷数据构建所述风险评估模型的监督信号,若未覆盖点在目标时间内触发所述致命,则将未覆盖点标注为高风险;

61、若未覆盖点超出目标时间未覆盖但未触发所述致命,或仅触发所述轻微,则将未覆盖点标注为低风险;

62、若未覆盖点超出预设版本时间未覆盖且触发所述致命、或所述主要或所述次要,或未覆盖点在目标时间内触发所述主要或所述次要,则将未覆盖点标注为中风险;

63、将多分类交叉熵损失函数,作为所述风险评估模型的模型目标函数;

64、预设模型超参数,作为所述风险评估模型的优化器,所述模型超参数包括学习率、最大树深和正则化参数;

65、基于所述监督信号、所述模型目标函数和所述优化器,构建所述风险评估模型;

66、将所述历史缺陷数据划分为训练集与测试集,对所述风险评估模型进行训练。

67、在一些示例性实施例中,所述用例生成模型包括基于多头自注意力变换架构的序列生成模型;

68、所述第二生成模块,具体用于:

69、基于预设的芯片协议规则库,获取序列生成约束;

70、获取所述目标未覆盖点的提示数据,将所述提示数据输入预先训练的用例生成模型中,基于所述用例生成模型,通过所述序列生成约束对生成过程进行约束,生成触发所述目标未覆盖点的测试激励序列,所述提示数据包括目标覆盖点路径和协议名称;

71、将所述测试激励序列作为所述目标未覆盖点的测试用例;

72、对所述测试用例进行过滤和排序,所述过滤包括以下至少之一:协议合规性校验、语法正确性校验、重复性校验;

73、基于排序顺序,执行过滤后保留的测试用例,补全所述验证覆盖率数据,生成覆盖率增量分析报告,所述覆盖率增量分析报告包括已覆盖点、仍未覆盖点、逻辑不可达点、提升率、投入时间和覆盖增益的比值。

74、在一些示例性实施例中,所述装置还包括:

75、反馈迭代模块,用于响应于成功触发所述目标未覆盖点的测试用例,则记为有效用例;

76、将所述有效用例添加至历史有效用例库,用于对所述用例生成模型进行再训练;

77、将静态分析确定无法触发的逻辑不可达点进行标记并添加至覆盖率白名单;

78、将此次执行新发现的缺陷数据及其关联的未覆盖点补充至缺陷和覆盖率的映射表中;

79、基于预设的模型更新机制和预设的模型更新策略,对所述风险评估模型和所述用例生成模型分别进行模型更新,所述模型更新机制包括定期更新和触发式更新,所述模型更新策略包括增量学习策略和基于增量数据的触发式模型迭代策略。

80、本公开示例性实施例还提供了一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现如本公开示例性实施例提供的验证覆盖率分析方法。

81、本公开示例性实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行如本公开示例性实施例提供的验证覆盖率分析方法。

82、本公开示例性实施例提供的技术方案与现有技术相比具有如下优点:

83、本公开示例性实施例提供的验证覆盖率分析方法,通过获取验证过程中的多源数据,对所述多源数据进行特征提取,获取多源特征,所述多源数据包括验证覆盖率数据、缺陷数据和设计数据;基于所述多源特征,构建覆盖点维度、模块维度和历史验证维度的三维特征空间,得到未覆盖点的特征向量;将所述特征向量输入预先训练的风险评估模型,输出所述未覆盖点的风险等级、评估概率和沙普利特征贡献值,所述风险评估模型基于历史缺陷数据标注进行监督学习训练;基于所述风险等级、所述评估概率和所述沙普利特征贡献值,生成所述验证覆盖率数据的分析报告;有效提高了对验证覆盖率的分析效率。