工程智能体评测方法、电子设备及存储介质与流程

本公开涉及人工智能芯片的工程智能体评测，更具体地，涉及一种人工智能芯片的工程智能体评测方法、一种电子设备及一种非瞬时计算机可读存储介质。

背景技术：

1、随着人工智能技术在图形处理器（general-purpose graphics processingunit，gpgpu）、通用图形处理器（general-purpose graphics processing unit，gpgpu）等人工智能（artificial intelligence，ai）芯片上的广泛应用，ai芯片的工程智能体在内核开发任务中发挥着越来越重要的作用，因此需要对工程智能体编写内核代码的能力进行客观评测。

2、在对工程智能体进行评测时，为提高评测效率，可采用多个执行智能体在ai芯片上并行运行多个评测用例。然而，并行评测容易引发污染问题，即多个执行智能体在评测相似或关联的内核代码时，可能读取相邻运行的中间产物或共享缓存，从而干扰评测结果的准确性，降低评测结果的可信度。

技术实现思路

1、本公开实施例的一个目的是提供一种用于评测工程智能体的新的技术方案，以提高评测结果的可信度。

2、根据本公开的第一方面，提供了一种人工智能芯片的工程智能体评测方法，该方法包括：

3、接收评测请求，获取所述评测请求指示的技能快照及评测用例集合；其中，所述技能快照包含由被评测工程智能体编写的内核代码及所述内核代码的运行声明，所述评测用例集合中每一评测用例用于评测所述技能快照中至少部分内核代码、以该评测用例指定的运行参数在所述人工智能芯片上运行时的性能；

4、创建本次评测的隔离根目录；

5、在所述隔离根目录下，分别为所述评测用例集合中每一评测用例创建专属工作区及对应的执行智能体，并将每一评测用例写入相应的专属工作区；

6、驱动各执行智能体根据所述技能快照中的运行声明在对应的专属工作区中执行评测用例；

7、响应于获得每一所述专属工作区的执行完成证明，启动对每一所述专属工作区的隔离审计；其中，所述隔离审计包括：判断被审计专属工作区的执行产物所引用的外部路径是否落入相应专属工作区的禁忌路径集合；

8、基于通过所述隔离审计的专属工作区中的执行产物，生成关于所述工程智能体的评测结果。

9、可选地，所述执行智能体为基于预设执行模板在所述专属工作区中创建的容器实例。

10、可选地，所述创建本次评测的隔离根目录之后，所述方法还包括：

11、在所述隔离根目录下，对所述人工智能芯片的工具链执行运行时能力探测，获得运行时能力探测结果；

12、若所述运行时能力探测结果指示所述工具链满足必要运行时能力，则执行所述分别为所述评测用例集合中每一评测用例创建专属工作区及对应的执行智能的步骤；

13、若所述运行时能力探测结果指示所述工具链不满足必要运行时能力，则终止评测流程。

14、可选地，所述必要运行时能力包括：所述工具链中的编译器能够被正常调用、人工智能芯片对执行环境可见、所述工具链中的设备管理工具能够枚举所述人工智能芯片的设备信息、所述工具链中的性能采集工具能够正常采集所述人工智能芯片的性能数据、所述工具链的环境配置脚本能够被正常加载、所述技能快照完整。

15、可选地，所述创建本次评测的隔离根目录之后，所述方法还包括：

16、在所述隔离根目录下创建任务发布通信目录，并将所述评测用例集合写入所述任务发布通信目录；

17、所述分别为所述评测用例集合中每一评测用例创建专属工作区及对应的执行智能体，包括：

18、响应于监听到所述任务发布通信目录中存在未处理的评测用例，为监听到的评测用例创建专属工作区及对应的执行智能体。

19、可选地，所述创建本次评测的隔离根目录之后，所述方法还包括：

20、在所述隔离根目录下创建用于接收所述执行完成证明的完成信号通信目录；所述方法还包括：

21、通过监听所述完成信号通信目录，确定是否获得每一所述专属工作区的执行完成证明。

22、可选地，每一专属工作区的禁忌路径集合包括以下路径类型中的一种或多种：

23、所述隔离根目录下其他评测用例的独立运行目录路径；

24、所述隔离根目录下的通信目录路径；

25、所述隔离根目录之外的外部评测数据路径；

26、评测框架的私有参考答案存储路径。

27、可选地，所述启动对每一所述专属工作区的隔离审计之后，所述方法还包括：

28、基于未通过所述隔离审计的专属工作区的隔离审计信息，生成污染审计记录；其中，所述污染审计记录包含未通过审计的专属工作区的标识、相应执行产物所引用的禁忌路径、所述禁忌路径所属的污染类型及污染判定时间。

29、根据本公开的第二方面，还提供了一种电子设备，该电子设备包括：

30、至少一个处理器；以及

31、与所述至少一个处理器通信连接的存储器；

32、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开第一方面所述的方法。

33、根据本公开的第三方面，还提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行根据本公开第一方面所述的方法。

34、本公开实施例通过在隔离根目录下为每个评测用例创建相互隔离的专属工作区，并在专属工作区中独立执行各评测用例，从物理存储和执行环境层面有效避免了不同评测用例之间的相互干扰，解决了并行评测中因中间产物或缓存复用而导致的跨运行污染问题，保证了评测结果的独立性和原始性。在此基础上，本公开实施例通过在评测完成后对各专属工作区的执行产物进行路径引用扫描，并基于禁忌路径集合进行隔离审计，能够有效检测和识别执行产物中对禁忌路径的非法引用，从而及时识别并排除被污染的评测结果，进一步提高评测结果的准确性和评测结论的可信度。

35、通过以下参照附图对本说明书的示例性实施例的详细描述，本说明书的实施例的特征及其优点将会变得清楚。

1.一种人工智能芯片的工程智能体评测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述执行智能体为基于预设执行模板在所述专属工作区中创建的容器实例。

3.根据权利要求1所述的方法，其特征在于，所述创建本次评测的隔离根目录之后，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述必要运行时能力包括：所述技能快照完整、所述工具链的环境配置脚本能够被正常加载、所述工具链中的编译器能够被正常调用、人工智能芯片对执行环境可见、所述工具链中的设备管理工具能够枚举所述人工智能芯片的设备信息、及所述工具链中的性能采集工具能够正常采集所述人工智能芯片的性能数据中的至少一项。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述创建本次评测的隔离根目录之后，所述方法还包括：

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述创建本次评测的隔离根目录之后，所述方法还包括：

7.根据权利要求1至4中任一项所述的方法，其特征在于，每一专属工作区的禁忌路径集合包括以下路径类型中的一种或多种：

8.根据权利要求1所述的方法，其特征在于，所述启动对每一所述专属工作区的隔离审计之后，所述方法还包括：

9.一种电子设备，其特征在于，包括：

10.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。