一种异构加速器任务调度系统

本技术涉及计算机，具体而言，涉及一种异构加速器任务调度系统。

背景技术：

1、随着国产cpu与npu异构智能芯片在智能驾驶、工业机器人、人形具身机器人等领域的应用，越来越多的系统采用多内核混合部署架构。单颗硬件芯片上通过type-1虚拟机监控器（hypervisor）并行运行两类隔离虚拟机，一类是搭载通用操作系统的通用虚拟机，负责发起图像识别、状态检测等ai推理任务，通过前端驱动向npu、gpu、dsp等异构加速器下发计算请求；另一类是搭载硬实时操作系统的实时虚拟机，内部运行安全关键容器，依靠加速器推理输出结果完成伺服电机控制、设备安全监护等强时序约束控制业务。两类虚拟机通过虚拟化隔离机制实现地址空间、任务调度、硬件资源的强隔离，推理数据流依靠共享内存与虚拟中断完成跨域传输，形成通用虚拟机提交推理、实时虚拟机消费推理结果的端到端业务链路。

2、在混合虚拟化架构下，异构加速器算力资源有限，多路ai推理任务并发竞争硬件资源时，加速器调度逻辑直接决定安全关键业务的时序合规性。当前行业已围绕npu内部分时调度、虚拟npu算力切分、半虚拟化设备直通、单内核edf截止时间调度、跨虚拟机数据通信等方向形成多类技术方案。

3、然而，现有各类调度方案仅能在单一虚拟机域、加速器硬件内部或cpu资源层面解决局部调度问题，无法打通通用虚拟机推理提交、实时虚拟机安全容器消费的跨虚拟化边界时序链路，无法将消费侧可信端到端截止时间作为加速器任务排序依据，在异构混合虚拟化平台的高安全实时场景中，存在优先级不可信、安全链路超时、隔离性受损、资源抢占滥用等多重技术短板，导致任务调度失效，引发安全事故。

技术实现思路

1、有鉴于此，本技术的目的在于提供一种异构加速器任务调度系统，以克服上述至少一种缺陷。

2、第一方面，本技术实施例提供了一种异构加速器任务调度系统，异构加速器任务调度系统包括通用虚拟机、实时虚拟机、虚拟机监控器以及异构加速器，实时虚拟机包括安全关键容器，通用虚拟机包括加速器前端驱动，虚拟机监控器包括加速器控制面监管器；

3、实时虚拟机，用于在安全关键容器订阅异构加速器输出的数据流时，通过虚拟机监控器提供的受控通道在消费者截止时间表中声明数据流的消费时序信息；

4、通用虚拟机，用于通过加速器前端驱动将加速器任务描述符写入共享提交队列；

5、加速器控制面监管器，用于从共享提交队列的加速器任务描述符中提取数据流标识，利用数据流标识检索消费者截止时间表，获取数据流的消费时序信息，消费时序信息包括端到端截止时间、预估延迟时间及预估处理时间；

6、基于端到端截止时间、预估延迟时间及预估处理时间，确定加速器任务的有效截止时间；

7、基于消费者关键性等级、有效截止时间、任务提交时间，对待提交任务队列中的加速器任务进行重新排序，按照重新排序后的顺序将加速器任务依次下发至异构加速器执行。

8、在可选的实施方式中，加速器控制面监管器通过以下处理确定加速器任务的有效截止时间：基于任务接纳时刻与端到端截止时间之和，确定任务完成截止时间；将任务完成截止时间依次减去预估延迟时间及预估处理时间，获得有效截止时间。

9、在可选的实施方式中，消费者截止时间表仅允许实时虚拟机写入，仅允许加速器控制面监管器读取。

10、在可选的实施方式中，加速器控制面监管器还用于执行以下处理：若消费者截止时间表中未检索到数据流标识，将加速器任务放在指定加速器任务之后服务，指定加速器任务是指在消费者截止时间表中检索到对应的数据流标识且尚未超过有效截止时间的加速器任务。

11、在可选的实施方式中，消费者感知排序器通过执行以下处理对待提交任务队列中的加速器任务进行重新排序：按照消费者关键性等级，有效截止时间、任务提交时间三个层级依次逐级判定优先级，基于优先级判定结果对待提交任务队列中的加速器任务进行重新排序。

12、在可选的实施方式中，加速器控制面监管器还用于施加以下约束中的至少一项约束：关键性配额约束、一致性核验约束、截止时间下界约束；其中，关键性配额约束是指每个消费者或数据流凭借其具备的消费者关键性等级，获得的优先于低消费者关键性等级的加速器任务的服务次数或累计服务时间小于预设配额；一致性核验约束是指针对第一目标数据流对应的加速器任务的关键性进行约束，第一目标数据流为消费者声明高紧急时序约束但未及时取用结果的数据流，高紧急时序约束是指消费者关键性等级大于设定等级阈值、有效截止时间小于第一设定时间阈值且端到端截止时间小于第二设定时间阈值；截止时间下界约束是指端到端截止时间大于最小合法阈值，最小合法阈值基于消费者控制周期确定。

13、在可选的实施方式中，加速器控制面监管器还用于执行以下处理：在消费者订阅第二目标数据流且在消费者控制周期内无第二目标数据流对应的加速器任务到达时，向实时虚拟机注入表征上游缺少数据的虚拟中断，以使消费者按照预设兜底策略继续执行。

14、在可选的实施方式中，加速器控制面监管器还用于通过执行以下处理：复用加速器任务描述符中的第一目标原生字段中的内容作为数据流标识，或者将加速器任务描述符的保留扩展字段中的数据作为数据流标识字段，或者由加速器任务描述符中的多个第二目标原生字段按照预设规则构建数据流标识符。

15、在可选的实施方式中，加速器控制面监管器还用于执行以下处理：对加速器任务描述符进行校验，并在校验失败时拒绝将加速器任务描述符写入共享提交队列。

16、在可选的实施方式中，异构加速器用于执行以下处理：在完成推理运算时，将硬件完成中断发送至加速器控制面监管器，以使加速器控制面监管器更新加速器影子状态，向对应消费者发送结果就绪通知。

17、本技术实施例带来了以下有益效果：

18、本技术实施例提供的一种异构加速器任务调度系统，包括通用虚拟机、实时虚拟机、虚拟机监控器以及多个异构加速器，实时虚拟机包括安全关键容器，通用虚拟机包括加速器前端驱动，虚拟机监控器包括加速器控制面监管器；实时虚拟机，用于在安全关键容器订阅异构加速器输出的数据流时，通过虚拟机监控器提供的受控通道在消费者截止时间表中声明数据流的消费时序信息；通用虚拟机，用于通过加速器前端驱动将加速器任务描述符写入共享提交队列；加速器控制面监管器，用于从共享提交队列的加速器任务描述符中提取数据流标识，利用数据流标识检索消费者截止时间表，获取数据流的消费时序信息，消费时序信息包括端到端截止时间、预估延迟时间及预估处理时间；基于端到端截止时间、预估延迟时间及预估处理时间，确定加速器任务的有效截止时间；基于消费者关键性等级、有效截止时间、任务提交时间，对待提交任务队列中的加速器任务进行重新排序，按照重新排序后的顺序将加速器任务依次下发至异构加速器执行。

19、本技术能够通过受控通道隔离存储实时域消费时序信息，在保障虚拟机隔离性的同时获取可信的端到端时序，解决优先级失真问题，同时，基于数据流匹配的时序参数计算有效截止时间，基于有效截止时间进行多层级任务重排，避免了算力无序抢占，消除通用虚拟机与实时虚拟机时序不同步现象，与现有技术中的异构加速器任务调度方法相比，解决了现有异构混合虚拟化平台中，存在任务调度失效、引发安全事故的问题。

20、为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。