面向车联网边缘推理的处理单元级公平性保障方法及系统与流程

本发明涉及车载边缘计算领域，具体涉及面向车联网边缘推理的处理单元级公平性保障方法及系统。

背景技术：

1、在智能交通领域，将深度学习（deep neural network, dnn）模型应用于车联网场景，其核心在于为各类车载智能业务提供高效、可靠的dnn推理服务保障。随着自动驾驶、协同感知、路径规划等车载智能应用的快速发展，车辆需要在极短时间内完成对传感器数据的深度神经网络推理计算，这对车载计算和存储资源提出了严峻挑战。然而，单车计算与存储资源有限，难以独立承载日益增长的dnn推理任务需求。

2、随着车载芯片技术的持续进步，车载计算单元的性能在逐步增强，但不同车辆所搭载的硬件也因此呈现出日益显著的异构性。具体而言，部分车辆配置了通用处理器（cpu），部分车辆则进一步配置了神经网络专用处理器（npu）等异构加速硬件，不同车辆在计算能力、存储容量、硬件类型及资源配置方面均存在较大差异。在车载边缘推理场景中，模型部署与任务卸载是提升dnn推理服务质量的两项关键手段。其中，模型部署旨在为尚未预置所需模型的车辆或边缘节点部署适配的推理模型，以保障推理任务能够获得相应的模型支撑；任务卸载则致力于将推理任务合理分配给恰当的车辆或车载处理单元，以充分利用分布式异构计算资源。二者相互耦合、协同优化，能够充分释放提升dnn推理服务质量的潜力。

3、公平性（fairness）或负载均衡（load balancing）作为dnn推理服务的关键服务质量（quality of service, qos）指标，直接反映资源利用效率与系统的长期运行能力。系统负载不均衡主要由车辆侧和任务侧两方面的异质性共同造成。一方面，不同车辆配置的车载处理单元在计算能力、存储容量及硬件类型等方面存在差异，使各处理单元的资源供给能力具有天然异构性；另一方面，不同推理任务在生成位置、数据规模、计算需求及响应时延要求等方面存在差异，导致任务对计算资源的需求具有明显异构性。这两类异质性相互叠加，在任务调度过程中极易引发任务在车辆或处理单元间的负载失衡或分配不公，进而导致部分高性能节点过载、低性能节点空闲，使边缘资源的价值被系统性低估，难以得到充分且公平的利用，从而直接削弱了系统的长期运行能力。

4、目前，车联网边缘推理中常用的负载均衡方法为min-max方法。min-max方法的核心思想是最小化最大负载，即在任务分配过程中优先关注当前负载最高的节点。然而，该方法存在以下不足：第一，min-max方法在任务分配过程中容易过度关注当前负载最高的节点，导致调度决策具有一定局部性，难以从全局角度实现负载均衡；第二，对于负载较低但长期未被充分利用的车辆或处理单元，min-max方法缺乏有效的激励机制，难以充分体现不同资源单元对系统的贡献公平性，容易使部分边缘计算资源长期处于低利用状态；第三，min-max方法通常以车辆为调度粒度，未能进一步细化至车辆内部cpu、npu等异构处理单元级别，难以充分发挥异构硬件的差异化计算能力，进而降低车联网边缘推理系统的整体服务能力。

技术实现思路

1、为了克服现有技术的不足，本发明的目的之一在于提供面向车联网边缘推理的处理单元级公平性保障方法，其在动态车联网环境下通过将调度粒度细化至异构处理单元级别并结合模拟调度与公平性效用评价，实现系统负载的均衡分布与推理任务的合理分配，以提升系统整体资源利用效率和长期运行稳定性。

2、为实现本发明的目的之一，采用如下方案：

3、面向车联网边缘推理的处理单元级公平性保障方法，包括以下步骤：

4、步骤s1：根据当前交通环境，构建车联网模型部署与任务卸载联合优化模型；

5、步骤s2：获取车联网边缘网络中车辆节点的状态信息以及待处理的推理任务信息，并根据所述推理任务的生成顺序构建待调度任务队列；

6、步骤s3：从所述待调度任务队列中选取当前待调度任务，根据所述当前待调度任务的源车辆位置及车辆间通信范围，确定候选车辆集合，并获取各候选车辆配置的异构处理单元作为候选处理单元集合；

7、步骤s4：在模拟调度前，保存当前系统调度状态，形成系统状态快照；

8、步骤s5：将所述当前待调度任务依次模拟调度至所述候选处理单元集合中的各候选处理单元，生成相应的候选调度方案，并判断各候选调度方案是否满足预设的可行性约束条件；

9、步骤s6：对满足所述可行性约束条件的候选调度方案，基于用于表征各处理单元间负载均衡程度的系统公平性效用函数，计算对应的系统公平性效用值，记录所述系统公平性效用值最优的候选调度方案，并在每次模拟调度完成后基于所述系统状态快照恢复系统调度状态；

10、步骤s7：根据所述系统公平性效用值最优的候选调度方案执行实际调度操作，更新系统调度状态，并返回步骤s3，直至所述待调度任务队列处理完毕。

11、进一步地，所述车联网模型包括路旁单元rsu以及位于所述路旁单元rsu通信范围内的行驶车辆集合，所述路旁单元rsu用于存储不同类型和不同精度等级的深度神经网络模型，所述行驶车辆集合中的车辆均设有通用处理器，部分车辆还设有专用加速器。

12、进一步地，所述异构处理单元包括通用处理器cpu和神经网络专用处理器npu；

13、所述系统调度状态包括模型部署状态、任务卸载状态、硬件选择状态和任务队列状态中的至少一种。

14、进一步地，所述预设的可行性约束条件包括以下至少一种：

15、通信范围约束，用于限定任务只能被调度至通信范围内的候选车辆；

16、存储容量约束，用于限定车辆存储占用量不超过预设存储阈值；

17、最大容忍时延约束，用于限定任务总推理时延不超过预设时延阈值；

18、硬件可用性约束，用于限定任务只能被调度至可用的处理单元；

19、模型精度约束，用于限定执行任务的模型满足任务精度需求。

20、进一步地，所述系统公平性效用函数基于各处理单元的当前负载信息构建，用于综合评价各处理单元的资源利用均衡程度；

21、所述系统公平性效用值随各处理单元负载分布的均衡程度提高而增大。

22、进一步地，所述联合优化模型的决策包括模型部署决策、任务卸载决策和硬件选择决策；

23、其中，所述模型部署决策用于指示各车辆上部署的模型类型及精度，所述任务卸载决策用于指示推理任务被分配至的目标车辆，所述硬件选择决策用于指示推理任务在目标车辆上执行时所使用的处理单元类型。

24、进一步地，判断各候选调度方案是否满足预设的可行性约束条件，具体包括：

25、若候选车辆中未部署满足当前待调度任务的任务类型和精度需求的模型，则模拟部署对应模型或模拟替换候选车辆中已部署的模型，并在判断满足存储容量约束和最大容忍时延约束后，将该候选调度方案确定为满足可行性约束条件。

26、进一步地，所述任务总推理时延包括任务传输时延、任务推理时延、模型下载时延、模型加载时延和任务队列等待时延中的至少一种；

27、所述最大容忍时延约束用于限定所述任务总推理时延不超过预设的最大容忍时延值。

28、进一步地，所述系统公平性效用函数为基于各处理单元负载的对数公平性指标与负载惩罚项的组合函数；

29、通过对各处理单元的负载引入对数函数以体现比例公平性，并通过所述负载惩罚项抑制系统整体负载过大。

30、下面对本发明的面向车联网边缘推理的处理单元级公平性保障方法作进一步说明。

31、本发明的面向车联网边缘推理的处理单元级公平性保障方法具体包括以下内容：

32、根据当前交通环境，构建车联网模型部署与任务卸载联合优化模型；获取车辆状态、任务请求和模型信息，并构建待推理任务列表；从待推理任务列表中选取当前待调度任务，确定其候选车辆集合和候选处理单元集合；保存当前模型部署状态、任务卸载状态、硬件选择状态和任务队列状态，形成系统状态快照；将当前待调度任务模拟调度至候选处理单元，判断候选方案是否满足通信范围、模型精度、存储容量、最大容忍时延和硬件可用性约束；对满足约束的候选方案计算系统公平效用目标值，记录目标值最大的候选调度方案，并恢复系统状态快照后继续遍历下一候选处理单元；根据目标值最大的候选调度方案执行实际调度，更新模型部署位置、任务卸载位置、处理硬件和任务队列状态，并重复执行至任务列表为空。

33、进一步地，所述步骤s1中构建的车联网模型包括：路旁单元rsu（roadside unit）、位于所述rsu 通信范围内的行驶车辆集合以及推理任务集合；其中，所述 rsu 用于存储不同类型和不同精度等级的深度神经网络模型，所述行驶车辆集合中的车辆均设有 cpu，部分车辆设有 npu，不同车辆以及不同车载处理单元具有不同的计算能力、存储能力、模型部署状态和任务队列状态。

34、设行驶车辆集合为：

35、

36、其中，表示行驶车辆集合中的第i辆车，n表示车辆总数；

37、设第i辆车对应的计算任务集合为，则：

38、

39、其中，表示车辆i产生的第k个任务，是车辆产生任务的数量。

40、进一步地，所述步骤 s2 中获取车辆状态、任务请求和模型信息，并构建待推理任务列表，具体包括：

41、采集所述行驶车辆集合中各车辆的车辆状态、任务请求和模型信息；其中，所述车辆状态包括车辆位置、行驶方向、可用计算资源、可用存储空间、已部署模型状态以及各候选处理单元的任务队列状态；所述任务请求包括任务类型、任务数据量、任务精度需求和最大容忍时延；所述模型信息包括模型类型、模型精度等级和模型存储占用量；

42、根据所述任务请求的生成时间构建待推理任务列表，并在列表调度过程中依次从所述待推理任务列表中选取当前待调度任务。

43、进一步地，所述步骤 s3 中确定候选车辆集合和候选处理单元集合，具体包括：

44、根据当前待调度任务的生成车辆位置以及车辆之间的通信范围，确定所述当前待调度任务对应的可通信车辆，并将所述可通信车辆作为候选车辆集合；

45、获取所述候选车辆集合中各车辆配置的车载处理单元，将候选车辆上的 cpu 和npu 作为候选处理单元，构建所述当前待调度任务对应的候选处理单元集合。

46、在对所述候选处理单元集合中的候选处理单元进行候选方案评价之前，记录当前系统中任务生成车辆、候选车辆以及候选处理单元的状态信息，形成系统状态快照。

47、其中，所述状态信息包括车辆位置、可用存储空间、已部署模型状态、cpu 和 npu的任务队列状态、任务卸载状态以及硬件选择状态。

48、进一步地，所述步骤 s4 中形成系统状态快照，具体包括：

49、在对所述候选处理单元集合中的任一候选处理单元进行候选方案评价之前，记录当前系统中任务生成车辆、候选车辆以及候选处理单元的状态信息，形成系统状态快照；其中，所述状态信息包括车辆位置、可用存储空间、已部署模型状态、cpu 和 npu 的任务队列状态、任务卸载状态以及硬件选择状态。

50、进一步地，所述联合优化模型的决策包括模型部署决策、任务卸载决策和硬件选择决策；

51、设所述rsu中包含种类型的深度神经网络模型，每种所述深度神经网络模型精度包括，则t时刻对应所述模型部署决策的公式具体为：

52、

53、其中，表示精度为的第种模型被部署在车辆上，表示精度为的第种模型未被部署在车辆上。

54、同时，t时刻对应所述任务卸载决策的公式具体为：

55、

56、其中，表示车辆计算任务被卸载到车辆上，表示车辆计算任务未被卸载到车辆上。

57、优选的，所述决策还包括硬件选择决策；其中，t时刻对应所述加速推理决策的公式具体为：

58、

59、其中，表示车辆计算任务由npu推理，表示车辆计算任务由cpu推理。

60、进一步地，所述步骤 s5、步骤 s6 和步骤 s7 中进行候选方案评价和实际调度，具体包括：

61、将当前待调度任务模拟调度至当前遍历的候选处理单元，生成对应的候选调度方案，并根据通信范围、模型精度、存储容量、最大容忍时延和硬件可用性约束，对所述候选调度方案进行可行性判断。

62、若候选车辆中未部署满足当前待调度任务的任务类型和精度需求的 dnn 模型，则模拟部署对应 dnn 模型或模拟替换候选车辆中已部署的 dnn 模型，并在满足存储容量约束的情况下，计算该候选方案对应的系统公平效用目标值；若所述系统公平效用目标值大于当前最优目标值，则更新当前最优目标值，并记录对应的候选调度方案。

63、完成当前候选方案评价后，将系统状态恢复至所述系统状态快照，并继续模拟调度至下一个候选处理单元，直至当前待调度任务对应的候选处理单元全部遍历完成；当候选处理单元全部遍历完成后，将目标值最大的候选调度方案确定为当前待调度任务的最终调度方案，并根据所述最终调度方案执行实际调度，更新模型部署位置、任务卸载位置、处理硬件选择结果和任务队列状态，随后从待推理任务列表中选取下一待调度任务重复执行上述过程，直至所述待推理任务列表为空。

64、优选的，在求解所述调度方案之前，还包括：将所述调度方案拟合为带约束的最大化系统公平效用问题，其中，所述车辆i上第k个计算任务的推理总延迟具体为：

65、

66、其中，为所述车辆i上第k个计算任务卸载到车辆j上的卸载时延，为所述车辆i上第k个计算任务在第j辆车上的任务推理延迟，为所述车辆i下载精度为p的第m种模型时的模型下载延迟，是车载硬件加载第m种类型，精度为p的模型的加载时间，为等待之前任务完成的等待时间；

67、进一步地，所述约束包括通信范围约束、存储容量约束、最大容忍时延约束、硬件可用约束、模型精度约束和精度需求约束。其中，通信范围约束用于限定任务只能被调度至任务生成车辆可通信范围内的候选车辆；存储容量约束用于限定车辆的任务输入数据和模型存储占用总量不超过车辆存储阈值；最大容忍时延约束用于限定任务总推理时延不超过预设最大容忍时延；硬件可用约束用于限定任务只能被调度至可用cpu或npu；模型精度约束用于限制每辆车上部署的每种模型最多具有一种精度等级；精度需求约束用于限定推理任务由满足其任务类型和精度需求的模型处理。

68、进一步地，所述系统公平效用目标值表示为所述系统公平效用目标值：

69、

70、其中，为处理单元级系统公平指标，λ为惩罚权重，为时延惩罚项，所述处理单元级系统公平指标表示为：

71、

72、其中，表示车辆i的cpu处理单元负载，表示车辆i的npu处理单元负载；所述惩罚项h表示为：

73、

74、所述处理单元级系统公平指标通过对车辆cpu处理单元负载和npu处理单元负载引入对数函数进行评价，以体现比例公平思想；所述时延惩罚项用于抑制系统负载或任务时延过大。通过最大化所述系统公平效用目标值，生成使系统公平效用目标值最大的模型部署决策、任务卸载决策和硬件选择决策。

75、本发明的目的之二在于提供面向车联网边缘推理的处理单元级公平性保障系统，其在动态车联网环境下通过将调度粒度细化至异构处理单元级别并结合模拟调度与公平性效用评价，实现系统负载的均衡分布与推理任务的合理分配，以提升系统整体资源利用效率和长期运行稳定性。

76、为实现本发明的目的之二，采用如下方案：

77、面向车联网边缘推理的处理单元级公平性保障系统，包括：

78、系统模型构建模块，用于根据当前交通环境，构建车联网模型部署与任务卸载联合优化模型；

79、列表生成模块，用于获取车联网边缘网络中车辆节点的状态信息以及待处理的推理任务信息，并根据所述推理任务的生成顺序构建待调度任务队列；

80、候选处理单元获取模块，用于从所述待调度任务队列中选取当前待调度任务，根据所述当前待调度任务的源车辆位置及车辆间通信范围，确定候选车辆集合，并获取各候选车辆配置的异构处理单元作为候选处理单元集合；

81、状态快照模块，用于在模拟调度前，保存当前系统调度状态，形成系统状态快照；

82、模拟调度模块，用于将所述当前待调度任务依次模拟调度至所述候选处理单元集合中的各候选处理单元，生成相应的候选调度方案，并判断各候选调度方案是否满足预设的可行性约束条件；

83、公平性评价模块，用于对满足所述可行性约束条件的候选调度方案，基于用于表征各处理单元间负载均衡程度的系统公平性效用函数，计算对应的系统公平性效用值，记录所述系统公平性效用值最优的候选调度方案，并在每次模拟调度完成后基于所述系统状态快照恢复系统调度状态；

84、实际调度模块，用于根据所述系统公平性效用值最优的候选调度方案执行实际调度操作，更新系统调度状态，并触发所述候选处理单元获取模块重新从所述待调度任务队列中选取下一当前待调度任务，直至所述待调度任务队列处理完毕。

85、相比现有技术，本发明的有益效果在于：

86、1.本发明实现了异构处理单元粒度的精细化负载公平调度。传统方案通常以车辆为调度粒度，无法区分车辆内部cpu、npu等异构处理单元的差异化负载状态。本发明通过获取各候选车辆配置的异构处理单元作为候选处理单元集合，将调度粒度从车辆级细化为处理单元级，能够充分利用车载异构硬件的差异化计算能力，有效避免任务集中分配至少数高性能车辆或处理单元，从根源上缓解异构车联网边缘推理系统中的负载失衡问题。

87、2.本发明通过状态快照与模拟调度机制保障了全局优化决策的准确性。在动态车联网环境中，系统状态实时变化，若直接在实际系统上进行调度方案尝试，将破坏系统真实状态并导致后续决策失真。本发明在模拟调度前保存当前系统调度状态形成系统状态快照，将当前待调度任务依次模拟调度至各候选处理单元生成候选调度方案，并于每次模拟调度完成后基于系统状态快照恢复系统调度状态。上述快照、模拟、恢复机制能够在不对当前系统真实状态产生任何影响的前提下，准确评估不同候选调度方案对系统负载公平性和任务时延的影响，避免局部模拟调度造成的状态污染和决策偏差，确保每一次调度决策均建立在真实、准确的系统状态基础之上。

88、3.本发明基于系统公平性效用函数实现了负载均衡与推理效率的协同优化。现有min-max方法容易过度关注当前负载最高的节点，对负载较低但长期未被充分利用的处理单元缺乏有效激励机制。本发明采用用于表征各处理单元间负载均衡程度的系统公平性效用函数，对满足可行性约束条件的候选调度方案进行定量评价，并记录系统公平性效用值最优的候选调度方案。该效用函数能够综合反映各处理单元的资源利用均衡程度，既关注单个任务的执行可行性，也关注系统整体资源的公平利用，有效克服了现有技术的缺陷。

89、4.本发明通过列表调度与迭代更新实现了动态车联网环境下的实时自适应调度。车联网中车辆高速移动、通信拓扑动态变化、任务随机到达，调度算法必须具备良好的实时性和自适应性。本发明根据推理任务的生成顺序构建待调度任务队列，在每次完成当前任务调度后更新系统调度状态并返回任务选取环节，直至待调度任务队列处理完毕，形成完整的队列构建、任务选取、模拟评价、实际调度、状态更新闭环调度流程，能够实时响应系统状态变化，保证调度决策的时效性和适应性。

90、5.本发明通过可行性约束条件的预设与判断保障了调度方案的实际可执行性。车联网边缘推理任务在执行过程中面临多方面的实际限制，任一限制未被满足均可能导致调度失败。本发明在生成候选调度方案后，对各候选调度方案进行预设的可行性约束条件判断，确保最终选出的最优调度方案在实际车联网环境中具备完全的可执行性，避免了理论最优方案因实际条件不满足而无法落地执行的问题。