一种多模态AI智能人边缘计算智能服务器及动态负载均衡调度方法与流程

本发明属于边缘计算动态负载均衡，具体涉及一种多模态ai智能人边缘计算智能服务器及动态负载均衡调度方法。

背景技术：

1、商场、展厅、园区及营业厅中的多模态ai智能人需要同时处理用户语音、图像、文本、视频和数字人动作数据，一次交互通常依次产生语音识别、图像识别、目标跟踪、多模态语义推理、动作生成、语音合成及视频渲染任务，不同任务在响应时限、计算量、显存需求、模型精度及前后依赖关系方面存在明显差异，当多个ai智能人终端并发接入时，边缘计算服务器还需要在中央处理器、图形处理器、神经网络处理器、不同模型副本及多个边缘计算节点之间实时分配任务，因此需要建立能够适应多模态任务结构变化和异构资源负载变化的动态负载均衡调度方法。

2、（1）现有边缘计算负载均衡方法通常将一次ai智能人交互请求作为整体任务进行节点分配，主要根据处理器利用率、队列长度及当前节点是否空闲选择执行位置，未充分表达语音识别结果、图像识别结果、多模态语义推理结果、动作生成结果、语音合成结果及视频渲染结果之间的前置依赖关系，也未区分首段语音响应、语义推理、视频帧率及高优先级交互对应的不同响应要求，前序任务调度不合理时容易使后续任务持续等待，造成语音响应迟缓、数字人动作不同步和渲染画面卡顿。

3、（2）现有动态调度方法通常采用固定资源阈值和固定评分权重判断服务器负载状态，难以适应语音低延迟任务集中到达、视觉任务吞吐量升高、大模型推理显存占用增加、视频渲染负载持续升高及突发并发接入形成的负载分布变化，同时任务执行完成后多以是否成功及是否超时作为反馈，未将首响应时间、显存峰值、模型输出置信度、语音卡顿次数、视频帧丢失次数、任务重试次数及后继任务等待时间关联至前序调度动作，导致调度策略不能准确识别某次资源分配对完整交互链产生的实际影响，难以兼顾实时交互质量、异构资源利用率及服务器连续服务能力。

技术实现思路

1、本发明旨在解决现有边缘服务器负载均衡方法仅根据处理器利用率、队列长度及任务是否超时进行整体任务分配，难以表达多模态ai智能人交互请求中语音识别、视觉识别、语义推理、动作生成、语音合成及视频渲染任务之间的前置依赖关系，不能适应不同任务类型占比、显存占用、任务到达率及响应时限持续变化，同时缺少根据首响应时间、显存峰值、语音卡顿、视频掉帧、模型置信度及后继任务延迟持续修正调度策略的问题，提供一种多模态ai智能人边缘计算智能服务器及动态负载均衡调度方法。

2、本发明采用的技术方案如下：一种多模态ai智能人边缘计算智能服务器及动态负载均衡调度方法，包括多模态任务队列构建步骤、异构资源状态采集步骤、交互负载态占用计算步骤、候选调度负载预测步骤、富反馈调度评分步骤、调度执行步骤和全过程反馈更新步骤。

3、多模态任务队列构建步骤接收多个ai智能人终端上传的交互请求，将交互请求拆分为语音识别任务、图像识别任务、目标跟踪任务、多模态语义推理任务、动作生成任务、语音合成任务和视频渲染任务，建立各任务之间的前置依赖关系，并为各任务记录请求编号、终端编号、任务类型、输入数据量、目标响应时限、终端优先级及后继任务数量。

4、异构资源状态采集步骤按照统一采集时标获取多个边缘计算节点中中央处理器、图形处理器和神经网络处理器的利用率，获取显存剩余量、运行内存剩余量、节点间网络剩余带宽、模型实例队列状态、模型实例并发数量、任务到达率、历史执行时长、历史延迟残差及历史显存残差，构建任务资源输入向量。

5、交互负载态占用计算步骤根据任务类型比例、任务到达率、任务响应时限、异构计算资源剩余量、模型实例队列状态及历史预测残差，计算语音低延迟主导状态、视觉高吞吐主导状态、语义推理显存主导状态、渲染帧率主导状态和突发并发拥塞状态对应的交互负载态占用系数，使多个交互负载状态能够在同一资源状态窗口内连续重叠及动态迁移。

6、候选调度负载预测步骤针对每个待调度任务生成多个候选调度动作，每个候选调度动作包括目标边缘计算节点、目标计算单元、目标模型实例、模型副本精度及跨节点传输方式，根据当前资源状态、交互负载态占用系数及任务特征，预测各候选调度动作对应的执行延迟、显存峰值、队列等待时间、任务失败概率、视频帧率损失、语音卡顿概率、模型精度损失及能耗增量。

7、富反馈调度评分步骤根据各交互负载态占用系数动态调整执行延迟、显存峰值、队列等待时间、任务失败概率、视频帧率损失、语音卡顿概率、模型精度损失及能耗增量在调度评分中的作用程度，并根据任务依赖图计算当前候选调度动作对后继任务产生的预测延迟增量，结合终端优先级生成综合调度评分。

8、调度执行步骤剔除预测执行延迟不满足目标响应时限、预测显存峰值超过显存剩余量、模型实例与任务输入不兼容及网络带宽不足对应的候选调度动作，从剩余候选调度动作中选择综合调度评分最低的调度动作，将待调度任务发送至对应边缘计算节点、计算单元和模型实例，并在不存在可执行候选调度动作时执行模型副本降精度、渲染分辨率调整、低优先级任务延后及跨节点协同调度。

9、全过程反馈更新步骤在任务执行完成后采集实际执行延迟、首响应时间、显存峰值、模型输出置信度、任务超时状态、视频帧丢失次数、语音卡顿次数、任务重试次数及用户交互中断状态，按照任务依赖图形成富反馈调度轨迹，并将后继任务产生的延迟、卡顿、掉帧及重试反馈反向关联至对应前序调度动作。

10、全过程反馈更新步骤根据实际调度轨迹和历史候选调度动作生成全过程反馈参考分布，在当前调度策略实际访问的资源状态上对调度策略执行分布校正，并根据富反馈调度轨迹更新交互负载态预测参数、候选调度负载预测参数及调度策略参数。

11、边缘计算智能服务器包括多模态任务编排模块、异构资源感知模块、交互负载态预测模块、候选调度评估模块、全过程反馈学习模块和调度执行与连续服务模块，多模态任务编排模块执行多模态任务拆分及任务依赖图构建，异构资源感知模块执行异构资源状态采集，交互负载态预测模块生成交互负载态占用系数，候选调度评估模块完成候选调度负载预测及富反馈调度评分，全过程反馈学习模块根据富反馈调度轨迹更新调度策略，调度执行与连续服务模块完成任务分配、任务迁移及节点失联状态下的连续服务。

12、与现有技术相比，本发明具有以下有益效果：

13、（1）通过任务依赖图和细粒度子任务编排，将ai智能人交互请求拆分为语音识别、图像识别、目标跟踪、多模态语义推理、动作生成、语音合成及视频渲染任务，并分别记录响应时限、优先级及前置依赖关系，实现多模态交互链中关键任务和后继任务的独立调度，解决整体请求调度粒度过大及前序任务延迟无法向后续交互过程传递的问题。

14、（2）通过交互负载状态软占用及异构资源概率预测，根据任务类型比例、资源剩余量、队列状态和历史预测残差生成多个交互负载态占用系数，并预测不同计算节点、计算单元、模型实例及模型副本对应的执行延迟、显存峰值和交互质量损失，实现负载分布变化条件下的连续状态识别和候选调度比较，解决固定阈值调度不能适应语音、视觉、语义推理及渲染负载持续漂移的问题。

15、（3）通过全过程富反馈和后继任务影响反向分配，将首响应时间、显存峰值、语音卡顿、视频掉帧、模型置信度、任务重试及用户交互中断状态组成富反馈调度轨迹，并将后继任务反馈反向关联至前序调度动作，实现调度策略根据完整交互体验持续更新，解决仅根据任务是否完成设置单一反馈而不能识别前序资源分配对后续交互质量实际影响的问题。