面向高并发数字人的分层代理优化方法及系统与流程

本申请涉及数字处理，具体面向高并发数字人的分层代理优化方法及系统。

背景技术：

1、随着ai技术的发展，数字人在直播互动、智能客服、线上活动等场景的应用日益普及，当大量用户同时与数字人发起交互时，例如虚拟伴侣在高峰期同时与大量用户进行个性化、低延迟的交流时，会带来瞬时高并发的访问压力。

2、传统方法将数字人按功能拆分为接入、逻辑、数据等固定层，每层部署固定数量的服务器，通过静态负载均衡和连接池分配请求，并依赖本地缓存和预生成的回复模板来降低延迟。

3、现有数字人服务通常采用分层代理架构进行服务支撑，不同分层代理分别承担用户接入、对话逻辑处理、上下文数据缓存等不同功能，但在高并发场景下，现有技术大多仅针对整体负载进行统一扩容与资源分配，难以提前精准识别高峰并发趋势，容易出现高峰到来后扩容不及时导致的服务卡顿，且无法根据用户会话的实际需求差异化分配资源，高复杂度对话会挤占大量系统资源，导致常规请求的响应延迟升高，丧失个性化体验，甚至因过载直接引发服务崩溃，整体服务的稳定性和响应效率难以保障。

技术实现思路

1、本申请实施例通过提供面向高并发数字人的分层代理优化方法及系统，解决了现有高并发场景下扩容不及时、资源分配差异化不足，导致服务稳定性差、响应延迟高的技术问题。

2、本申请解决上述技术问题的技术方案如下：

3、第一方面，本申请提供了面向高并发数字人的分层代理优化方法，所述方法包括：

4、获取目标数字人在预设历史时段内各分层代理的负载时序参数，以及各分层代理所服务的用户会话的交互特征参数；

5、根据各分层代理的负载时序参数，计算获得各分层代理的负载变化速率，并结合用户会话的持续交互频次，进行高峰期预测，获得预测高峰时段和预测高峰负载量；

6、在进入所述预测高峰时段前，根据所述预测高峰负载量和各分层代理的当前资源配置参数，分别计算各分层代理的资源缺口量，并根据各分层代理的资源缺口量配置各分层代理的预扩容参数；

7、在所述预测高峰时段内，根据用户会话的对话复杂度，结合所述预扩容参数，对各分层代理进行差异化资源分配，获得差异化资源分配方案；

8、按照所述差异化资源分配方案控制各分层代理运行，并在运行过程中根据各分层代理的实时负载偏差量对所述差异化资源分配方案进行迭代修正，获得优化分层代理控制方案。

9、第二方面，本申请提供了面向高并发数字人的分层代理优化系统，包括：

10、初始参数采集模块，用于获取目标数字人在预设历史时段内各分层代理的负载时序参数，以及各分层代理所服务的用户会话的交互特征参数；

11、高峰期预测模块，用于根据各分层代理的负载时序参数，计算获得各分层代理的负载变化速率，并结合用户会话的持续交互频次，进行高峰期预测，获得预测高峰时段和预测高峰负载量；

12、预扩容参数配置模块，用于在进入所述预测高峰时段前，根据所述预测高峰负载量和各分层代理的当前资源配置参数，分别计算各分层代理的资源缺口量，并根据各分层代理的资源缺口量配置各分层代理的预扩容参数；

13、资源分配模块，用于在所述预测高峰时段内，根据用户会话的对话复杂度，结合所述预扩容参数，对各分层代理进行差异化资源分配，获得差异化资源分配方案；

14、控制方案优化模块，用于按照所述差异化资源分配方案控制各分层代理运行，并在运行过程中根据各分层代理的实时负载偏差量对所述差异化资源分配方案进行迭代修正，获得优化分层代理控制方案。

15、本申请提供了一个或多个技术方案，至少具有如下技术效果或优点：

16、本申请实施例通过提供面向高并发数字人的分层代理优化方法及系统，首先，基于分层代理架构分别预测各分层代理的高峰负载需求，提前按照时序安排分批次完成预扩容，避免了高峰时段集中扩容导致的资源竞争。其次，通过结合用户会话的对话复杂度进行差异化资源分配，给高复杂度对话分配专用处理实例与更高权重的缓存资源，避免高复杂度对话过度挤占常规请求的系统资源。最后，在高峰运行过程中通过实时负载偏差迭代修正分配方案，能够动态适配实际负载变化，进一步保障整体服务的稳定性，降低了全场景下的平均响应延迟。

17、通过上述技术方案，本申请能够有效解决高并发场景下传统统一扩容方式带来的扩容不及时、资源分配不合理问题，既通过预扩容机制提前完成资源准备，避免了高峰扩容不及时引发的服务卡顿，又通过对话复杂度驱动的差异化资源分配，平衡了不同需求会话的资源占用，最终有效提升了高并发场景下数字人服务的稳定性与响应效率，改善了大量用户同时交互时的使用体验。

1.面向高并发数字人的分层代理优化方法，其特征在于，所述方法包括：

2.根据权利要求1所述的面向高并发数字人的分层代理优化方法，其特征在于，所述负载时序参数至少包括各分层代理在预设历史时段内每个采样点的cpu利用率、内存利用率和请求队列长度，所述交互特征参数至少包括各用户会话在对应时段内的持续交互频次和消息长度，所述分层代理至少包括接入代理层、逻辑处理代理层和数据代理层。

3.根据权利要求1所述的面向高并发数字人的分层代理优化方法，其特征在于，根据各分层代理的负载时序参数，计算获得各分层代理的负载变化速率，并结合用户会话的持续交互频次，进行高峰期预测，获得预测高峰时段和预测高峰负载量，包括：

4.根据权利要求1所述的面向高并发数字人的分层代理优化方法，其特征在于，在进入所述预测高峰时段前，根据所述预测高峰负载量和各分层代理的当前资源配置参数，分别计算各分层代理的资源缺口量，包括：

5.根据权利要求1所述的面向高并发数字人的分层代理优化方法，其特征在于，根据各分层代理的资源缺口量配置各分层代理的预扩容参数，包括：

6.根据权利要求5所述的面向高并发数字人的分层代理优化方法，其特征在于，根据各分层代理的cpu资源缺口量和内存资源缺口量，分别确定各分层代理的cpu扩容实例数和内存扩容实例数，包括：

7.根据权利要求1所述的面向高并发数字人的分层代理优化方法，其特征在于，所述对话复杂度的计算步骤包括：

8.根据权利要求1所述的面向高并发数字人的分层代理优化方法，其特征在于，在所述预测高峰时段内，根据用户会话的对话复杂度，结合所述预扩容参数，对各分层代理进行差异化资源分配，获得差异化资源分配方案，包括：

9.根据权利要求1所述的面向高并发数字人的分层代理优化方法，其特征在于，按照所述差异化资源分配方案控制各分层代理运行，并在运行过程中根据各分层代理的实时负载偏差量对所述差异化资源分配方案进行迭代修正，获得优化分层代理控制方案，包括：

10.面向高并发数字人的分层代理优化系统，其特征在于，用于执行权利要求1至9任一项所述的面向高并发数字人的分层代理优化方法，包括：