投诉处理方法、装置、设备、介质及产品与流程

摘要: 本公开涉及无线网络的,具体而言,涉及一种投诉处理方法、装置、设备、介质及产品。背景技术:1、在复杂无线网络的运维管理中,通常部署多个功能各异的智能体,例如无线优...
投诉处理方法、装置、设备、介质及产品与流程

本公开涉及无线网络的,具体而言,涉及一种投诉处理方法、装置、设备、介质及产品。

背景技术:

1、在复杂无线网络的运维管理中,通常部署多个功能各异的智能体,例如无线优化智能体、维护智能体、节能智能体和网络保障智能体等,以分别处理不同的网络任务。当出现用户投诉(例如,通话质量差、上网速度慢)时,会触发专门的投诉处理智能体。

2、相关技术中,通常采用深度确定性策略梯度算法进行多智能体协同,由于该算法通常采用固定或简单衰减的噪声进行探索,无法适应动态复杂的无线网络环境,导致投诉处理效率不足。

技术实现思路

1、鉴于上述问题而提出了本公开。本公开提供一种投诉处理方法、装置、设备、介质及产品。

2、在第一方面,本公开实施例提供了一种投诉处理方法,包括:响应于无线网络投诉事件,触发多个智能体协同执行投诉处理任务;基于当前无线网络环境状态的不确定性程度,输出各智能体的动作;其中,动作中叠加探索噪声,探索噪声的幅度和不确定性程度呈正相关;将各智能体的动作联合作用于无线网络,以执行投诉处理任务;获取无线网络执行投诉处理任务后的运行反馈数据,并基于当前无线网络环境状态、各智能体的动作和运行反馈数据更新各智能体的决策参数。

3、在第一方面的一种实施例中,基于当前无线网络环境状态的不确定性程度,输出各智能体的动作,包括:获取当前时刻各智能体的局部观察数据;其中,局部观察数据包括以下至少之一:投诉类型、投诉位置、能耗数据、网络关键性能指标、流量负载信息;将局部观察数据输入至策略网络,并获取策略网络输出的初始动作值;其中,通过激活函数将初始动作值约束至指定区间范围内;确定当前无线网络环境状态的不确定性程度,并基于不确定性程度生成探索噪声;将探索噪声叠加至初始动作值,得到各智能体的动作。

4、在第一方面的一种实施例中,确定当前无线网络环境状态的不确定性程度,包括:预先建立固定长度的缓冲区;其中,缓冲区用于存储全局状态特征向量,全局状态特征向量包括以下至少之一:性能指标、投诉相关指标、流量负载指标;计算缓冲区中所存储全局状态特征向量的统计方差值,并基于统计方差值表征不确定性程度。

5、在第一方面的一种实施例中,基于不确定性程度生成探索噪声,包括:获取基础噪声幅度值和缩放系数值;将不确定性程度和缩放系数值相乘,得到方差贡献值;将基础噪声幅度值和方差贡献值相加,得到当前时刻的噪声标准差;基于噪声标准差生成探索噪声。

6、在第一方面的一种实施例中,基于当前无线网络环境状态、各智能体的动作和运行反馈数据更新各智能体的决策参数,包括:将当前无线网络环境状态、各智能体的动作、全局即时奖励值和下一时刻的无线网络环境状态进行组合,得到经验数据,并将经验数据存入至经验回放池;其中,全局即时奖励值基于运行反馈数据按照奖励函数映射后得到,全局即时奖励值用于指示各智能体的动作联合对投诉处理效果的贡献程度;从经验回放池中采样的经验数据,并将采样的经验数据输入至评价网络,输出多个分位数值;其中,每个分位数值分别表示当前无线网络环境状态和各智能体的动作联合,所对应未来总收益在不同概率水平下的估计值;基于多个分位数值更新各智能体的决策参数。

7、在第一方面的一种实施例中,决策参数包括各智能体对应评价网络的参数,基于多个分位数值更新各智能体的决策参数,包括:从经验回放池中提取与采样的经验数据时间上连续且属于同一交互轨迹的多个时间步的经验数据片段;基于经验数据片段确定用于训练评价网络的目标价值;将评价网络输出的各分位数值分别和目标价值进行比较,并根据比较结果计算每个分位数值对应的分位数损失值;基于对各分位数损失值进行累加后得到的总分位数损失值,通过反向传播更新评价网络的参数。

8、在第一方面的一种实施例中,经验回放池中的每条经验数据关联存储有时间戳信息和轨迹序列标识信息,从经验回放池中提取与采样的经验数据时间上连续且属于同一交互轨迹的多个时间步的经验数据片段,包括:基于时间戳信息和轨迹序列标识信息识别出属于同一条连续轨迹的经验数据;从连续轨迹中以滑动窗口方式截取连续时间步的经验数据片段;其中,若各智能体动作之间存在关联且延迟时间大于预设阈值,增大连续时间步的个数。

9、在第一方面的一种实施例中,基于经验数据片段确定用于训练评价网络的目标价值,包括:对经验数据片段中连续多个时间步的全局即时奖励值和对应的折扣系数进行加权求和运算,得到累积奖励值;获取经验数据片段中最后一时间步之后的无线网络环境状态,并将该无线网络环境状态输入至目标评价网络,得到未来价值估计值;对累积奖励值和经折扣系数衰减后的未来价值估计值进行相加,得到目标价值。

10、在第一方面的一种实施例中,方法还包括:按照预设的软更新参数,将评价网络的参数逐步同步至目标评价网络。

11、在第一方面的一种实施例中,决策参数包括各智能体对应策略网络的参数,在通过反向传播更新评价网络的参数之后,方法还包括:基于更新后的评价网络计算策略梯度;基于策略梯度通过反向传播更新各智能体对应策略网络的参数。

12、在第二方面,本公开实施例提供了一种投诉处理装置,包括:任务触发单元,用于响应于无线网络投诉事件,触发多个智能体协同执行投诉处理任务;动作输出单元,用于基于当前无线网络环境状态的不确定性程度,输出各智能体的动作;其中,动作中叠加探索噪声,探索噪声的幅度和不确定性程度呈正相关;联合单元,用于将各智能体的动作联合作用于无线网络,以执行投诉处理任务;参数更新单元,用于获取无线网络执行投诉处理任务后的运行反馈数据,并基于当前无线网络环境状态、各智能体的动作和运行反馈数据更新各智能体的决策参数。

13、在第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述投诉处理方法中的步骤。

14、在第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述投诉处理方法中的步骤。

15、在第五方面,本公开实施例提供了一种计算机程序产品,所述计算机程序产品被存储在存储介质中,所述程序产品被至少一个处理器执行以实现上述投诉处理方法中的步骤。

16、如以下将详细描述的,根据本公开实施例的投诉处理方法、装置、设备、介质及产品。在本公开实施例中,首先响应于无线网络投诉事件,触发多个智能体协同执行投诉处理任务;然后基于当前无线网络环境状态的不确定性程度,输出各智能体的动作;其中,动作中叠加探索噪声,探索噪声的幅度和不确定性程度呈正相关;其次将各智能体的动作联合作用于无线网络,以执行投诉处理任务;最后获取无线网络执行投诉处理任务后的运行反馈数据,并基于当前无线网络环境状态、各智能体的动作和运行反馈数据更新各智能体的决策参数。通过上述处理方式,本公开通过基于环境状态动态调节探索噪声幅度,使智能体在网络状态剧烈波动时加大探索以快速锁定有效协同策略,能够缩短投诉问题的平均解决时间。以及将各智能体的动作联合作用于无线网络以执行投诉处理任务,使得来自不同智能体的动作在同一网络环境中相互协调,减少了投诉处理过程中的无效迭代次数,最后依据环境状态、联合动作和运行反馈,使得参数更新方向准确反映动作-结果的因果关系,从而使投诉处理任务以更高概率在较少迭代轮次内完成闭环,进而实现了投诉处理效率的显著提升。

17、要理解的是,前面的一般描述和下面的详细描述两者都是示例性的,并且意图在于提供要求保护的技术的进一步说明。