基于动态场景感知的多智能体决策方法及系统与流程

本发明涉及智能体决策，具体为一种基于动态场景感知的多智能体决策方法及系统。

背景技术：

1、随着云计算及多租户信息系统的不断发展，同一云平台中往往同时存在多个租户，不同租户在访问行为、数据使用、计算资源占用以及安全风险等方面具有明显差异，并且上述状态会随业务运行过程持续发生变化。为保证云平台稳定、安全运行，需要根据各租户在不同时间的运行状态动态确定相应的治理动作。现有治理方式通常依据当前采集到的单一状态信息或者预设规则分别对不同租户进行处理，难以充分结合租户历史状态以及上一时刻治理动作对当前状态变化的影响，从而导致在租户状态持续变化的动态场景下，对租户真实治理需求的表征能力不足。

2、此外，在多租户环境中，各租户并非完全独立，其资源占用、安全风险及治理行为可能共同影响云平台整体运行状态。现有技术在确定针对各租户的治理方案时，通常缺乏对不同租户之间治理动作及相互影响关系的有效分析，容易出现单个租户的治理动作与其他租户的状态变化或者整体治理目标不协调的情况，尤其当某一租户的治理动作相对于其历史治理动作以及其他租户对其治理趋势的判断发生突变时，直接采用该治理动作可能降低整体治理方案的协调性。因此，如何在动态多租户场景下综合利用各租户的时序状态、历史治理动作以及智能体之间的交互信息，对治理动作进行协同预测和整体评价，并对不协调的治理动作进行适应性调整，是现有技术亟需解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种基于动态场景感知的多智能体决策方法及系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于动态场景感知的多智能体决策方法，具体步骤包括：

4、s1：将每个租户作为智能体，获取各智能体的租户行为、数据访问、资源运行和安全状态的时序数据，以构成各智能体的局部状态，基于当前时刻的局部状态和上一时刻的治理动作得到当前智能体的隐藏状态和通信特征；

5、s2：将各智能体的通信特征和隐藏状态输入到预训练的意图推理网络中，以得到每个智能体相对于任一智能体的预测治理动作,所述任一智能体包括该智能体自身；

6、s3：对于任一智能体，将各智能体对自身的预测治理动作构成初始治理方案，将初始治理方案中各智能体的隐藏状态、通信特征和初始治理方案的治理动作输入动作价值网络，得到初始治理方案的全局联合价值；

7、s4：基于当前初始治理方案中各智能体的治理动作和预测治理动作，结合其他智能体对当前智能体的预测治理动作，将智能体划分为常规智能体、不协调突变智能体或一般智能体；

8、s5：保持常规智能体与一般智能体的治理动作不变，基于全局联合价值和智能体的种类，调整初始治理方案中各不协调突变智能体的治理动作，按调整后的初始治理方案作为当前时刻的决策方案。

9、进一步地，租户行为的时序数据包括访问频率、操作异常率和权限请求次数；

10、数据访问的时序数据包括敏感数据访问占比；

11、资源运行的时序数据包括负载算力和存储余量；

12、安全状态的时序数据包括高风险ip访问率和被入侵次数。

13、各维度的时序数据均按照租户标识进行关联和聚合，以形成对应租户智能体在当前决策时刻的局部状态。

14、进一步地，所述治理动作包括不处理、风险处理、权限处理以及智能体处理；

15、风险处理包括账户冻结和数据封禁，权限处理包括上升一个权限等级和下调一个权限等级，智能体处理包括按照预设的幅度上调负载算力和按照预设的幅度下调负载算力。

16、获取当前智能体的隐藏状态和通信特征的逻辑为：

17、对于任一决策时刻下的任一租户智能体，将租户智能体局部状态与该租户智能体上一时刻执行的治理动作共同输入多层全连接网络中，以得到当前时刻的中间特征，将中间特征与上一时刻的隐藏状态共同输入预设的门控循环单元中，以输出隐藏状态；

18、其中，在初始决策时刻，将上一时刻隐藏状态设置为预设初始隐藏状态，并将上一时刻治理动作设置为预设初始化治理动作，所述初始化治理动作为不处理；在后续各决策时刻，均采用上一决策时刻实际得到的隐藏状态和实际执行的治理动作参与当前时刻的状态更新；

19、将当前时刻的局部状态和上一时刻的治理动作输入到预训练的超网络中，以得到通信特征。

20、进一步地，得到全局联合价值的逻辑为：

21、将各智能体的隐藏状态、通信特征和预测治理动作输入多层全连接网络中，以生成各智能体的个体动作价值，通过混合网络中的非线性混合函数计算各智能体的个体动作价值，以得到全局联合价值；

22、其中，混合网络通过最小化时序差分损失的多智能体强化学习算法训练。

23、进一步地，所述智能体的种类包括常规智能体、不协调突变智能体和一般智能体。

24、确定智能体的种类的逻辑为：

25、对于每一智能体的每一种预测治理动作，统计其他智能体推断该智能体执行该预测治理动作的数量，将数量最多的预测治理动作作为基准预测治理动作；计算其余各预测治理动作相对于所述基准预测治理动作的数量差值，若所述差值小于预设数量阈值，则将该预测治理动作与所述基准预测治理动作一并作为候选预测治理动作，其中，所述预设数量阈值不大于智能体总数的3%；

26、对于当前时刻的任一智能体：

27、若候选预测治理动作与当前时刻的治理动作存在交集，且该交集为初始治理方案中该智能体的治理动作，则将该智能体称为常规智能体；

28、若候选预测治理动作与当前时刻的治理动作不存在交集，且初始治理方案中该智能体的治理动作与候选预测治理动作也不存在交集，则将该智能体称为不协调突变智能体；

29、若智能体既不是常规智能体，也不是不协调突变智能体，则该智能体为一般智能体。

30、进一步地，s5的逻辑为：

31、对于任一不协调突变智能体，统计常规智能体推断该不协调突变智能体执行各预测治理动作的数量，将数量最多的预测治理动作作为常规基准预测治理动作；计算其余各预测治理动作相对于所述常规基准预测治理动作的数量差值，若所述差值小于预设数量阈值，则将该预测治理动作与所述常规基准预测治理动作一并作为候选校准预测治理动作；

32、对于任一不协调突变智能体，统计所有常规智能体对该不协调突变智能体的预测治理动作，构成常规预测治理动作集；

33、若所述常规预测治理动作集与当前时刻的治理动作存在交集，且治理方案中该不协调突变智能体的治理动作与所述候选校准预测治理动作不存在交集，则将初始方案中的治理动作作为该智能体的待调整预测治理动作；

34、若所述常规预测治理动作集与当前时刻的治理动作不存在交集，且治理方案中该不协调突变智能体的治理动作与所述候选校准预测治理动作存在交集，则将所述交集中的预测治理动作作为待调整预测治理动作；

35、若所述常规预测治理动作集与当前时刻的治理动作不存在交集，且治理方案中该不协调突变智能体的治理动作与所述候选校准预测治理动作亦不存在交集，则将该智能体的所有预测治理动作均作为待调整预测治理动作；

36、若所述常规预测治理动作集与当前时刻的治理动作存在交集，且治理方案中该智能体的治理动作与所述候选校准预测治理动作也存在交集，则将二者交集中的预测治理动作作为待调整预测治理动作；

37、保持初始治理方案中常规智能体和一般智能体的治理动作不变；针对每一不协调突变智能体，从其待调整预测治理动作中选择一个动作，替换初始治理方案中该智能体的原治理动作，得到更新后的治理方案；计算每种更新后治理方案的全局联合价值，选取全局联合价值最高的治理方案作为当前时刻的决策方案。

38、本发明另外提供一种基于动态场景感知的多智能体决策系统，所述系统用于实现上述基于动态场景感知的多智能体决策方法，具体包括：

39、状态构建模块，用于将每个租户作为智能体，获取各智能体的租户行为、数据访问、资源运行和安全状态的时序数据，以构成各智能体的局部状态，基于当前时刻的局部状态和上一时刻的治理动作得到当前智能体的隐藏状态和通信特征；

40、动作预测模块，用于将各智能体的通信特征和隐藏状态输入到预训练的意图推理网络中，以得到每个智能体相对于任一智能体的预测治理动作,所述任一智能体包括该智能体自身；

41、价值分析模块，用于对于任一智能体，将各智能体对自身的预测治理动作构成初始治理方案，将初始治理方案中各智能体的隐藏状态、通信特征和初始治理方案的治理动作输入动作价值网络，得到初始治理方案的全局联合价值；

42、种类确定模块，用于基于当前初始治理方案中各智能体的治理动作和预测治理动作，结合其他智能体对当前智能体的预测治理动作，将智能体划分为常规智能体、不协调突变智能体或一般智能体；

43、方案调整模块，用于保持常规智能体与一般智能体的治理动作不变，基于全局联合价值和智能体的种类，调整初始治理方案中各不协调突变智能体的治理动作，按调整后的初始治理方案作为当前时刻的决策方案。

44、与现有技术相比，本发明的有益效果是：

45、本发明将各租户作为智能体，通过获取租户行为、数据访问、资源运行和安全状态四个维度的时序数据构建各智能体的局部状态，并结合上一时刻的治理动作获得当前智能体的隐藏状态和通信特征，由此能够同时利用当前运行状态、历史状态以及历史治理行为对动态场景进行表征；相较于仅依据当前时刻或者单一维度信息进行治理决策的方式，本发明能够更加充分地反映各租户状态随时间变化的特征，为动态多租户环境下治理动作的确定提供更加完整的状态信息基础。

46、本发明基于各智能体的通信特征和隐藏状态进行治理动作推理，获得智能体之间相互预测的治理动作，并根据由各智能体预测治理动作形成的初始治理方案计算全局联合价值；进一步结合当前预测治理动作、上一时刻治理动作以及一般智能体对当前智能体的预测治理动作确定智能体种类，并根据智能体种类和全局联合价值对初始治理方案中的治理动作进行调整。通过上述方式，能够在考虑单个租户治理需求的同时兼顾多个租户之间的治理一致性和整体治理效果，降低因局部治理动作突变或不同智能体治理动作不协调而造成决策偏差的可能性。