一种行为特征映射的模拟智能体构建方法与流程

本发明涉及人工智能与仿真测试，更具体地说，它涉及一种行为特征映射的模拟智能体构建方法。

背景技术：

1、模拟智能体用于在受控的仿真测试环境中复现真实实体的行为规律，服务于系统测试、合成行为数据生成与策略预演，并广泛应用于推荐、交互与流程类系统的验证。相关技术中的构建方式主要包括基于规则与参数化模型的方式、基于行为回放的方式，以及基于模仿学习与生成模型的数据驱动方式，其共同目标是把真实实体的行为特征映射为智能体的决策机制。

2、然而上述方式在实际应用中存在技术问题。参数化与规则方式因参数固定而使群体行为趋于同质，难以体现个体之间的差异；行为回放方式在交互环境中不具反应性，环境状态一旦偏离采集条件便与环境脱节；模仿学习与生成模型方式则面临群体行为模式坍缩、行为风格与情境耦合导致风格表征不纯，以及闭环滚动中误差累积引起的风格漂移，这些技术问题使得所构建的模拟智能体在单体拟真与群体多样之间难以兼顾。

3、此外，仿真测试对罕见而合理的长尾行为存在需求，而相关技术或只能复现常见行为，或通过扰动制造脱离真实可行域的失真行为，难以在不失真的前提下可控生成罕见行为，上述技术问题限制了模拟智能体在拟真度、行为多样性与可控性方面的表现。

技术实现思路

1、本发明提供一种行为特征映射的模拟智能体构建方法，解决相关技术中行为风格与情境耦合导致风格表征不纯、模拟智能体群体行为同质化、罕见而合理行为难以可控生成以及闭环交互中风格漂移的技术问题。

2、本发明提供了一种行为特征映射的模拟智能体构建方法，包括以下步骤：

3、s1，获取实体行为日志，按会话切分并将各时间步拆分对齐为行为侧与情境侧，得到成对的个体行为序列与情境序列样本；

4、s2，将成对的个体行为序列与情境序列样本送入情境条件化编码器，编码中施加情境不变性对抗约束与主体一致性约束，提取出与情境解耦的内在行为风格表征；

5、s3，对与情境解耦的内在行为风格表征以可逆归一化流建模分布密度，在低密度但仍处于支撑域内的区域按密度带拒绝采样，得到覆盖常见与罕见行为的可控风格编码；

6、s4，以可控风格编码为条件、情境序列为输入，用带多层特征线性调制与持久风格、瞬时意图双层隐变量的时序策略网络，与情境条件化编码器联合训练，得到风格条件化策略；

7、s5，令风格条件化策略在情境转移模型充当的闭环环境中滚动，施加风格循环一致性约束，并对闭环行为经情境条件化编码器所得的再编码风格表征施加动态支撑判定，微调得到模拟智能体；

8、s6，获取目标行为画像，沿风格空间行为倾向方向将其映射为目标风格编码，据此配置模拟智能体，经多指标一致性校验后输出可按需配置并通过校验的模拟智能体。

9、优选地，所述s1中按会话切分所依据的间隔阈值由日志中相邻事件时间差的分布统计得到；

10、将每个时间步的信息拆分为行为侧与情境侧，行为侧保留由实体自身发出的动作，情境侧保留同一时间步下不受实体当前动作直接支配的环境状态，行为侧与情境侧在时间步上对齐并成对保存，且成对保存的样本附带实体标识，行为侧与情境侧的拆分使情境的影响能够在后续编码中从行为中扣除。

11、优选地，所述s2中情境不变性对抗约束的施加方式为：在与情境解耦的内在行为风格表征之后接入情境判别器，令情境判别器从内在行为风格表征预测情境概要，并在内在行为风格表征与情境判别器之间插入梯度反转层，情境判别器最小化预测误差，情境条件化编码器经梯度反转被推向使情境判别器无法预测出情境概要的方向；

12、所述情境概要取自情境序列在时间维上的一阶统计与二阶统计的拼接，对抗约束按交替方式训练，先固定情境条件化编码器更新情境判别器，再固定情境判别器更新情境条件化编码器。

13、优选地，所述s2中同一体一致性约束的施加方式为：将同一实体不同会话的内在行为风格表征作为正样本对；

14、将不同实体的内在行为风格表征作为负样本对，以信息噪声对比目标拉近正样本对并推远负样本对，其中以余弦相似度衡量内在行为风格表征之间的靠近程度，并以温度系数调节区分的锐度。

15、优选地，所述s3中可逆归一化流由若干仿射耦合层级联构成，每一仿射耦合层将输入维度分为两组，一组保持不变，另一组按照保持不变的一组算出的缩放量与平移量做仿射变换，相邻仿射耦合层之间对维度做置换；

16、可逆归一化流以最大化训练集内在行为风格表征的对数密度为目标进行训练，任一内在行为风格表征的对数密度等于其经可逆归一化流映射到基分布后的对数密度与所述映射的雅可比行列式对数绝对值之和。

17、优选地，所述s3中按密度带拒绝采样的方式为：在基分布上采样候选点，利用可逆归一化流的可逆性将候选点逆映射回风格空间得到候选风格，计算候选风格的对数出现密度；

18、当对数出现密度落在由密度下界阈值与密度上界阈值界定的密度带内时接受候选风格，否则丢弃并重新采样，密度下界阈值与密度上界阈值取自训练集内在行为风格表征的对数密度经验分布的分位点，在需要偏向罕见行为时使基分布上的候选点偏向中等半径取值。

19、优选地，所述s4中多层特征线性调制的方式为：由可控风格编码在时序策略网络的多个层级分别生成一组逐通道的缩放系数与平移系数，对相应层级的特征先按通道缩放再按通道平移；

20、缩放系数与平移系数由一映射网络从可控风格编码算出，并对每个被调制的层级分别输出一组，使可控风格编码在时序策略网络的浅层参与局部动作倾向的决定、在深层参与整体决策取向的决定。

21、优选地，所述s4中持久风格与瞬时意图双层隐变量的设置方式为：持久风格隐变量在一次完整交互内保持固定，由可控风格编码经线性映射得到，瞬时意图隐变量随时间步由门控循环单元逐步更新，门控循环单元在每个时间步接收当前情境、上一步的循环隐状态与持久风格隐变量并更新循环隐状态，再由推断头从循环隐状态映射出瞬时意图隐变量；

22、在输出动作之前将经多层特征线性调制后的特征与瞬时意图隐变量拼接后送入动作头，动作头输出的动作分布由覆盖各动作类型的类别分布和在选定动作类型下描述动作强度的连续分布合成，联合训练以真实会话的动作在给定情境、循环隐状态与内在行为风格表征条件下的对数似然为训练目标。

23、优选地，所述s5中风格循环一致性约束的施加方式为：将闭环滚动生成的行为连同其经历的情境送回s2训练所得的情境条件化编码器且在此仅做前向计算而不更新其参数，得到再编码风格表征，以再编码风格表征与生成时所用可控风格编码之间的向量距离作为约束项；

24、再编码风格表征的动态支撑判定的方式为：将再编码风格表征输入可逆归一化流算出其出现密度，要求所算出的出现密度不低于支撑域下界，作为闭环微调的正则项时对出现密度低于支撑域下界的部分按其不足量施加惩罚。

25、优选地，所述s6中将目标行为画像映射为目标风格编码的方式为：在训练集上为每个会话计算行为统计量，将行为统计量分别对风格坐标做回归，得到每种行为倾向在风格空间中对应的方向，再沿所得方向为目标行为画像定位出目标坐标作为目标风格编码；

26、多指标一致性校验包括分布贴近度、风格可分性与交互反应性，分布贴近度为模拟智能体群体的行为分布与真实群体行为分布的接近程度，风格可分性为按不同目标行为画像生成的模拟智能体在风格空间中分成互不重叠的簇的程度，交互反应性为模拟智能体在环境响应变化时做出符合自身风格且前后一致的反应的程度。

27、本发明的有益效果在于：

28、通过情境条件化编码并施加情境不变性对抗约束与同一体一致性约束，把内在行为风格从情境影响中分离，避免将情境驱动的行为误判为内在风格，得到纯度与可分性得到提高的内在行为风格表征；在此基础上以可逆归一化流建模分布密度并在低密度支撑域按密度带拒绝采样，使模拟智能体在还原群体行为多样性的同时，能够按需可控生成罕见而合理的行为，避免生成脱离真实可行域的失真行为，从而兼顾拟真与可控；

29、通过多层特征线性调制与持久风格、瞬时意图双层隐变量将风格深入注入决策的逐层计算并保持长时程风格自洽，遏制群体行为的模式坍缩；再借助闭环滚动中的风格循环一致性与再编码风格表征的动态支撑判定，抑制误差累积引起的风格漂移，使模拟智能体在交互中反应稳定、风格不被稀释，且罕见风格所滚动出的行为仍落在真实支撑域内，便于按目标行为画像可控配置与交付。