一种玩家镜像模型训练数据的双通道谱系隔离方法及系统与流程

本发明涉及软件领域，尤其涉及一种玩家镜像模型训练数据的双通道谱系隔离方法及系统。

背景技术：

1、随着人工智能技术在多人在线游戏中的应用，游戏系统可以采集玩家在游戏过程中的移动、攻击、技能释放、目标选择、组队协作等行为数据，并利用所述行为数据训练能够模拟特定玩家操作习惯和决策特征的玩家镜像模型。玩家离线时，玩家镜像模型可以控制虚拟角色参与战斗、协作或者其他游戏活动。

2、现有技术中，中国专利 cn112169339b《用于在视频游戏中模仿玩家玩游戏的定制的模型》公开了一种根据特定玩家的游戏数据对通用行为模型进行定制，并利用定制模型模拟该玩家游戏行为的技术方案。该方案公开了：获得通用玩家行为模型，将通用模型中的层或层次的至少一个子集指定为冻结层，基于第一玩家的玩游戏数据生成定制层，存储经训练的定制模型，该定制模型接收游戏状态数据并输出自动化动作，并可将定制模型提供给第二玩家以模仿第一玩家的玩法。

3、美国专利 us10713543b1 公开了基于自动生成的逼真游戏信息增强机器学习系统训练的技术方案，即自动生成或模拟的游戏数据被用于机器学习模型的训练，说明在现有技术中模型生成数据被普遍允许进入训练流程。但是，上述现有技术主要关注玩家行为模仿、个性化模型生成、模型反馈更新、模型开发流程的版本管理或者自动生成数据的利用，尚存在以下问题：

4、第一，在玩家镜像模型投入实际运行后，镜像模型产生的操作行为同样会被记录为游戏行为数据。现有系统通常不能持续区分行为数据是由真实玩家直接产生，还是由某一版本的玩家镜像模型产生。当这些数据再次被用于更新玩家镜像模型时，可能形成"模型生成行为-行为进入训练数据-训练生成新模型-新模型再次生成行为"的递归反馈过程。

5、第二，现有的来源标签通常仅记录数据的直接产生主体。经过数据聚合、异步战斗结果回写、样本复制或者多轮模型更新后，直接来源标签不能反映该数据是否间接继承自先前版本模型生成的数据，因而难以识别跨越多个模型版本形成的间接递归反馈。

6、第三，现有模型版本管理方案主要用于记录训练任务、数据集和模型文件之间的对应关系，未将单条行为事件与生成该行为的模型版本建立可计算的谱系关系，也不能在模型更新前根据所述谱系关系判断候选训练数据是否为待更新模型的直接或间接衍生数据。

7、第四，同一源玩家的镜像模型可以分别被不同关联玩家调用。不同关联玩家与镜像模型交互产生的数据可能被混合写入同一训练数据集合，导致一个关联玩家产生的行为结果影响另一个关联玩家对应的镜像模型状态，造成不同关系分支之间的数据串扰。

8、上述问题可能导致玩家镜像模型在多次更新后逐渐偏离真实玩家的行为特征，使模型生成行为中的偶然误差被重复学习和放大，并增加训练数据清理、模型重新训练及异常原因追溯所需的计算资源和处理时间。因此，需要一种能够记录行为数据与模型版本之间的多代生成关系、识别递归反馈路径并对不同更新通道实施隔离的技术方案。

技术实现思路

1、本发明主要解决玩家镜像模型在持续运行和迭代更新过程中，模型生成的行为数据可能被重新作为真实玩家行为数据参与训练，从而形成递归反馈并造成模型行为偏移的问题。

2、具体包括：

3、解决现有来源标签只能表示行为数据的直接产生主体，不能识别经过数据聚合、复制、异步结果回写及多轮模型更新后形成的间接衍生关系的问题。

4、解决现有系统未在单条行为事件、训练样本和模型版本之间建立可计算的生成谱系，无法在模型更新前识别直接或间接递归反馈路径的问题。

5、解决镜像模型生成数据重复进入源玩家模型训练集合，导致模型误差被循环学习和放大、玩家行为特征逐渐失真的问题。

6、解决同一源玩家的镜像模型被多个关联玩家调用时，不同关系分支产生的数据相互混入，导致模型参数或者状态发生跨关系串扰的问题。

7、解决发生数据污染后难以定位污染来源，只能通过大范围清理训练数据或者重新训练模型进行恢复，造成计算资源、存储资源及处理时间浪费的问题。

8、为此，本发明拟建立行为事件、训练样本和模型版本之间的多代生成谱系，在模型更新前检测候选训练数据与目标模型之间是否存在递归依赖路径，并根据检测结果对训练数据进行双通道接纳或者隔离处理，从而提高玩家镜像模型持续更新过程中的数据可靠性、行为稳定性和更新效率。

9、为解决上述技术问题，本发明提供一种玩家镜像模型训练数据的双通道谱系隔离方法，包括：

10、为游戏运行过程中产生的行为事件生成事件谱系记录，所述事件谱系记录包括事件标识、执行主体类型、生成该行为事件的模型版本标识、源玩家标识、关系分支标识和父级事件标识集合，所述执行主体类型标识该行为事件的实际执行主体为真实玩家或玩家镜像模型，其中真实玩家直接产生的行为事件所对应的模型版本标识为空；

11、构建生成谱系图，所述生成谱系图的节点包括行为事件节点、训练样本节点和模型版本节点，所述生成谱系图的边包括模型版本节点指向行为事件节点的生成边、行为事件节点指向训练样本节点的加工边、训练样本节点指向模型版本节点的更新边、父模型版本节点指向子模型版本节点的继承边以及父级事件节点指向派生事件节点的派生边，其中玩家镜像模型生成的行为事件通过生成边连接至生成该行为事件的模型版本节点，真实玩家直接产生的行为事件为不具有上游模型版本节点的根事件，所述父模型版本为经由继承边与当前模型版本连接的在先模型版本；

12、为所述生成谱系图中的节点生成固定长度的二进制位向量形式的谱系签名，其中模型版本的谱系签名由该模型版本标识对应的位向量与全部父模型版本的谱系签名按位或合并得到，真实玩家直接产生的根事件的谱系签名为全零位向量，玩家镜像模型生成的行为事件的谱系签名继承生成该行为事件的模型版本的谱系签名，派生事件的谱系签名由其各父级事件的谱系签名按位或合并得到，训练样本的谱系签名由其全部父级事件的谱系签名按位或合并得到；

13、在更新目标模型之前，对候选训练样本执行递归依赖检测：将候选训练样本的谱系签名与目标模型的谱系签名执行按位与运算；当按位与结果为空时，判定所述候选训练样本相对于目标模型不存在递归依赖；当按位与结果不为空时，从候选训练样本节点沿加工边、派生边和生成边对所述生成谱系图进行反向遍历，若遍历到达目标模型或目标模型的任一历史父模型版本，则判定所述候选训练样本相对于目标模型存在递归依赖，若遍历至全部根事件仍未到达目标模型或其历史父模型版本，则判定所述候选训练样本相对于目标模型不存在递归依赖；

14、根据递归依赖检测结果、执行主体类型、样本用途、源玩家标识和关系分支标识，将候选训练样本路由至基础行为模型训练通道、关系分支训练通道或隔离集合：相对于目标模型不存在递归依赖、执行主体类型为真实玩家、样本用途为行为学习样本且源玩家标识与目标模型的源玩家标识一致的候选训练样本，进入基础行为模型训练通道；相对于目标模型不存在递归依赖、样本用途为结果评价样本或关系状态样本且关系分支标识与目标关系分支一致的候选训练样本，进入关系分支训练通道；相对于目标模型存在递归依赖的候选训练样本，进入隔离集合，不参与目标模型更新；

15、使用基础行为模型训练通道中的样本更新目标模型的基础行为模型部分，使用关系分支训练通道中的样本更新目标模型中与目标关系分支对应的关系分支模型部分，生成新模型版本，并执行谱系闭合记录：为新模型版本分配唯一模型版本标识，记录目标模型为新模型版本的父模型版本，在所述生成谱系图中建立本次使用的训练样本节点指向新模型版本节点的更新边和目标模型节点指向新模型版本节点的继承边，并将目标模型的谱系签名、新模型版本标识对应的位向量及本次使用的训练样本的谱系签名按位或合并，作为新模型版本的谱系签名。

16、本发明还涉及一种玩家镜像模型训练数据的双通道谱系隔离系统，包括：

17、行为事件采集模块，用于采集游戏运行过程中真实玩家和玩家镜像模型产生的行为事件，并为各行为事件生成事件谱系记录，所述事件谱系记录包括事件标识、执行主体类型、生成该行为事件的模型版本标识、源玩家标识、关系分支标识和父级事件标识集合，其中真实玩家直接产生的行为事件所对应的模型版本标识为空；

18、谱系图构建模块，用于构建生成谱系图，所述生成谱系图的节点包括行为事件节点、训练样本节点和模型版本节点，所述生成谱系图的边包括模型版本节点指向行为事件节点的生成边、行为事件节点指向训练样本节点的加工边、训练样本节点指向模型版本节点的更新边、父模型版本节点指向子模型版本节点的继承边以及父级事件节点指向派生事件节点的派生边；

19、谱系签名计算模块，用于为所述生成谱系图中的节点生成固定长度的二进制位向量形式的谱系签名，其中模型版本的谱系签名由该模型版本标识对应的位向量与全部父模型版本的谱系签名按位或合并得到，真实玩家直接产生的根事件的谱系签名为全零位向量，玩家镜像模型生成的行为事件的谱系签名继承生成该行为事件的模型版本的谱系签名，派生事件和训练样本的谱系签名由其父级事件的谱系签名按位或合并得到；

20、递归依赖检测模块，用于在更新目标模型之前，将候选训练样本的谱系签名与目标模型的谱系签名执行按位与运算，当按位与结果不为空时，从候选训练样本节点沿加工边、派生边和生成边反向遍历所述生成谱系图，若遍历到达目标模型或目标模型的任一历史父模型版本，则判定所述候选训练样本相对于目标模型存在递归依赖；

21、数据路由模块，用于将相对于目标模型不存在递归依赖、执行主体类型为真实玩家、样本用途为行为学习样本且源玩家标识与目标模型的源玩家标识一致的候选训练样本路由至基础行为模型训练通道，将相对于目标模型不存在递归依赖、样本用途为结果评价样本或关系状态样本且关系分支标识与目标关系分支一致的候选训练样本路由至关系分支训练通道，并将相对于目标模型存在递归依赖的候选训练样本路由至隔离集合；

22、模型更新模块，用于使用基础行为模型训练通道中的样本更新目标模型的基础行为模型部分，使用关系分支训练通道中的样本更新目标模型中与目标关系分支对应的关系分支模型部分，生成新模型版本，并建立本次使用的训练样本节点指向新模型版本节点的更新边和目标模型节点指向新模型版本节点的继承边；

23、模型版本管理模块，用于为新模型版本分配唯一模型版本标识，记录目标模型为新模型版本的父模型版本，并将目标模型的谱系签名、新模型版本标识对应的位向量及本次使用的训练样本的谱系签名按位或合并为新模型版本的谱系签名。

24、与现有技术相比，本发明的有益效果如下：

25、本发明在行为事件、训练样本和模型版本之间建立生成谱系，不仅能够识别数据的直接产生主体，还能够追溯经过聚合、复制、加工、异步回写和多轮模型更新后的间接来源，解决普通来源标签无法反映多代生成关系的问题。

26、本发明在模型更新前检测候选训练样本的上游模型来源与目标模型历史版本之间是否存在交集，能够识别并隔离由目标模型及其历史版本直接或间接生成的数据，避免模型反复学习自身输出，降低偶然错误被持续放大以及玩家行为特征逐渐失真的风险。

27、基础行为模型仅使用经来源确认的真实玩家操作数据进行更新，模型生成行为不得作为源玩家的目标行为样本，有利于使玩家镜像模型长期保持源玩家的操作习惯、技能偏好和决策特征。

28、本发明以源玩家和关联玩家的组合建立关系分支标识，并根据关系分支标识对训练样本及模型参数实施隔离，使不同好友、队伍或者公会产生的数据只能作用于对应的关系分支，避免一个关联玩家的交互结果错误影响其他关联玩家对应的镜像模型。

29、本发明采用“谱系签名初筛＋谱系图精确追溯”的两级检测方式。通过固定长度位图、布隆过滤器或者哈希集合对大量候选样本进行快速筛选，仅对疑似存在递归依赖的样本执行图遍历，减少不必要的全量谱系查询，提高大规模训练数据处理效率。

30、现有系统在发现模型行为异常后，通常需要对大量历史数据进行人工排查或者重新训练完整模型。本发明能够记录被隔离样本的事件标识、上游模型版本、递归依赖路径和隔离原因，从而快速定位受影响的数据范围，减少重复训练所消耗的处理器资源、存储资源和处理时间。

31、每个模型版本均与父模型版本、训练批次和训练样本集合建立对应关系，能够从任一模型版本反向查询其使用的数据来源，也能够从任一行为事件正向查询其可能影响的模型版本，有利于模型更新结果的复现、审计和异常定位。

32、本发明不依赖特定的模型结构，可以应用于神经网络、决策树、行为树、状态机、动作概率表以及增量适配模型；关系分支还可以由好友关系扩展至队伍、公会或者其他多人关系，便于在不同类型的多人在线游戏中部署。