编码器与模型构建方法、游戏画面处理方法及装置与流程

本发明涉及人工智能，尤其涉及一种编码器与模型构建方法、游戏画面处理方法及装置

背景技术：

1、在游戏智能开发领域，开发能够理解游戏画面的视觉模型对于实现各种智能化功能至关重要，例如目标检测（检测敌人、道具）、图像分类（判断当前场景类型）、事件识别（识别击杀、换弹等动作）等。目前主流的模型训练方法需要为每一个特定任务准备大规模的、由人工精确标注的训练数据集。然而，数据标注成本极其高昂，耗时费力，且对于游戏而言，版本更新快，新角色、新地图层出不穷，依赖人工标注的模式难以跟上内容迭代速度。因此，亟需一种专为游戏画面图像设计并降低标注依赖的高效模型训练方法。

技术实现思路

1、本发明的主要目的在于提供一种编码器与模型构建方法、游戏画面处理方法及装置，旨在解决现有视觉模型训练高度依赖标注数据，导致训练效率不高的技术问题。

2、为实现上述目的，本发明第一方面提供一种视觉编码器构建方法，所述视觉编码器构建方法包括：

3、获取无标签的多个游戏画面图像；

4、分别对各所述游戏画面图像进行内容区域划分，得到各所述游戏画面图像对应的游戏场景区域和人机交互区域；

5、对所述游戏场景区域和所述人机交互区域进行非对称掩码处理，得到所述游戏画面图像对应的掩码图像；

6、将所述掩码图像输入待训练的视觉编码器和解码器进行被遮盖区域的原始像素重建，得到重建图像；

7、计算所述重建图像与所述游戏画面图像之间的损失值并更新所述视觉编码器和所述解码器的参数，直至训练完成，得到训练好的视觉编码器。

8、可选的，在本发明第一方面的第一种实现方式中，所述分别对各所述游戏画面图像进行内容区域划分，得到各所述游戏画面图像对应的游戏场景区域和人机交互区域包括：

9、获取游戏画面中预设的人机交互区域坐标；

10、在各所述游戏画面图像中，将位于所述人机交互区域坐标范围内的图像区域标记为人机交互区域，其余图像区域标记为游戏场景区域。

11、可选的，在本发明第一方面的第二种实现方式中，所述分别对各所述游戏画面图像进行内容区域划分，得到各所述游戏画面图像对应的游戏场景区域和人机交互区域还包括：

12、将各所述游戏画面图像输入图像分割模型；

13、通过所述图像分割模型对各所述游戏画面图像进行进行人机交互的通用特征识别；

14、根据所述通用特征的识别结果，标记各所述游戏画面图像中的游戏场景区域和人机交互区域。

15、可选的，在本发明第一方面的第三种实现方式中，所述游戏场景区域采用第一掩码率进行掩码处理，所述人机交互区域采用第二掩码率进行掩码处理，所述第一掩码率大于所述第二掩码率。

16、可选的，在本发明第一方面的第四种实现方式中，所述视觉编码器用于对所述掩码图像中的可见区域进行编码处理，所述解码器用于根据所述视觉编码器的输出和所述掩码图像中被遮盖区域的掩码令牌，重建被遮盖区域的原始像素。

17、本发明第二方面提供一种游戏视觉模型构建方法，所述游戏视觉模型构建方法包括：

18、基于无标签的多个游戏画面图像，采用上述任一项所述的视觉编码器构建方法进行训练，得到训练好的视觉编码器；

19、构建用于处理游戏画面图像的基础模型，所述基础模型包括训练好的视觉编码器以及与游戏画面处理任务对应的任务头；

20、基于有标签的多个游戏画面图像，对所述基础模型进行微调训练，得到训练好的游戏视觉模型。

21、本发明第三方面提供一种游戏画面处理方法，所述游戏画面处理方法包括：

22、接收游戏画面处理任务，所述游戏画面处理任务包括目标检测任务、图像分类任务或事件识别任务；

23、基于所述游戏画面处理任务，确定待调用的游戏视觉模型，所述游戏视觉模型采用如上所述的游戏视觉模型构建方法得到；

24、获取待处理的游戏画面图像；

25、调用所述游戏视觉模型对所述游戏画面图像进行处理，输出任务处理结果。

26、本发明第四方面提供一种视觉编码器构建装置，所述视觉编码器构建装置包括：

27、获取模块，用于获取无标签的多个游戏画面图像；

28、划分模块，用于分别对各所述游戏画面图像进行内容区域划分，得到各所述游戏画面图像对应的游戏场景区域和人机交互区域；

29、掩码模块，用于对所述游戏场景区域和所述人机交互区域进行非对称掩码处理，得到所述游戏画面图像对应的掩码图像；

30、重建模块，用于将所述掩码图像输入待训练的视觉编码器和解码器进行被遮盖区域的原始像素重建，得到重建图像；

31、更新模型，用于计算所述重建图像与所述游戏画面图像之间的损失值并更新所述视觉编码器和所述解码器的参数，直至训练完成，得到训练好的视觉编码器。

32、本发明第五方面提供一种计算机设备，所述计算机设备包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述计算机设备执行如上述任一项所述的视觉编码器构建方法，或者执行如上所述的游戏视觉模型构建方法，或者执行如上所述的游戏画面处理方法。

33、本发明第六方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现如上述任一项所述的视觉编码器构建方法，或者实现如上所述的游戏视觉模型构建方法，或者实现如上所述的游戏画面处理方法。

34、本发明实施例提供一种编码器与模型构建方法、游戏画面处理方法及装置，编码器构建方法包括：先获取无标签的多个游戏画面图像作为训练数据集；然后对各训练数据进行掩码处理，考虑到游戏画面通常由信息密集的动态游戏场景元素和相对静态、结构固定的人机交互界面元素构成，因此先将各游戏画面图像划分为游戏场景区域和人机交互区域，然后对游戏场景区域和人机交互区域进行非对称掩码处理，得到不同区域不同掩码率的掩码图像；最后再将掩码图像输入待训练视觉编码器和解码器进行被遮盖区域的原始像素重建，得到重建图像；通过计算重建图像与游戏画面图像之间的损失值，更新视觉编码器和解码器的参数，从而得到可以用于对游戏画面图像进行编码的视觉编码器。本发明采用非对称掩码策略可以将模型的学习重心引导至信息密集的游戏场景区域，极大提高了模型训练效率和模型性能。同时利用海量无标签数据进行预训练，极大降低了对人工标注数据的依赖。

1.一种视觉编码器构建方法，其特征在于，所述视觉编码器构建方法包括：

2.根据权利要求1所述的视觉编码器构建方法，其特征在于，所述分别对各所述游戏画面图像进行内容区域划分，得到各所述游戏画面图像对应的游戏场景区域和人机交互区域包括：

3.根据权利要求1所述的视觉编码器构建方法，其特征在于，所述分别对各所述游戏画面图像进行内容区域划分，得到各所述游戏画面图像对应的游戏场景区域和人机交互区域还包括：

4.根据权利要求1所述的视觉编码器构建方法，其特征在于，所述游戏场景区域采用第一掩码率进行掩码处理，所述人机交互区域采用第二掩码率进行掩码处理，所述第一掩码率大于所述第二掩码率。

5.根据权利要求1-4中任一项所述的视觉编码器构建方法，其特征在于，所述视觉编码器用于对所述掩码图像中的可见区域进行编码处理，所述解码器用于根据所述视觉编码器的输出和所述掩码图像中被遮盖区域的掩码令牌，重建被遮盖区域的原始像素。

6.一种游戏视觉模型构建方法，其特征在于，所述游戏视觉模型构建方法包括：

7.一种游戏画面处理方法，其特征在于，所述游戏画面处理方法包括：

8.一种视觉编码器构建装置，其特征在于，所述视觉编码器构建装置包括：

9.一种计算机设备，其特征在于，所述计算机设备包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述计算机设备执行如权利要求1-5中任一项所述的视觉编码器构建方法，或者执行如权利要求6所述的游戏视觉模型构建方法，或者执行如权利要求7所述的游戏画面处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-5中任一项所述的视觉编码器构建方法，或者实现如权利要求6所述的游戏视觉模型构建方法，或者实现如权利要求7所述的游戏画面处理方法。