一种游戏画风搜索网络的训练、游戏搜索方法及相关设备与流程

1.本发明涉及计算机视觉的技术领域，尤其涉及一种游戏画风搜索网络的训练、游戏搜索方法及相关设备。


背景技术：

2.游戏是用户休闲娱乐常用的应用之一，各个游戏厂商在不同时期针对不同的平台发行游戏，因而累积的游戏的数量众多。
3.用户对不同游戏的偏好有所不同，如果用户想要搜索自己喜欢的游戏，其中一种方式是在游戏网站中使用游戏网站划分的索引，可以是诸如“经典”、“爆款”、“近期可玩”等语义，也可以是诸如“3d”、“卡通”等游戏特征，另外一种方式是在通用的搜索引擎中使用关键词搜索游戏。
4.但是，用户对于游戏的搜索本身具有泛需求的性质，往往不带有很强的目的性，是带有一定扩展性，导致应用上述方式搜索时的精确度较低。
5.此时，用户往往是逐个翻阅搜索结果，寻找自己喜欢的游戏，使得搜索操作的效率较低。


技术实现要素：

6.本发明提供了一种游戏画风搜索网络的训练、游戏搜索方法及相关设备，以解决如何提高游戏搜索的精确度。
7.根据本发明的一方面，提供了一种游戏画风搜索网络的训练方法，包括：
8.加载图像搜索网络；
9.针对多款游戏，分别获取作为所述游戏中画风代表的图像数据；
10.在所述图像数据中检测人像数据；
11.以所述人像数据作为样本将所述图像搜索网络训练为人像画风搜索网络，所述人像画风搜索网络用于提取所述人像数据在画风上的特征；
12.以所述图像数据作为样本将所述图像搜索网络训练为全域画风搜索网络，所述全域画风搜索网络用于提取所述图像数据在画风上的特征；
13.将所述人像画风搜索网络与所述全域画风搜索网络联合输出为游戏画风搜索网络。
14.根据本发明的另一方面，提供了一种游戏搜索方法，包括：
15.加载游戏画风搜索网络，所述游戏画风搜索网络包括人像画风搜索网络与全域画风搜索网络；
16.接收来源于原始游戏的原始图像数据；
17.在所述原始图像数据中检测原始人像数据；
18.若检测到存在原始人像数据，则将所述原始人像数据输入所述人像画风搜索网络中提取表征画风的原始人像画风特征；
19.根据所述原始人像画风特征搜索与所述原始游戏在画风上相似的目标游戏；
20.若未检测到存在原始人像数据，则将所述原始图像数据输入所述全域画风搜索网络中提取表征画风的原始全域画风特征；
21.根据所述原始全域画风特征搜索与所述原始游戏在画风上相似的目标游戏。
22.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
23.至少一个处理器；以及
24.与所述至少一个处理器通信连接的存储器；其中，
25.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的游戏画风搜索网络的训练方法或者游戏搜索方法。
26.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现本发明任一实施例所述的游戏画风搜索网络的训练方法或者游戏搜索方法。
27.在本实施例中，加载图像搜索网络；针对多款游戏，分别获取作为游戏中画风代表的图像数据；在图像数据中检测人像数据；以人像数据作为样本将图像搜索网络训练为人像画风搜索网络，人像画风搜索网络用于提取人像数据在画风上的特征；以图像数据作为样本将图像搜索网络训练为全域画风搜索网络，全域画风搜索网络用于提取图像数据在画风上的特征；将人像画风搜索网络与全域画风搜索网络联合输出为游戏画风搜索网络。本实施例复用同一结构的图像搜索网络训练人像画风搜索网络与全域画风搜索网络，使得人像数据、整帧图像数据在画风上的特征的统一，划分出两个层级的特征，为两个层级的游戏画风搜索提供基础，进而实现搜索画风相似的游戏，给予游戏搜索更多的扩展性，提高搜索游戏时的精确度，那么，用户大多数情况下可以在搜索结果中直观浏览游戏、寻找自己喜欢的游戏，从而提高搜索操作的效率。
28.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
29.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1是根据本发明实施例一提供的一种游戏画风搜索网络的训练方法的流程图；
31.图2是根据本发明实施例一提供的一种训练人像画风画风搜索网络的流程示意图；
32.图3是根据本发明实施例一提供的一种训练全域画风画风搜索网络的流程示意图；
33.图4是根据本发明实施例二提供的一种游戏搜索方法的流程图；
34.图5是根据本发明实施例二提供的一种搜索游戏的示例图；
35.图6是根据本发明实施例三提供的一种游戏画风搜索网络的训练装置的结构示意
图；
36.图7是根据本发明实施例四提供的一种搜索游戏装置的结构示意图；
37.图8是实现本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
38.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
39.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“原始”、“候选”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
40.实施例一
41.图1为本发明实施例一提供的一种游戏画风搜索网络的训练方法的流程图，本实施例可适用于针对游戏训练搜索画风的游戏画风搜索网络的情况，该方法可以由游戏画风搜索网络的训练装置来执行，该游戏画风搜索网络的训练装置可以采用硬件和/或软件的形式实现，该游戏画风搜索网络的训练装置可配置于电子设备中。如图1所示，该方法包括：
42.步骤101、加载图像搜索网络。
43.在本实施例中，可以预先针对游戏构建图像搜索网络，该图像搜索网络用于提取图像数据的特征，同一结构的图像搜索网络可以被复用训练为提取游戏中人像数据在画风上的特征、及提取游戏中整帧图像数据在画风上的特征。
44.进一步而言，图像搜索网络的结构不局限于人工设计的神经网络，也可以通过模型量化方法优化的神经网络，通过nas(neural architecture search，神经网络结构搜索)方法针对画风特性搜索的神经网络，等等，本实施例对此不加以限制。
45.步骤102、针对多款游戏，分别获取作为游戏中画风代表的图像数据。
46.在本实施例中，可以持续地筛选出多款针对不同平台(如android(安卓)、ios、windows、专业游戏机等)已发行的游戏，等待将这些游戏录入数据库中、提供搜索使用。
47.其中，这些游戏的类型可以包括moba(multiplayer online battle arena，多人在线战术竞技游戏)、rpg(role-playing game，角色扮演游戏)、slg(simulation game，策略类游戏)，等等，本实施例对此不加以限制。
48.一般情况下，游戏是固定的团队进行制作，游戏的画面基本上都是团队中的制作人员(尤其为美术人员)绘制或建模得到，所以游戏的画风在很大程度上就是指的游戏创作者的作画风格，使得游戏在画面上具有较为统一的画风，即，构建游戏画面的风格，指画画的笔法与构图，针对相同的场景，不同团队可能会使用不同的风格表现出来，将其理解用艺
术手段突显在画面上，留给人不同的感受，因而游戏在画面上具有较为独特的画风。
49.针对每款游戏，可以使用人工截图、对内容为游戏的视频数据学习摘要等方式获取其画风代表的多帧图像数据。
50.在一种方式中，某些应用分发平台(对于游戏部分有可称为游戏库)在发布游戏时要求制作者上传多帧介绍游戏的图像数据，为了在有限的页面中介绍游戏，游戏的制作者往往会上传体现游戏内容、画风的图像数据。
51.那么，在本方式中，可以在指定的游戏库中搜索多款游戏，若搜索到游戏时，查找游戏库中发布的、用于介绍游戏的图像数据，作为游戏中的画风代表，游戏制作者对于游戏的熟悉程度高，其选择介绍游戏的图像数据往往是游戏画风的代表，通过复用游戏库中介绍游戏的图像数据作为游戏画风的代表，不仅保证了采集画风代表的准确性，而且降低采集游戏中画风代表的图像数据的工作量。
52.步骤103、在图像数据中检测人像数据。
53.在具体实现中，体现画风的细节包括人物设计(包括外貌体形(如人物鼻子、眼睛、耳朵、肌肉、头发的线条处理)、服装、发型)、背景布局等方面的作画风格。
54.一般情况下，游戏中的人像数据包括头部、服饰等部分，可以体现出人物设计，因此，在本实施例中，可以通过人脸定位、目标检测算法等方式在每帧图像数据中检测是否存在的人像数据，如果存在人像数据，则从该帧图像数据中截取该人像数据。
55.在具体实现中，可以对图像数据进行人脸检测，从而在图像数据中识别人脸数据。
56.其中，人脸检测也称为人脸关键点检测、定位或者人脸对齐，是指给定人脸数据，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等等。
57.进一步而言，人脸检测包括如下至少一种方法：
58.1、利用人工提取特征，如haar特征，使用特征训练分类器，使用分类器进行人脸检测。
59.2、从通用的目标检测算法中继承人脸检测，例如，利用faster r-cnn来检测人脸。
60.3、使用级联结构的卷积神经网络，例如，cascade cnn(级联卷积神经网络)，mtcnn(multi-task cascaded convolutional networks，多任务卷积神经网络)。
61.考虑到简单标记人脸数据即可满足提取人像数据，因而人脸检测的算法的要求较低，允许存在噪音，可使用mtcnn等通用的卷积神经网络进行人脸检测。
62.若识别到人脸数据，则在图像数据中向四周对人脸数据进行扩展，得到人像数据。
63.若未识别到人脸数据，则确定在图像数据中未检测到人像数据。
64.在一种扩展方式中，可以查询人脸数据的宽witch、高high。
65.对宽乘以第一系数，得到第一步长。
66.对高乘以第二系数，得到第二步长。
67.对高乘以第三系数，得到第三步长，其中，第三系数大于第二系数。
68.一般情况下，第一系数、第二系数与第三系数可以为默认的经验值，而考虑到对于不同类型的游戏，其设计人像数据的情况也有所不同，可能倾向写实、也可能倾向q版，因而可以根据游戏的类型去制定第一系数、第二系数与第三系数，本实施例对此不加以限制。
69.那么，在图像数据中，沿水平方向(包括水平向左方向、水平向右方向)对人脸数据扩展第一步长、沿垂直向上方向对人脸数据扩展第二步长、沿垂直向下方向对人脸数据扩
展第三步长，得到人像数据。
70.在本方式中，基于人脸数据大体定位人像数据，在满足训练图像搜索网络的要求的情况下，简化了截取人像数据的操作，从而提高了截取人像数据的效率。
71.步骤104、以人像数据作为样本将图像搜索网络训练为人像画风搜索网络。
72.在本实施例中，以人像数据作为训练的样本，对图像搜索网络进行训练，在训练完成时记为人像画风搜索网络，使得人像画风搜索网络用于提取人像数据在画风上的特征。
73.在本发明的一个实施例中，步骤104可以包括如下步骤：
74.步骤1041、将人像数据输入图像搜索网络中提取画风上的特征，获得人像画风特征。
75.在本实施例中，将人像数据输入图像搜索网络中，图像搜索网络按照自身的结构逻辑对人像数据进行处理，从人像数据中提取画风上的特征，记为人像画风特征。
76.在具体实现中，图像搜索网络可以为任一可提取图像数据的特征的网络，尤其为卷积神经网络(convolutional neural networks，cnn)，因而不同图像搜索网络提取特征的过程有所不同。
77.在一种结构中，图像搜索网络包含第一残差网络、第二残差网络、第三残差网络与第四残差网络，其中，第一残差网络、第二残差网络、第三残差网络与第四残差网络均属于不同深度(即层layer不同)的残差网络resnet，不同深度的残差网络resnet由基本残差块堆叠而成。
78.其中，某些深度的基本残差块记为basicblock(基本块)，包含2次卷积；某些深度的基本残差块记为bottleneck(瓶颈层)，包含3次卷积。
79.残差网络相比于一般的卷积神经网络，多了一条捷径分支，那么，原有的结构称之为主分支，捷径分支使得残差网络在反向传播时，损失可以通过这条捷径将梯度直接传向更前的网络，从而减缓了网络退化的问题。
80.以bottleneck为例，第一残差网络的结构为其表示第一残差网络依次分布3个相同的结构，在每个结构中依次分布3个卷积层，第一个卷积层的卷积核是1
×
1，输出的通道数是64，第二个卷积层的卷积核是3
×
3，对特征进行降维操作，输出的通道数是64，第三个卷积层的卷积核是1
×
1，对特征进行升维操作，输出的通道数是256，这样就可以使该结构中间的3
×
3卷积层的输入和输出的通道数都较小，提高效率，并且，先降后升为了主分支上输出的特征矩阵和捷径分支上输出的特征的矩阵形状相同，以便进行加法操作，此后，将输入该结构的特征与该结构输出的特征相加(即特征在相同位置上的数字进行相加)为新的特征。
81.第二残差网络的结构为第三残差网络的结构为第四残差网络的结构为
82.在某些情况下，将人像数据输入图像搜索网络中会执行预处理，其中包括依次执
行卷积操作、批标准化操作(batch normalization，bn)、最大化池操作，等等。
83.如果将每一个残差网络的处理过程称之为一个阶段stage，那么，如图2所示，图像搜索网络提取人像被划分为四个阶段，分别为：
84.1、第一阶段(stage 1)
85.在第一阶段中，将人像数据输入第一残差网络中提取特征并对第一残差网络提取的特征进行下采样，得到第一人像候选特征。
86.2、第二阶段(stage 2)
87.在第二阶段中，将第一人像候选特征输入第二残差网络中提取并对第二残差网络提取的特征进行下采样，得到第二人像候选特征。
88.在第一阶段、第二阶段中，对特征进行下采样，可增强特征的变换不变性，减少特征参数防止过拟合，具体表现为特征的尺寸逐渐缩小，通道数逐渐增加。
89.3、第三阶段(stage 3)
90.在第三阶段中，将第二人像候选特征输入第三残差网络中提取特征，得到第三人像候选特征。
91.4、第四阶段(stage 4)
92.在第四阶段中，将第三人像候选特征输入第四残差网络中提取特征，得到人像画风特征。
93.在第三阶段、第四阶段中，忽略下采样，可以提供更丰富的特征。
94.本实施例通过第一阶段、第二阶段、第三阶段、第四阶段对图像数据提取特征，可以提取图像数据中高层次的特征。
95.当然，上述图像搜索网络的结构只是作为示例，在实施本实施例时，可以根据实际情况设置其它图像搜索网络的结构，本实施例对此不加以限制。另外，除了上述图像搜索网络的结构外，本领域技术人员还可以根据实际需要采用其它判断处理方法，本实施例对此也不加以限制。
96.步骤1042、计算人像画风特征在多个通道上依据画风进行分类时的第一人像损失值。
97.在本实施例中，提供了两个分支训练图像搜索网络，其中一个分支为训练图像搜索网络的主干，另外一个分支辅助训练图像搜索网络。
98.在作为主干的分支中，综合计算图像搜索网络提取人像画风特征在多个颜色的通道上依据画风对人像数据进行分类(即将画风相同或相似的人像数据划分至同一类别)时的损失，记为第一人像损失值。
99.在本发明的一个实施例中，步骤1042进一步可以包括如下步骤：
100.10421、分别对人像画风特征在多个通道上的子块执行带池化的全局描述处理，得到第一人像通道特征。
101.在本实施例中，如图2所示，可以按照通道将人像画风特征拆分为多个(n个)子块，针对每个子块，依次在该通道上执行带池化(即池化操作)的全局描述处理(global descriptor，gd)，得到第一人像通道特征，即，第一人像通道特征为某个通道上全局的特征。
102.其中，池化操作包括如下的至少一种：
103.和池化操作spoc pooling、最大池化操作max pooling、和广义平均池化操作gem pooling。
104.在具体实现中，全局描述操作表示如下：
[0105][0106]
f＝{f1…
fc…
fc}
t
[0107]
其中，设人像画风特征为c
×h×
w，c为通道的数量，h为高，w为宽，fc为通道c(c∈c)输出的第一人像通道特征，xc为每一个通道的子块(h
×
w)，pc表示池化操作。
[0108]
10422、分别对每个第一人像通道特征执行全连接操作，以降维为第二人像通道特征。
[0109]
10423、分别对每个第二人像通道特征执行第二范数的归一化处理，得到第三人像通道特征。
[0110]
如图2所示，对于每一个通道输出的特征(即第一人像通道特征)，可依次执行全连接层(fully connected layers，fc)的全连接操作进行降维、并对降维后的特征(即第二人像通道特征)执行l2(第二范数)的归一化处理，此过程可表述为：
[0111][0112]
其中，ai表示第i个池化操作，为第三人像通道特征，f为第一人像通道特征，w为全连接层的参数。
[0113]
10424、将第三人像通道特征执行串联操作，得到第一人像全局特征。
[0114]
10425、对第一人像全局特征执行第二范数的归一化处理，得到第二人像全局特征。
[0115]
在本实施例中，如图2所示，可以通过concatenated等方式将各个通道的第三人像通道特征进行串联，得到第一人像全局特征，并对第一人像全局特征执行l2的归一化操作，得到第二人像全局特征，即，第二人像全局特征为所有通道上全局的特征，表示如下：
[0116][0117]
其中，ai表示第i个池化操作，为第三人像通道特征，为第二人像全局特征。
[0118]
10426、使用第二人像全局特征计算用于分类的加性角度间隔的损失，获得第一人像损失值。
[0119]
在本实施例中，如图2所示，将第二人像全局特征代入加性角度间隔损失函数(additive angular margin loss，arcface loss)中，计算用于分类的加性角度间隔的损失，记为第一人像损失值。
[0120]
在arcface中，对第二人像全局特征中的向量和权重归一化，对向量和权重之间的角度θ加上角度间隔m，以加法的方式惩罚深度的特征与其相应权重之间的角度，即arcface直接在角度空间θ中最大化分类界限，从而增强了人像数据在类内紧度和类间差异，所谓惩罚，是指训练时加上m就会使θ降低，角度间隔比余弦间隔在对角度的影响更加直接，因而几
何上有恒定的线性角度margin。
[0121]
步骤1043、计算人像画风特征在单个通道上依据画风进行分类时的第二人像损失值。
[0122]
在作为辅助的分支中，复用作为主干的分支中的部分结果(即单个通道上输出的特征)，计算图像搜索网络提取人像画风特征在单个颜色的通道上依据画风对人像数据进行分类(即将画风相同或相似的人像数据划分至同一类别)时的损失，记为第二人像损失值。
[0123]
在具体实现中，如图2所示，可以提取作为主干的分支中在首个颜色的通道上输出的首个第一人像通道特征，对首个第一人像通道特征执行批标准化操作(bn)，得到为第四人像通道特征。
[0124]
将第四人像通道特征输入全连接层(fc)中，对第四人像通道特征执行全连接操作，以映射为第五人像通道特征。
[0125]
将第五人像通道特征代入softmax等激活函数中，对第五人像通道特征进行激活，获得第六人像通道特征。
[0126]
将第六人像通道特征代入加性角度间隔损失函数(arcface loss)中，使用第六人像通道特征计算用于分类的加性角度间隔的损失，获得第二人像损失值。
[0127]
在本实施例中，将训练分支与训练图像搜索网络的两步合二为一，分支让图像搜索网络更好地描述人像数据在类别之间的距离，使训练更加快速和稳定。
[0128]
此外，为了防止过拟合，学到更好的图像数据的特征，在作为辅助的分支中可加入标签平滑和温度调整等措施，本实施例对此不加以限制。
[0129]
步骤1044、结合第一人像损失值与第二人像损失值更新图像搜索网络的参数。
[0130]
在本实施例中，可以综合参考第一人像损失值与第二人像损失值对图像搜索网络进行反向传播，更新图像搜索网络的参数。
[0131]
在本具体实现中，可以通过线性或非线性的方式将第一人像损失值与第二人像损失值融合为人像总损失值。
[0132]
其中，对于线性的方式，考虑到主干与辅助的作用差异，第一人像损失值的权重可高于第二人像损失值的权重。
[0133]
对图像搜索网络及作为主干的分支、作为辅助的分支进行反向传播，将人像总损失值代入sgd(stochastic gradient descent，随机梯度下降)、adam(adaptive momentum，自适应动量)等优化算法中，分别对图像搜索网络及作为主干的分支、作为辅助的分支计算梯度，从而按照该梯度分别更新图像搜索网络的参数及作为主干的分支的参数、作为辅助的分支的参数。
[0134]
在本实施例中，作为主干的分支、作为辅助的分支涉及的操作较为简单，不会给图像搜索网络增添过大规模的结构进行训练，也不修改图像搜索网络原有的结构，此外，对各分枝分别控制和调参，在逻辑上的修改较少，可以很好地融入图像搜索网络，从而提高训练图像搜索网络的效率。
[0135]
步骤1045、判断是否满足预设的第一训练条件；若是，则执行步骤1046，若否，则返回执行步骤1041。
[0136]
步骤1046、将图像搜索网络的参数输出至第一配置文件中。
[0137]
本实施例中，可以预先设置第一训练条件，作为停止使用人像数据训练图像搜索网络的条件，例如，迭代训练的次数达到某个阈值，人像总损失值连续多次的变化幅度小于某个阈值，人像总损失值小于某个阈值，等等，在每轮迭代训练中，判断当前迭代训练时记录的数据是否满足第一训练条件。
[0138]
如果满足第一训练条件，则可以认为使用人像数据训练图像搜索网络完成，此时，将图像搜索网络记为人像画风搜索网络，输出人像画风搜索网络中的参数，并持久化至第一配置文件config中。
[0139]
如果未满足第一训练条件，则可以进入下一轮迭代训练，重新执行步骤步骤1041-步骤1045，如此循环迭代训练，直至使用人像数据将图像搜索网络为人像画风搜索网络。
[0140]
步骤105、以图像数据作为样本将图像搜索网络训练为全域画风搜索网络。
[0141]
除了作画的细节之外，游戏的画风还包括游戏在整体画面上的风格，例如，整体色彩风格、色调风格、光线风格、画面整体风格(画面的空间感、层次感)，等等。
[0142]
在本实施例中，以整帧图像数据作为训练的样本，对图像搜索网络进行训练，在训练完成时记为全域画风搜索网络，使得全域画风搜索网络用于提取图像数据在画风上的特征。
[0143]
进一步而言，整帧图像数据可能包含人像数据，也可能未包含人像数据，本实施例对此不加以限制。
[0144]
在本发明的一个实施例中，步骤105可以包括如下步骤：
[0145]
步骤1051、将图像数据输入图像搜索网络中提取画风上的特征，获得全域画风特征。
[0146]
在本实施例中，将整帧图像数据输入图像搜索网络中，图像搜索网络按照自身的结构逻辑对整帧图像数据进行处理，从整帧图像数据中提取画风上的特征，记为全域画风特征。
[0147]
在一种结构中，图像搜索网络包含第一残差网络、第二残差网络、第三残差网络与第四残差网络。
[0148]
如果将每一个残差网络的处理过程称之为一个阶段stage，那么，如图3所示，图像搜索网络提取人像被划分为四个阶段，分别为：
[0149]
1、第一阶段(stage 1)
[0150]
在第一阶段中，将图像数据输入第一残差网络中提取特征并对第一残差网络提取的特征进行下采样，得到第一全域候选特征。
[0151]
2、第二阶段(stage 2)
[0152]
在第二阶段中，将第一全域候选特征输入第二残差网络中提取并对第二残差网络提取的特征进行下采样，得到第二全域候选特征。
[0153]
3、第三阶段(stage 3)
[0154]
在第三阶段中，将第二全域候选特征输入第三残差网络中提取特征，得到第三全域候选特征。
[0155]
4、第四阶段(stage 4)
[0156]
在第四阶段中，将第三全域候选特征输入第四残差网络中提取特征，得到全域画风特征。
[0157]
步骤1052、对人像数据进行聚类，得到图像数据的类别。
[0158]
在本实施例中，k-means、层次聚类、密度聚类等方式对人像数据进行聚类，将人像数据的类别赋予为图像数据的类别，从而执行半监督训练。
[0159]
步骤1053、以类别作为标签，计算全域画风特征在多个通道上依据画风进行分类时的第一全域损失值。
[0160]
在本实施例中，提供了两个分支训练图像搜索网络，其中一个分支为训练图像搜索网络的主干，另外一个分支辅助训练图像搜索网络。
[0161]
在作为主干的分支中，综合计算图像搜索网络提取全域画风特征在多个颜色的通道上依据画风对整帧图像数据进行分类(即将画风相同或相似的图像数据划分至同一类别)时的损失，记为第一全域损失值。
[0162]
在具体实现中，如图3所示，分别对全域画风特征在多个通道上的子块执行带池化的全局描述处理(gd)，得到第一全域通道特征；分别对每个第一全域通道特征执行全连接操作(fc)，以降维为第二全域通道特征；分别对每个第二全域通道特征执行第二范数(l2)的归一化处理，得到第三全域通道特征；将所有第三全域通道特征执行串联操作(concatenated)，得到第一全域全局特征；对第一全域全局特征执行第二范数(l2)的归一化处理，得到第二全域全局特征。
[0163]
以类别作为标签(tag/label)，使用第二全域全局特征计算用于分类的交叉熵，获得第一全域损失值。
[0164]
进一步而言，将类别、第二全域全局特征代入交叉熵损失函数(cross entropy loss，ce loss)计算用于分类的交叉熵，获得第一全域损失值。
[0165]
其中，交叉熵是对由于实际输出的可能性与预测的可能性之间区别而产生不匹配，而产生的输出不确定性的一个指标。
[0166]
示例性地，交叉熵损失函数如下：
[0167]
loss＝∑-y
·
ln(x)
[0168]
其中，y为标签，图像数据实际归属当前类别时，y为1，图像数据并不归属当前类别时，y为0，x为预测图像数据归属的各个类别的概率。
[0169]
步骤1054、以类别作为标签，计算全域画风特征单个通道上依据画风进行分类时的第二全域损失值。
[0170]
在作为辅助的分支中，复用作为主干的分支中的部分结果(即单个通道上输出的特征)，计算图像搜索网络提取全域画风特征在单个颜色的通道上依据画风对整帧图像数据进行分类(即将画风相同或相似的图像数据划分至同一类别)时的损失，记为第二全域损失值。
[0171]
在具体实现中，如图3所示，对首个第一全域通道特征执行批标准化操作(bn)，得到为第四全域通道特征；对第四全域通道特征执行全连接操作(fc)，以映射为第五全域通道特征；使用softmax等函数对第五全域通道特征进行激活，获得第六全域通道特征；以类别作为标签，使用第六全域通道特征计算用于分类的交叉熵(ce loss)，获得第二全域损失值。
[0172]
步骤1055、结合第一全域损失值与第二全域损失值更新图像搜索网络的参数。
[0173]
在本实施例中，可以综合参考第一全域损失值与第二全域损失值对图像搜索网络
进行反向传播，更新图像搜索网络的参数。
[0174]
在本具体实现中，可以通过线性或非线性的方式将第一全域损失值与第二全域损失值融合为全域总损失值。
[0175]
其中，对于线性的方式，考虑到主干与辅助的作用差异，第一全域损失值的权重可高于第二全域损失值的权重。
[0176]
对图像搜索网络及作为主干的分支、作为辅助的分支进行反向传播，将人像总损失值代入sgd、adam等优化算法中，分别对图像搜索网络及作为主干的分支、作为辅助的分支计算梯度，从而按照该梯度分别更新图像搜索网络的参数及作为主干的分支的参数、作为辅助的分支的参数。
[0177]
步骤1056、判断是否满足预设的第二训练条件；若是，则执行步骤1057，若否，则返回执行步骤1051。
[0178]
步骤1057、将图像搜索网络的参数输出至第二配置文件中。
[0179]
本实施例中，可以预先设置第二训练条件，作为停止使用人像数据训练图像搜索网络的条件，例如，迭代训练的次数达到某个阈值，全域总损失值连续多次的变化幅度小于某个阈值，全域总损失值小于某个阈值，等等，在每轮迭代训练中，判断当前迭代训练时记录的数据是否满足第二训练条件。
[0180]
如果满足第二训练条件，则可以认为使用图像数据训练图像搜索网络完成，此时，将图像搜索网络记为全域画风搜索网络，输出全域画风搜索网络中的参数，并持久化至第二配置文件config中。
[0181]
如果未满足第二训练条件，则可以进入下一轮迭代训练，重新执行步骤步骤1051-步骤1056，如此循环迭代训练，直至使用图像数据将图像搜索网络为全域画风搜索网络。
[0182]
在本施例中，由于步骤105与步骤104在图像搜索网络的应用基本相似，所以描述的比较简单，相关之处参见步骤104的部分说明即可，本施例在此不加以详述。
[0183]
步骤106、将人像画风搜索网络与全域画风搜索网络联合输出为游戏画风搜索网络。
[0184]
在具体实现中，人像画风搜索网络与全域画风搜索网络可以异步训练，如果人像画风搜索网络与全域画风搜索网络均已训练完毕，可以将人像画风搜索网络与全域画风搜索网络联合输出，记为游戏画风搜索网络。
[0185]
进一步而言，人像画风搜索网络与全域画风搜索网络复用同一结构的图像搜索网络，在此基础上，人像画风搜索网络设置第一配置文件，第一配置文件中记录图像搜索网络实现提取人像数据在画风上的特征的参数，全域画风搜索设置第二配置文件，第二配置文件中记录图像搜索网络实现提取整帧图像数据在画风上的特征的参数。
[0186]
一般情况下，用户想要搜索画风相似的游戏，通常是在通用的搜索引擎上以游戏的名字、“画风”、“相似(或雷同、相近、类似等)”等作为关键词进行搜索，搜索的结果基本是其他用户在博客、论坛等公开的网站留下的一些记录，大多数情况下，并不能搜索到画风相似的游戏。
[0187]
如果用户使用搜索引擎的以图搜图的服务，提供游戏的图像数据，搜索到的结果基本是相同游戏的图像数据，大多数情况下，并不能搜索到画风相似的游戏。
[0188]
在本实施例中，加载图像搜索网络；针对多款游戏，分别获取作为游戏中画风代表
的图像数据；在图像数据中检测人像数据；以人像数据作为样本将图像搜索网络训练为人像画风搜索网络，人像画风搜索网络用于提取人像数据在画风上的特征；以图像数据作为样本将图像搜索网络训练为全域画风搜索网络，全域画风搜索网络用于提取图像数据在画风上的特征；将人像画风搜索网络与全域画风搜索网络联合输出为游戏画风搜索网络。本实施例复用同一结构的图像搜索网络训练人像画风搜索网络与全域画风搜索网络，使得人像数据、整帧图像数据在画风上的特征的统一，划分出两个层级的特征，为两个层级的游戏画风搜索提供基础，进而实现搜索画风相似的游戏，给予游戏搜索更多的扩展性，提高搜索游戏时的精确度，那么，用户大多数情况下可以在搜索结果中直观浏览游戏、寻找自己喜欢的游戏，从而提高搜索操作的效率。
[0189]
实施例二
[0190]
图4为本发明实施例一提供的一种游戏搜索方法的流程图，本实施例可适用于使用游戏画风搜索网络搜索画风相似的游戏的情况，该方法可以由游戏搜索装置来执行，该游戏搜索装置可以采用硬件和/或软件的形式实现，该游戏搜索装置可配置于电子设备中。如图4所示，该方法包括：
[0191]
步骤401、加载游戏画风搜索网络。
[0192]
在具体实现中，可以预先根据本发明实施例一的方法训练游戏画风搜索网络，其中，游戏画风搜索网络包括人像画风搜索网络与全域画风搜索网络，人像画风搜索网络用于提取人像数据在画风上的特征，全域画风搜索网络用于提取图像数据在画风上的特征。
[0193]
在应用游戏画风搜索网络进行搜索时，将人像画风搜索网络及其参数、全域画风搜索网络及其参数加载至内存进行运行。
[0194]
在具体实现中，如果人像画风搜索网络与全域画风搜索网络复用同一结构的图像搜索网络训练，那么，可以加载图像搜索网络，将图像搜索网络封装为一个主类，图像搜索网络通常以实例(即一个实例化的对象)的形式运行，在资源较为充足的情况下，可以为图像搜索网络生成两个实例。
[0195]
在图像搜索网络(其中一个实例)中加载第一配置文件，获得人像画风搜索网络，其中，第一配置文件中记录有以提取人像数据在画风上的特征为目标、训练图像搜索网络得到的参数。
[0196]
在图像搜索网络(另外一个实例)中加载第二配置文件，获得全域画风搜索网络，第二配置文件中记录有以提取整帧图像数据在画风上的特征为目标、训练图像搜索网络得到的参数。
[0197]
进一步而言，人像画风搜索网络与全域画风搜索网络复用同一结构的图像搜索网络训练，以实例等方式加载第一配置文件、第二配置文件，可以降低存储、内存等资源的占用。
[0198]
步骤402、接收来源于原始游戏的原始图像数据。
[0199]
在本实施例中，如图5所示，用户可以使用截图、拍照、搜索等方式采集某个原始游戏中的原始图像数据510，原始图像数据510可以为原始游戏画面中的一部分，也可以为原始游戏整个画面。
[0200]
一般情况下，图像搜索网络的结构、参数均较为庞大，占用的资源较多，通常部署在服务器，服务器可将生成对抗网络封装api(application programming interface，应用
程序编程接口)，面向内网或公网的用户提供游戏搜索服务。
[0201]
由于服务器所应用的业务场景有所不同，因此，提供游戏搜索服务的方式也有所不同，本实施例对此不加以限制。
[0202]
如果服务器为公网上游戏网站的业务服务器，则可以以垂直搜索引擎的形式面向公网的用户提供游戏搜索的功能。
[0203]
如果服务器为公网上搜索网站的业务服务器，则可以以通用的搜索引擎中的其中一个功能(如以图搜游戏等)的形式面向公网的用户提供游戏搜索的功能。
[0204]
如果服务器为内网中的业务服务器，则可以以产品检索的形式面向内网的用户提供游戏搜索的功能。
[0205]
那么，用户可以登录客户端，客户端调用该api接口将原始图像数据传输至服务器，向服务器发送搜索请求，请求搜索在画风上与原始游戏相似的其他游戏。
[0206]
步骤403、在原始图像数据中检测原始人像数据。
[0207]
在实际应用中，用户在玩游戏时，注意力多集中在游戏中的角色，其关注不同角色的人物设计，因而原始人像数据是画风的注意力所在，如图5所示，可以通过人脸定位、目标检测算法等方式在原始图像数据510中检测是否存在的原始人像数据511，如果存在原始人像数据511，则从原始图像数据510中截取原始人像数据511。
[0208]
在本发明的一个实施例中，步骤403可以包括如下步骤：
[0209]
在原始图像数据中识别人脸数据；
[0210]
若识别到人脸数据，则在原始图像数据中对原始人脸数据进行扩展，得到原始人像数据；
[0211]
若未识别到人脸数据，则确定在原始图像数据中未检测到原始人像数据。
[0212]
进一步而言，在扩展人脸数据时，可查询人脸数据的宽、高；
[0213]
对宽乘以第一系数，得到第一步长；
[0214]
对高乘以第二系数，得到第二步长；
[0215]
对高乘以第三系数，得到第三步长，其中，第三系数大于第二系数；
[0216]
在原始图像数据中，沿水平方向对人脸数据扩展第一步长、沿垂直向上方向对人脸数据扩展第二步长、沿垂直向下方向对人脸数据扩展第三步长，得到原始人像数据。
[0217]
步骤404、若检测到存在原始人像数据，则将原始人像数据输入人像画风搜索网络中提取表征画风的原始人像画风特征。
[0218]
在原始图像数据存在原始人像数据的情况下，将原始人像数据输入人像画风搜索网络中，人像画风搜索网络按照自身的结构逻辑对原始人像数据进行处理，从原始人像数据中提取画风上的特征，记为原始人像画风特征。
[0219]
在本发明的一个实施例中，人像画风搜索网络包含第一残差网络、第二残差网络、第三残差网络与第四残差网络；
[0220]
在本实施例中，步骤404可以包括如下步骤：
[0221]
将原始人像数据输入第一残差网络中提取特征并进行下采样，得到第一人像候选特征；
[0222]
将第一人像候选特征输入第二残差网络中提取并进行下采样，得到第二人像候选特征；
[0223]
将第二人像候选特征输入第三残差网络中提取特征，得到第三人像候选特征；
[0224]
将第三人像候选特征输入第四残差网络中提取特征，得到原始人像画风特征。
[0225]
步骤405、根据原始人像画风特征搜索与原始游戏在画风上相似的目标游戏。
[0226]
在本实施例中，如图5所示，可以预先将不同的游戏收录至游戏库520中，那么，可以依据原始人像画风特征搜索与原始游戏在画风(尤其在人像数据的画风)上相似的其他游戏，记为目标游戏。
[0227]
在具体实现中，如图5所示，可以从游戏库520中召回部分后全部预置的游戏，记为候选游戏521，其中，候选游戏521具有候选人像画风特征，候选人像画风特征为使用人像画风搜索网络从候选游戏中的候选人像数据提取的、表征画风的特征。
[0228]
使用余弦夹角等方式计算原始人像画风特征与候选人像画风特征之间的第一相似度，从而依据第一相似度筛选出多个候选游戏，作为与原始游戏在画风上相似的目标游戏522，将目标游戏522的信息(如名称、简介、用户评价、下载地址等)供用户浏览、筛选。
[0229]
一般情况下，可以按照第一相似度对候选游戏进行顺序排序，即，按照第一相似度自大到小依次对候选游戏进行排序，提取排序前n(n为正整数)的候选游戏，作为与原始游戏在画风上相似的目标游戏。
[0230]
当然，除了排序之外，还可以对候选游戏设置第一阈值(即相似度大于或等于第一阈值)等筛选目标游戏的条件，本实施例对此不加以限制。
[0231]
步骤406、若未检测到存在原始人像数据，则将原始图像数据输入全域画风搜索网络中提取表征画风的原始全域画风特征。
[0232]
在原始图像数据并不存在原始人像数据的情况下，将整帧原始图像数据输入全域画风搜索网络中，全域画风搜索网络按照自身的结构逻辑对整帧原始图像数据进行处理，从整帧原始图像数据中提取画风上的特征，记为原始全域画风特征。
[0233]
在本发明的一个实施例中，全域画风搜索网络包含第一残差网络、第二残差网络、第三残差网络与第四残差网络；
[0234]
在本实施例中，步骤405可以包括如下步骤：
[0235]
将原始图像数据输入第一残差网络中提取特征并进行下采样，得到第一全域候选特征；
[0236]
将第一全域候选特征输入第二残差网络中提取并进行下采样，得到第二全域候选特征；
[0237]
将第二全域候选特征输入第三残差网络中提取特征，得到第三全域候选特征；
[0238]
将第三全域候选特征输入第四残差网络中提取特征，得到原始全域画风特征。
[0239]
步骤407、根据原始全域画风特征搜索与原始游戏在画风上相似的目标游戏。
[0240]
在本实施例中，可以预先将不同的游戏收录至游戏库中，那么，可以依据原始全域画风特征搜索与原始游戏在画风(尤其在整帧图像数据的画风)上相似的其他游戏，记为目标游戏。
[0241]
在具体实现中，可以从游戏库中召回部分后全部预置的游戏，记为候选游戏，其中，候选游戏具有候选全域画风特征，候选全域画风特征为使用全域画风搜索网络从候选游戏中整帧的候选图像数据提取的、表征画风的特征。
[0242]
使用余弦夹角等方式计算原始全域画风特征与候选全域画风特征之间的第二相
似度，从而依据第二相似度筛选出多个候选游戏，作为与原始游戏在画风上相似的目标游戏。
[0243]
一般情况下，可以按照第二相似度对候选游戏进行顺序排序，即，按照第二相似度自大到小依次对候选游戏进行排序，提取排序前m(m为正整数)的候选游戏，作为与原始游戏在画风上相似的目标游戏。
[0244]
当然，除了排序之外，还可以对候选游戏设置第二阈值(即相似度大于或等于第二阈值)等筛选目标游戏的条件，本实施例对此不加以限制。
[0245]
在本施例中，由于人像数据、人像画风搜索网络、全域画风搜索网络与实施例一的应用基本相似，所以描述的比较简单，相关之处参见实施例一的部分说明即可，本施例在此不加以详述。
[0246]
在本实施例中，加载游戏画风搜索网络，游戏画风搜索网络包括人像画风搜索网络与全域画风搜索网络；接收来源于原始游戏的原始图像数据；在原始图像数据中检测原始人像数据；若检测到存在原始人像数据，则将原始人像数据输入人像画风搜索网络中提取表征画风的原始人像画风特征；根据原始人像画风特征搜索与原始游戏在画风上相似的目标游戏；若未检测到存在原始人像数据，则将原始图像数据输入全域画风搜索网络中提取表征画风的原始全域画风特征；根据原始全域画风特征搜索与原始游戏在画风上相似的目标游戏。本实施例划分出人像数据、整帧图像数据这两个层级在画风上的特征，进而在人像数据、整帧图像数据这两个层级上实现搜索画风相似的游戏，给予游戏搜索更多的扩展性，提高搜索游戏时的精确度，那么，用户大多数情况下可以在搜索结果中直观浏览游戏、寻找自己喜欢的游戏，从而提高搜索操作的效率。
[0247]
实施例三
[0248]
图6为本发明实施例四提供的一种游戏画风搜索网络的训练装置的结构示意图。如图6所示，该装置包括：
[0249]
图像搜索网络加载模块601，用于加载图像搜索网络；
[0250]
图像数据获取模块602，用于针对多款游戏，分别获取作为所述游戏中画风代表的图像数据；
[0251]
人像数据检测模块603，用于在所述图像数据中检测人像数据；
[0252]
人像画风搜索网络训练模块604，用于以所述人像数据作为样本将所述图像搜索网络训练为人像画风搜索网络，所述人像画风搜索网络用于提取所述人像数据在画风上的特征；
[0253]
全域画风搜索网络训练模块605，用于以所述图像数据作为样本将所述图像搜索网络训练为全域画风搜索网络，所述全域画风搜索网络用于提取所述图像数据在画风上的特征；
[0254]
游戏画风搜索网络输出模块606，用于将所述人像画风搜索网络与所述全域画风搜索网络联合输出为游戏画风搜索网络。
[0255]
在本发明的一个实施例中，所述图像数据获取模块602还用于：
[0256]
在指定的游戏库中搜索多款游戏；
[0257]
若搜索到所述游戏时，查找所述游戏库中发布的、用于介绍所述游戏的图像数据，作为所述游戏中的画风代表。
[0258]
在本发明的一个实施例中，所述人像数据检测模块603还用于：
[0259]
在所述图像数据中识别人脸数据；
[0260]
若识别到所述人脸数据，则在所述图像数据中对所述人脸数据进行扩展，得到人像数据；
[0261]
若未识别到所述人脸数据，则确定在所述图像数据中未检测到人像数据。
[0262]
在本发明的一个实施例中，所述人像数据检测模块603还用于：
[0263]
查询所述人脸数据的宽、高；
[0264]
对所述宽乘以第一系数，得到第一步长；
[0265]
对所述高乘以第二系数，得到第二步长；
[0266]
对所述高乘以第三系数，得到第三步长，其中，所述第三系数大于所述第二系数；
[0267]
在所述图像数据中，沿水平方向对所述人脸数据扩展所述第一步长、沿垂直向上方向对所述人脸数据扩展所述第二步长、沿垂直向下方向对所述人脸数据扩展所述第三步长，得到人像数据。
[0268]
在本发明的一个实施例中，所述人像画风搜索网络训练模块604还用于：
[0269]
将所述人像数据输入所述图像搜索网络中提取画风上的特征，获得人像画风特征；
[0270]
计算所述人像画风特征在多个通道上依据画风进行分类时的第一人像损失值；
[0271]
计算所述人像画风特征在单个所述通道上依据画风进行分类时的第二人像损失值；
[0272]
结合所述第一人像损失值与所述第二人像损失值更新所述图像搜索网络的参数；
[0273]
判断是否满足预设的第一训练条件；若是，则将所述图像搜索网络的参数输出至第一配置文件中，若否，则返回执行所述将所述人像数据输入所述图像搜索网络中提取画风上的特征，获得人像画风特征。
[0274]
在本发明的一个实施例中，所述图像搜索网络包含第一残差网络、第二残差网络、第三残差网络与第四残差网络；所述人像画风搜索网络训练模块604还用于：
[0275]
所述将所述人像数据输入所述图像搜索网络中提取画风上的特征，获得人像画风特征，包括：
[0276]
将所述人像数据输入所述第一残差网络中提取特征并进行下采样，得到第一人像候选特征；
[0277]
将所述第一人像候选特征输入所述第二残差网络中提取并进行下采样，得到第二人像候选特征；
[0278]
将所述第二人像候选特征输入所述第三残差网络中提取特征，得到第三人像候选特征；
[0279]
将所述第三人像候选特征输入所述第四残差网络中提取特征，得到人像画风特征。
[0280]
在本发明的一个实施例中，所述人像画风搜索网络训练模块604还用于：
[0281]
分别对所述人像画风特征在多个通道上的子块执行带池化的全局描述处理，得到第一人像通道特征；
[0282]
分别对每个所述第一人像通道特征执行全连接操作，以降维为第二人像通道特
征；
[0283]
分别对每个所述第二人像通道特征执行第二范数的归一化处理，得到第三人像通道特征；
[0284]
将所有所述第三人像通道特征执行串联操作，得到第一人像全局特征；
[0285]
对所述第一人像全局特征执行第二范数的归一化处理，得到第二人像全局特征；
[0286]
使用所述第二人像全局特征计算用于分类的加性角度间隔的损失，获得第一人像损失值。
[0287]
在本发明的一个实施例中，所述人像画风搜索网络训练模块604还用于：
[0288]
对首个所述第一人像通道特征执行批标准化操作，得到为第四人像通道特征；
[0289]
对所述第四人像通道特征执行全连接操作，以映射为第五人像通道特征；
[0290]
对所述第五人像通道特征进行激活，获得第六人像通道特征；
[0291]
使用所述第六人像通道特征计算用于分类的加性角度间隔的损失，获得第二人像损失值。
[0292]
在本发明的一个实施例中，所述全域画风搜索网络训练模块605还用于：
[0293]
将所述图像数据输入所述图像搜索网络中提取画风上的特征，获得全域画风特征；
[0294]
对所述人像数据进行聚类，得到所述图像数据的类别；
[0295]
以所述类别作为标签，计算所述全域画风特征在多个通道上依据画风进行分类时的第一全域损失值；
[0296]
以所述类别作为标签，计算所述全域画风特征单个所述通道上依据画风进行分类时的第二全域损失值；
[0297]
结合所述第一全域损失值与所述第二全域损失值更新所述图像搜索网络的参数；
[0298]
判断是否满足预设的第二训练条件；若是，则将所述图像搜索网络的参数输出至第二配置文件中，若否，则返回执行所述将所述全域数据输入所述图像搜索网络中提取画风上的特征，获得全域画风特征。
[0299]
在本发明的一个实施例中，所述图像搜索网络包含第一残差网络、第二残差网络、第三残差网络与第四残差网络；所述全域画风搜索网络训练模块605还用于：
[0300]
将所述图像数据输入所述第一残差网络中提取特征并进行下采样，得到第一全域候选特征；
[0301]
将所述第一全域候选特征输入所述第二残差网络中提取并进行下采样，得到第二全域候选特征；
[0302]
将所述第二全域候选特征输入所述第三残差网络中提取特征，得到第三全域候选特征；
[0303]
将所述第三全域候选特征输入所述第四残差网络中提取特征，得到全域画风特征。
[0304]
在本发明的一个实施例中，所述全域画风搜索网络训练模块605还用于：
[0305]
分别对所述全域画风特征在多个通道上的子块执行带池化的全局描述处理，得到第一全域通道特征；
[0306]
分别对每个所述第一全域通道特征执行全连接操作，以降维为第二全域通道特
征；
[0307]
分别对每个所述第二全域通道特征执行第二范数的归一化处理，得到第三全域通道特征；
[0308]
将所有所述第三全域通道特征执行串联操作，得到第一全域全局特征；
[0309]
对所述第一全域全局特征执行第二范数的归一化处理，得到第二全域全局特征；
[0310]
以所述类别作为标签，使用所述第二全域全局特征计算用于分类的交叉熵，获得第一全域损失值。
[0311]
在本发明的一个实施例中，所述全域画风搜索网络训练模块605还用于：
[0312]
对首个所述第一全域通道特征执行批标准化操作，得到为第四全域通道特征；
[0313]
对所述第四全域通道特征执行全连接操作，以映射为第五全域通道特征；
[0314]
对所述第五全域通道特征进行激活，获得第六全域通道特征；
[0315]
以所述类别作为标签，使用所述第六全域通道特征计算用于分类的交叉熵，获得第二全域损失值。
[0316]
本发明实施例所提供的游戏画风搜索网络的训练装置可执行本发明任意实施例所提供的游戏画风搜索网络的训练方法，具备执行游戏画风搜索网络的训练方法相应的功能模块和有益效果。
[0317]
实施例四
[0318]
图7为本发明实施例四提供的一种游戏搜索装置的结构示意图。如图7所示，该装置包括：
[0319]
游戏画风搜索网络加载模块701，用于加载游戏画风搜索网络，所述游戏画风搜索网络包括人像画风搜索网络与全域画风搜索网络；
[0320]
原始图像数据接收模块702，用于接收来源于原始游戏的原始图像数据；
[0321]
原始人像数据检测模块703，用于在所述原始图像数据中检测原始人像数据；
[0322]
原始人像画风特征提取模块704，用于若检测到存在原始人像数据，则将所述原始人像数据输入所述人像画风搜索网络中提取表征画风的原始人像画风特征；
[0323]
第一目标游戏搜索模块705，用于根据所述原始人像画风特征搜索与所述原始游戏在画风上相似的目标游戏；
[0324]
原始全域画风特征提取模块706，用于若未检测到存在原始人像数据，则将所述原始图像数据输入所述全域画风搜索网络中提取表征画风的原始全域画风特征；
[0325]
第二目标游戏搜索模块707，用于根据所述原始全域画风特征搜索与所述原始游戏在画风上相似的目标游戏。
[0326]
在本发明的一个实施例中，所述游戏画风搜索网络加载模块701还用于：
[0327]
加载图像搜索网络；
[0328]
在所述图像搜索网络中加载第一配置文件，获得人像画风搜索网络，所述第一配置文件中记录有以提取人像数据在画风上的特征为目标、训练所述图像搜索网络得到的参数；
[0329]
在所述图像搜索网络中加载第二配置文件，获得全域画风搜索网络，所述第二配置文件中记录有以提取整帧图像数据在画风上的特征为目标、训练所述图像搜索网络得到的参数。
[0330]
在本发明的一个实施例中，所述原始人像数据检测模块703还用于：
[0331]
在所述原始图像数据中识别人脸数据；
[0332]
若识别到所述人脸数据，则在所述原始图像数据中对所述原始人脸数据进行扩展，得到原始人像数据；
[0333]
若未识别到所述人脸数据，则确定在所述原始图像数据中未检测到原始人像数据。
[0334]
在本发明的一个实施例中，所述原始人像数据检测模块703还用于：
[0335]
查询所述人脸数据的宽、高；
[0336]
对所述宽乘以第一系数，得到第一步长；
[0337]
对所述高乘以第二系数，得到第二步长；
[0338]
对所述高乘以第三系数，得到第三步长，其中，所述第三系数大于所述第二系数；
[0339]
在所述原始图像数据中，沿水平方向对所述人脸数据扩展所述第一步长、沿垂直向上方向对所述人脸数据扩展所述第二步长、沿垂直向下方向对所述人脸数据扩展所述第三步长，得到原始人像数据。
[0340]
在本发明的一个实施例中，所述人像画风搜索网络包含第一残差网络、第二残差网络、第三残差网络与第四残差网络；所述原始人像画风特征提取模块704还用于：
[0341]
将所述原始人像数据输入所述第一残差网络中提取特征并进行下采样，得到第一人像候选特征；
[0342]
将所述第一人像候选特征输入所述第二残差网络中提取并进行下采样，得到第二人像候选特征；
[0343]
将所述第二人像候选特征输入所述第三残差网络中提取特征，得到第三人像候选特征；
[0344]
将所述第三人像候选特征输入所述第四残差网络中提取特征，得到原始人像画风特征。
[0345]
在本发明的一个实施例中，所述第一目标游戏搜索模块705还用于：
[0346]
召回预置的候选游戏，所述候选游戏具有候选人像画风特征，所述候选人像画风特征为使用所述人像画风搜索网络从所述候选游戏中的候选人像数据提取的、表征画风的特征；
[0347]
计算所述原始人像画风特征与所述候选人像画风特征之间的第一相似度；
[0348]
依据所述第一相似度筛选出多个所述候选游戏，作为与所述原始游戏在画风上相似的目标游戏。
[0349]
在本发明的一个实施例中，全域画风搜索网络包含第一残差网络、第二残差网络、第三残差网络与第四残差网络；所述原始全域画风特征提取模块706还用于：
[0350]
将所述原始图像数据输入所述第一残差网络中提取特征并进行下采样，得到第一全域候选特征；
[0351]
将所述第一全域候选特征输入所述第二残差网络中提取并进行下采样，得到第二全域候选特征；
[0352]
将所述第二全域候选特征输入所述第三残差网络中提取特征，得到第三全域候选特征；
[0353]
将所述第三全域候选特征输入所述第四残差网络中提取特征，得到原始全域画风特征。
[0354]
在本发明的一个实施例中，所述第二目标游戏搜索模块707还用于：
[0355]
召回预置的候选游戏，所述候选游戏具有候选全域画风特征，所述候选全域画风特征为使用所述全域画风搜索网络从所述候选游戏中整帧的候选图像数据提取的、表征画风的特征；
[0356]
计算所述原始全域画风特征与所述候选全域画风特征之间的第二相似度；
[0357]
依据所述第二相似度筛选出多个所述候选游戏，作为与所述原始游戏在画风上相似的目标游戏。
[0358]
本发明实施例所提供的游戏搜索装置可执行本发明任意实施例所提供的游戏搜索方法，具备执行游戏搜索方法相应的功能模块和有益效果。
[0359]
实施例五
[0360]
图8示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
[0361]
如图8所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
[0362]
电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0363]
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，如游戏画风搜索网络的训练方法或游戏搜索方法。
[0364]
在一些实施例中，游戏画风搜索网络的训练方法或游戏搜索方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的游戏画风搜索网络的训练方法或游戏搜索方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行游戏画风搜索网络的训
练方法或游戏搜索方法。
[0365]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0366]
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0367]
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0368]
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0369]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0370]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的
管理难度大，业务扩展性弱的缺陷。
[0371]
实施例六
[0372]
本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序在被处理器执行时实现如本发明任一实施例所提供的游戏画风搜索网络的训练方法或游戏搜索方法。
[0373]
计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c ，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0374]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0375]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。