数据处理方法、装置、存储介质和计算设备与流程

1.本公开的实施方式涉及计算机技术领域，更具体地，本公开的实施方式涉及一种数据处理方法、装置、存储介质和计算设备。


背景技术：

2.本部分旨在为说明书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.数据处理一般是指根据业务需求对数据进行一定业务逻辑的处理，例如对已有数据中相同或相似数据进行去重的处理。
4.以数据去重业务来说，相关技术中一般是基于数据维度进行去重的。例如，通过计算不同数据的数字摘要从而确定数据唯一对应的数据标识(如通过哈希算法计算数据唯一对应的哈希值)；由于不同数据对应的是不同的数据标识，因此可以利用出现过的数据标识对后续的数据进行去重，即当某个数据的数据标识已经存在，则说明该数据已存在，属于重复数据。
5.然而，在实际应用时如果在原有数据基础上进行修改哪怕是细微改动，也会导致数据的数据标识发生变化；虽然这样情况应当认定为重复数据，但由于数据标识不同所以难以识别这类相似数据，从而导致数据处理的准确性不高。


技术实现要素：

6.在本公开实施方式的第一方面中，提供了一种数据处理方法包括：
7.接收至少两个素材展示位分别对应的第一素材集合；
8.针对每个素材展示位对应的第一素材集合,根据所述第一素材集合中素材对应的素材类型和用户标识，对所述第一素材集合中相同用户标识的素材进行去重，得到包含去重后的素材的第二素材集合；
9.根据所述第二素材集合中素材对应的素材类型和用户标识，对所述第二素材集合之间相同用户标识的素材进行去重，得到每个素材展示位对应的待展示素材。
10.在本公开实施方式的第二方面中，提供了一种数据处理方法，应用于第一服务端，所述方法包括：
11.接收至少两个素材展示位分别对应的第一素材集合；
12.将每个素材展示位对应的第一素材集合发送给所述素材展示位对应的第二服务端；
13.获取每个第二服务端返回的对所述第一素材集合中相同用户标识的素材进行去重后的第二素材集合；
14.根据所述第二素材集合中素材对应的素材类型和用户标识，对所述第二素材集合之间相同用户标识的素材进行去重，得到每个素材展示位对应的待展示素材。
15.在本公开实施方式的第三方面中，提供了一种数据处理方法，应用于第二服务端，
所述第二服务端对应于至少两个素材展示位中的任一素材展示位，所述方法包括：
16.接收第一服务端发送的第一素材集合；其中，所述第一素材集合为所述第二服务端对应的素材展示位的素材集合；
17.根据所述第一素材集合中素材对应的素材类型和用户标识，对所述第一素材集合中相同用户标识的素材进行去重，得到包含去重后的素材的第二素材集合；
18.向所述第一服务端返回所述第二素材集合。
19.在本公开实施方式的第四方面中，提供了一种数据处理装置，所述装置包括：
20.接收单元，接收至少两个素材展示位分别对应的第一素材集合；
21.第一处理单元，针对每个素材展示位对应的第一素材集合,根据所述第一素材集合中素材对应的素材类型和用户标识，对所述第一素材集合中相同用户标识的素材进行去重，得到包含去重后的素材的第二素材集合；
22.第二处理单元，根据所述第二素材集合中素材对应的素材类型和用户标识，对所述第二素材集合之间相同用户标识的素材进行去重，得到每个素材展示位对应的待展示素材。
23.在本公开实施方式的第五方面中，提供了一种数据处理装置，应用于第一服务端，所述装置包括：
24.接收单元，接收至少两个素材展示位分别对应的第一素材集合；
25.发送单元，将每个素材展示位对应的第一素材集合发送给所述素材展示位对应的第二服务端；
26.获取单元，获取每个第二服务端返回的对所述第一素材集合中相同用户标识的素材进行去重后的第二素材集合；
27.处理单元，根据所述第二素材集合中素材对应的素材类型和用户标识，对所述第二素材集合之间相同用户标识的素材进行去重，得到每个素材展示位对应的待展示素材。
28.在本公开实施方式的第六方面中，提供了一种数据处理装置，应用于第二服务端，所述第二服务端对应于至少两个素材展示位中的任一素材展示位，所述装置包括：
29.接收单元，接收第一服务端发送的第一素材集合；其中，所述第一素材集合为所述第二服务端对应的素材展示位的素材集合；
30.处理单元，根据所述第一素材集合中素材对应的素材类型和用户标识，对所述第一素材集合中相同用户标识的素材进行去重，得到包含去重后的素材的第二素材集合；
31.返回单元，向所述第一服务端返回所述第二素材集合。
32.在本公开实施方式的第七方面中，提供了一种计算机可读存储介质，包括：
33.当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如前任一项所述的数据处理方法。
34.在本公开实施方式的第八方面中，提供了一种计算设备，包括：
35.处理器；
36.用于存储所述处理器可执行指令的存储器；
37.其中，所述处理器被配置为执行所述可执行指令，以实现如前任一项所述的数据处理方法。
38.根据本公开实施方式提供的数据处理方案，一方面，通过比较素材对应的素材类
型和用户标识从而识别同一用户上传的相似素材。另一方面，基于这样的处理方式先对每个素材展示位的第一素材集合内的素材进行第一次去重得到第二素材集合，再对不同素材展示位的第二素材集合之间的素材进行第二次去重，通过这样的两级去重处理可以避免相似素材在不同素材展示位中同时展示。
附图说明
39.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
40.图1示意性地示出了本公开提供的数据处理的系统示意图；
41.图2示意性地示出了本公开提供的需求方平台的系统示意图；
42.图3示意性地示出了本公开提供的数据处理方法示意图；
43.图4示意性地示出了本公开提供的素材展示位之间去重的流程示意图；
44.图5示意性地示出了本公开提供的以第一服务端为执行主体的方法示意图；
45.图6示意性地示出了本公开提供的以第二服务端为执行主体的方法示意图；
46.图7示意性地示出了本公开提供的介质示意图；
47.图8示意性地示出了本公开提供的数据处理装置示意图；
48.图9示意性地示出了本公开提供的数据处理装置示意图；
49.图10示意性地示出了本公开提供的数据处理装置示意图；
50.图11示意性地示出了本公开提供的计算设备示意图。
51.在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
52.下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
53.本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
54.根据本公开的实施方式，提出了一种数据处理方法、计算机可读存储介质、装置和计算设备。
55.在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
56.下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。
57.发明概述
58.在数据去重业务中一般是基于素材维度进行去重的。例如，通过计算不同素材的数字摘要从而确定素材唯一对应的素材标识(如通过哈希算法计算素材唯一对应的哈希值)；由于不同素材对应的是不同的素材标识，因此可以利用出现过的素材标识对后续的素
材进行去重，即当某个素材的素材标识已经存在，则说明该素材已存在，属于重复素材。
59.然而，在实际应用时如果在原有素材基础上进行修改哪怕是细微改动，也会导致素材的素材标识发送变化；虽然应当是认定为重复素材，但由于素材标识不同所以难以识别这类相似素材，从而导致数据处理的准确性不高。
60.为此，本说明书旨在提供一种提高准确性的数据处理方案，通过比较素材对应的素材类型和用户标识从而识别同一用户上传的相似素材。另外，基于这样的处理方式先对每个素材展示位的第一素材集合内的素材进行第一次去重得到第二素材集合，再对不同素材展示位的第二素材集合之间的素材进行第二次去重，通过这样的两级去重处理从而避免相同或相似素材在不同素材展示位中同时展示。
61.在介绍了本公开的基本原理之后，下面具体介绍本公开的各种非限制性实施方式。
62.应用场景总览
63.首先参考图1所示的一种数据处理的系统架构图。所述系统架构图可以包括第一服务端110和第二服务端120。
64.在应用时，所述第一服务端110用于将多个素材展示位的第一素材集合发送给每个素材展示位对应的第二服务端120。然后由所述第二服务端120对接收到的第一素材集合中的素材进行去重，并将去重后的第二素材集合返回给第一服务端110；最后由所述第一服务端110对多个第二素材集合之间的素材进行去重。
65.在实现时，上述第一服务端110和第二服务端120可以是独立设置的，也可以是集成在一起。当上述第一服务端110和第二服务端120为集成时，可以称为数据处理服务端。
66.需要说明的是，本说明书中所述的多个可以是指两个或两个以上，或者至少两个。
67.以下进一步以广告投放场景为例加以说明，随着互联网的不断发展，越来越多的广告商选择将广告投放到互联网中，例如网页页面或app页面(以下统一称为页面)这类贴近终端用户的投放渠道。在一个页面中，可能会设置有多个用于展示广告素材的广告位；为了避免引起终端用户对展示广告的抵触心理，也为了提高广告点击率、增加广告投放效果，需要尽量减少同时展示的相同或相似的广告。
68.在实际应用中，同一广告商为了提高自身广告的曝光率，可能会采取同时上传大量相同或相似广告素材。然而如前所示由于现有去重技术一般基于素材的素材标识进行去重的，难以识别相似素材。
69.通过本说明书提供的数据处理方法，可以将同一用户上传的相似广告素材去除，从而提高数据处理的准确性。
70.在广告投放时，通常会使用到dsp(demand-side-platform，需求方平台)平台，dsp平台可以帮助广告主将素材发布到素材展示平台。
71.以下参考图2所示的需求方平台的系统架构图，在dsp之前配置了一个dsp前置模块，用于配合执行本说明书提供的数据处理方案。该dsp前置模块可以对应前述的第一服务端，dsp可以对应前述的第二服务端。
72.媒体端可以包括发起广告投放请求的各个广告商对应的终端设备，以及广告受众对应的终端设备；针对来自不同广告商发起的若干广告投放的请求，dps前置模块对这些请求按照请求中指定投放的广告位进行拆分，例如将指定投放到广告位1中的请求分为一组，
该组请求涉及的广告素材即可以组成广告位1对应的第一素材集合。然后，dps前置模块可以将各个广告位对应的第一素材集合发送给对应的dsp，由各个dsp的第一去重模块对各自接收到的第一素材集合内的广告素材进行去重，并将去重后的第二素材集合返回给dsp前置模块；接着，dps前置模块的第二去重模块对各个dsp返回的第二素材集合之间的广告素材进行去重；最终将去重结果返回给媒体端，以使媒体端基于去重结果在各个广告位上展示去重后的广告素材。
73.示例性方法
74.下面结合图1所示的应用场景，参考图3-5来描述根据本公开示例性实施方式的数据处理的方法。需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
75.如图3所示，所述数据处理方法，可以应用于上述数据处理服务端，该方法可以包括以下步骤：
76.步骤310：接收至少两个素材展示位分别对应的第一素材集合。
77.在同一场景中多个素材展示位之间进行素材展示时，如果这些素材存在一定的视觉联系，即不同素材展示位同时展示相同或相似的素材，容易造成同质化现象，从而降低素材展示位的曝光效果，也不利于用户浏览。因此需要对多个素材展示位的素材进行去重处理。
78.所述同一场景下的多个素材展示位可以是指一个页面下的多个素材展示位，而这些素材展示位可以位于同一页面的不同页面位置，也可以是相同位置下不同时刻。
79.对于每个素材展示位，在最终展示素材之前的准备阶段可以收集待展示的素材，这些素材可以是用户上传的。通常，用户可以选择某个素材展示位并上传想要展示的一个或多个素材，也可以选择多个素材展示位分别上传一个或多个素材。
80.这样，数据处理服务端在准备阶段结束后，可以获取到每个素材展示位对应的第一素材集合，第一素材集合中的素材即为不同用户上传的用于在该素材展示位进行展示的素材。
81.由于准备阶段收集的素材可能存在相同或相似素材，因此需要对这些素材进行去重处理，以避免不同素材展示位同时展示相同或相似的素材。
82.步骤320：针对每个素材展示位对应的第一素材集合,根据所述第一素材集合中素材对应的素材类型和用户标识，对所述第一素材集合中相同用户标识的素材进行去重，得到包含去重后的素材的第二素材集合。
83.首先，数据处理服务端分别对每个素材展示位对应的第一素材集合进行第一次去重，以去除第一素材集合内的重复素材。
84.在一示例性的实施例中，所述根据所述第一素材集合中素材对应的素材类型和用户标识，对所述第一素材集合中相同用户标识的素材进行去重，得到包含去重后的素材的第二素材集合，包括：
85.获取所述第一素材集合中每个素材对应的素材分值、素材类型和用户标识；其中，所述素材分值表征所述素材的优先展示程度；
86.将所述第一素材集合中每个用户标识对应的素材分值最高的素材确定为目标素
材；
87.删除所述第一素材集合中与所述目标素材具有相同的素材类型和用户标识的非目标素材；
88.将删除所述非目标素材后的第一素材集合确定为第二素材集合。
89.该示例中，所述素材对应的素材分值用于表征素材的优先展示程度，一般素材分值越高则素材越优先展示，反之素材分值越低则素材越不优先展示。
90.所述素材类型可以是指素材的创意类目，所述创意类目例如可以包括食品、药品、生活用品、工程机械、服装、电子产品等等。需要说明的是上述创意类目仅是示例，不应当作为对实施例的限定。
91.一般的，素材类型可以分为若干大类，每个大类下还可以细分为若干小类，并且还可以根据实际需要进一步细分。
92.所述用户标识可以是指上传素材的用户的唯一标识，例如用户id。
93.在实现时，针对每个素材展示位对应的第一素材集合，数据处理服务端优先确定每个用户的素材中素材分值最高的目标素材，即保障每个用户优先展示程度最高的素材进行展示。然后，以目标素材为标准并结合素材的素材类型，将相同用户标识下与目标素材相同的其它素材从第一素材集合中删除，以实现对第一素材集合中素材的去重处理。
94.举例说明，假设有来自不同用户的素材构成的第一素材集合如下表1所示：
95.素材id1号2号3号4号5号6号7号用户标识aabbccc素材类型ababaac素材分值8991012117
96.表1
97.首先，可以按照素材分值对每个用户的素材进行排序：
98.用户a：2号》1号；用户b：4号》3号；用户c：5号》6号》7号。
99.然后，确定每个用户标识对应的素材分值最高的目标素材，即用户标识a对应的2号素材，用户b对应的4号素材和用户c对应的5号素材。
100.由于1号素材与2号素材具有相同的用户标识，但具有不同的素材类型，因此1号素材不属于重复素材，无需删除1号素材；
101.由于3号素材与4号素材具有相同的用户标识，但具有不同的素材类型，因此3号素材不属于重复素材，无需删除3号素材；
102.由于6号素材与5号素材具有相同用户标识，也具有相同的素材类型，因此6号素材属于重复素材，需要删除6号素材；
103.由于7号素材与5号素材具有相同用户标识，但不具有相同的素材类型，因此7号素材不属于重复素材，不需要删除7号素材；
104.综上，在删除重复素材即素材6之后，剩余的素材1号、2号、3号、4号、5号和7号即为第二素材集合。
105.应用上述示例，通过素材类型和用户标识对第一素材集合中的素材进行去重处理，从而可以得到去重后的第二素材集合。在一示例性的实施例中，所述根据所述第一素材集合中素材对应的素材类型和用户标识，对所述第一素材集合中相同用户标识的素材进行
去重，并将去重后的素材确定为第二素材集合，包括：
106.获取所述第一素材集合中每个素材对应的素材分值、素材类型和用户标识；其中，所述素材分值表征所述素材的优先展示程度；
107.将所述第一素材集合中每个用户标识对应的素材分值最高的素材确定为目标素材；
108.确定所述第一素材集合中与所述目标素材具有不同的素材类型和用户标识的非目标素材；
109.将所述目标素材和所述非目标素材加入到第二素材集合。
110.该示例与前一示例不同之处在于，数据处理服务端从第一素材集合中筛选出不重复的目标素材，并将目标素材加入到新的素材集合中，从而构建出与第一素材集合不同的第二素材集合。
111.应用上述示例，通过素材类型和用户标识对第一素材集合中的素材进行去重处理，从而可以得到去重后的第二素材集合。
112.在一示例的实施例中，所述将所述目标素材和所述非目标素材加入到第二素材集合，包括：
113.获取所述第二素材集合设置的承载数量；
114.将所述目标素材和所述非目标素材按照素材分值进行排序；
115.根据排序结果将所述目标素材和所述非目标素材依次加入到所述第二素材集合，直到加入的素材数量达到所述承载数量。
116.在实际应用中，第二素材集合可以设置一个承载数量，用于限定可以加入到第二素材结合中的素材数量。
117.依然以前述表1为例，假设第二素材集合的承载数量为4，那么去重后的目标素材包括2号素材、4号素材和5号素材，非目标素材包括1号素材、3号素材和7号素材；根据这些素材的素材分值进行排序可得：5号素材》4号素材》2号素材＝3号素材》1号素材》7号素材；最终可以截取前4个素材即5号、4号、2号素材和3号素材加入第二素材集合。
118.如前所示素材分值表征的是素材的优先展示程度，为了保障优先展示程度更高的素材可以进行展示；在有的实施例中，在先将目标素材加入第二素材集合之后，可以根据素材分值的大小依次将非目标素材加入第二素材集合，直至第二素材集合中的素材数量达到承载数量。
119.应用上述示例，当第二素材集合存在承载数量时，通过素材分值将优先展示程度高的素材加入第二素材，从而保障优先级高的素材进行展示。
120.步骤330：根据所述第二素材集合中素材对应的素材类型和用户标识，对所述第二素材集合之间相同用户标识的素材进行去重，得到每个素材展示位对应的待展示素材。
121.在第一次去重后，数据处理服务端还可以对不同素材展示位对应的第二素材集合进行第二次去重，以去除第二素材集合之间的重复素材。
122.在一示例性的实施例中，所述步骤330，可以包括：
123.根据素材展示位的先后顺序，依次对每个素材展示位执行以下步骤：
124.如果第三素材集合不为空，则依次执行步骤a10、a12、a14；如果所述第三素材集合为空，则执行步骤a20；
125.步骤a10：针对当前的素材展示位，将对应的第二素材集合中的素材依次与第三素材集合中的素材进行比较；其中，所述第三素材集合中的素材为在先素材展示位对应的待展示素材；
126.步骤a12：将所述第二素材集合中第一个与所述第三素材集合中的素材、具有不同的素材类型和用户标识的素材确定为所述素材展示位对应的待展示素材；
127.步骤a14：将所述待展示素材加入到所述第三素材集合。
128.步骤a20：将所述第二素材集合中第一个素材确定为待展示素材，并将所述待展示素材加入到所述第三素材集合。
129.在实际应用中，不同素材展示位之间可能存在先后顺序，这个先后顺序可能是指页面展示时展示的先后顺序，也可能是根据素材展示位的展示效果排序的(例如点击量、曝光率较高的素材展示位的展示顺序靠前，而点击量、曝光率较低的素材展示位的展示顺序靠后)。
130.以广告投放为例，即使是同一页面中，不同广告位之间的点击量、曝光率也存在一定的差异，有的广告位点击量、曝光率较高(如头部广告位)，而有的广告位则较低(如尾部广告位)；因此在不同广告位上投放广告的费用必然不同；为了保障广告商的权益，需要将费用高的广告位的展示顺序靠前，这样可以保障费用高的广告位中广告素材优先加入第三素材集合，避免被其它相似广告素材去重。
131.举例说明，假设存在3个素材展示位，且先后顺序为素材展示位1先于素材展示位2，素材展示位2先于素材展示位3，则第二次去重过程如下：
132.先对素材展示位1的第二素材集合进行去重，由于此时第三素材集合为空，所以无需去重，直接执行步骤a20以将第二素材集合中的一个素材加入到第三素材集合。由于第二素材集合中优先展示程度最高的是第一个素材，因此可以将第一个素材确定为待展示素材，并加入到第三素材集合中。此时，对素材展示位1的去重结束，并且第三素材集合中就会有1个素材，记为素材1。
133.接着对素材展示位2的第二素材集合进行去重，由于此时第三素材集合中有素材1，因此可以执行步骤a10以将第二素材集合中的素材i依次与第三素材集合中的素材1进行比较；如果素材i与素材1相似，那么继续比较第二素材集合中的素材i 1与素材1；直到出现与素材1不相似的素材，则可以执行步骤a12以将该素材确定为待展示素材，并执行步骤a14将待展示素材加入到第三素材集合中。此时，对素材展示位2的去重结束，并且第三素材集合中就会有2个素材，记为素材1和素材2。
134.最后对素材展示位3的第二素材集合进行去重，由于此时第三素材集合中有素材1和素材2，因此可以执行步骤a10以将第二素材集合中的素材i依次与第三素材集合中的素材1和素材2进行比较；如果素材i与素材1或素材2相似，那么继续比较第二素材集合中的素材i 1与素材1和素材2；直到出现与素材1和素材2均不相似的素材，则可以执行步骤a12以将该素材确定为待展示素材，并执行步骤a14将待展示素材加入到第三素材集合中。此时，对素材展示位3的去重结束，并且第三素材集合中就会有3个素材，记为素材1、素材2和素材3。
135.在介绍了多个素材展示位的去重流程后，下面请参考图4示出的素材展示位之间去重的流程示意图来详细介绍每个素材展示位对应的第二素材集合的素材与第三素材集
合中的素材之间是如何进行比较的。
136.在一示例性的实施例中，所述步骤a10，将对应的第二素材集合中的素材依次与第三素材集合中的素材进行比较，可以包括：
137.步骤b10：针对所述第二素材集合中的素材，依次确定与所述第三素材集合中的素材是否存在不同的用户标识；如果所述第二素材集合的素材与所述第三素材集合中的素材存在不同的用户标识，则执行后续步骤c10；如果所述第二素材集合的素材与所述第三素材集合中的素材均为相同的用户标识，则执行后续步骤b12；
138.步骤b12：进一步针对所述第二素材集合中的素材，依次确定与所述第三素材集合中的素材是否存在不同的素材类型和用户标识的组合；如果所述第二素材集合的素材与所述第三素材集合中的素材存在不同的素材类型和用户标识的组合，则执行后续步骤c20；如果所述第二素材集合的素材与所述第三素材集合中的素材均为相同的素材类型和用户标识的组合，则执行后续步骤c30；
139.相应地，所述步骤a12，所述将所述第二素材集合中第一个与所述第三素材集合中的素材、具有不同的素材类型和用户标识的素材确定为所述素材展示位对应的待展示素材，包括：
140.步骤c10：将所述第二素材集合中第一个与所述第三素材集合中的素材具有不同用户标识的素材确定为所述素材展示位对应的待展示素材；
141.步骤c20：将所述第二素材集合中第一个与所述第三素材集合中的素材具有不同素材类型和用户标识的组合的素材确定为所述素材展示位对应的待展示素材。
142.步骤c30：从所述第二素材集合中随机选取一个素材作为所述素材展示位对应的待展示素材。
143.需要说明的是，上述步骤c10、c20和c30是3种并列的处理方式，在时序上并不存在先后顺序。
144.在该示例中，在第二素材集合中的素材与第三集合中的素材比较过程中，首先从用户标识这个维度进行识别：
145.如果第二素材集合的素材与第三素材集合中的素材存在不同的用户标识，则说明这个不同的用户标识对应的用户还没有在之前的素材展示位中展示过任何的素材；因此可以执行上述步骤c10以将第二素材集合中的第一个与所述第三素材集合中的素材具有不同用户标识的素材确定为所述素材展示位对应的待展示素材；而第二素材集合中的其它素材则作为潜在的相似素材直接去重；
146.而如果第二素材集合的素材与第三素材集合中的素材均为相同的用户标识，则说明从用户标识维度来看第二素材集合中的所有素材都可能是潜在的相似素材，因此需要进一步识别哪些素材不是相似素材、哪些素材属于潜在的相似素材。具体在该示例中可以通过执行步骤b12进一步是从素材类型这一维度进行识别的：
147.由于素材类型可以是指素材的创意类目，在实际应用中，相似素材必然是同一创意类目，因此可以基于素材类型确定素材之间是否为潜在的相似素材。
148.如果存在相同的素材类型，则说明在之前的素材展示位中已经存在相同的素材类型的其它素材，那么避免展示相似素材，可以将该素材作为潜在的相似素材直接去重；
149.如果存在不同的素材类型，则可以根据优先展示程度将所述第二素材集合中第一
个(优先展示程度最高)与第三素材集合中的素材具有不同素材类型的素材确定为所述素材展示位对应的待展示素材。
150.由于以素材类型维度进行识别的前提是，以用户标识维度进行识别时第二素材集合中的素材与第三素材集合中的素材均为相同的用户标识；因此在以素材类型识别时，完整的说是以素材类型和用户标识的组合进行的识别。
151.相应地，上述存在不同的素材类型即为存在不同的素材类型和用户标识的组合；将所述第二素材集合中第一个与第三素材集合中的素材具有不同素材类型的素材确定为所述素材展示位对应的待展示素材，即为上述步骤c20所示的将所述第二素材集合中第一个与第三素材集合中的素材具有不同素材类型和用户标识的组合的素材确定为所述素材展示位对应的待展示素材。
152.在实际应用中，可能会出现第二素材集合的素材与第三素材集合中的素材均为相同的素材类型和用户标识的组合的情况，这样情况下，第二素材集合中的素材将会被全部去重，那么对应的素材展示位将无法选出用于展示的素材；为了避免该素材展示位空置，可以通过执行上述步骤c30所述的从第二素材集合中随机选取一个素材作为素材展示位对应的待展示素材。
153.应用上述示出的实施例，一方面，通过比较素材对应的素材类型和用户标识从而识别同一用户上传的相似素材。另一方面，基于这样的处理方式先对每个素材展示位的第一素材集合内的素材进行第一次去重得到第二素材集合，再对不同素材展示位的第二素材集合之间的素材进行第二次去重，通过这样的两级去重处理从而避免相似素材在不同素材展示位中同时展示。如前所述，数据处理服务端可以分为第一服务端和第二服务端，以下分别从第一服务端和第二服务端侧描述数据处理方法。
154.如图5所示的以第一服务端为执行主体的数据处理方法，该方法可以包括：
155.步骤410，接收至少两个素材展示位分别对应的第一素材集合；
156.步骤420，将每个素材展示位对应的第一素材集合发送给所述素材展示位对应的第二服务端；
157.步骤430，获取每个第二服务端返回的对所述第一素材集合中相同用户标识的素材进行去重后的第二素材集合；
158.步骤440，根据所述第二素材集合中素材对应的素材类型和用户标识，对所述第二素材集合之间相同用户标识的素材进行去重，得到每个素材展示位对应的待展示素材。
159.在一示例性的实施例中，所述440，根据所述第二素材集合中素材对应的素材类型和用户标识，对所述第二素材集合之间相同用户标识的素材进行去重，得到每个素材展示位对应的待展示素材，包括：
160.根据所述素材展示位的先后顺序，依次执行以下步骤：
161.针对当前的素材展示位，将对应的第二素材集合中的素材依次与第三素材集合中的素材进行比较；其中，所述第三素材集合中的素材为在先素材展示位对应的待展示素材；
162.将第二素材集合中第一个与所述第三素材集合中的素材、具有不同的素材类型和用户标识的素材确定为所述素材展示位对应的待展示素材；
163.将所述待展示素材加入到所述第三素材集合。
164.在一示例性的实施例中，所述将对应的第二素材集合中的素材依次与第三素材集
合中的素材进行比较，包括：
165.针对所述第二素材集合中的素材，依次确定与所述第三素材集合中的素材是否存在不同的用户标识；
166.如果均为相同的用户标识，则进一步针对所述第二素材集合中的素材，依次确定与所述第三素材集合中的素材是否存在不同的素材类型和用户标识的组合；
167.所述将所述第二素材集合中第一个与所述第三素材集合中的素材、具有不同的素材类型和用户标识的素材确定为所述素材展示位对应的待展示素材，包括：
168.如果存在不同的用户标识，则将所述第二素材集合中第一个与所述第三素材集合中的素材具有不同用户标识的素材确定为所述素材展示位对应的待展示素材；
169.进一步，如果存在不同的素材类型和用户标识的组合，则将所述第二素材集合中第一个与所述第三素材集合中的素材具有不同素材类型和用户标识的组合的素材确定为所述素材展示位对应的待展示素材。
170.在一示例性的实施例中，还包括：
171.如果所述第三素材集合为空时，将第二素材集合中第一个素材确定为待展示素材。
172.在一示例性的实施例中，还包括：
173.如果所述第二素材集合的素材与所述第三素材集合中的素材均为相同的素材类型和用户标识的组合，则从所述第二素材集合中随机选取一个素材作为所述素材展示位对应的待展示素材。
174.该实施例对应了前述图3所述的实施例，各个步骤的具体细节可以参考前述实施例，这里不再进行赘述。
175.如图6所示的以第二服务端为执行主体的数据处理方法，所述第二服务端对应于至少两个素材展示位中的任一素材展示位，该方法可以包括：
176.步骤510，接收第一服务端发送的第一素材集合；其中，所述第一素材集合为所述第二服务端对应的素材展示位的素材集合；
177.步骤520，根据所述第一素材集合中素材对应的素材类型和用户标识，对所述第一素材集合中相同用户标识的素材进行去重，得到包含去重后的素材的第二素材集合；
178.步骤530，向所述第一服务端返回所述第二素材集合。
179.在一示例性的实施例中，所述根据所述第一素材集合中素材对应的素材类型和用户标识，对所述第一素材集合中相同用户标识的素材进行去重，得到包含去重后的素材的第二素材集合，包括：
180.获取所述第一素材集合中每个素材对应的素材分值、素材类型和用户标识；其中，所述素材分值表征所述素材的优先展示程度；
181.将所述第一素材集合中每个用户标识对应的素材分值最高的素材确定为目标素材；
182.删除所述第一素材集合中与所述目标素材具有相同的素材类型和用户标识的非目标素材；
183.将删除所述非目标素材后的第一素材集合确定为第三素材集合。
184.在一示例性的实施例中，所述根据所述第一素材集合中素材对应的素材类型和用
户标识，对所述第一素材集合中相同用户标识的素材进行去重，得到包含去重后的素材的第二素材集合，包括：
185.获取所述第一素材集合中每个素材对应的素材分值、素材类型和用户标识；其中，所述素材分值表征所述素材的优先展示程度；
186.将所述第一素材集合中每个用户标识对应的素材分值最高的素材确定为目标素材；
187.确定所述第一素材集合中与所述目标素材具有不同的素材类型和用户标识的非目标素材；
188.将所述目标素材和所述非目标素材加入到第二素材集合。
189.在一示例性的实施例中，所述将所述目标素材和所述非目标素材加入到第二素材集合，包括：
190.获取所述第二素材集合设置的承载数量；
191.将所述目标素材和所述非目标素材按照素材分值进行排序；
192.根据排序结果将所述目标素材和所述非目标素材依次加入到所述第二素材集合，直到加入的素材数量达到所述承载数量。
193.该实施例对应了前述图3所述的实施例，各个步骤的具体细节可以参考前述实施例，这里不再进行赘述。
194.示例性介质
195.在介绍了本公开示例性实施方式的方法之后，接下来，参考图7对本公开示例性实施方式的介质进行说明。
196.本示例性实施方式中，可以通过程序产品实现上述方法，如可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
197.该程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
198.计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
199.可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、re等等，或者上述的任意合适的组合。
200.可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式
程序设计语言，诸如c语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
201.综上，本公开可以提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，可以使得电子设备能够执行前述图3、图5或图6所示的数据处理方法实施例。
202.示例性装置
203.在介绍了本公开示例性实施方式的介质之后，接下来，参考图8、图9和图10对本公开示例性实施方式的装置进行说明。
204.图8示意性地示出了根据本公开实施方式的一种数据处理装置的框图，对应于前述图3所示的方法实施例。该数据处理装置可以包括：
205.接收单元710，接收至少两个素材展示位分别对应的第一素材集合；
206.第一处理单元720，针对每个素材展示位对应的第一素材集合,根据所述第一素材集合中素材对应的素材类型和用户标识，对所述第一素材集合中相同用户标识的素材进行去重，得到包含去重后的素材的第二素材集合；
207.第二处理单元730，根据所述第二素材集合中素材对应的素材类型和用户标识，对所述第二素材集合之间相同用户标识的素材进行去重，得到每个素材展示位对应的待展示素材。
208.可选的，所述第一处理单元720，包括：
209.获取子单元721，获取所述第一素材集合中每个素材对应的素材分值、素材类型和用户标识；其中，所述素材分值表征所述素材的优先展示程度；
210.筛选子单元722，将所述第一素材集合中每个用户标识对应的素材分值最高的素材确定为目标素材；
211.删除子单元723，删除所述第一素材集合中与所述目标素材具有相同的素材类型和用户标识的非目标素材；
212.确定子单元724，将删除所述非目标素材后的第一素材集合确定为第二素材集合。
213.可选的，所述第一处理单元720，包括：
214.获取子单元721，获取所述第一素材集合中每个素材对应的素材分值、素材类型和用户标识；其中，所述素材分值表征所述素材的优先展示程度；
215.筛选子单元722，将所述第一素材集合中每个用户标识对应的素材分值最高的素材确定为目标素材；
216.确定子单元725，确定所述第一素材集合中与所述目标素材具有不同的素材类型和用户标识的非目标素材；
217.加入子单元726，将所述目标素材和所述非目标素材加入到第二素材集合。
218.可选的，所述加入子单元726，包括：
219.获取所述第二素材集合设置的承载数量，将所述目标素材和所述非目标素材按照素材分值进行排序，根据排序结果将所述目标素材和所述非目标素材依次加入到所述第二
素材集合，直到加入的素材数量达到所述承载数量。
220.可选的，所述第二处理单元730，包括：
221.根据所述素材展示位的先后顺序，依次执行以下子单元：
222.比较子单元731，针对当前的素材展示位，将对应的第二素材集合中的素材依次与第三素材集合中的素材进行比较；其中，所述第三素材集合中的素材为在先素材展示位对应的待展示素材；
223.筛选子单元732，将所述第二素材集合中第一个与所述第三素材集合中的素材、具有不同的素材类型和用户标识的素材确定为所述素材展示位对应的待展示素材；
224.加入子单元733，将所述待展示素材加入到所述第三素材集合。
225.可选的，所述比较子单元731，包括：
226.第一确定子单元，针对所述第二素材集合中的素材，依次确定与所述第三素材集合中的素材是否存在不同的用户标识；
227.第二确定子单元，如果均为相同的用户标识，则进一步针对所述第二素材集合中的素材，依次确定与所述第三素材集合中的素材是否存在不同的素材类型和用户标识的组合；
228.所述筛选子单元732，包括：
229.第三确定子单元，如果存在不同的用户标识，则将所述第二素材集合中第一个与所述第三素材集合中的素材具有不同用户标识的素材确定为所述素材展示位对应的待展示素材；
230.第四确定子单元，如果存在不同的素材类型和用户标识的组合，则将所述第二素材集合中第一个与所述第三素材集合中的素材具有不同素材类型和用户标识的组合的素材确定为所述素材展示位对应的待展示素材。
231.可选的，还包括：
232.第五确定子单元，如果所述第三素材集合为空，将所述第二素材集合中第一个素材确定为待展示素材。
233.可选的，还包括：
234.第六确定子单元，如果所述第二素材集合的素材与所述第三素材集合中的素材均为相同的素材类型和用户标识的组合，则从所述第二素材集合中随机选取一个素材作为所述素材展示位对应的待展示素材。
235.图9示意性地示出了根据本公开实施方式的一种数据处理装置的框图，对应于前述图5所示的方法实施例。应用于第一服务端，所述装置包括：
236.接收单元810，接收至少两个素材展示位分别对应的第一素材集合；
237.发送单元820，将每个素材展示位对应的第一素材集合发送给所述素材展示位对应的第二服务端；
238.获取单元830，获取每个第二服务端返回的对所述第一素材集合中相同用户标识的素材进行去重后的第二素材集合；
239.处理单元840，根据所述第二素材集合中素材对应的素材类型和用户标识，对所述第二素材集合之间相同用户标识的素材进行去重，得到每个素材展示位对应的待展示素材。
240.可选的，所述处理单元840，包括：
241.根据所述素材展示位的先后顺序，依次执行以下子单元：
242.比较子单元841，针对当前的素材展示位，将对应的第二素材集合中的素材依次与第三素材集合中的素材进行比较；其中，所述第三素材集合中的素材为在先素材展示位对应的待展示素材；
243.筛选子单元842，将所述第二素材集合中第一个与所述第三素材集合中的素材、具有不同的素材类型和用户标识的素材确定为所述素材展示位对应的待展示素材；
244.加入子单元843，将所述待展示素材加入到所述第三素材集合。
245.可选的，所述比较子单元841，包括：
246.第一确定子单元，针对所述第二素材集合中的素材，依次确定与所述第三素材集合中的素材是否存在不同的用户标识；
247.第二确定子单元，如果均为相同的用户标识，则进一步针对所述第二素材集合中的素材，依次确定与所述第三素材集合中的素材是否存在不同的素材类型和用户标识的组合；
248.所述筛选子单元842，包括：
249.第三确定子单元，如果存在不同的用户标识，则将所述第二素材集合中第一个与所述第三素材集合中的素材具有不同用户标识的素材确定为所述素材展示位对应的待展示素材；
250.第四确定子单元，如果存在不同的素材类型和用户标识的组合，则将所述第二素材集合中第一个与所述第三素材集合中的素材具有不同素材类型和用户标识的组合的素材确定为所述素材展示位对应的待展示素材。
251.可选的，还包括：
252.第五确定子单元，如果所述第三素材集合为空时，将第二素材集合中第一个素材确定为待展示素材。
253.可选的，还包括：
254.第六确定子单元，如果所述第二素材集合的素材与所述第三素材集合中的素材均为相同的素材类型和用户标识的组合，则从所述第二素材集合中随机选取一个素材作为所述素材展示位对应的待展示素材。
255.图10示意性地示出了根据本公开实施方式的一种数据处理装置的框图，对应于前述图6所示的方法实施例。应用于第二服务端，所述第二服务端对应于至少两个素材展示位中的任一素材展示位，所述装置包括：
256.接收单元910，接收第一服务端发送的第一素材集合；其中，所述第一素材集合为所述第二服务端对应的素材展示位的素材集合；
257.处理单元920，根据所述第一素材集合中素材对应的素材类型和用户标识，对所述第一素材集合中相同用户标识的素材进行去重，得到包含去重后的素材的第二素材集合；
258.返回单元930，向所述第一服务端返回所述第二素材集合。
259.可选的，所述处理单元920，包括：
260.获取子单元921，获取所述第一素材集合中每个素材对应的素材分值、素材类型和用户标识；其中，所述素材分值表征所述素材的优先展示程度；
261.筛选子单元922，将所述第一素材集合中每个用户标识对应的素材分值最高的素材确定为目标素材；
262.删除子单元923，删除所述第一素材集合中与所述目标素材具有相同的素材类型和用户标识的非目标素材；
263.确定子单元924，将删除所述非目标素材后的第一素材集合确定为第三素材集合。
264.可选的，所述处理单元920，包括：
265.获取子单元921，获取所述第一素材集合中每个素材对应的素材分值、素材类型和用户标识；其中，所述素材分值表征所述素材的优先展示程度；
266.筛选子单元922，将所述第一素材集合中每个用户标识对应的素材分值最高的素材确定为目标素材；
267.确定子单元925，确定所述第一素材集合中与所述目标素材具有不同的素材类型和用户标识的非目标素材；
268.加入子单元926，将所述目标素材和所述非目标素材加入到第二素材集合。
269.可选的，所述加入子单元926，包括：
270.获取所述第二素材集合设置的承载数量，将所述目标素材和所述非目标素材按照素材分值进行排序，根据排序结果将所述目标素材和所述非目标素材依次加入到所述第二素材集合，直到加入的素材数量达到所述承载数量。
271.示例性计算设备
272.在介绍了本公开示例性实施方式的方法、介质和装置之后，接下来，参考图11对本公开示例性实施方式的计算设备进行说明。
273.图11显示的计算设备1500仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
274.如图11所示，计算设备1500以通用计算设备的形式表现。计算设备1500的组件可以包括但不限于：上述至少一个处理单元1501、上述至少一个存储单元1502，连接不同系统组件(包括处理单元1501和存储单元1502)的总线1503。
275.总线1503包括数据总线、控制总线和地址总线。
276.存储单元1502可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)15021和/或高速缓存存储器15022，可以进一步包括非易失性存储器形式的可读介质，例如只读存储器(rom)15023。
277.存储单元1502还可以包括具有一组(至少一个)程序模块15024的程序/实用工具15025，这样的程序模块15024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
278.计算设备1500也可以与一个或多个外部设备1504(例如键盘、指向设备等)通信。
279.这种通信可以通过输入/输出(i/o)接口1505进行。并且，计算设备1500还可以通过网络适配器1506与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图11所示，网络适配器1506通过总线1503与计算设备1500的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备1500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
280.通过如图11示出的计算设备1500，可以实现前述图3、图4或图5所示的数据处理方法。
281.应当注意，尽管在上文详细描述中提及了数据处理装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
282.此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加或备选地可以省略某些步骤，将多个步骤合并为一个步骤执行和/或将一个步骤分解为多个步骤执行。
283.虽然已经参考若干具体实施方式描述了本公开的精神和原理，但应理解本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着某些特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。