一种信息处理方法、装置及存储介质与流程

1.本技术涉及计算机自动化领域，尤其涉及一种信息处理方法、装置及计算机可读存储介质。


背景技术：

2.由于互联网技术的不断推广和进步，越来越多的信息涌入到互联网中成为海量信息。而如何从这些海量信息中，获取用户真正感兴趣的内容和信息，成为目前的一个研究热点。
3.近年来，人工智能和机器学习技术得到了飞速发展，建立推荐模型，并使用用户行为数据对推荐模型进行训练和学习，然后使用训练好的推荐模型预测用户感兴趣的信息成为一种较为常用的方法。
4.然而在这一过程中，一方面，需要提取到每一用户的个性化特征以便精准地找到与用户需求匹配的信息；另一方面，还需要通过大量用户的行为数据确保推荐模型的准确度和泛化能力。


技术实现要素：

5.本技术人创造性地提供一种信息处理方法、装置及计算机可读存储介质。
6.根据本技术实施例第一方面，提供一种信息处理方法，该方法包括：根据对象数据确定分类得到对象所属的分类；根据对象所属的分类对应的同类推荐模型得到推荐数据，其中，同类推荐模型包括第一参数和第二参数，第二参数是根据不同分类的对象数据进行训练得到的，用于增强不同分类对象的共性特征，第一参数在根据不同分类的对象数据进行训练的过程中保留原有值，用于增强相同分类对象的个性特征。
7.根据本技术实施例一实施方式，所推荐模型为多层神经网络模型，第一参数为多层神经网络模型的深层网络参数，第二参数为多层神经网络模型的浅层网络参数。
8.根据本技术实施例一实施方式，该方法还包括：根据不同分类的对象数据进行训练，以确定同类推荐模型的第二参数，第一参数在根据不同分类的对象数据进行训练的过程中保留原有值。
9.根据本技术实施例一实施方式，根据不同分类的对象数据进行训练，以确定同类推荐模型的第二参数，包括：根据平台推荐模型的第二参数，同步同类推荐模型的第二参数；根据不同分类的对象数据进行分布式训练，得到每一分类对应的第二参数的梯度；根据每一分类对应的第二参数的梯度，更新平台推荐模型的第二参数。
10.根据本技术实施例一实施方式，该方法还包括：根据跨平台推荐模型的第二参数，同步平台推荐模型的第二参数；根据不同平台的对象数据进行分布式训练，得到每一平台对应的第二参数的梯度；根据每一平台对应的第二参数的梯度，更新跨平台推荐模型的第二参数。
11.根据本技术实施例一实施方式，该方法还包括：根据同类推荐模型的模型参数，同
步个性化推荐模型的模型参数；根据相同分类的每一对象的对象数据进行分布式训练，得到每一个性化推荐模型的第一参数的梯度；根据每一个性化推荐模型的第一参数的梯度，更新同类推荐模型的第一参数。
12.根据本技术实施例一实施方式，根据对象所属的分类对应的同类推荐模型得到推荐数据，包括：根据备选推荐数据和对象所属的分类对应的同类推荐模型得到推荐数据。
13.根据本技术实施例一实施方式，备选推荐数据包括历史推荐数据和与历史推荐数据具有一级关联关系的数据。
14.根据本技术实施例第二方面，提供一种个性化信息处理装置，该装置包括：分类确定模块，用于根据对象数据确定分类得到对象所属的分类；推荐模块，用于根据对象所属的分类对应的同类推荐模型得到推荐数据，其中，同类推荐模型包括第一参数和第二参数，第二参数是根据不同分类的对象数据进行训练得到的，用于增强不同分类对象的共性特征，第一参数在根据不同分类的对象数据进行训练的过程中保留原有值，用于增强相同分类对象的个性特征。
15.根据本技术实施例第三方面，提供一种计算机可读存储介质，存储介质包括一组计算机可执行指令，当指令被执行时用于执行上述任一项的数据处理方法。
16.本技术实施例提供一种信息处理方法、装置及计算机可读存储介质。该方法使用的推荐模型是根据分类相同的对象数据和不同分类的对象数据联合训练得到的，在根据不同分类的对象数据训练推荐模型的过程中，仅传递和更新用于增强共性特征的第二参数，而不会传递和更新用于增强个性特征的第一参数。如此，既能充分保留不同分类对象数据的个性特征，还能最大程度地利用不同分类对象数据的共性特征，使得训练得到的推荐模型，既能针对单个用户的个人需求提供贴合用户个性特征的信息推荐，又能兼顾不同用户的不同需求，适用于更多用户和更多场景，在准确度、泛化能力和稳定性上都有所提升。
17.需要理解的是，本技术的实施并不需要实现上面的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本技术的其他实施方式还能够实现上面未提到的有益效果。
附图说明
18.通过参考附图阅读下文的详细描述，本技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本技术的若干实施方式，其中：
19.在附图中，相同或对应的标号表示相同或对应的部分。
20.图1为本技术一实施例信息处理方法的实现流程示意图；
21.图2为本技术另一实施例信息处理方法利用个性化知识图谱摘要生成模型生成个性化知识图谱摘要的示意图；
22.图3为训练图2所示的个性化知识图谱摘要生成模型所使用的模型训练架构示意图；
23.图4为使用图3所示的模型训练架构训练得到个性化知识图谱摘要生成模型的流程示意图；
24.图5为本技术实施例信息处理装置的组成结构示意图。
具体实施方式
25.为使本技术的目的、特征、优点能够更加的明显和易懂，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而非全部实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
27.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
28.图1示出了本技术实施例信息处理方法的实现流程。参考图1，该方法包括：操作110，根据对象数据确定分类得到对象所属的分类；操作120，根据对象所属的分类对应的同类推荐模型得到推荐数据，其中，同类推荐模型包括第一参数和第二参数，第二参数是根据不同分类的对象数据进行训练得到的，用于增强不同分类对象的共性特征，第一参数在根据不同分类的对象数据进行训练的过程中保留原有值，用于增强相同分类对象的个性特征。
29.在操作110中，对象数据包括用户相关数据、商品相关数据和产品相关数据等。相应地，当对象数据指用户相关数据时，对象所属的分类包括用户所属的兴趣组、用户角色、用户类型等；当对象数据指商品相关数据时，对象所属的分类包括商品类型、商品所属目录；当对象数据指产品相关数据时，对象所属的分类包括产品类型、产品型号、产品的制造类型等等。
30.根据对象数据确定分类得到对象所属的分类，可通过对象数据的相关属性和预先定义的分类标准确定；也可以通过建立对象分类模型，将具体的对象数据输入对象分类模型，通过分类模型的输出结果确定对象所属的分类。
31.在操作120中，同类推荐模型主要指基于相同分类对象数据所构建的推荐模型。
32.通常，相同分类对象数据往往具有很多类似的特征，其需求也往往是近似的。因此，基于相同分类对象数据所构建的推荐模型，能最大程度地提取该分类的个性特征(也就是区别于其他分类的特征)，从而更容易得到更贴合对象数据个性特征的推荐数据。
33.此外，基于相同分类对象数据所构建的推荐模型，可以使用相同分类的对象数据对其进行训练，从而弥补个体对象数据不足的问题，提升推荐模型的准确度和稳定性。
34.因此，本技术信息处理方法是根据对象所属的分类对应的同类推荐模型得到推荐数据的。如此，可得到与对象数据的个性特征更为匹配的推荐信息。
35.然而，由于可以用于模型训练的相同分类的数据也是有限的，这也使得同类推荐模型在准确度、稳定性和泛化性上的仍然存在很多不足。
36.为此，本技术信息处理方法所使用的同类推荐模型，并不是单纯通过相同分类的对象数据训练得到的，而是在相同分类的对象数据训练的基础上，根据不同分类的对象数据进行进一步训练得到的。
37.但是根据不同分类的对象数据对推荐模型进行训练后，往往又会弱化甚至会丢掉每一分类对象数据的个性特征，使得推荐模型无法更精准地针对每一分类对象数据的个性特征给出更贴近用户需求的推荐结果。这就使得推荐模型在增强个性化特征和提升模型准确度、泛化能力和稳定性方面难以平衡和优化。
38.为了克服上述难题，本技术发明人经过不断地思考和探索创造性地想到，从同类推荐模型的参数中选取一部分用于增强相同分类对象的个性特征的参数作为一类参数，即第一参数；选取另一部分用于增强相同分类对象的个性特征的参数作为另一类参数，即第二参数。而在根据不同分类的对象数据进行训练时，仅传递第二参数的梯度，根据第二参数的梯度更新第二参数而保留第一参数的原有值。
39.如此，既能充分保留不同分类对象数据的个性特征，还能最大程度地利用不同分类对象数据的共性特征提升模型准确度、泛化能力和稳定性。
40.而在操作120中，使用上述方法训练得到的同类推荐模型进行预测时，就可以既能针对单个用户的个人需求提供贴合用户个性特征的推荐数据，又能兼顾不同用户的不同需求，使推荐模型可以适用于更多用户和更多场景。
41.需要说明的是，图1所示的实施例仅为本技术信息处理方法最基本的实施例，实施者还可以在此基础上进行进一步细化和扩展，采用以下实施例性地实施方式。
42.根据本技术实施例一实施方式，所推荐模型为多层神经网络模型，第一参数为多层神经网络模型的深层网络参数，第二参数为多层神经网络模型的浅层网络参数。
43.在多层神经网络模型中，浅层网络往往是用于提取低层次的具象特征，这些具象特征更接近于对象数据的表象；而深层网络则会在浅层网络提取到的简单特征的基础上进一步归纳和演算得到的抽象特征，这些抽象特征更能体现对象数据的实质。
44.因此，选取多层神经网络模型的深层网络参数作为增强相同分类对象的个性特征的参数，并相应地将多层神经网络模型的浅层网络参数作为增强不同分类对象的共性特征的参数是非常合适的实施方式且效果较佳。
45.根据本技术实施例一实施方式，该方法还包括：根据不同分类的对象数据进行训练，以确定同类推荐模型的第二参数，第一参数在根据不同分类的对象数据进行训练的过程中保留原有值。
46.在实际应用时，通常是使用已经训练好的同类推荐模型得到推荐数据的，但在此之前，还需要使用训练数据根据上述方法对同类推荐模型进行充分的训练。
47.而随着时间的推移，在实际应用过程中还会积累下更多的实际应用数据，而这些数据又可以进一步转换为训练数据，再次用来对同类推荐模型进行训练。
48.如此，可使同类推荐模型的模型精度持续提升，推荐数据也越来越接近用户真正需要的数据。
49.根据本技术实施例一实施方式，根据不同分类的对象数据进行训练，以确定同类推荐模型的第二参数，包括：根据平台推荐模型的第二参数，同步同类推荐模型的第二参数；根据不同分类的对象数据进行分布式训练，得到每一分类对应的第二参数的梯度；根据
每一分类对应的第二参数的梯度，更新平台推荐模型的第二参数。
50.如果对象数据是包含一些私密数据、不便共享或直接使用的数据，在根据不同分类的对象数据进行训练时，可采用分布式训练，使用本地私密数据在本地完成训练过程，而仅返回第二参数的梯度。之后，根据每一分类对应的第二参数的梯度进行聚合(例如，求平均值)得到聚合后的梯度；然后，再根据聚合后的梯度，更新平台推荐模型的第二参数。
51.如此，可保护私密数据的数据安全，解除数据提供方参与训练的顾虑，从而可以使更多数据可以参与到训练中，以得到训练效果更好的推荐模型。
52.根据本技术实施例一实施方式，该方法还包括：根据跨平台推荐模型的第二参数，同步平台推荐模型的第二参数；根据不同平台的对象数据进行分布式训练，得到每一平台对应的第二参数的梯度；根据每一平台对应的第二参数的梯度，更新跨平台推荐模型的第二参数。
53.在实现根据不同分类的对象数据进行分布式训练的基础上，还可以进一步根据不同平台的对象数据进行分布式训练，以进一步扩大训练数据的规模和类型，使得最终使用的同类推荐模型可以在准确度、泛化能力和稳定性上得到进一步提升。
54.根据本技术实施例一实施方式，该方法还包括：根据同类推荐模型的模型参数，同步个性化推荐模型的模型参数；根据相同分类的每一对象的对象数据进行分布式训练，得到每一个性化推荐模型的第一参数的梯度；根据每一个性化推荐模型的第一参数的梯度，更新同类推荐模型的第一参数。
55.如前所述，如果对象数据是包含一些私密数据、不便共享或直接使用的数据，即使是相同分类的对象数据也不能相互共享，而是通过分布式训练来得到得到每一对象推荐模型的模型梯度，然后再根据每一对象推荐模型的模型梯度，更新同类推荐模型的第一参数和第二参数。
56.根据本技术实施例一实施方式，根据对象所属的分类对应的同类推荐模型得到推荐数据，包括：根据备选推荐数据和对象所属的分类对应的同类推荐模型得到推荐数据。
57.在某些应场景下，仅依据对象数据所属的分类信息即可得到推荐数据；而在某些应用场景下，会初步得到一个备选的推荐数据，然后再根据对象所属的分类所对应的同类推荐模型从备选的推荐数据中确定最终推荐给用户的数据。本实施方式主要适用于后者。
58.根据本技术实施例一实施方式，备选推荐数据包括历史推荐数据和与历史推荐数据具有一级关联关系的数据。
59.由于用户的操作是连续的，上一个操作和下一个操作之间往往具有关联关系，例如，因果关系、相似关系等。
60.在本实施方式中，用户的历史推荐数据通常指用户当前操作之前推荐给用户的推荐数据；而与历史推荐数据具有一级关联关系的数据，则仅包含与之前推荐给用户的推荐数据具有直接关联关系的数据，而不包含具有间接关联关系的数据。
61.用户的历史推荐数据具有很强的参考性，而与历史推荐数据具有一级关联关系的数据很可能会是用当前操作真正期待的推荐数据。如此，可进一步提高推荐数据与用户真正需求相匹配的机率。
62.需要说明的是，上述实施方式是对图1所示的实施例进行进一步细化和扩展的示例性说明。实施者可根据具体的实施需求和实施条件，对上述实施方式中的一种或几种进
行组合。
63.图2至图4示出了本技术信息处理方法的另一实施例。该实施例就在图1所示的实施例的基础上，利用上述实施方式中的几种实施方式进行了细化和扩展得到的一个实施例。
64.该实施例具体应用于针对用户兴趣爱好生成个性化的知识图谱摘要的场景。其中，知识图谱指以图的形式表现实体及其之间关系的知识库，节点表示实体，边表示实体间的关系。知识图谱头节点、边、尾节点形成一个三元组。知识图谱摘要是知识图谱的子图。
65.在生成个性化的知识图谱摘要的场景中，用户通过知识图谱浏览工具浏览知识图谱来搜索信息，其典型的操作过程主要包括：输入关键字搜索或点击知识图谱目录信息，得到初始知识图谱摘要；以该初始知识图谱为起点进行目标信息的搜索。而根据知识图谱摘要搜索目标信息的步骤包括：检查当前知识图谱摘要是否包含要搜索的目标信息，如果有，则单击相应节点查看详细信息；如果没有，则进一步判断当前知识图谱摘要是否有与目标信息相关的节点，如果有，则可以双击该相关节点获取与该节点关联的下一级知识图谱摘要，如果没有，则可以返回到上一级知识图谱摘要点击其他相关节点继续搜索直至搜索到目标信息，或放弃搜索目标信息退出浏览。
66.在该应用中，本实施例信息处理方法主要用于在响应于用户双击某一节点，生成与该节点关联的下一级知识图谱摘要。
67.为了能够生成与用户兴趣爱好更为贴切的下一级知识图谱摘要，使用户更快更好地搜索到目标信息，本实施例信息处理方法使用个性化知识图谱摘要生成模型来生成下一时刻要显示的知识图谱。
68.图2示出了个性化知识图谱摘要生成模型的输入和输出。
69.如图2所示，个性化知识图谱摘要生成模型的输入由三部分合成：1)摘要表示，是将初步生成的与被双击节点关联的知识图谱摘要形成的摘要矩阵输入到编码器1进行编码得到的；2)用户画像表示，是将包括用户的设备型号、操作系统、职业、年龄等信息的用户画像输入到编码器2进行编码得到的；3)候选三元表示，是将与初步生成的知识图谱摘要中的节点具有一跳连接的节点输入到编码器3进行编码得到的。其中，编码器1、编码器2和编码器3可以是任何适用的编码器，例如，前馈神经网络(fnn)，卷积神经网络(cnn)或双向表示(bert)等。对上述三部分表示进行拼接和再次编码后，得到如图2所示的“最终表示”，并作为输入，输入到个性化知识图谱摘要生成模型。
70.个性化知识图谱摘要生成模型会根据上述输入信息进行模型运算输出用户的动作概率。动作概率，指用户可能会进行的下一个动作例如：“双击节点x”、“单击节点y”、“返回上一级”、“退出”等，以及进行该动作的概率。根据上述操作输出，可以推算出哪些节点可能包含用户想要搜索的目标信息，或哪些节点可能是目标信息关联的节点，从而决定从初步生成的与被双击节点关联的知识图谱摘要中删除某个节点，或加入候选三元组中的某个节点，从而得到最终要显示的知识图谱摘要。而最终要显示的知识图谱摘要也就是本实施例中的推荐数据。
71.由于用户画像具有私密性，不便于共享。因此，在本实施例中，使用个性化知识图谱摘要生成模型预测用户动作时，会将个性化知识图谱摘要生成模型下载到用户端，将用户端所保存的用户画像数据作为输入，输入到本地的个性化知识图谱摘要生成模型得到输
出后，再将输出发送回服务器端。如此，可确保用户信息能够安全地存储在用户端，而无需上传到服务器。
72.图3示出了本实施例个性化知识图谱摘要生成模型的模型训练架构。如图3所示，本实施例采用三层联邦学习的架构对个性化知识图谱摘要生成模型进行分布式训练。
73.其中，三层联邦学习的架构的最底层为同簇联邦层，用于根据同兴趣簇用户的用户数据进行联邦学习得到同类推荐模型302。
74.为了使最终显示的知识图谱摘要更贴合用户的兴趣爱好，在本实施例中，会将多个历史时刻对应的摘要表示进行平均得到历史摘要平均表示；将多个历史时刻对应的用户画像表示进行平均得到历史用户画像平均表示；之后，将历史摘要平均表示和历史用户画像平均表示进行拼接得到一个新的向量表示，并使用该向量表示作为对象数据，利用聚类算法(k-means、dbscan等)将同平台下的不同用户聚成n个兴趣簇，如图3所示的兴趣簇1、兴趣簇2。
75.由于历史摘要平均表示和历史用户画像平均表示拼接得到的向量表示，是基于用户在一段时间内浏览的多个知识图谱摘要和一段时间内积累的用户画像数据得到的，其包含的信息量更丰富并且具有时间维度信息，更能体现出发展趋势或倾向性。因此，使用历史摘要平均表示和历史用户画像平均表示拼接得到的向量表示作为对象数据来进行聚类的效果更佳，能更为准确地捕获到用户的兴趣爱好，使用户聚类到与用户真实兴趣更为接近的兴趣簇中，以便在后续个性化图谱摘要生成模型的训练中，更准确地提取到用户的个性化特征。
76.在本实施例中，相同兴趣簇的用户会根据用户端的用户数据对本地的个性化知识图谱摘要生成模型301进行分布式训练，通过联邦学习得到一个同类推荐模型302。而该同类推荐模型在经过如图3所示的三层联邦学习架构的分布式训练后，就会成为上述应用场景中，每个用户端下载到本地进行模型运算的个性化知识图谱摘要生成模型。
77.同簇联邦层之上为平台联邦层，用于根据同平台(例如平台2)不同兴趣簇(例如兴趣簇1和兴趣簇2)的用户数据进行联邦学习得到平台推荐模型303。
78.平台联邦层之上为跨平台联邦层，用于根据不同平台(例如平台1和平台2)的用户数据进行联邦学习得到跨平台推荐模型304。
79.通常，在每一层进行联邦学习和分布式训练时，本层模型在训练开始时，会同步上层模型的模型参数；在训练之后，会上传本层模型训练得到的模型参数梯度，而上层模型则会根据本层模型上传的模型参数梯度进行聚合得到梯度平均值，并根据该平均值更新上层模型的模型参数。
80.但与上述的联邦学习和分布式训练不同，在本实施例中，同类推荐模型302、平台推荐模型303和跨平台推荐模型304会将模型参数划分为个性化参数(实心点)和共享参数(空心点)。其中，个性化参数作为第一参数用于增强同兴趣簇用户画像(相同分类对象)的个性特征；共享参数作为第二参数用于增强不同分类对象的共性特征。
81.在平台联邦层和跨平台联邦层中进行联邦学习和分布式训练时，本层模型在训练开始时，仅会同步上层模型的共享参数，而不会同步上层模型的个性化参数；同理，在训练之后，本层模型也仅会上传本层模型训练得到的共享参数的梯度，而不会上传本层模型训练得到的个性化参数的梯度；而上层模型则会根据本层模型上传的共享参数的梯度进行聚
合得到梯度平均值，并根据该平均值更新上层模型的共享参数，而不会更新上层模型的个性化参数。因此，在图3中对应的部分使用“共享同步”以示与普通“同步”的区别。
82.具体地，图4示出了本实施例如何根据用户行为数据，使用上述三层联邦层进行联邦学习和分布式训练得到个性化知识图谱摘要生成模型的主要流程。如图4所示，该流程主要包括：
83.步骤410，获取用户本地存储的用户行为数据；
84.在本实施例中，系统会记录下用户使用知识图谱浏览工具浏览知识图谱的行为形成用户行为数据。其中，用户行为记录包括：摘要序列、动作序列、回报序列。
85.其中，摘要序列指在一段时间内，知识图谱摘要的变化所形成的一个序列。例如，获取用户在某一时间内浏览的所有知识图谱摘要，并按照时间顺序排列所形成的序列，例如，知识图谱摘要a-》知识图谱摘要b-》知识图谱摘要c。
86.动作序列指在一段时间内，记录下用户依次执行的动作所形成的序列。例如，点击节点x-》双击节点y-》返回上一级-》退出等。
87.回报序列指在一段时间内，记录下用户对上一时刻根据用户执行动作所生成的知识图谱摘要的回报分数。回报分数指根据用户是否继续对该图谱进行查看(展开/隐藏)、查询而推断得出的用户对知识图谱摘要的满意与否及满意程度的评分。
88.其中，动作序列和回报序列可以在训练过程中，用来作为个性化知识图谱摘要生成模型的输出结果的参照，以得到模型参数的梯度。
89.步骤420，进行同簇联邦层的联邦学习和分布式训练；
90.具体地包括：各个用户端通过同簇联邦层服务器305，将同类推荐模型302的模型参数同步到本地，得到个性化知识图谱摘要生成模型301；使用本地存储的用户行为数据和用户画像数据对个性化知识图谱摘要生成模型301进行训练得到模型参数的梯度；将模型参数的梯度提交到同簇联邦层服务器305。
91.其中，对个性化知识图谱摘要生成模型301进行训练时，可采用深度强化学习方法，例如，dqn，policy network等。
92.步骤430，进行平台联邦层的联邦学习和分布式训练；
93.具体地包括：将同类推荐模型302的模型参数分为个性化参数和共享参数；各个同类推荐模型302从平台联邦层服务器306中同步平台全局模型303的共享参数(并更新至同簇联邦层服务器305中)，保留个性化参数的原有值(来自同簇联邦层服务器305)；根据用户端上传的个性化参数的梯度计算平均值得到第一梯度平均值，根据第一梯度平均值更新同类推荐模型的个性化参数，并存储至同簇联邦层服务器305中；计算共享参数的梯度得到第二梯度平均值，将第二梯度平均值提交到平台联邦层服务器306。
94.在本实施例中，个性化知识图谱摘要生成模型301、同类推荐模型302、平台推荐模型303和跨平台推荐模型304都是基于同一个多层神经网络模型，具有相同的模型参数集，但模型参数会因为训练数据不同而在训练过程中的某一段时间内使用不同模型参数。
95.在本实施例中，将该多层神经网络模型的深层网络参数作为个性化参数；经多层神经网络模型的浅层网络参数作为共享化参数。
96.步骤440，进行跨平台联邦层的联邦学习和分布式训练；
97.具体地包括：各个平台推荐模型303从跨平台联邦层服务器307中同步跨平台全局
模型304的共享参数(并更新至平台联邦层服务器306)中，保留个性化参数的原有值(从平台联邦层服务器306中获取)；根据平台推荐模型302上传的共享参数的梯度计算平均值得到第三梯度平均值，根据第三梯度平均值更新跨平台推荐模型的共享参数，并存储至跨平台联邦层服务器307中。
98.而在下一轮训练中，各个平台推荐模型303又会从跨平台联邦层服务器307中将同步跨平台全局模型304的共享参数，并更新至平台联邦层服务器306中；各个同类推荐模型302从平台联邦层服务器306中同步平台全局模型303的共享参数(并更新至同簇联邦层服务器305中)，从而使共享参数实现从跨平台联邦层至平台联邦层，在从平台联邦层至同簇联邦层，的自顶向下的更新。
99.在下一轮训练中，簇联邦层服务器305中会保留上一轮同簇联邦层的联邦学习和分布式训练时得到的个性化参数，以及经过同簇联邦层、平台联邦层和跨平台联邦层训练后自顶向下更新的共享参数。
100.如此，既可以通过个性化参数使得个性化知识图谱摘要生成模型能生成更贴近用户兴趣爱好的个性化知识图谱摘要，还能通过共享参数最大程度地利用不同兴趣簇和不同平台间的可共享的共性特征使模型的准确度、泛化能力和稳定性得到进一步提升。
101.在本实施例中，为了进一步减少数据量，在进行训练时，并不会使用全部可用数据，而是通过采样的方式，选取本轮训练要使用的训练数据。例如，从n个兴趣簇的用户行为数据中选取m个兴趣簇的用户行为数据，其中，m小于n；再从m个兴趣簇中的p个用户行为数据中选取q个用户行为数据，其中p小于q。
102.在本实施例中，主要采用了fedavg算法进行联邦学习，实施者还可以采用其他联邦学习算法，例如fedprox,fedopt等。
103.通过上述描述不难看出，本实施例根据用户画像将同类用户聚成兴趣簇，利用同类用户数据进行知识图谱摘要模型训练，并在其基础之上建立同簇联邦层，解决了单用户训练数据有限的问题。在最大程度利用同类型用户数据信息的同时，保护了用户私密数据的安全性。
104.本实施例还在同簇联邦层的基础上，建立了平台联邦层和跨平台联邦层，并在联邦学习的过程中保留网络的深层网络参数，共享更新浅层网络参数，以保留不同兴趣簇和不同平台间的数据个性化特征，并能最大程度地利用不同兴趣簇和不同平台间的可共享的共性特征。
105.本实施例利用同簇联邦层、平台联邦层、跨平台联邦层的三层联邦学习和分布式训练架构，对个性化知识图谱摘要生成模型进行训练，实现了多用户、多平台个性化知识联邦，使得个性化知识图谱摘要生成模型具有更高的准确度、泛化能力和稳定性，并能很大程度提升知识图谱摘要下游任务(例如，基于知识库问答、查询、推荐或搜索等)的个性化、多样性和准确性。
106.此外，在实际应用场景中，随着联邦平台的增加用户历史行为数据的增加，会生成更多样性和更大规模的训练数据，利用这些新增的训练数据对个性化知识图谱摘要生成模型进行持续训练，还可使个性化知识图谱摘要生成模型的应用效果更佳。
107.需要说明的是，图2至图4所示的实施例也仅为本技术信息处理方法的一个示例性说明，并非对本技术信息处理方法的实施方式或应用场景的限定。实施者可根据实施需要、
实施条件选择任何适用的实施方式应用于任何适用的应用场景中。
108.进一步地，本技术实施例还提供一种信息处理装置。如图5所示，该装置50包括：分类确定模块501，用于根据对象数据确定分类得到对象所属的分类；推荐模块502，用于根据对象所属的分类对应的同类推荐模型得到推荐数据，其中，同类推荐模型包括第一参数和第二参数，第二参数是根据不同分类的对象数据进行训练得到的，用于增强不同分类对象的共性特征，第一参数在根据不同分类的对象数据进行训练的过程中保留原有值，用于增强相同分类对象的个性特征。
109.根据本技术实施例一实施方式，该装置50还包括：平台训练模块，用于根据不同分类的对象数据进行训练，以确定同类推荐模型的第二参数，第一参数在根据不同分类的对象数据进行训练的过程中保留原有值。
110.根据本技术实施例一实施方式，平台训练模块为平台联邦模块，具体用于根据平台推荐模型的第二参数，同步同类推荐模型的第二参数；根据不同分类的对象数据进行分布式训练，得到每一分类对应的第二参数的梯度；根据每一分类对应的第二参数的梯度，更新平台推荐模型的第二参数。
111.根据本技术实施例一实施方式，该装置还包括跨平台联邦训练模块，用于根据跨平台推荐模型的第二参数，同步平台推荐模型的第二参数；根据不同平台的对象数据进行分布式训练，得到每一平台对应的第二参数的梯度；根据每一平台对应的第二参数的梯度，更新跨平台推荐模型的第二参数。
112.根据本技术实施例一实施方式，该装置还包括同类联邦训练模块，用于根据同类推荐模型的模型参数，同步个性化推荐模型的模型参数；根据相同分类的每一对象的对象数据进行分布式训练，得到每一个性化推荐模型的第一参数的梯度；根据每一个性化推荐模型的第一参数的梯度，更新同类推荐模型的第一参数。
113.根据本技术实施例一实施方式，推荐模块502具体用于根据备选推荐数据和对象所属的分类对应的同类推荐模型得到推荐数据。
114.根据本技术实施例第三方面，提供一种计算机存储介质，存储介质包括一组计算机可执行指令，当指令被执行时用于执行上述任一项的信息处理方法。
115.这里需要指出的是：以上针对信息处理装置实施例的描述和以上针对计算机可读存储介质实施例的描述，与前述方法实施例的描述是类似的，具有同前述方法实施例相似的有益效果，因此不做赘述。对于本技术对信息处理装置实施例的描述和对计算机可读存储介质实施例的描述尚未披露的技术细节，请参照本技术前述方法实施例的描述而理解，为节约篇幅，因此不再赘述。
116.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
117.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以
集成到另一个装置，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
118.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
119.另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以利用硬件的形式实现，也可以利用硬件加软件功能单元的形式实现。
120.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储介质、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
121.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例方法的全部或部分。而前述的存储介质包括：移动存储介质、rom、磁碟或者光盘等各种可以存储程序代码的介质。
122.以上，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。