用于多源人员数据的标签生成方法及装置与流程

本技术属于人员数据领域，尤其涉及一种用于多源人员数据的标签生成方法及装置。

背景技术：

1、随着大数据时代和移动互联网的快速发展，海量数据为各行业提供了丰富的价值挖掘空间。其中，人员画像作为理解用户需求、刻画用户特征的重要技术手段，在个性化推荐、精准营销、智能风控以及内容分发等应用场景中发挥着重要作用。人员画像通常通过对用户多维特征数据进行分析，为用户赋予一系列能够概括其自然属性、社会属性、行为习惯和兴趣偏好的标签组合。由于同一用户在现实场景中往往同时具备多个维度的特征属性，人员画像标签生成在机器学习和人工智能领域中属于典型的多标签分类任务。近年来，依托较强的非线性拟合能力和特征提取能力，深度神经网络已被广泛应用于人员画像构建过程，并在海量用户标签生成的准确率和稳定性方面取得了一定提升。

2、然而，大多数传统多标签分类模型倾向于将各标签预测视为相互独立的任务，未充分考虑现实场景中标签之间存在的强弱关联和共现规律。例如，用户的“特定职业属性”与“某类消费偏好”之间往往存在内在逻辑相关性，若忽略该类跨标签关系，容易导致模型生成的标签组合缺乏连贯性与合理性。部分方法虽然尝试利用统计数据构建先验关联以辅助标签判断，但该类关联通常为静态固定关系，难以随着模型训练过程中对数据隐含特征理解的加深而动态演进。此外，在多层神经网络联合优化多个标签的反向传播阶段，不同标签产生的梯度更新方向可能存在冲突或相互干扰，容易造成模型训练过程不稳定，并削弱模型对上下文结构特征的感知能力和泛化能力，导致模型陷入局部最优。因此，如何融合动静态标签关联关系，并通过梯度规范机制协同优化网络参数，以提升人员画像标签生成的精准度与可靠性，是当前本领域亟待解决的技术问题。

技术实现思路

1、根据本发明的一方面，提出一种用于多源人员数据的标签生成方法，用于解决如何融合动静态标签关联关系，并通过梯度规范机制来协同优化网络参数，提升人员画像标签生成的精准度与可靠性的问题，包括如下步骤：

2、获取包含用户特征及对应标签的训练集，构建含输入层、中间层、倒数第二层和输出层的神经网络，所述输出层输出标签预测概率，基于所述训练集的标签共现关系计算先验标签关联矩阵，所述先验标签关联矩阵的元素表示给定源标签下目标标签出现的条件概率；

3、将所述用户特征输入所述神经网络前向传播获取各标签初始预测概率，计算含基础分类损失与梯度正则化项的总损失，所述梯度正则化项的确定方式为分别计算各标签的分类损失关于所述倒数第二层和所述中间层激活值的梯度，将各标签的倒数第二层梯度投影至对应中间层梯度的正交补空间获取阶梯式梯度，周期性基于所述输出层中各标签对应的分类权重向量计算模型隐含标签关联矩阵，将所述模型隐含标签关联矩阵与所述先验标签关联矩阵融合生成时变关联矩阵，根据所述时变关联矩阵对所述阶梯式梯度加权聚合获取上下文感知目标梯度，基于所述各标签初始预测概率计算调制因子，对所述阶梯式梯度与所述上下文感知目标梯度的偏差加权求和获取所述梯度正则化项；

4、基于所述总损失反向传播更新所述神经网络的参数，并周期性更新所述时变关联矩阵，利用训练完成的神经网络生成人员画像标签。

5、可选地，所述获取包含用户特征及对应标签的训练集，构建含输入层、中间层、倒数第二层和输出层的神经网络，所述输出层输出标签预测概率，包括：

6、根据用户特征数据的维度规模配置所述输入层的接收节点，通过至少一个全连接层提取隐层特征作为所述中间层，设置所述倒数第二层作为高阶特征提取层，所述输出层采用非线性映射函数将特征转化为标签预测概率。

7、可选地，所述基于所述训练集的标签共现关系计算先验标签关联矩阵，所述先验标签关联矩阵的元素表示给定源标签下目标标签出现的条件概率，包括：

8、统计训练集中各个标签独立出现的总次数以及任意两标签共同出现的共现次数，将两标签的共现次数除以源标签的独立出现次数得到给定源标签下目标标签出现的条件概率，据此构建所述先验标签关联矩阵。

9、可选地，所述分别计算各标签的分类损失关于所述倒数第二层和所述中间层激活值的梯度，将各标签的倒数第二层梯度投影至对应中间层梯度的正交补空间获取阶梯式梯度，包括：

10、对每个标签，将维度对齐矩阵与所述标签的中间层梯度相乘，得到对齐后的中间层梯度；

11、计算所述标签的倒数第二层梯度与所述对齐后的中间层梯度的内积，并将所述内积除以所述对齐后的中间层梯度的二范数的平方，得到投影系数；

12、将所述投影系数与所述对齐后的中间层梯度相乘，得到投影分量；

13、将所述标签的倒数第二层梯度减去所述投影分量，得到所述标签的阶梯式梯度。

14、可选地，所述周期性基于所述输出层中各标签对应的分类权重向量计算模型隐含标签关联矩阵，将所述模型隐含标签关联矩阵与所述先验标签关联矩阵融合生成时变关联矩阵，包括：

15、获取大于0的预设衰减系数，计算所述预设衰减系数与当前训练步数乘积的负指数函数值，作为衰减权重；

16、将所述衰减权重与所述先验标签关联矩阵相乘得到第一矩阵分量，并将所述衰减权重与所述模型隐含标签关联矩阵相乘得到第二矩阵分量；

17、将所述第一矩阵分量与所述模型隐含标签关联矩阵相加后，减去所述第二矩阵分量，得到所述时变关联矩阵。

18、可选地，所述根据所述时变关联矩阵对所述阶梯式梯度加权聚合获取上下文感知目标梯度，包括：

19、对于任一目标标签，获取时变关联矩阵中除所述目标标签外的其余各个标签对所述目标标签的条件关联权重；

20、将所述其余各个标签的条件关联权重分别与对应的其余各个标签的阶梯式梯度相乘，得到各个加权梯度；

21、将所有的所述加权梯度进行求和，得到所述目标标签的上下文感知目标梯度。

22、可选地，所述基于所述各标签初始预测概率计算调制因子，对所述阶梯式梯度与所述上下文感知目标梯度的偏差加权求和获取所述梯度正则化项，包括：

23、对每个标签，计算所述标签的阶梯式梯度与上下文感知目标梯度之间的差值向量，并计算所述差值向量的二范数的平方；

24、将所述差值向量的二范数的平方与所述标签的预测置信度调制因子相乘，得到所述标签的正则化分量；

25、将所有标签的正则化分量进行求和，得到所述梯度正则化项，所述梯度正则化项为跨标签关系梯度正则化项。

26、根据本发明的另一方面，提出一种用于多源人员数据的标签生成装置，包括如下模块：

27、构建模块，用于获取包含用户特征及对应标签的训练集，构建含输入层、中间层、倒数第二层和输出层的神经网络，所述输出层输出标签预测概率，基于所述训练集的标签共现关系计算先验标签关联矩阵，所述先验标签关联矩阵的元素表示给定源标签下目标标签出现的条件概率；

28、计算模块，用于将所述用户特征输入所述神经网络前向传播获取各标签初始预测概率，计算含基础分类损失与梯度正则化项的总损失，所述梯度正则化项的确定方式为分别计算各标签的分类损失关于所述倒数第二层和所述中间层激活值的梯度，将各标签的倒数第二层梯度投影至对应中间层梯度的正交补空间获取阶梯式梯度，周期性基于所述输出层中各标签对应的分类权重向量计算模型隐含标签关联矩阵，将所述模型隐含标签关联矩阵与所述先验标签关联矩阵融合生成时变关联矩阵，根据所述时变关联矩阵对所述阶梯式梯度加权聚合获取上下文感知目标梯度，基于所述各标签初始预测概率计算调制因子，对所述阶梯式梯度与所述上下文感知目标梯度的偏差加权求和获取所述梯度正则化项；

29、生成模块，用于基于所述总损失反向传播更新所述神经网络的参数，并周期性更新所述时变关联矩阵，利用训练完成的神经网络生成人员画像标签。

30、优选地，所述获取包含用户特征及对应标签的训练集，构建含输入层、中间层、倒数第二层和输出层的神经网络，所述输出层输出标签预测概率，包括：

31、根据用户特征数据的维度规模配置所述输入层的接收节点，通过至少一个全连接层提取隐层特征作为所述中间层，设置所述倒数第二层作为高阶特征提取层，所述输出层采用非线性映射函数将特征转化为标签预测概率。

32、优选地，所述基于所述训练集的标签共现关系计算先验标签关联矩阵，所述先验标签关联矩阵的元素表示给定源标签下目标标签出现的条件概率，包括：

33、统计训练集中各个标签独立出现的总次数以及任意两标签共同出现的共现次数，将两标签的共现次数除以源标签的独立出现次数得到给定源标签下目标标签出现的条件概率，据此构建所述先验标签关联矩阵。

34、优选地，所述分别计算各标签的分类损失关于所述倒数第二层和所述中间层激活值的梯度，将各标签的倒数第二层梯度投影至对应中间层梯度的正交补空间获取阶梯式梯度，包括：

35、对每个标签，将维度对齐矩阵与所述标签的中间层梯度相乘，得到对齐后的中间层梯度；

36、计算所述标签的倒数第二层梯度与所述对齐后的中间层梯度的内积，并将所述内积除以所述对齐后的中间层梯度的二范数的平方，得到投影系数；

37、将所述投影系数与所述对齐后的中间层梯度相乘，得到投影分量；

38、将所述标签的倒数第二层梯度减去所述投影分量，得到所述标签的阶梯式梯度。

39、优选地，所述周期性基于所述输出层中各标签对应的分类权重向量计算模型隐含标签关联矩阵，将所述模型隐含标签关联矩阵与所述先验标签关联矩阵融合生成时变关联矩阵，包括：

40、获取大于0的预设衰减系数，计算所述预设衰减系数与当前训练步数乘积的负指数函数值，作为衰减权重；

41、将所述衰减权重与所述先验标签关联矩阵相乘得到第一矩阵分量，并将所述衰减权重与所述模型隐含标签关联矩阵相乘得到第二矩阵分量；

42、将所述第一矩阵分量与所述模型隐含标签关联矩阵相加后，减去所述第二矩阵分量，得到所述时变关联矩阵。

43、优选地，所述根据所述时变关联矩阵对所述阶梯式梯度加权聚合获取上下文感知目标梯度，包括：

44、对于任一目标标签，获取时变关联矩阵中除所述目标标签外的其余各个标签对所述目标标签的条件关联权重；

45、将所述其余各个标签的条件关联权重分别与对应的其余各个标签的阶梯式梯度相乘，得到各个加权梯度；

46、将所有的所述加权梯度进行求和，得到所述目标标签的上下文感知目标梯度。

47、优选地，所述基于所述各标签初始预测概率计算调制因子，对所述阶梯式梯度与所述上下文感知目标梯度的偏差加权求和获取所述梯度正则化项，包括：

48、对每个标签，计算所述标签的阶梯式梯度与上下文感知目标梯度之间的差值向量，并计算所述差值向量的二范数的平方；

49、将所述差值向量的二范数的平方与所述标签的预测置信度调制因子相乘，得到所述标签的正则化分量；

50、将所有标签的正则化分量进行求和，得到所述梯度正则化项，所述梯度正则化项为跨标签关系梯度正则化项。

51、本发明通过融合基于数据统计得到的先验标签关联矩阵与基于分类权重生成的模型隐含标签关联矩阵，能够同时利用静态共现先验和训练过程中形成的动态关联信息，更准确地刻画各画像标签之间的依赖关系。在模型训练阶段，将倒数第二层梯度投影至中间层梯度的正交补空间，生成用于表征高阶特征更新方向的阶梯式梯度，从而缓解多标签联合训练过程中不同标签梯度方向冲突的问题，减少标签特征提取过程中的相互干扰。进一步地，基于融合后的时变关联矩阵构建上下文感知目标梯度，并结合由初始预测概率确定的调制因子，对阶梯式梯度与上下文感知目标梯度之间的偏差进行加权约束，形成梯度正则化项，以精细化引导网络参数的更新方向和更新幅度。由此，本发明能够充分挖掘跨标签上下文信息，实现对不同画像标签的差异化协同优化，提升人员画像标签生成结果的准确性、连贯性和可靠性。