商品信息推理方法和装置与流程

1.本发明涉及人工智能技术领域，尤其涉及一种商品信息推理方法和装置。


背景技术：

2.在信息量爆炸式增长和冗余的时代，文本信息是最为常见且易于存储的数据，并且广泛应用于电商领域，如今有数以万计的商品信息及其描述。如何对海量的商品信息进行挖掘、分类，以及如何快速对新商品进行识别营销是电商领域一个至关重要的问题。
3.现有技术中通常采用文本推理的方式，建立商品与商品信息之间的关联关系，进而推理出商品对应的商品信息。例如，采用esim(enhanced long short-term memory for natural lanuage inference，用于自然语言推理的增强的长短期记忆网络)。esim通过bilstm(bi-directional long short-term memory，双向长短期记忆网络)作为编码器，将两端文本转换成向量表示并进行交互，通过连接每一段包含不同信息的向量作为输入，在模型中进行推理，并输出推理后的判断结果，以推理出商品的商品信息。
4.虽然，esim模型可以推理出商品与商品信息之间的关联性，但是由于esim模型本身仅基于特定范围内的语料数据进行学习，很容易导致esim模型只对这一特定范围内的数据敏感，泛化性能差，导致esim模型的推理性能差，进而导致商品推理结果不准确。


技术实现要素：

5.本发明提供一种商品信息推理方法和装置，用以解决现有技术中esim模型的推理性能差，导致商品推理结果不准确的缺陷，实现提高商品推理结果的准确性。
6.本发明提供一种商品信息推理方法，包括：
7.根据目标商品的目标属性和信息库中的各商品信息文本，获取推理模型的输入信息；
8.将所述输入信息输入所述推理模型，得到所述推理模型输出的所述目标商品的关联商品信息文本；所述关联商品信息文本为所述信息库中与所述目标商品关联的商品信息文本；
9.所述推理模型是，基于商品库中的样本商品的目标属性、所述信息库中的各商品信息文本，以及所述样本商品的关联商品信息文本，对预训练语言表征bert模型进行训练得到的。
10.根据本发明提供的一种商品信息推理方法，所述推理模型的具体训练步骤包括：
11.从所述商品库中抽取出第一数量的第一样本商品；
12.根据所述第一样本商品的目标属性、所述信息库中的各商品信息文本、所述第一样本商品的关联商品信息文本，以及第一训练策略和第二训练策略，对所述bert模型的参数进行深度预训练；其中，所述第一训练策略是基于掩码语言模型mlm任务确定的，所述第二训练策略是基于下一句预测nsp任务确定的；
13.从所述商品库中抽取出第二数量的第二样本商品；
14.基于所述第二样本商品的目标属性、所述信息库中的各商品信息文本、所述第二样本商品的关联商品信息文本，对深度预训练后的bert模型的参数进行精调；
15.根据精调后的深度预训练的bert模型，获取所述推理模型。
16.根据本发明提供的一种商品信息推理方法，所述bert模型包括第一bert模型和第二bert模型；
17.所述对所述bert模型的参数进行深度预训练，包括：
18.分别对所述第一bert模型的参数和第二bert模型的参数进行深度预训练；
19.所述对深度预训练后的bert模型的参数进行精调，包括：
20.分别对深度预训练后的第一bert模型的参数和深度预训练后的第二bert模型的参数进行精调；
21.所述根据精调后的深度预训练的bert模型，获取所述推理模型，包括：
22.从精调后的深度预训练的第一bert模型和精调后的深度预训练的第二bert模型中选择模型性能最优的模型；
23.根据所述模型性能最优的模型，获取所述推理模型。
24.根据本发明提供的一种商品信息推理方法，所述将所述输入信息输入所述推理模型，得到所述推理模型输出的所述目标商品的关联商品信息文本，包括：
25.将所述输入信息输入所述推理模型，得到所述目标商品与各商品信息文本之间的关联程度；
26.将关联程度最大的商品信息文本作为所述目标商品的关联商品信息文本。
27.根据本发明提供的一种商品信息推理方法，所述根据目标商品的目标属性和信息库中的各商品信息文本，获取推理模型的输入信息，包括：
28.分别对所述目标商品的目标属性和所述信息库中的各商品信息文本进行特征提取，得到所述目标商品的第一特征向量和各商品信息文本的第二特征向量；
29.确定所述第一特征向量和所述第二特征向量中的每一特征向量的长度是否大于所述推理模型的最大输入文本长度；
30.对长度大于所述最大输入文本长度的特征向量进行整形；其中，整形后的特征向量的长度小于或等于所述最大输入文本长度；
31.根据整形后的第一特征向量和整形后的第二特征向量，获取所述推理模型的输入信息。
32.根据本发明提供的一种商品信息推理方法，所述根据目标商品的目标属性和信息库中的各商品信息文本，获取推理模型的输入信息，包括：
33.对所述目标商品的目标属性和各商品信息文本进行预处理；
34.所述预处理包括词编码、位置编码和句子编码；
35.根据预处理后的目标商品的目标属性和预处理后的各商品信息文本，获取所述输入信息。
36.根据本发明提供的一种商品信息推理方法，所述目标商品的关联商品信息文本中包括商品类别、商品适用场景、商品适用对象和商品关键属性中的一种或多种组合。
37.本发明还提供一种商品信息推理装置，包括：
38.处理模块，用于根据目标商品的目标属性和信息库中的各商品信息文本，获取推
理模型的输入信息；
39.推理模块，用于将所述输入信息输入所述推理模型，得到所述推理模型输出的所述目标商品的关联商品信息文本；所述关联商品信息文本为所述信息库中与所述目标商品关联的商品信息文本；
40.所述推理模型是，基于商品库中的样本商品的目标属性、所述信息库中的各商品信息文本，以及所述样本商品的关联商品信息文本，对预训练语言表征bert模型进行训练得到的。
41.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述商品信息推理方法。
42.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述商品信息推理方法。
43.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述商品信息推理方法。
44.本发明提供的商品信息推理方法和装置，通过基于商品库中的样本商品、信息库中的各商品信息文本，以及样本商品的关联商品信息文本对bert模型进行训练，不仅可以构建适用于商品领域知识的推理模型，而且融合了bert模型的先验通用领域知识，以实现在电商领域对商品信息进行精确学习的能力，且能够在不同电商场景下使用通用的推理模型，以根据目标商品的目标属性即可实现对该商品的关联商品信息文本推理，且该推理模型可适用于商品知识领域中的多种商品，具备一定通用性和广泛性，进而使得获取的商品推理结果更加准确。
附图说明
45.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1是本发明提供的商品信息推理方法的流程示意图之一；
47.图2是本发明提供的商品信息推理方法中推理模型的结构示意图；
48.图3是本发明提供的商品信息推理方法的流程示意图之二；
49.图4是本发明提供的商品信息推理方法中数据预处理结果的示意图；
50.图5是本发明提供的商品信息推理方法的流程示意图之三；
51.图6是本发明提供的商品信息推理装置的结构示意图；
52.图7是本发明提供的电子设备的结构示意图。
具体实施方式
53.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳
动前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.现有技术中通常采用esim模型进行文本推理，但存在推理性能差，导致商品推理结果不准确的问题。
55.另外还有部分学者提出word2vec(word to vector，用来产生词向量的相关模型)模型或seq2vec(sequence to vector，用来产生文本序列的相关模型)模型等用于产生用来产生词向量或文本向量的嵌入模型进行文本相似度计算，进而实现信息推理。其中，word2vec模型或seq2vec模型具体为通过神经网络建立文本预测任务，最终用于提取文本表征的方法。通过word2vec模型或seq2vec模型提取出的向量直接用于计算文本之间的关联性，具体通过距离度量来表示文本之间的关系。还有部分学者提出双塔模型来进行文本相似度计算，进而实现信息推理。其中，双塔模型是利用两个相同的神经网络对两段文本同时进行训练，各自提取出不同的向量表示进行合并，然后作为下游网络结构的输入进行训练，最终输出文本的相似度量。常见的双塔模型包括dssm(deep structured semantic model，双塔语义匹配网络)及其变种senet(squeeze-and-excitation networks，压缩和激励网络)等。然而上述两种方法都是仅基于表征的算法，即仅对文本各自产生一个向量，然后拿来计算，缺少文本之间的交互作用，进而无法获取精准的商品信息推理结果。
56.针对上述问题，本实施例提出一种商品信息推理方法，该方法通过基于商品库中的样本商品、信息库中的各商品信息文本，以及样本商品的关联商品信息文本对bert(bidirectional encoder representation from transformers，预训练语言表征)模型进行训练，以构建具有通用领域知识和商品领域知识的推理模型，并通过推理模型学习目标商品与信息库中的各商品信息文本之间的关联关系，进而输出目标商品的关联商品信息文本，由于bert通过利用精度高的transformer模型在超大语料和商品领域的特定语料上进行预训练和精调，使得推理模型具有良好的泛化性和高效性，能捕捉更长距离的依赖，进而使得获取的商品信息推理结果更加精准。
57.需要说明的是，该方法的执行主体为商品信息推理装置，该装置可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备等，非移动电子设备可以为服务器、网络附属存储器、个人计算机等，本发明不作具体限定。该装置可基于python3.6在pytorch框架下实现商品信息方法，并使用pyinstaller对推理模型以及项目进行打包封装。
58.下面结合图1-图5描述本发明的商品信息推理方法。
59.如图1所示，为本技术实施例的商品信息推理方法的流程示意图之一，该方法包括如下步骤：
60.步骤101，根据目标商品的目标属性和信息库中的各商品信息文本，获取推理模型的输入信息；
61.其中，目标商品为需要进行商品信息推理的所有商品，如小说、视频、电影、融资产品和家电产品等，本实施例对此不作具体地限定。本实施例中提出的商品信息推理方法可适用于各种类型的商品的信息推理场景。
62.目标属性包括但不限于型号、标识和名称中的一种或多种，本实施例对此不作具体地限定。
63.商品信息文本为用于描述商品信息的文本；商品信息文本中包括但不限于商品关键属性信息、商品类别和商品使用场景，本实施例对此不做具体地限定。
64.需要说明的是，目标属性包含的内容可以与商品关键属性信息相同包含的内容相同或不同。
65.可选地，在获取到目标商品的目标属性和信息库中的各商品信息文本之后，可以直接将目标商品的目标属性和信息库中的各商品信息文本作为推理模型的输入信息，也可以对分别目标商品的目标属性和信息库中的各商品信息文本进行一种或多种数据处理，将处理后的目标商品的目标属性和处理后的各商品信息文本作为输入信息。
66.其中，数据处理包括但不限于特征提取，数据编码、词嵌入向量获取和数据整形，本实施例对此不作具体地限定。
67.词嵌入(即embedding)为深度学习中将单词转换成向量的方法，对应的向量被称为词嵌入向量或表征向量。对应的字嵌入同理，其嵌入对象为单个字符。
68.步骤102，将所述输入信息输入所述推理模型，得到所述推理模型输出的所述目标商品的关联商品信息文本；所述关联商品信息文本为所述信息库中与所述目标商品关联的商品信息文本；所述推理模型是，基于商品库中的样本商品的目标属性、所述信息库中的各商品信息文本，以及所述样本商品的关联商品信息文本，对预训练语言表征bert模型进行训练得到的。
69.其中，bert模型是谷歌提出的一种预训练语言模型，其中预训练是预先使用大规模的语料文本进行统一训练，然后根据实际应用场景将预训练的模型应用在下游任务中，此时该模型中下游任务中底层的、共性的部分模型已提前训练好，在需要使用该模型处理具体下游任务时，可用下游任务各自的样本数据来训练相应的模型，可以极大地加快模型的收敛速度。因此，bert模型可以充当下游任务中提取文本的嵌入向量或直接应用在分类任务中，通过新的训练集对预训练模型进行微调，达到指定的功能需求的深度学习模型。
70.如图2所示，bert模型基于多层transformer作为编码器实现的，每一层都会产生不同的信息，在下游任务中根据实际需要选择不同的层数来抽取信息。
71.如图3所示，在执行步骤102之前，需要先对推理模型进行训练，具体训练步骤包括：
72.首先，获取原始数据，并将原始数据中商品库中的样本商品的目标属性、信息库中的各商品信息文本进行数据转换后作为输入信息，以及将原始数据中样本商品的关联商品信息文本作为标签，以构建生成样本数据集；
73.然后，将样本数据集划分为训练数据集、验证数据集和测试数据集；训练数据集为对推理模型进行训练的数据集，以使推理模型根据训练数据集的预测结果学习参数，并不断通过迭代达到整体参数最优。训练集在数据集中占最大比例，具体比例可以根据实际需求进行设置，如包含样本数据集中80％的数据量。验证数据集为在训练过程中对推理模型的训练结果进行验证的数据，这部分数据不参与训练，但是会根据在验证集上的表现调整模型后续训练。测试数据集是在训练过程完全结束后检验模型泛化性能的数据，该部分数据完全独立与训练，其中样本不出现在训练集和验证集中。
74.在训练过程中，可以基于训练数据集对bert模型进行整体训练，得到可根据目标商品的目标属性精准推理出相应的关联商品信息文本的推理模型；或者，从训练数据集中
抽取出一部分训练数据，先对bert模型进行预先训练，再抽取出另一部分训练数据，在预先训练后的推理模型的基础上，对推理模型进行再次训练，得到可根据目标商品精准推理出相应的关联商品信息文本的推理模型，本实施例不对推理模型的训练方式作具体地限定。
75.并且在训练过程中，使用验证数据集和测试数据集，对训练后的推理模型的推理性能和效果进行评估，在满足调参优化和效果评估两个阶段的要求后，即可对推理模型进行部署上线或实现某些实验需求。
76.综上，本实施例中基于海量商品信息，提取出每件商品的适用场景、适用对象以及关键属性，基于bert预训练模型进行商品常识信息的推理学习，以得到一个关于商品信息的推理模型。
77.在得到推理模型后，可以将目标商品和信息库中的各商品信息文本确定的输入信息，输入推理模型中，以快速准确地得到目标商品的关联商品信息文本。
78.本实施例基于商品库中的样本商品、信息库中的各商品信息文本，以及样本商品的关联商品信息文本对bert模型进行训练，不仅可以构建适用于商品领域知识的推理模型，而且融合了bert模型的先验通用领域知识，以实现在电商领域对商品信息进行精确学习的能力，且能够在不同电商场景下使用通用的推理模型，以根据目标商品的目标属性即可实现对该商品的关联商品信息文本推理，且该推理模型可适用于商品知识领域中的多种商品，具备一定通用性和广泛性，进而使得获取的商品推理结果更加准确。
79.在一些实施例中，所述推理模型的具体训练步骤包括：
80.从所述商品库中抽取出第一数量的第一样本商品；
81.根据所述第一样本商品的目标属性、所述信息库中的各商品信息文本、所述第一样本商品的关联商品信息文本，以及第一训练策略和第二训练策略，对所述bert模型的参数进行深度预训练；其中，所述第一训练策略是基于掩码语言模型mlm任务确定的，所述第二训练策略是基于下一句预测nsp任务确定的；
82.从所述商品库中抽取出第二数量的第二样本商品；
83.基于所述第二样本商品的目标属性、所述信息库中的各商品信息文本、所述第二样本商品的关联商品信息文本，对深度预训练后的bert模型的参数进行精调；
84.根据精调后的深度预训练的bert模型，获取所述推理模型。
85.其中，第一数量和第二数量可以相同也可以不同，具体根据实际需求进行设置，如第一数量为3200万条，第二数量为800万条。
86.mlm(masked language model，掩码语言模型)策略，是以15％的概率用mask token(词元标记)，如[mask]，随机地对每一个训练序列中的token(词元)进行替换，然后预测出[mask]位置原有的单词的训练任务，为了增强推理模型上下文的理解能力。
[0087]
nsp(next sentence prediction，下一句预测)策略用于预测两个句子是否连在一起。对于句子a和句子b，把训练样例输入到模型中，判断句子b是不是句子a的下一句，以使推理模型具备句子关联性学习的能力。
[0088]
可选地，先获取原始数据集，原始数据集中包含大量样本数据，如总量为210gb。
[0089]
然后，可从原始数据集中解析出商品、商品信息文本(包括但不限于商品类别、商品使用场景和商品关键属性信息等)，以及商品与商品信息文件之间的关联关系，筛选并处理形成三元组(商品目标属性，商品信息文本，实体关系)后进行存储，经过处理后可得多条
三元组信息，具体数量可以根据实际需求进行设置，如4000万条。
[0090]
然后，对于三元组信息进行数据转换，以转换为适用于bert模型的输入形式，得到样本数据集。
[0091]
由于bert模型是基于大量通用文本进行训练的，在转移到下游任务中时，需要考虑是否需要对任务的特定领域进行预训练，使模型的数据分布更加符合下游任务。即样本数据集中的语料规模较大，考虑到所有语料均为电商领域的商品信息，而获取的bert模型是基于大量通用语料进行预训练得到，因此样本数据集中的语料与获取的bert模型中使用的语料有较大差异；为了得到既具有电商领域知识，又具有良好泛化性能，且可实现快速准确地输出目标商品的关联商品信息文本的推理模型，可以先抽取包含第一数据量的商品三元组信息，对bert模型基于mlm和nsp任务进行深度预训练，得到基于商品领域的预训练模型(即深度预训练后的bert模型)。
[0092]
再利用第二数据量的商品三元组信息中的语料进行文本推理训练，基于bert微调方法，使用模型最后一层的输出作为表示向量，使用动态学习率对深度预训练后的bert模型进行再次精调训练，以得到可精准输出商品信息推理结果的推理模型。
[0093]
其中，在对深度预训练后的bert模型进行微调的过程中，可采用各种训练策略进行训练，以将模型性能最优的bert模型作为最终的推理模型。其中，每一种训练策略的训练批次大小和最大迭代次数不同，本实施例对此不作具体地限定。如，第一训练策略的训练批次大小为1000，最大迭代次数为1000；第二训练策略的训练批次大小为1200，最大迭代次数为950。
[0094]
在训练过程中，学习率的选取至关重要，由于bert模型每一层都有不同的学习率，因此选择合适的学习率也是最终影响模型表现的关键因素。具体可以根据实际需求选取学习率，也可以根据优化算法，如遗传算法，进行适应性地选取，本实施例对此不做具体地限定。
[0095]
本实施例通过商品库中的样本商品，对bert模型进行多层次多策略地训练，以使训练得到的推理模型，既具备商品信息领域的知识，又可实现快速准确地输出目标商品的关联商品信息文本，进而具备良好的泛化性能，有效提高商品信息推理的准确性。
[0096]
其中，泛化性能指模型对未知样本预测能力的大小，泛化能力越强，模型对与新的未知数据预测越准。
[0097]
在一些实施例中，所述bert模型包括第一bert模型和第二bert模型；
[0098]
所述对所述bert模型的参数进行深度预训练，包括：
[0099]
分别对所述第一bert模型的参数和第二bert模型的参数进行深度预训练；
[0100]
所述对深度预训练后的bert模型的参数进行精调，包括：
[0101]
分别对深度预训练后的第一bert模型的参数和深度预训练后的第二bert模型的参数进行精调；
[0102]
所述根据精调后的深度预训练的bert模型，获取所述推理模型，包括：
[0103]
从精调后的深度预训练的第一bert模型和精调后的深度预训练的第二bert模型中选择模型性能最优的模型；
[0104]
根据所述模型性能最优的模型，获取所述推理模型。
[0105]
其中，第一bert模型为原始bert模型，第二bert模型为在原始bert模型的基础上
衍生得到的衍生模型，包括但不限于bert-mrc(bidirectional encoder representation from transformers machine reading comprehension，基于预训练的语言表征模型的机器阅读理解模型)和bert-mrc-wwm(training with whole word masking for bidirectional encoder representation from transformers machine reading comprehension，基于单词掩蔽的预训练的语言表征模型的机器阅读理解模型)等，本实施例对此不做具体地限定。
[0106]
其中，原始bert模型可以是基于大量中文语料训练的中文bert模型(即bert-base-chinese)。
[0107]
在训练过程中通过加载bert-base-chinese模型，bert-mrc模型，以及bert-mrc-wwm模型，完成在训练过程中进行深度预训练和微调等相关优化，进而实现对商品常识的学习过程。
[0108]
可选地，推理模型的具体训练步骤包括：
[0109]
首先，为了使得推理模型具有良好的商品信息推理性能，根据第一样本商品的目标属性、信息库中的各商品信息文本、第一样本商品的关联商品信息文本(即第一数据量的商品三元组信息)，以及第一训练策略和第二训练策略，对第一bert模型进行训练和对第二bert模型进行深度预训练，得到深度预训练后的第一bert模型和深度预训练后的第二bert模型；并根据基于第二样本商品的目标属性、信息库中的各商品信息文本、第二样本商品的关联商品信息文本(即第二数据量的商品三元组信息)，对深度预训练后的第一bert模型进行精调，以及对深度预训练后的第二bert模型进行精调，得到精调后的深度预训练的第一bert模型和精调后的深度预训练的第二bert模型。
[0110]
然后，对精调后的深度预训练的第一bert模型和精调后的深度预训练的第二bert模型的模型性能评价指标进行计算，以根据模型性能评价指标，从精调后的深度预训练的第一bert模型和精调后的深度预训练的第二bert模型中选择模型性能最优的模型作为推理模型。
[0111]
其中，模型性能评价指标包括但不限于精确率指标和召回率指标，本实施例对此不做具体地限定。
[0112]
本实施例通过分别对第一bert模型和第二bert模型进行深度预训练和精调训练，并从精调后的深度预训练的第一bert模型和精调后的深度预训练的第二bert模型中选择模型性能最优的模型，以获取模型性能最优的推理模型，进而提高商品信息推理的准确性。
[0113]
在一些实施例中，步骤102中所述将所述输入信息输入所述推理模型，得到所述推理模型输出的所述目标商品的关联商品信息文本，包括：
[0114]
将所述输入信息输入所述推理模型，得到所述目标商品与各商品信息文本之间的关联程度；
[0115]
将关联程度最大的商品信息文本作为所述目标商品的关联商品信息文本。
[0116]
可选地，在获取到推理模型的输入信息后，可以加载推理模型对输入信息进行学习，以获取目标商品与各商品信息文本之间的关联程度。
[0117]
然后，对目标商品与各商品信息文本之间的关联程度进行排序，以从信息库中选择与目标商品的关联程度最大的商品信息文本，作为目标商品的关联商品信息文本。
[0118]
本实施例根据目标商品与各商品信息文本之间的关联程度即可快速准确地确定
目标商品的关联商品信息文本，并为用户精准推理商品信息。
[0119]
在一些实施例中，步骤101中所述根据目标商品的目标属性和信息库中的各商品信息文本，获取推理模型的输入信息，包括：
[0120]
分别对所述目标商品的目标属性和所述信息库中的各商品信息文本进行特征提取，得到所述目标商品的第一特征向量和各商品信息文本的第二特征向量；
[0121]
确定所述第一特征向量和所述第二特征向量中的每一特征向量的长度是否大于所述推理模型的最大输入文本长度；
[0122]
对长度大于所述最大输入文本长度的特征向量进行整形；其中，整形后的特征向量的长度小于或等于所述最大输入文本长度；
[0123]
根据整形后的第一特征向量和整形后的第二特征向量，获取所述推理模型的输入信息。
[0124]
可选地，通常bert模型的最长文本序列为512，为了保证输入信息的有效性，进而提高商品信息推理的有效性，在获取到目标商品的目标属性和信息库中的各商品信息文本之后，可分别对目标商品和所述信息库中的各商品信息文本进行特征提取，以得到目标商品的第一特征向量和信息库中的各商品信息文本的第二特征向量。其中，特征提取包括但不限于词向量提取和语义特征向量提取。
[0125]
然后，判断目标商品的第一特征向量和信息库中的各商品信息文本的第二特征向量是否大于推理模型的最大输入文本长度；然后，对大于推理模型的最大输入文本长度的特征向量进行整形，以使得整形后的第一特征向量和整形后的第二特征向量均小于或等于最大输入文本长度。
[0126]
然后，再将整形后的第一特征向量和整形后的第二特征向量作为推理模型的输入信息，以准确推理出目标商品的关联商品信息文本。
[0127]
在一些实施例中，步骤101中所述根据目标商品的目标属性和信息库中的各商品信息文本，获取推理模型的输入信息，包括：
[0128]
对所述目标商品的目标属性和各商品信息文本进行预处理；
[0129]
所述预处理包括词编码、位置编码和句子编码；
[0130]
根据预处理后的目标商品的目标属性和预处理后的各商品信息文本，获取所述输入信息。
[0131]
其中，对于商品信息推理场景，输入信息为(商品目标属性，商品信息文本，实体关系)三元组，即输入信息包含两个文本序列，所以在构建数据集的时候需要构造句子编码(即，segment embedding)的输入信息，分别使用0和1用来区分目标商品和商品信息文本；同时，对于位置编码(即，position embedding)来说在任何场景下都不需要对其指定输入，因为positional embedding是bert模型在训练过程中初始化的参数，实现时已经做了随机初始化。
[0132]
token embedding用于将各个词转换成固定维度；
[0133]
因此，对于商品信息推理任务中，只需要构造三元组中文本的对应词元token的编码序列，并在首位分别再加上起始标记符[cls]和句子间隔标记符[sep]作为输入信息。另外，还需要根据目标商品的目标属性，如名称，以及商品信息文本的长度，生成对应的segment embedding向量。
[0134]
如图4所示，可对目标商品的目标属性和所述信息库中的各商品信息文本进行position embedding、segment embedding和token embedding等预处理，以得推理模型的输入信息。
[0135]
本实施例中通过对目标商品和信息库中的各商品信息文本进行编码预处理，以得到更加适用于bert模型的输入信息，进而提高商品信息推理的效率、准确性和可靠性。
[0136]
在一些实施例中，所述目标商品的关联商品信息文本中包括商品类别、商品适用场景、商品适用对象和商品关键属性中的一种或多种组合。
[0137]
其中，商品关键属性，包括但不限于商品使用价值、商品卖点信息、商品描述信息中的一种或多种，本实施例对此不做具体地限定。
[0138]
相应地，各商品信息文本也包括商品类别、商品使用场景和商品关键属性信息中的一种或多种组合。
[0139]
本实施例中根据推理模型，即可快速精确地推理出目标商品的与常识知识之间的关系，进而获取目标商品的关联常识知识。
[0140]
如图5所示，为本实施例提供的一种商品信息推理方法的完整流程示意图，具体步骤包括：
[0141]
步骤501，数据处理；具体先获取原始数据集，对原始数据集进行处理，得到适用于bert模型的输入规范的样本数据集；并计算样本数据集中三元组信息进行position embedding、segment embedding和token embedding等预处理，以得推理模型的输入信息；并对样本数据集进行划分，得到训练数据集、验证数据集和测试数据集。
[0142]
步骤502，推理模型训练；从训练数据集中抽取3200w条三元组语料数据对加载的一种或多种bert模型重新基于mlm任务和nsp任务进行深度预训练，得到基于商品领域的深度预训练模型。
[0143]
然后对训练数据集中剩下的三元组语料数据进行文本推理训练，基于bert微调方法，使用模型最后一层的输出作为表示向量，使用动态学习率进行模型的训练，在多种不同的训练批次大小下分别进行，并观察对应的损失变化情况和评价指标，选取模型性能最优的微调模型，作为最终的推理模型。
[0144]
步骤503，推理模型应用；具体对于输入的单条目标商品目标属性和未知商品信息文本，将其转换成推理模型的输入格式，然后送入训练好的推理模型中，经过推理模型推理输出目标商品和各商品信息文本的关系推理结果，以获取与目标商品关联的商品信息文本。
[0145]
从原理上，本实施例中的商品信息推理方法中，可基于自然语言处理领域的深度学习算法，将需要学习的商品文本转换成输入向量，通过神经网络模型内部的前向后向反馈更新模型的参数，最终实现通过计算输入向量和参数的结果，预测出目标商品所关联的商品信息文本的结果。
[0146]
从概括层次上，本实施例中的商品信息推理方法中，通过学习海量商品与其适用场景、适用对象和关键属性的联系，得到关于商品信息的推理模型。根据推理模型，可以根据商品目标属性信息和候选商品信息文本进行关系推理，帮助识别和挖掘商品是否具备某种信息价值。
[0147]
综上，本实施例将bert预训练模型和文本事理推理领域相结合，即bert预训练模
型使用海量商品信息进行学习，以实现对bert预训练模型的微调，通过微调等方法结合商品语料在现有bert模型基础进行改进，训练出更适用于商品领域的推理模型，同时也能够融合bert预训练模型先前学习到的通用领域知识，以在保证模型准确度的同时也能够提升其泛化能力，即对未知商品的信息推理和判断。除此之外，本发明技术具备清晰的开发规范，能够对内置的模型方法进行扩展和更新，同时保持本身的性能不变。
[0148]
其中，文本事理推理是基于事理推理的文本推理模型，文本推理通过对输入文本进行计算，预测与该文本相关的知识或描述，而事理推理是一个描述事件之间演化规律的逻辑知识库，用来表示事件之间的顺承、因果、条件和上下位关系。
[0149]
下面对本发明提供的商品信息推理装置进行描述，下文描述的商品信息推理装置与上文描述的商品信息推理方法可相互对应参照。
[0150]
如图6所示，本实施例提供一种商品信息推理装置，该装置包括处理模块601和推理模块602，其中：
[0151]
处理模块601用于根据目标商品的目标属性和信息库中的各商品信息文本，获取推理模型的输入信息；
[0152]
推理模块602用于将所述输入信息输入所述推理模型，得到所述推理模型输出的所述目标商品的关联商品信息文本；所述关联商品信息文本为所述信息库中与所述目标商品关联的商品信息文本；
[0153]
所述推理模型是，基于商品库中的样本商品的目标属性、所述信息库中的各商品信息文本，以及所述样本商品的关联商品信息文本，对预训练语言表征bert模型进行训练得到的。
[0154]
本实施例通过基于商品库中的样本商品、信息库中的各商品信息文本，以及样本商品的关联商品信息文本对bert模型进行训练，不仅可以构建适用于商品领域知识的推理模型，而且融合了bert模型的先验通用领域知识，以实现在电商领域对商品信息进行精确学习的能力，且能够在不同电商场景下使用通用的推理模型，以根据目标商品的目标属性即可实现对该商品的关联商品信息文本推理，且该推理模型可适用于商品知识领域中的多种商品，具备一定通用性和广泛性，进而使得获取的商品推理结果更加准确。
[0155]
在一些实施例中，还包括训练模块，具体用于：
[0156]
从所述商品库中抽取出第一数量的第一样本商品；
[0157]
根据所述第一样本商品的目标属性、所述信息库中的各商品信息文本、所述第一样本商品的关联商品信息文本，以及第一训练策略和第二训练策略，对所述bert模型的参数进行深度预训练；其中，所述第一训练策略是基于掩码语言模型mlm任务确定的，所述第二训练策略是基于下一句预测nsp任务确定的；
[0158]
从所述商品库中抽取出第二数量的第二样本商品；
[0159]
基于所述第二样本商品的目标属性、所述信息库中的各商品信息文本、所述第二样本商品的关联商品信息文本，对深度预训练后的bert模型的参数进行精调；
[0160]
根据精调后的深度预训练的bert模型，获取所述推理模型。
[0161]
在一些实施例中，所述bert模型包括第一bert模型和第二bert模型；
[0162]
训练模块，还用于：
[0163]
分别对所述第一bert模型的参数和第二bert模型的参数进行深度预训练；
[0164]
分别对深度预训练后的第一bert模型的参数和深度预训练后的第二bert模型的参数进行精调；
[0165]
从精调后的深度预训练的第一bert模型和精调后的深度预训练的第二bert模型中选择模型性能最优的模型；
[0166]
根据所述模型性能最优的模型，获取所述推理模型。
[0167]
在一些实施例中，推理模块，具体用于：
[0168]
将所述输入信息输入所述推理模型，得到所述目标商品与各商品信息文本之间的关联程度；将关联程度最大的商品信息文本作为所述目标商品的关联商品信息文本。
[0169]
在一些实施例中，处理模块，具体用于：
[0170]
分别对所述目标商品的目标属性和所述信息库中的各商品信息文本进行特征提取，得到所述目标商品的第一特征向量和各商品信息文本的第二特征向量；确定所述第一特征向量和所述第二特征向量中的每一特征向量的长度是否大于所述推理模型的最大输入文本长度；对长度大于所述最大输入文本长度的特征向量进行整形；其中，整形后的特征向量的长度小于或等于所述最大输入文本长度；根据整形后的第一特征向量和整形后的第二特征向量，获取所述推理模型的输入信息。
[0171]
在一些实施例中，处理模块，还用于：
[0172]
对所述目标商品的目标属性和各商品信息文本进行预处理；所述预处理包括词编码、位置编码和句子编码；根据预处理后的目标商品的目标属性和预处理后的各商品信息文本，获取所述输入信息。
[0173]
在一些实施例中，所述目标商品的关联商品信息文本中包括商品类别、商品适用场景、商品适用对象和商品关键属性中的一种或多种组合。
[0174]
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)701、通信接口(communications interface)702、存储器(memory)703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信。处理器701可以调用存储器703中的逻辑指令，以执行商品信息推理方法，该方法包括：根据目标商品的目标属性和信息库中的各商品信息文本，获取推理模型的输入信息；将所述输入信息输入所述推理模型，得到所述推理模型输出的所述目标商品的关联商品信息文本；所述关联商品信息文本为所述信息库中与所述目标商品关联的商品信息文本；所述推理模型是，基于商品库中的样本商品的目标属性、所述信息库中的各商品信息文本，以及所述样本商品的关联商品信息文本，对预训练语言表征bert模型进行训练得到的。
[0175]
此外，上述的存储器703中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0176]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机
程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的商品信息推理方法，该方法包括：根据目标商品的目标属性和信息库中的各商品信息文本，获取推理模型的输入信息；将所述输入信息输入所述推理模型，得到所述推理模型输出的所述目标商品的关联商品信息文本；所述关联商品信息文本为所述信息库中与所述目标商品关联的商品信息文本；所述推理模型是，基于商品库中的样本商品的目标属性、所述信息库中的各商品信息文本，以及所述样本商品的关联商品信息文本，对预训练语言表征bert模型进行训练得到的。
[0177]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的商品信息推理方法，该方法包括：根据目标商品的目标属性和信息库中的各商品信息文本，获取推理模型的输入信息；将所述输入信息输入所述推理模型，得到所述推理模型输出的所述目标商品的关联商品信息文本；所述关联商品信息文本为所述信息库中与所述目标商品关联的商品信息文本；所述推理模型是，基于商品库中的样本商品的目标属性、所述信息库中的各商品信息文本，以及所述样本商品的关联商品信息文本，对预训练语言表征bert模型进行训练得到的。
[0178]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0179]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0180]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。