一种基于语义的智能推理方法及系统与流程

1.本技术涉及智能金融领域，尤其涉及一种基于语义的智能推理方法及系统。


背景技术：

2.金融领域数据一般具有小样本、实时性、动态性的特性。因此，通常采用基于图神经网络的推理方式或基于bert预训练模型的推理方式来处理金融领域的语义推理工作。但是，基于图神经网络的推理方式需要构建较复杂的图数据库，计算开销大，而且不满足金融领域数据在实时性和动态性方面的需求。基于bert预训练模型的推理方式虽然不需要太大计算开销且满足实时性和动态性需求，但是训练bert模型的语料是一般的自然语言，因此在处理金融领域数据的下游任务时，其泛化能力和鲁棒性有待进一步提升。
3.因此，以上两种主流推理技术的缺点限制了深度学习在推理任务中对语料信息的有效利用，影响模型的准确性及工作效率。
4.近年来，由于人工智能推动了技术与金融科技的相互融合、相互渗透，开启了商业变革和金融创新，因此，推理也已经成为人工智能中的一个重要的研究方向。目前来说，传统支持语义的智能推理技术依托于机器学习算法，通过专家定义规则或者svm(二元线性分类器)来实现基于语义的推理技术，这种方法可以对小样本、一般的自然语言范围实现推理功能。但是，受限于传统语义推理技术在金融领域的鲁棒性较差，泛化能力有限，因此仍旧不能较好处理应用金融领域数据。
5.因此，现有技术存在的问题是：不能准确推理出金融领域语料的实际含义。


技术实现要素：

6.本发明提供了一种基于语义的智能推理方法及系统，利用迁移学习的方式，从一般的自然类语料中获得与金融类语料相似的训练数据集，对金融类语料的训练数据集进行扩充，并利用扩充后的训练数据集微调bert预训练模型，以提高bert预训练模型在面向金融领域信托行业时的泛化能力，在语料稀少的情况下完成推理任务，从而解决或者部分解决现有技术不能准确推理出金融领域语料的实际含义的技术问题。
7.为解决上述技术问题，本发明的第一方面，公开了一种基于语义的智能推理方法，所述方法包括：
8.采集自然类语料和金融类语料；
9.将所述自然类语料和所述金融类语料一并送入初始bert预训练模型，得到自然类语义编码向量和金融类语义编码向量；
10.遍历计算所述自然类语义编码向量和所述金融类语义编码向量的语义相似度，并将高于相似度阈值的自然类语料迁移至所述金融类语料，形成迁移后的训练数据集；
11.将迁移后的训练数据集输入所述初始bert预训练模型，并施加前馈神经网络进行有监督学习，得到目标bert预训练模型；其中，所述目标bert预训练模型用于对待推理金融类语料进行语义推理。
12.优选的，所述将所述自然类语料和所述金融类语料一并送入初始bert预训练模型，得到自然类语义编码向量和金融类语义编码向量，具体包括：
13.将所述自然类语料和所述金融类语料一并送入初始bert预训练模型，得到所述自然类语义编码向对应的第一编码矩阵和金融类语义编码向量对应的第二编码矩阵；其中，
14.所述第一编码矩阵的每一行向量为每句自然类语料的语义表示向量，列向量表示自然类语料的向量维度；所述第二编码矩阵的每一行向量为每句金融类语料的语义表示向量，列向量表示金融类语料的向量维度。
15.优选的，所述将高于相似度阈值的自然类语料迁移至所述金融类语料，形成迁移后的训练数据集，具体包括：
16.将高于相似度阈值的自然类语料迁移至所述金融类语料对应的语料类矩阵中逐行排列，形成所述训练数据集。
17.优选的，所述将迁移后的训练数据集输入所述初始bert预训练模型，并施加前馈神经网络进行有监督学习，得到目标bert预训练模型，具体包括：
18.将迁移后的训练数据集输入所述初始bert预训练模型，得到对应的微调语义编码向量；
19.所述微调语义编码向量输入到前馈神经网络，得到预测值；
20.将所述预测值和所述训练数据集的原始标签一并送入交叉熵损失函数中计算损失，并反向传播回所述初始bert预训练模型进行梯度更新，得到所述目标bert预训练模型。
21.优选的，所述微调语义编码向量输入到前馈神经网络，得到预测值，具体包括：
22.将所述微调语义编码向量输入到所述前馈神经网络的非线性激活函数逐层进行递推，得到所述预测值；其中，非线性激活函数表示第j 1层前馈神经网络和第j层前馈神经网络的递推关系，j表示前馈神经网络的层数，1≤j≤k,k表示前馈神经网络的总层数；表示在第j层中的第h行语义编码向量，表示在第j层中的第h行语义编码向量中的第i维编码特征，表示在第j 1层中的任意行语义编码向量，h表示任意行数，i表示向量维度，i∈n，n表示向量维度总数，wi表示权重，bj表示第j层的系数。
23.优选的，所述得到目标bert预训练模型之后，所述方法还包括：
24.获得所述待推理金融类语料；
25.将所述待推理金融类语料和将推理备选项语料集一并输入所述目标bert预训练模型，得到所述待推理金融类语料对应的待推理语义编码向量和所述推理备选项语料集对应的语义编码向量组；
26.遍历计算所述待推理语义编码向量与所述语义编码向量组中每个向量的语义相似度；
27.从所述语义编码向量组中确定出语义相似度高于预设阈值的目标编码向量；
28.将所述目标编码向量所属语料作为所述待推理金融类语料对应的推理语料。
29.优选的，所述从所述语义编码向量组中确定出语义相似度高于预设阈值的目标编码向量，具体包括：
30.从所述语义编码向量组中确定出相似度最高的编码向量作为所述目标编码向量；
或者
31.从语义相似度高于预设阈值的语义编码向量中确定任一一个语义编码向量作为所述目标编码向量。
32.本发明的第二方面，公开了一种基于语义的智能推理系统，包括：
33.采集模块，用于采集自然类语料和金融类语料；
34.模型处理模块，用于将所述自然类语料和所述金融类语料一并送入初始bert预训练模型，得到自然类语义编码向量和金融类语义编码向量；
35.迁移模块，用于遍历计算所述自然类语义编码向量和所述金融类语义编码向量的语义相似度，并将高于相似度阈值的自然类语料迁移至所述金融类语料，形成迁移后的训练数据集；
36.训练模块，用于将迁移后的训练数据集输入所述初始bert预训练模型，并施加前馈神经网络进行有监督学习，得到目标bert预训练模型；其中，所述目标bert预训练模型用于对待推理金融类语料进行语义推理。
37.本发明的第三方面，公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
38.本发明的第四方面，公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
39.通过本发明的一个或者多个技术方案，本发明具有以下有益效果或者优点：
40.本发明公开了一种基于语义的智能推理方法及系统，从金融类语料入手处理，利用迁移学习的方式，从一般的自然类语料中获得与金融类语料相似的训练数据集，对金融类语料的训练数据集进行扩充，并利用扩充后的训练数据集微调bert预训练模型，以提高bert预训练模型在面向金融领域信托行业时的泛化能力，在语料稀少的情况下完成推理任务。
41.相较于传统的图神经网络模型，本实施例微调后的bert预训练模型无需预先构建大规模数据库即可完成推理任务，并且提升了推理效率，具有快速推理的优势。
42.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
43.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
44.图1示出了根据本发明一个实施例的基于语义的智能推理方法流程图；
45.图2示出了根据本发明一个实施例的基于语义的智能推理系统的示意图。
具体实施方式
46.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例
所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
47.针对现有推理技术在处理金融类语料时泛化能力有限，不能准确推理出金融领域语料的实际含义的技术问题，本发明实施例从金融类语料入手处理，利用迁移学习的方式，从一般的自然类语料中获得与金融类语料相似的训练数据集，对金融类语料的训练数据集进行扩充，并利用扩充后的训练数据集微调bert预训练模型，以提高bert预训练模型在面向金融领域信托行业时的泛化能力，在语料稀少的情况下完成推理任务。
48.相较于传统的图神经网络模型，本实施例微调后的bert预训练模型无需预先构建大规模数据库即可完成推理任务，并且提升了推理效率，具有快速推理的优势。
49.为了便于说明和解释本发明，参看图1，下面的实施例公开了一种基于语义的智能推理方法，该方法包括下述步骤：
50.步骤101，采集自然类语料和金融类语料。
51.在本实施例中，自然类语料包含自然语言，本实施例的自然语言包含各种领域的语言。在采集时，可从snli(stanford natural language inference，斯坦福自然语言推理)训练数据集中采集自然类语料。金融类语料指属于金融领域中的语言。在在采集时，可从atec(金融领域语义相似度匹配训练数据集)中采集金融类语料。
52.步骤102，将自然类语料和金融类语料一并送入初始bert预训练模型，得到自然类语义编码向量和金融类语义编码向量。
53.在本实施例中，bert预训练模型可以采用：bert-base，distilbert-base，roberta-base等模型。
54.在送入模型前之前，将自然类语料和金融类语料各自形成语料类矩阵。在语料类矩阵中，“行”为语料数量，“列”为语料特征和语料标签。
55.举例来说，对于自然类语料(general natural language，gnl)，其对应的语料矩阵为：
56.g∈[number(gnl),m 1]，其中，在此语料矩阵中，“行”为每句自然类语料的语料特征，“列”表示自然类语料的特征维度和语料标签，在“列”中，m表示语料特征总维度，多出的1列为语料标签。
[0057]
对于金融类语料(domain-specific natural language,dnl)，其对应的语料矩阵为：
[0058]
d∈[number(dnl),m 1]，其中，在此语料矩阵中，“行”为每句金融类语料的语料特征，“列”表示金融类语料的特征维度和语料标签，在“列”中，m表示语料特征总维度，多出的1列为语料标签。
[0059]
bert预训练模型模型将输入的每句语料编码为一行n维的语义编码向量，例如一行768维的语义编码向量，但并不形成限制，该行的语义编码向量为该句语料的编码结果。对于输入的多句语料，则输出编码矩阵，编码矩阵的“行”为语料数量，“列”为768维的维度，每一行向量表示一句语料的语义编码向量。
[0060]
在具体的实施过程中，先将自然类语料和金融类语料各自形成语料类矩阵，语料类矩阵中含有语料特征和语料标签。再将自然类语料对应的语料类矩阵和金融类语料对应的语料类矩阵一并送入初始bert预训练模型，得到自然类语义编码向对应的第一编码矩阵
和金融类语义编码向量对应的第二编码矩阵。
[0061]
对于自然类语料(general natural language，gnl)，初始bert预训练模型的编码器输出第一编码矩阵：
[0062]
encoder(gnl)＝g'∈[number(gnl),768]。其中，第一编码矩阵中的每一行向量表示每句自然类语料的语义编码向量，列向量表示自然类语料的向量维度。
[0063]
对于金融类语料(domain-specific natural language,dnl)的，初始bert预训练模型的编码器输出第二编码矩阵：
[0064]
encoder(dnl)＝d'∈[number(dnl),768]。其中，第二编码矩阵中的每一行向量为每句金融类语料的语义编码向量，列向量表示金融类语料的向量维度。
[0065]
步骤103，遍历计算自然类语义编码向量和金融类语义编码向量的语义相似度，并将高于相似度阈值的自然类语料迁移至金融类语料，形成迁移后的训练数据集。
[0066]
在本实施例中，通过遍历计算语义相似度，将符合条件的自然类语料迁移到金融类语料，形成迁移后的训练数据集。具体的，将高于相似度阈值的自然类语料迁移至金融类语料对应的语料类矩阵逐行排列，形成训练数据集。
[0067]
以上述编码矩阵g'和d'为例，给定相似度阈值δ，对于g'和d'中的任一行向量g'
i'
和d'
j'
，二者的相似度计算公式为：
[0068]
k'＝similarity(g
i'
,d
j'
)
[0069]
其中,similarity()表示相似度计算函数，包括欧几里得相似度和余弦相似度。若满足：k'≥δ，则将g'
i'
对应的自然类语料g
i'
迁移到d形成d”，此时d”∈[number(dnl) 1,m 1]。
[0070]
按照上述方式依次遍历，如果g中有n'条自然类语料满足上述关系，则扩充后的金融类语料训练数据集对应的语料矩阵d”∈[number(dnl) n',m 1]。
[0071]
步骤104，将迁移后的训练数据集输入初始bert预训练模型，并施加前馈神经网络进行有监督学习，得到目标bert预训练模型。
[0072]
其中，目标bert预训练模型用于对待推理金融类语料进行语义推理。
[0073]
在本实施例中，完成数据迁移后的金融类训练数据集d”，用来微调初始bert预训练语言模型，并在微调后施加前馈神经网络计算出预测值，通过有监督学习进行迭代训练。
[0074]
具体来说，将迁移后的训练数据集d”输入初始bert预训练模型，得到对应的微调语义编码向量；将微调语义编码向量输入到前馈神经网络，得到预测值。由于前馈神经网络中具有多层，相邻两层的递进关系采用前述非线性激活函数表示，其中，非线性激活函数通常采用relu函数。在前馈神经网络处理过程中，将微调语义编码向量输入到前馈神经网络的非线性激活函数逐层进行递推，得到预测值；其中，非线性激活函数表示第j 1层前馈神经网络和第j层前馈神经网络的递推关系，j表示前馈神经网络的层数，1≤j≤k,k表示前馈神经网络的总层数；表示在第j层中的第h行语言编码向量，表示在第j层中的第h行语义编码向量中的第i维编码特征，表示在第j 1层中的第h行语义编码向量，h表示任意行数，i表示向量维度，i∈n，n表示向量维度总数，wi表示权重，bj表示第j层的系数，可调。
[0075]
前馈神经网络的最后一层的输出表示为xk∈[number(dnl) n',1]，number(dnl) n'表示训练数据集中的数据总条数，该结果中包含每条语料的预测值。将预测值和训练数据集的原始标签一并送入交叉熵损失函数中计算损失，并反向传播回初始bert预训练模型进行梯度更新，完成一轮训练，本实施例经过一轮或多伦训练直至预测值满足精度要求，即可得到目标bert预训练模型。在梯度更新时，通过调整权重wi进行更新。可选的，系数bj也可调整。
[0076]
当然，由于训练数据集的数据量较大，可以将训练数据集d”中的数据打乱并分批次进行微调，每个batch的数据送入初始bert预训练模型编码，输出768维向量后直接送入前馈神经网络，得到该批次预测值。例如，[batch size,768]表示初始bert预训练模型对同一批次训练数据的编码矩阵，假设表示在第j层中，同一批次训练数据中的第h行语义编码向量，也即该模型对该批次训练数据中的语料的编码结果。将该批次预测值和训练数据集中对应批次的原始标签一并送入交叉熵损失函数中计算损失，并反向传播回初始bert预训练模型进行梯度更新，完成一轮训练。
[0077]
在实际应用阶段，得到目标bert预训练模型之后，获得待推理金融类语料。将待推理金融类语料和将推理备选项语料集一并输入目标bert预训练模型，得到待推理金融类语料对应的待推理语义编码向量和推理备选项语料集对应的语义编码向量组。其中，待推理语义编码向量为单行向量，语义编码向量组的每一行向量表示一句推理备选项语料的编码。
[0078]
遍历计算待推理语义编码向量与语义编码向量组中每个向量的语义相似度。从语义编码向量组中确定出语义相似度高于预设阈值的目标编码向量。预设阈值等同于前述相似度阈值。具体的，从语义编码向量组中确定出语义相似度最高的编码向量作为目标编码向量；或者从语义相似度高于预设阈值的语义编码向量中确定任一一个语义编码向量作为目标编码向量。将目标编码向量所属语料作为待推理金融类语料对应的推理语料。
[0079]
若以相似度最高的编码向量为例，查找出语义编码向量组中与单行向量相似度最大的行向量，即在推理备选项语料集中推理出了与待推理金融类语料最相关的语句，从而完成推理过程。
[0080]
在本实施例中，从金融类语料入手处理，利用迁移学习的方式，从一般的自然类语料中获得与金融类语料相似的训练数据集，对金融类语料的训练数据集进行扩充，并利用扩充后的训练数据集微调bert预训练模型，以提高bert预训练模型在面向金融领域信托行业时的泛化能力，在语料稀少的情况下完成推理任务。
[0081]
相较于传统的图神经网络模型，本实施例微调后的bert预训练模型无需预先构建大规模数据库即可完成推理任务，并且提升了推理效率，具有快速推理的优势。
[0082]
基于相同的发明构思，参看图2，下面的实施例介绍了一种基于语义的智能推理系统，包括：
[0083]
采集模块201，用于采集自然类语料和金融类语料；
[0084]
模型处理模块202，用于将所述自然类语料和所述金融类语料一并送入初始bert预训练模型，得到自然类语义编码向量和金融类语义编码向量；
[0085]
迁移模块203，用于遍历计算所述自然类语义编码向量和所述金融类语义编码向量的语义相似度，并将高于相似度阈值的自然类语料迁移至所述金融类语料，形成迁移后
的训练数据集；
[0086]
训练模块204，用于将迁移后的训练数据集输入所述初始bert预训练模型，并施加前馈神经网络进行有监督学习，得到目标bert预训练模型；其中，所述目标bert预训练模型用于对待推理金融类语料进行语义推理。
[0087]
基于与前述实施例中同样的发明构思，本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文任一所述方法的步骤。
[0088]
基于与前述实施例中同样的发明构思，本发明实施例还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前文任一所述方法的步骤。
[0089]
通过本发明的一个或者多个实施例，本发明具有以下有益效果或者优点：
[0090]
本发明公开了一种基于语义的智能推理方法及系统，从金融类语料入手处理，利用迁移学习的方式，从一般的自然类语料中获得与金融类语料相似的训练数据集，对金融类语料的训练数据集进行扩充，并利用扩充后的训练数据集微调bert预训练模型，以提高bert预训练模型在面向金融领域信托行业时的泛化能力，在语料稀少的情况下完成推理任务。
[0091]
相较于传统的图神经网络模型，本实施例微调后的bert预训练模型无需预先构建大规模数据库即可完成推理任务，并且提升了推理效率，具有快速推理的优势。
[0092]
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0093]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0094]
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
[0095]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代
替。
[0096]
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0097]
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的网关、代理服务器、系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0098]
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。