文本中词的重要性程度确定方法、介质、装置和计算设备与流程

1.本公开的实施方式涉及人工智能技术领域，更具体地，本公开的实施方式涉及一种文本中词的重要性程度确定方法、介质、装置和计算设备。


背景技术：

2.目前，一些文本处理任务中涉及到确定文本中重要性词的子任务。所谓的重要性词，可以是指对文本的含义贡献比较大的词。
3.例如，在对抗文本生成任务中，需要基于标准文本生成对抗文本，其中涉及到的一个子任务为，确定标准文本中的一个或多个重要性词。
4.基于此，需要一种确定文本中词的重要性程度的技术方案。


技术实现要素：

5.在本上下文中，本公开的实施方式期望提供一种确定文本中词的重要性程度的方法、介质、装置和计算设备，以便得到更有效的对抗文本用于优化训练文本识别模型。
6.在本公开实施方式的第一方面中，提供了一种文本中词的重要性程度确定方法，其中，包括如下步骤：
7.获取目标文本的文本向量，以及用于表征文本识别模型对所述文本向量的识别结果的概率值，其中，所述文本向量是基于向量合并算法对所述目标文本中各个词的词向量的相同维度进行合并后得到的，所述文本识别模型的算法结构包括神经网络，所述神经网络包括输入层、若干中间层以及输出层；
8.根据所述输出层的前一个中间层中每个神经元对所述输出层的贡献比例，将所述概率值按比例分配给该中间层中每个神经元，其分配结果为每个神经元对应的贡献值，其中，该中间层中每个神经元对所述输出层的贡献比例包括该中间层中每个神经元的参数值乘以该神经元与所述输出层之间的连接权重值；
9.选取任一中间层，并根据该中间层的前一层中每个神经元对该中间层中每个神经元的贡献比例将该中间层中每个神经元对应的贡献值按比例分配给所述前一层中每个神经元，其中，所述前一层包括所述输入层或其他中间层，所述前一层中第一神经元对该中间层中第二神经元的贡献比例包括该第一神经元的参数值乘以该第一神经元与该第二神经元之间的连接权重值；
10.根据所述向量合并算法的逆运算将每个维度的贡献值分配给各个词的词向量的该维度，其中，所述输入层中每个神经元对应的贡献值为该神经元对应的维度的贡献值；
11.对每个词的词向量的各维度分别对应的贡献值进行求和计算，并根据计算结果得到该词的重要性程度表征值。
12.在本公开的一个实施例中，其中，根据计算结果得到该词的重要性程度表征值的步骤，还包括如下步骤：
13.将计算结果的绝对值，作为该词的重要性程度表征值。
14.在本公开的一个实施例中，所述目标文本为用于训练文本识别模型的标准文本，所述方法还包括对抗文本生成步骤，所述对抗文本生成步骤包括：
15.基于所述标准文本中每个词的重要性程度表征值，选择若干重要性词作为待替换词；
16.根据所述标准文本中位于每个待替换词之前的词与之后的词，预测每个待替换词对应的若干备选词；
17.根据至少部分待替换词对应的备选词，对所述标准文本进行词替换操作，得到若干备选文本；
18.使用所述文本识别模型分别识别每个备选文本，将若干满足对抗条件的备选文本确定为对抗文本；
19.其中，所述对抗条件为，所述文本识别模型对该备选文本的识别结果区别于对所述标准文本的识别结果。
20.在本公开的一个实施例中，
21.其中，所述预测每个待替换词对应的若干备选词的步骤还包括：
22.针对每个待替换词执行以下步骤：
23.将所述标准文本中该待替换词的位置进行遮掩标记之后，将所述标准文本输入bert模型，输出该遮掩标记对应的预测概率值集合；
24.按照预测概率值由大到小的顺序，依次确定除该待替换词之外的若干词为备选词，
25.其中，所述预测概率值集合包括多个词分别对应的预测概率值，其中每个词对应的预测概率值用于预测该词出现在该遮掩标记对应的位置上的概率。
26.在本公开的一个实施例中，所述文本识别模型用于对目标业务场景下的文本进行识别；
27.在将所述标准文本输入bert模型之前，所述方法还包括：
28.利用目标业务场景下的文本，对bert模型进行场景自适应训练。
29.在本公开的一个实施例中，其中，所述方法还包括如下步骤：用所述标准文本充当目标文本，以及按照各个待替换词的顺序将第一个待替换词作为目标待替换词，其中，所述确定对抗文本的步骤还包括迭代执行的步骤：
30.针对所述目标待替换词对应的每个备选词，将所述目标文本中的该目标待替换词替换成该备选词，得到所述目标文本对应的一个备选文本；
31.使用文本识别模型分别识别所述目标文本对应的每个备选文本，得到所述目标文本对应的每个备选文本的识别结果；将所述目标文本对应的各个备选文本中满足对抗条件的备选文本添加至可用备选文本集合；
32.若所述可用备选文本集合不为空，则基于所述可用备选文本集合，确定对抗文本，并结束迭代；
33.若所述可用备选文本集合为空，则将所述目标文本对应的各个备选文本中满足预设差异条件的备选文本，重新作为所述目标文本，将下一个待替换词重新作为所述目标待替换词，开始下一次迭代；
34.其中，所述预设差异条件为，所述目标文本对应的各个备选文本中，该备选文本的
识别结果对应的预测概率值，与所述标准文本的识别结果对应的预测概率值的差异最大。
35.在本公开的一个实施例中，其中，所述标准文本属于中文文本，确定备选词的步骤还包括：
36.针对至少部分待替换词，获取该待替换词对应的若干火星文词汇，作为该待替换词对应的备选词。
37.在本公开的一个实施例中，其中，所述标准文本属于中文文本，确定备选词的步骤还包括：
38.针对至少部分待替换词，获取该待替换词对应的拼音，作为该待替换词对应的备选词。
39.在本公开的一个实施例中，其中，所述标准文本属于中文文本，确定备选词的步骤还包括：
40.针对至少部分待替换词，获取该待替换词对应的若干同音词，作为该待替换词对应的备选词。
41.在本公开的一个实施例中，其中，所述标准文本属于中文文本，确定备选词的步骤还包括：
42.针对至少部分待替换词，将该待替换词进行形式转换，包括：将该待替换词包含的至少部分汉字进行部件拆分，将拆分出的每个部件作为独立字符；
43.将形式转换后的该待替换词作为相应的备选词。
44.在本公开的一个实施例中，所述标准文本属于中文文本；
45.在根据至少部分待替换词对应的备选词，对所述标准文本进行词替换操作之前，所述方法还包括：
46.针对至少部分待替换词，获取该待替换词包括的每个汉字对应的汉字图片；
47.针对该待替换词对应的每个汉字图片，将该汉字图片输入卷积神经网络，输出该汉字图片对应的特征表示；
48.以该汉字图片对应的特征表示输入汉字图片分类模型；所述汉字图片分类模型以不同汉字为不同类别；
49.获取该汉字图片分类模型输出的该汉字图片属于每个类别的预测概率，并按预测概率从大到小顺序，依次确定除该待替换词之外的若干汉字为备选词。
50.在本公开实施方式的第二方面中，提供了一种文本中词的重要性程度确定装置，包括：
51.获取模块，获取目标文本的文本向量，以及用于表征文本识别模型对所述文本向量的识别结果的概率值，其中，所述文本向量是基于向量合并算法对所述目标文本中各个词的词向量的相同维度进行合并后得到的，所述文本识别模型的算法结构包括神经网络，所述神经网络包括输入层、若干中间层以及输出层；
52.第一分配模块，根据所述输出层的前一个中间层中每个神经元对所述输出层的贡献比例，将所述概率值按比例分配给该中间层中每个神经元，其分配结果为每个神经元对应的贡献值，其中，该中间层中每个神经元对所述输出层的贡献比例包括该中间层中每个神经元的参数值乘以该神经元与所述输出层之间的连接权重值；
53.第二分配模块，选取任一中间层，并根据该中间层的前一层中每个神经元对该中
间层中每个神经元的贡献比例将该中间层中每个神经元对应的贡献值按比例分配给所述前一层中每个神经元，其中，所述前一层包括所述输入层或其他中间层，所述前一层中第一神经元对该中间层中第二神经元的贡献比例包括该第一神经元的参数值乘以该第一神经元与该第二神经元之间的连接权重值；
54.第三分配模块，根据所述向量合并算法的逆运算将每个维度的贡献值分配给各个词的词向量的该维度，其中，所述输入层中每个神经元对应的贡献值为该神经元对应的维度的贡献值；
55.确定模块，对每个词的词向量的各维度分别对应的贡献值进行求和计算，并根据计算结果得到该词的重要性程度表征值。
56.在本公开实施方式的第三方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现文本中词的重要性程度确定方法。
57.在本公开实施方式的第四方面中，提供了一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现文本中词的重要性程度确定方法。
58.在上述技术方案中，利用具有神经网络算法结构的文本识别模型对目标文件的文本向量进行识别，将文本识别模型输出的用于表征识别结果的概率值，完成文本向量的正向传播。然后，将该概率值由神经网络的输出层向输入层进行逐层反向传播，进而由输入层再反向传播至各个向量维度。
59.在反向传播过程中，实际上是将概率值按照输出层的前一个中间层中各个神经元对于输出层的贡献比例进行按比例分配，得到该前一个中间层中每个神经元对应的贡献值(可以理解为对于正向传播的贡献)。然后，针对任一中间层，根据该中间层的前一层中每个神经元对于该中间层中每个神经元的贡献比例，将该中间层中每个神经元对应的贡献值继续分配给该前一层中的神经元，从而可以实现将概率值逐层反向传播至输入层，得到输入层中每个神经元对应的贡献值。进而，利用输入层中各个神经元与各个维度之间的一一对应关系，将输入层中每个神经元对应的贡献值赋予对应的维度，完成反向传播。
60.考虑到文本向量是基于向量合并算法对所述目标文本中各个词的词向量的相同维度进行合并后得到的，因此，可以基于向量合并算法的逆运算，将每个维度对应的贡献值分配给各个词的词向量的该维度。进而，可以认为每个词的词向量的各维度分别对应的贡献值的和，可以代表该词对应于识别结果的贡献程度，贡献程度越大，说明这个词在目标文本中越重要。
附图说明
61.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
62.图1示例性提供一种文本中词的重要性程度确定方法的流程；
63.图2示例性提供一种神经网络的结构；
64.图3示例性提供另一种神经网络的结构；
65.图4示例性提供一种对抗文本生成方法的流程；
66.图5示例性提供一种确定对抗文本的方法的流程；
67.图6示例性提供一种文本中词的重要性程度确定装置的结构；
68.图7是本公开提供的一种计算机可读存储介质的示意图；
69.图8是本公开提供的一种计算设备的结构示意图。
70.在附图中，相同或对应的标号表示相同或对应的部分。附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
具体实施方式
71.下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
72.本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
73.根据本公开的实施方式，提出了一种文本中词的重要性程度确定方法、介质、装置和计算设备。
74.下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。
75.在本公开提供的文本中词的重要性程度确定方法中，利用具有神经网络算法结构的文本识别模型对目标文件的文本向量进行识别，将文本识别模型输出的用于表征识别结果的概率值，完成文本向量的正向传播。然后，将该概率值由神经网络的输出层向输入层进行逐层反向传播，进而由输入层再反向传播至各个向量维度。
76.在反向传播过程中，实际上是将概率值按照输出层的前一个中间层中各个神经元对于输出层的贡献比例进行按比例分配，得到该前一个中间层中每个神经元对应的贡献值(可以理解为对于正向传播的贡献)。然后，针对任一中间层，根据该中间层的前一层中每个神经元对于该中间层中每个神经元的贡献比例，将该中间层中每个神经元对应的贡献值继续分配给该前一层中的神经元，从而可以实现将概率值逐层反向传播至输入层，得到输入层中每个神经元对应的贡献值。进而，利用输入层中各个神经元与各个维度之间的一一对应关系，将输入层中每个神经元对应的贡献值赋予对应的维度，完成反向传播。
77.考虑到文本向量是基于向量合并算法对所述目标文本中各个词的词向量的相同维度进行合并后得到的，因此，可以基于向量合并算法的逆运算，将每个维度对应的贡献值分配给各个词的词向量的该维度。进而，可以认为每个词的词向量的各维度分别对应的贡献值的和，可以代表该词对应于识别结果的贡献程度，贡献程度越大，说明这个词在目标文本中越重要。
78.图1示例性提供一种文本中词的重要性程度确定方法的流程，包括：
79.s100：获取目标文本的文本向量，以及用于表征文本识别模型对所述文本向量的识别结果的概率值。
80.s102：根据所述输出层的前一个中间层中每个神经元对所述输出层的贡献比例，将所述概率值按比例分配给该中间层中每个神经元，其分配结果为每个神经元对应的贡献
值。
81.s104：选取任一中间层，并根据该中间层的前一层中每个神经元对该中间层中每个神经元的贡献比例将该中间层中每个神经元对应的贡献值按比例分配给所述前一层中每个神经元。
82.s106：根据所述向量合并算法的逆运算将每个维度的贡献值分配给各个词的词向量的该维度。
83.s108：对每个词的词向量的各维度分别对应的贡献值进行求和计算，并根据计算结果得到该词的重要性程度表征值。
84.通常，目标文本包括多个词，可以基于向量合并算法对所述目标文本中各个词的词向量的相同维度进行合并，得到目标文本对应的文本向量。例如，每个词的词向量包括n个维度，那么文本向量也包括n个维度，并且，设定i＝1,2
……
，n，文本向量的第i个维度，是各个词的第i个维度合并得到的。本文对于向量合并算法不做具体限定，常见的向量合并算法可以理解为，对于各个词向量的相同维度，按照一定的权重进行加权和计算，不同词向量中相同维度的权重通常不同。
85.图1所示方法中的文本识别模型可以具有神经网络算法结构。神经网络包括按序排列的输入层、若干中间层(或称隐层)、输出层。
86.将文本向量输入文本识别模型进行识别的过程，可以认为是将文本向量进行正向传播的过程。其中，在正向传播过程中，输入层可以将文本向量映射成特征向量并输入到下一个中间层。每个中间层用于对输入的特征向量进行分析得到新的特征向量，并将新的特征向量输入到下一个中间层或者输出层。并且，输出层可以根据输入的特征向量计算得到可以表征模型识别结果的概率值。
87.通常可以认为，输出层包括单个神经元，而输入层和中间层都包括多个神经元。神经元可以理解为用于处理向量的处理单元，每个神经元具有自身的参数值。
88.输出层的前一个中间层中每个神经元与输出层之间具有连接权重值。输入层中各个神经元与下一个中间层中各个神经元之间具有一一连接关系，相连接的两个神经元之间也具有连接权重值。相邻的前一个中间层中各个神经元与后一个中间层中各个神经元之间也具有一一连接关系，相连接的两个神经元之间也具有连接权重值。
89.在正向传播过程中，每个神经元根据自身的参数值以及自身与下一层中神经元的连接权重值对输入的向量进行计算，并输出计算结果。其中，输入层中神经元的输入是文本向量，输出是特征向量。中间层中神经元的输入是特征向量，输出还是特征向量。输出层中神经元的输入是特征向量，输出的识别结果。
90.图2示例性提供一种神经网络的结构。如图2所示，神经网络包括输入层、1个中间层、输出层。输入层包括3个神经元，中间层包括3个神经元，输出层包括1个神经元。输入层中的每个神经元可以与中间层中的每个神经元都具有连接关系，中间层中的每个神经元也可以与输出层中的每个神经元之间具有连接关系。每组神经元的连接关系都对应有一个连接权重值。
91.图3示例性提供另一种神经网络的结构。图3是在图2的基础上，增加了文本向量中各个维度与输入层中各个神经元之间的一一对应关系。
92.在介绍了上述的正向传播过程之后，将图1所示方法的构思过程说明如下：
93.目标文本中每个词的重要性程度实际上就是目标文本中每个词对目标文本的含义的贡献大小，贡献越大的词也就越重要，而文本识别模型输出的用于表征对目标文本识别结果的概率值实际上可以理解为目标文本含义的分类概率，例如，所述分类概率包括目标文本的含义表达的是正向情绪还是负向情绪。因此，倘若可以设计出某种方法，搞清楚文本识别模型输出的概率值受到目标文本中每个词的影响程度大小，则可以利用影响程度大小来表征这个词的重要性程度。
94.按照上述方法进一步分析发现，在文本识别模型识别目标文本的过程中(即正向传播过程中)，倘若认为对于不同层来说，是将目标文本的不同数学表示执行转换与正向传播，对于同一层中的不同神经元来说对正向传播都有一定的贡献，并且由于同一层中不同神经元的参数值以及对下一层中神经元的连接权重值都是不同的，因此，同一层中不同神经元对于正向传播的贡献程度是不同的。那么可以采用逆向思维，将文本识别模型输出的用于表征识别结果的概率值视为每一层神经元的贡献值的总和，并将概率值进行反向传播，即将概率值由输出层逐层反向传播至文本向量。在反向传播过程中，将概率值分配给同一层中不同神经元。其中，分配规则是同一层中对下一层的贡献比例越大的神经元，分得的贡献值越多。
95.因此，对于最后一个中间层的每个神经元对输出层的贡献比例，可以按照如下规则计算获得：“该中间层中每个神经元的参数值”乘以“该神经元与所述输出层之间的连接权重值”。
96.此外，对于输入层以及非最后一个中间层来说，其中每个第一神经元对下一层中第二神经元的贡献比例，可以按照如下规则计算获得：“第一神经元的参数值”乘以“第一神经元与第二神经元之间的连接权重值”。
97.由此得到输入层中每个神经元对应的贡献值之后，由于输入层中每个神经元与每个维度一一对应，也就可以得到文本向量中每个维度对应的贡献值，其中，所述每个维度是向量的维度。
98.由于目标文本的文本向量中每个维度是基于各个词向量的相同维度合并而成的，因此，可以基于向量合并算法的逆运算，将文本向量的每个维度对应的贡献值分配给每个词向量的该维度。例如，如果将向量合并算法理解为对于各个词向量的相同维度，那么按照一定的权重进行加权和计算，可以将向量合并算法的逆运算理解为：根据不同词向量中相同维度的不同权重对贡献值进行分配。
99.然后，在得到每个词的词向量中各个维度分别对应的贡献值之后，可以将同一个词的词向量中各个维度的贡献值相加的结果作为这个词对应的贡献值。
100.在一些实施例中，每个词对应的贡献值可能都为正，因此可以将这个词对应的贡献值作为这个词的重要性程度表征值。
101.在另一些实施例中，每个词对应的贡献值可能为正或者负，正的贡献值可以理解为增加模型输出的概率值的贡献程度，负的贡献值可以理解为减小模型输出的概率值的贡献程度。然而，其实不需要关心每个词的贡献是增大还是减小了概率值，只需要关心词的贡献对概率值的影响大小即可，因此，可以将每个词对应的求和计算结果(贡献值)的绝对值作为该词的重要性程度表征值。
102.此外，本公开还提供一种对抗文本的生成方案。
103.对抗文本通常需要满足两个要求。其中一个要求是，对抗文本为在标准文本的基础上添加细微的干扰得到的文本。此处所述的细微的干扰可以是指人类不容易察觉到的干扰，换言之，人类对于标准文本的含义理解与对于对抗文本的含义理解基本一致。例如，标准文本为“房间有点旧，应该要重新装修，不然将会走下坡路”，基于该标准文本得到的对抗样本可以为“房间有点旧，应该要重心装修，不然将会走下坡路”。可以看到，在上例中，标准文本的含义与对抗文本的含义几乎是一致的。
104.对抗文本通常需要满足的另一个要求是，对抗文本能够使得文本识别模型发生误判，即文本识别模型对于标准文本的识别结果，区别于文本识别模型对于对抗文本的识别结果。还是沿用上例，假设文本识别模型用于对文本所表达的情感是正向还是负向进行分类，那么，如果文本识别模型对标准文本“房间有点旧，应该要重新装修，不然将会走下坡路”的识别结果为负向情感，则文本识别模型对对抗文本“房间有点旧，应该要重心装修，不然将会走下坡路”的识别结果应当为正向情感。
105.因此，满足上述两个要求的对抗文本才是合格的对抗文本。
106.为了得到合格的对抗文本，本公开提供的技术方案为，将用于训练文本识别模型的标准文本中的若干词作为待替换词，根据待替换词在标准文本中的上下文来预测可以用于替换待替换词的若干备选词。使用备选词替换待替换词之后，得到备选文本，将备选文本输入到文本识别模型进行识别，如果文本识别模型对备选文本的识别结果区别于对所述标准文本的识别结果，则说明备选文本是合格的对抗文本。
107.通过上述技术方案，由于考虑了待替换词在标准文本中的上下文语境来确定备选词，因此，得到的备选文本与标准文本的含义是非常接近的，而将符合对抗条件的备选文本作为对抗文本。一方面，这样的对抗文本与标准文本的含义非常接近。另一方面，这样的对抗文本也足以使得优化前的文本识别模型发生误判。利用这样的对抗文本对文本识别模型进行优化训练，使得即便对于含义非常接近的两个不同类别的文本，文本识别模型也往往可以准确区分，并分别针对这两个不同类别的文本输出不同的识别结果。
108.图4示例性提供一种对抗文本生成方法的流程，包括以下步骤：
109.s400：获取用于训练文本识别模型的标准文本，并从所述标准文本包括的各个词中确定若干待替换词。
110.s402：根据所述标准文本中位于每个待替换词之前的词与之后的词，预测每个待替换词对应的若干备选词。
111.s404：根据至少部分待替换词对应的备选词，对所述标准文本进行词替换操作，得到若干备选文本。
112.s406：使用所述文本识别模型分别识别每个备选文本，将若干满足对抗条件的备选文本确定为对抗文本。
113.本文所述的文本识别模型可以是任何能够实现文本识别任务的人工智能模型。常见的文本识别任务是文本分类任务，文本分类任务可以是二分类任务，也可以是多分类任务。本说明书对此不做具体限定。
114.本说明书对文本识别模型的算法结构亦不做具体限定。举例来说，文本识别模型的算法结构可以包括textcnn卷积神经网络和单层的双向lstm网络。
115.本文所述的标准文本，可以是指用于训练得到文本识别模型的、符合自然语言规
则的文本。符合自然语言规则，通常是指文本的语句通顺、没有错别字等。
116.在基于标准文本生成对抗文本之前，通常需要对标准文本进行分词操作。在步骤s400中，从标准文本包括的各个词中确定替换词的规则可以有多种。例如，可以从标准文本包括的各个词中随机确定一个或多个替换词。
117.在一些实施例中，可以从标准文本包括的各个词中确定对于标准文本的含义贡献较大的词作为待替换词。其中，所述对于标准文本的含义贡献较大的词是指标准文本中的重要词或关键词。由于文本识别模型通常是根据文本中的重要词来进行分析的，因此，将标准文本中的重要词进行替换后得到的文本，更容易使得文本识别模型发生误判。
118.具体而言，可以计算所述标准文本中每个词的重要性程度表征值，其中每个词的重要性程度表征值正相关于该词对所述标准文本的内容含义的重要性程度；然后可以按照重要性程度表征值由大到小的顺序，依次确定若干词为待替换词。
119.本领域技术人员可以想到多种方式实现对标准文本中每个词的重要性程度表征值的计算。除了图4所示的文本中词的重要性程度确定方法(这种情况下，文本识别模型需要具有神经网络算法结构)，本公开还示例性提供一种计算标准文本包括的各个词的重要性程度表征值的方式(这种情况下，文本识别模型可以具有或不具有神经网络算法结构)：
120.本公开可以根据文本识别模型对所述标准文本的识别结果以及所述标注文本的识别标签，计算文本识别模型的训练损失矩阵，并根据训练损失矩阵计算梯度矩阵。然后，本公开可以根据所述梯度矩阵进行二范数计算得到重要性表征向量。其中，所述重要性表征向量包含与所述标准文本的各个词一一对应的各个维度值，每个维度值作为对应的词的重要性程度表征值。
121.进一步地，可以将所述梯度矩阵输入符号函数从而得到输出的符号矩阵，然后以所述符号矩阵作为二范数计算的输入计算得到重要性表征向量。
122.上述示例中的计算重要性程度表征值的方式，可以理解为利用了fgsm算法思想。在步骤s402中，针对每个待替换词在标准文本中的上下文来预测该待替换词对应的若干备选词，每个待替换词对应的备选词可以视为能够在标准文本的含义上起到与该待替换词相似作用的词。使用这样的备选词替换待替换词，可以尽可能使得文本的含义不会发生太大变化。
123.可以用于实现步骤s402的方法有多种，本公开示例性提供一种根据标准文本中位于每个待替换词之前的词与之后的词，预测每个待替换词对应的若干备选词的方法，可以针对每个待替换词执行以下步骤：
124.将所述标准文本中该待替换词的位置进行遮掩标记之后，将所述标准文本输入bert模型，输出该遮掩标记对应的预测概率值集合。所述预测概率值集合包括：多个词分别对应的预测概率值，其中每个词对应的预测概率值用于，预测该词出现在该遮掩标记对应的位置上的概率。可以按照预测概率值由大到小的顺序，依次确定除该待替换词之外的若干词为备选词。
125.上述示例中，可以理解为采用了基于bert模型实现mlm任务，即将输入到bert模型的文本中待替换词的位置遮住，让bert预测被遮住的位置上出现的词。例如，原始文本为“房间有点旧，应该要重新装修，不然会走下坡”，使用遮掩标记mask将“重新”的位置遮住后，将原始文本输入bert模型进行mlm生成，bert模型可以输出对于原始文本中mask位置上
后，得到的备选文本为“僦湜早餐需要改进”。
140.在一些实施例中，可以在根据至少部分待替换词对应的备选词对所述标准文本进行词替换操作之前，针对至少部分待替换词获取该待替换词对应的拼音，作为该待替换词对应的备选词。
141.例如，标准文本为“你很帅”，使用拼音备选词“shuai”对“帅”进行替换后，得到的备选文本为“你很shuai”。
142.在一些实施例中，可以在根据至少部分待替换词对应的备选词对所述标准文本进行词替换操作之前，针对至少部分待替换词获取该待替换词对应的若干同音词，作为该待替换词对应的备选词。
143.例如，标准文本为“6点吃晚餐”，使用同音的备选词“碗”替换“晚”，得到的备选文本为“6点吃碗餐”。
144.在一些实施例中，可以在根据至少部分待替换词对应的备选词，对所述标准文本进行词替换操作之前，针对至少部分待替换词将该待替换词进行形式转换。其中，形式转换包括：将该待替换词包含的至少部分汉字进行部件拆分，将拆分出的每个部件作为独立字符。然后，可以将形式转换后的该待替换词作为相应的备选词。
145.例如，标准文本为“他出汗了”，将“汗”进行部件拆分，得到“氵干”，得到的备选文本为“他出氵干了”。
146.在一些实施例中，可以在根据至少部分待替换词对应的备选词对所述标准文本进行词替换操作之前，针对至少部分待替换词获取该待替换词包括的每个汉字对应的汉字图片。接着，可以针对该待替换词对应的每个汉字图片将该汉字图片输入卷积神经网络，输出该汉字图片对应的特征表示。接着，可以以该汉字图片对应的特征表示输入汉字图片分类模型，所述汉字图片分类模型以不同汉字为不同类别。然后，可以获取该汉字图片分类模型输出的该汉字图片属于每个类别的预测概率，并按预测概率从大到小顺序，依次确定除该待替换词之外的若干汉字为备选词。
147.此方式实际上是基于汉字的视觉层面上的特征进行词替换。进一步地，上述的卷积神经网络具体可以是田字格-卷积神经网络，在这样的卷积神经网络中，最后一个隐层的输出为2*2矩阵，表征一个汉字的田字格结构。
148.图6示例性提供一种文本中词的重要性程度确定装置的结构，包括：
149.获取模块601，获取目标文本的文本向量，以及用于表征文本识别模型对所述文本向量的识别结果的概率值，其中，所述文本向量是基于向量合并算法对所述目标文本中各个词的词向量的相同维度进行合并后得到的，所述文本识别模型的算法结构包括神经网络，所述神经网络包括输入层、若干中间层以及输出层；
150.第一分配模块602，根据所述输出层的前一个中间层中每个神经元对所述输出层的贡献比例，将所述概率值按比例分配给该中间层中每个神经元，其分配结果为每个神经元对应的贡献值，其中，该中间层中每个神经元对所述输出层的贡献比例包括该中间层中每个神经元的参数值乘以该神经元与所述输出层之间的连接权重值；
151.第二分配模块603，选取任一中间层，并根据该中间层的前一层中每个神经元对该中间层中每个神经元的贡献比例将该中间层中每个神经元对应的贡献值按比例分配给所述前一层中每个神经元，其中，所述前一层包括所述输入层或其他中间层，所述前一层中第
一神经元对该中间层中第二神经元的贡献比例包括该第一神经元的参数值乘以该第一神经元与该第二神经元之间的连接权重值；
152.第三分配模块604，根据所述向量合并算法的逆运算将每个维度的贡献值分配给各个词的词向量的该维度，其中，所述输入层中每个神经元对应的贡献值为该神经元对应的维度的贡献值；
153.确定模块605，对每个词的词向量的各维度分别对应的贡献值进行求和计算，并根据计算结果得到该词的重要性程度表征值。
154.在一些实施例中，所述确定模块605，将计算结果的绝对值，作为该词的重要性程度表征值。
155.在一些实施例中，所述目标文本为用于训练文本识别模型的标准文本，所述装置还包括：
156.对抗文本生成模块606，基于所述标准文本中每个词的重要性程度表征值，选择若干重要性词作为待替换词；根据所述标准文本中位于每个待替换词之前的词与之后的词，预测每个待替换词对应的若干备选词；根据至少部分待替换词对应的备选词，对所述标准文本进行词替换操作，得到若干备选文本；使用所述文本识别模型分别识别每个备选文本，将若干满足对抗条件的备选文本确定为对抗文本；
157.其中，所述对抗条件为，所述文本识别模型对该备选文本的识别结果区别于对所述标准文本的识别结果。
158.在一些实施例中，所述对抗文本生成模块606，针对每个待替换词执行以下步骤：将所述标准文本中该待替换词的位置进行遮掩标记之后，将所述标准文本输入bert模型，输出该遮掩标记对应的预测概率值集合；按照预测概率值由大到小的顺序，依次确定除该待替换词之外的若干词为备选词，
159.其中，所述预测概率值集合包括多个词分别对应的预测概率值，其中每个词对应的预测概率值用于预测该词出现在该遮掩标记对应的位置上的概率。
160.在一些实施例中，其中，所述文本识别模型用于对目标业务场景下的文本进行识别，所述对抗文本生成模块606，在将所述标准文本输入bert模型之前，利用目标业务场景下的文本对bert模型进行场景自适应训练。
161.在一些实施例中，所述对抗文本生成模块606，用所述标准文本充当目标文本，以及按照各个待替换词的顺序将第一个待替换词作为目标待替换词，其中，所述确定对抗文本的步骤还包括迭代执行的以下步骤：
162.针对所述目标待替换词对应的每个备选词，将所述目标文本中的该目标待替换词替换成该备选词，得到所述目标文本对应的一个备选文本；
163.使用文本识别模型分别识别所述目标文本对应的每个备选文本，得到所述目标文本对应的每个备选文本的识别结果，并将所述目标文本对应的各个备选文本中满足对抗条件的备选文本添加至可用备选文本集合，
164.若所述可用备选文本集合不为空，则基于所述可用备选文本集合确定对抗文本，并结束迭代；
165.若所述可用备选文本集合为空，则将所述目标文本对应的各个备选文本中满足预设差异条件的备选文本重新作为所述目标文本，将下一个待替换词重新作为所述目标待替
换词，开始执行下一次迭代，
166.其中，所述预设差异条件为：在所述目标文本对应的各个备选文本中，该备选文本的识别结果对应的预测概率值与所述标准文本的识别结果对应的预测概率值的差异最大。
167.在一些实施例中，所述标准文本属于中文文本，所述对抗文本生成模块606，针对至少部分待替换词获取该待替换词对应的若干火星文词汇，以作为该待替换词对应的备选词。
168.在一些实施例中，其中，所述标准文本属于中文文本，所述对抗文本生成模块606，针对至少部分待替换词获取该待替换词对应的拼音，以作为该待替换词对应的备选词。
169.在一些实施例中，所述标准文本属于中文文本，所述对抗文本生成模块606，针对至少部分待替换词获取该待替换词对应的若干同音词，以作为该待替换词对应的备选词。
170.在一些实施例中，所述标准文本属于中文文本，所述对抗文本生成模块606，针对至少部分待替换词将该待替换词进行形式转换，所述形式转换包括：将该待替换词包含的至少部分汉字进行部件拆分，将拆分出的每个部件作为独立字符；将形式转换后的该待替换词作为相应的备选词。
171.在一些实施例中，其中，所述标准文本属于中文文本，所述对抗文本生成模块606，针对至少部分待替换词，获取该待替换词包括的每个汉字对应的汉字图片；针对该待替换词对应的每个汉字图片，将该汉字图片输入卷积神经网络，输出该汉字图片对应的特征表示；以该汉字图片对应的特征表示输入汉字图片分类模型，其中，所述汉字图片分类模型以不同汉字为不同类别；获取该汉字图片分类模型输出的该汉字图片属于每个类别的预测概率，并按预测概率从大到小顺序，依次确定除该待替换词之外的若干汉字为备选词。
172.应当注意，尽管在上文详细描述中提及了装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
173.图7是本公开提供的一种计算机可读存储介质的示意图，该介质140上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例的方法。
174.本公开还提供了一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例的方法。
175.图8是本公开提供的一种计算设备的结构示意图，该计算设备15可以包括但不限于：处理器151、存储器152、连接不同系统组件(包括存储器152和处理器151)的总线153。
176.其中，存储器152存储有计算机指令，该计算机指令可以被处理器131执行，使得处理器151能够执行本公开任一实施例的方法。存储器152可以包括随机存取存储单元ram1521、高速缓存存储单元1522和/或只读存储单元rom1523。该存储器152还可以包括：具有一组程序模块1524的程序工具1525，该程序模块1524包括但不限于：操作系统、一个或多个应用程序、其他程序模块和程序数据，这些程序模块一种或多种组合可以包含网络环境的实现。
177.总线153例如可以包括数据总线、地址总线和控制总线等。该计算设备15还可以通过i/o接口154与外部设备155通信，该外部设备155例如可以是键盘、蓝牙设备等。该计算设
备15还可以通过网络适配器156与一个或多个网络通信，例如，该网络可以是局域网、广域网、公共网络等。该网络适配器156还可以通过总线153与计算设备15的其他模块进行通信。
178.此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
179.虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。