基于神经网络模型的数据识别方法、装置、设备及介质与流程

技术特征：
1.一种基于神经网络模型的数据识别方法，其特征在于，所述神经网络模型包括依次级联的若干个特征提取层以及注意力网络，所述方法包括：获取待识别数据；基于所述待识别数据，通过各所述特征提取层，提取得到所述待识别数据分别对应于各所述特征提取层的输出特征；基于各所述特征提取层的输出特征，通过所述注意力网络，得到各所述特征提取层的权重；基于各所述特征提取层的权重、以及各所述特征提取层的输出特征，得到所述待识别数据对应的数据特征；基于所述待识别数据对应的数据特征，得到所述待识别数据对应的识别结果。2.根据权利要求1所述的方法，其特征在于，所述若干个特征提取层包括至少三个特征提取层，所述基于所述待识别数据，通过各所述特征提取层，提取得到所述待识别数据分别对应于各所述特征提取层的输出特征，包括：基于所述待识别数据，通过第一个特征提取层，得到所述第一个特征提取层的输出特征；基于所述第一个特征提取层的输出特征，通过第二个特征提取层，得到所述第二个特征提取层的输出特征；对于除所述第一个特征提取层和第二个特征提取层之外的任一特征提取层，基于所述特征提取层的前一特征提取层的输入特征和输出特征，得到所述特征提取层的输出特征。3.根据权利要求2所述的方法，其特征在于，所述神经网络模型还包括残差连接层，各所述特征提取层中除所述第一个特征提取层之外的、相邻的所述特征提取层之间通过残差连接层连接；所述对于除所述第一个特征提取层和第二个特征提取层之外的任一特征提取层，基于所述特征提取层的前一特征提取层的输入特征和输出特征，得到所述特征提取层的输出特征，包括：对于除所述第一个特征提取层和第二个特征提取层之外的任一特征提取层，通过所述特征提取层和所述特征提取层的前一特征提取层之间的残差连接层，将所述特征提取层的前一特征提取层的输入特征和输出特征进行融合；将融合后的特征输入至所述特征提取层，得到所述特征提取层的输出特征。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述基于各所述特征提取层的输出特征，通过所述注意力网络，得到各所述特征提取层的权重，包括：基于最后一个特征提取层的输出特征，通过所述注意力网络，得到所述注意力网络的查询向量；基于各所述特征提取层的输出特征，通过所述注意力网络，得到各所述特征提取层所对应的键向量；基于所述查询向量和各所述特征提取层所对应的键向量，通过所述注意力网络，得到各所述特征提取层的权重。5.根据权利要求4所述的方法，其特征在于，所述基于各所述特征提取层的权重、以及各所述特征提取层的输出特征，得到所述待识别数据对应的数据特征，包括：
基于各所述特征提取层的输出特征，通过所述注意力网络，得到各所述特征提取层的值向量；使用各所述特征提取层的权重，分别对各所述特征提取层的值向量进行加权处理，通过融合加权处理后的各值向量，得到所述待识别数据对应的数据特征。6.根据权利要求1所述的方法，其特征在于，所述注意力网络包括多头注意力网络，所述基于各所述特征提取层的输出特征，通过所述注意力网络，得到各所述特征提取层的权重，基于各所述特征提取层的权重、以及各所述特征提取层的输出特征，得到所述待识别数据对应的数据特征，包括：对于所述多头注意力网络的每一注意力网络分支，基于各所述特征提取层的输出特征，通过所述注意力网络分支，得到各所述特征提取层的权重，并基于各所述特征提取层的权重对各所述特征提取层的输出特征进行加权处理，通过融合加权处理后的各输出特征，得到所述注意力网络分支对应的融合后的特征；拼接所述多头注意力网络的各注意力网络分支对应的融合后的特征，并基于拼接后的特征，得到所述待识别数据对应的数据特征。7.根据权利要求1所述的方法，其特征在于，所述待识别数据包括待识别语音数据，所述神经网络模型包括声学模型；所述基于所述待识别数据，通过各所述特征提取层，提取得到所述待识别数据分别对应于各所述特征提取层的输出特征，包括：对所述待识别语音数据进行特征提取，得到所述待识别语音数据中各帧语音数据对应的声学特征；对于任一帧语音数据对应的声学特征，通过各所述特征提取层，提取得到所述声学特征分别对应于各所述特征提取层的输出特征；所述基于所述待识别数据的数据特征，得到所述待识别数据对应的识别结果，包括：基于各帧语音数据对应的数据特征，得到所述待识别语音数据的声学特征的后验概率；基于所述后验概率，得到所述待处理语音数据对应的识别结果。8.一种基于神经网络模型的数据识别装置，其特征在于，所述神经网络模型包括依次级联的若干个特征提取层以及注意力网络，所述装置包括：数据获取模块，用于获取待识别数据；输出特征确定模块，用于基于所述待识别数据，通过各所述特征提取层，提取得到所述待识别数据分别对应于各所述特征提取层的输出特征；数据特征确定模块，用于基于各所述特征提取层的输出特征，通过所述注意力网络，得到各所述特征提取层的权重，并基于各所述特征提取层的权重、以及各所述特征提取层的输出特征，得到所述待识别数据对应的数据特征；识别结果确定模块，用于基于所述待识别数据对应的数据特征，得到所述待识别数据对应的识别结果。9.一种电子设备，其特征在于，包括处理器以及存储器：所述存储器被配置用于存储计算机程序，所述计算机程序在由所述处理器执行时，使得所述处理器执行权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，当所述计算机程序在计算机上运行时，使得计算机可以执行权利要求1-7中任一项所述的方法。

技术总结
本申请实施例提供了一种基于神经网络模型的数据识别方法、装置、设备及介质，该方法涉及人工智能技术领域，该方法包括：获取待识别数据；基于待识别数据，通过各特征提取层，提取得到待识别数据分别对应于各特征提取层的输出特征；基于各特征提取层的输出特征，通过注意力网络，得到各特征提取层的权重，并基于各特征提取层的权重、以及各特征提取层的输出特征，得到待识别数据对应的数据特征；基于待识别数据对应的数据特征，得到待识别数据对应的识别结果。在本申请实施例中，注意力网络可以在特征提取层之间建立更加直接的连接，此时将有利于特征提取层之间梯度的传播，可以缓解梯度消失的问题。度消失的问题。度消失的问题。


技术研发人员：陈杰
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2020.11.24
技术公布日：2021/9/16