异常语义截断检测方法、装置、设备及介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种异常语义截断检测的方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着社会的发展及生活节奏的加快，人们对生活质量及服务质量的追求也越来越高，例如，人们使用的终端设备也从传统的pc、电视、电话等发展到了智能手机、智能穿戴等设备，对应的网络信息也呈现出共享化、个性化、实时化、大数据化等特点。因此，为适应社会的发展和用户的需求，以及克服人工客服存在的时间和精力限制等问题，智能克服应运而生，其能够24小时在线为不同用户同时解决问题，工作效率高，是传统人工客服所不具备的。
3.在现有的智能客服系统中，一般的交互流程是用户先输出语音，然后智能客服机器人会对用户的语音进行识别并提供对应的服务，但在交互过程中，经常会出现用户只说了几个字，然后停顿了一下，正准备继续说话时，客服机器人却已经开始了智能答复。此时，用户的真正意图无法被正确识别，导致用户与智能机器人之间的交互次数增加，影响用户的体验效果。但是，如果客服机器人等待时间设置过程，用户说完需要等待客服机器人反馈的时间也相应增多，这同样也会给用户带来较差的体验。最后会导致大量的服务涌入人工坐席，增加公司的运营成本，客户满意度也会受到影响。


技术实现要素：

4.本发明提供一种异常语义截断检测方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高了异常语义截断检测的效率。
5.为实现上述目的，本发明提供的一种异常语义截断检测方法，包括：获取原始语料，对所述原始语料进行音转字识别，以得到所述原始语料对应的识别文本；
6.对所述识别文本中的异常语义截断文本进行标注，得到所述识别文本对应的标注文本；
7.对所述标注文本进行分词处理，得到所述标注文本对应的分词后的语料；
8.基于语料以及预设分类规则，判断所述异常语义截断文本中各截断的截断类型；
9.基于所述截断类型，制定与所述截断类型相对应的识别策略；
10.基于所述识别策略对待检测语音信号进行异常语义截断检测。
11.此外，可选的技术方案是，对所述原始语料进行音转字识别，以得到所述原始预料对应的识别文本的步骤包括：
12.通过预训练的语音识别模型对所述原始语料进行音转字识别，并获取对应的识别文本；同时，
13.对所述原始语料进行人工转译处理，并获取对应的转译文本；
14.基于所述转译文本对所述识别文本进行纠正，获取纠正后的文本作为所述识别文
本。
15.此外，可选的技术方案是，所述语音识别模型的训练过程包括：
16.构建包括编码器网络和解码器网络的神经网络模型；
17.将获取的预训练数据输入所述编码器网络进行编码处理，以获取与所述训练数据对应的隐藏特征，作为所述编码器网络的输出；
18.通过所述解码器网络对所述编码器网络的输出进行解码处理，以获取与所述训练数据对应的文本标签序列；
19.获取所述隐藏特征下的所述训练数据的真实文本序列的负对数似然，作为所述神经网络模型的损失；
20.基于所述训练数据迭代训练所述神经网络模型，直至所述损失收敛在预设范围内，形成所述语音识别模型。
21.此外，可选的技术方案是，所述对所述标注文本进行分词处理的步骤包括：构建深度神经网络模型；
22.基于获取的训练文本，对所述神经网络模型进行迭代训练，直至所述神经网络模型收敛在预设范围内，形成分词模型；
23.基于所述分词模型对所述标注文本进行分词处理。
24.此外，可选的技术方案是，所述截断类型包括语气词异常截断类型、停顿异常截断类型和口语异常截断类型；
25.所述识别策略包括与所述语气词异常截断类型相对应的规则系统策略，以及与所述停顿异常截断类型和所述口语异常截断类型相对应的规则系统和分类模型相结合策略；其中，
26.所述规则系统和分类模型相结合策略包括：基于规则系统策略对所述待检测语音信号进行异常语义截断，如果未检测到异常语义截断，则基于分类模型再次对所述待检测语音信号进行异常语义截断。
27.此外，可选的技术方案是，所述规则系统策略包括：头部query匹配规则、特殊query匹配规则和短句query匹配规则；
28.所述分类模型的训练过程包括：
29.将出现语义异常截断的中长句语料作为正例，非截断的语料作为负例，构建训练集；
30.基于构建的训练集训练初始化的bert模型，通过所述bert模型的嵌入层获取所述训练集的文本的表征；
31.将所述表征输入所述bert模型的transformer结构中，获取所述transformer结构的最后一层的隐藏状态的输出向量；
32.将所述输出向量输入全连接层，通过所述全连接层输出类别的概率得分；
33.基于所述概率得分确定所述训练集中的训练数据的分类结果；
34.基于所述训练集迭代训练所述bert模型，直至所述分类结果的误差收敛在预设范围内，形成所述分类模型。
35.此外，可选的技术方案是，在基于所述识别策略对待检测语音信号进行异常语义截断检测之后，还包括：
36.当所述待检测语音信号属于异常语义截断时，按照预设时间延长智能客服的等待时间；否则，
37.当所述待检测语音信号不属于异常语义截断时，所述智能客服按照正常流程反馈与所述待检测语音信号相对应的答复内容。
38.为了解决上述问题，本发明还提供一种异常语义截断检测装置，所述装置包括：
39.识别文本获取单元，用于获取原始预料，对所述原始语料进行音转字识别，以得到所述原始预料对应的识别文本；
40.标注文本获取单元，用于对所述识别文本中的异常语义截断文本进行标注，得到所述识别文本对应的标注文本；
41.分词语料获取单元，用于对所述标注文本进行分词处理，得到所述标注文本对应的分词后的语料；
42.截断类型判断单元，用于基于语料以及预设分类规则，判断所述异常语义截断文本中各截断的截断类型；
43.识别策略制定单元，用于基于所述截断类型，制定与所述截断类型相对应的识别策略；
44.异常语义截断检测单元，用于基于所述识别策略对待检测语音信号进行异常语义截断检测。
45.为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
46.存储器，存储至少一个指令；及
47.处理器，执行所述存储器中存储的指令以实现上述所述的异常语义截断检测方法。
48.为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的异常语义截断检测方法。
49.本发明实施例通过对原始语料进行音转字识别，获取对应的识别文本，然后对识别文本中的异常语义截断文本进行标注和分词处理，并获取对应的分词后的语料，进而判断所述异常语义截断文本中各截断的截断类型，并基于所述截断类型，制定与所述截断类型相对应的识别策略，最后，基于所述识别策略对待检测语音信号进行异常语义截断检测，能够准确地对用户的语义截断进行判断，并在用户出现异常语义截断的情况时进行等待处理，提高智能问答系统的灵活性以及用户的体验效果。
附图说明
50.图1为本发明一实施例提供的异常语义截断检测方法的流程示意图；
51.图2为本发明一实施例提供的异常语义截断检测装置的模块示意图；
52.图3为本发明一实施例提供的实现异常语义截断检测方法的电子设备的内部结构示意图；
53.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
54.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
55.为解决现有智能客服系统中存在的，不能识别用户的停顿是异常还是正常的情况，导致用户继续进行语音输出时，客服机器人却已开始智能问答，影响用户体验等问题，本发明提供一种异常语义截断检测方法，能够准确地对用户的语义截断进行判断，并在用户出现异常语义截断的情况时进行等待处理，提高智能问答系统的灵活性以及用户的体验效果。
56.本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
57.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
58.本发明提供一种异常语义截断检测方法。参照图1所示，为本发明一实施例提供的异常语义截断检测方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
59.在本实施例中，异常语义截断检测方法包括：
60.s100：获取原始预料，对所述原始语料进行音转字识别，以得到所述原始预料对应的识别文本。
61.其中，可通过预训练的语音识别模型对原始语料进行音转字识别，但是由于语音识别模型会存在一定的识别误差，为了提高识别文本的精度，方便后期能够准确地获取属于非正常(异常)截断的截断类型，该步骤在对原始语料进行音转字识别过程中，还可以同时通过人工对原始语料进行转译处理。
62.具体地，首先，对获取的原始语料分别进行音转字识别以及人工转译处理，获取对应的识别文本以及转译文本；然后，基于转译文本对识别文本中的错误进行纠正，获取纠正后的文本作为最终的识别文本。
63.其中，语音识别模型的预训练过程可进一步包括：
64.s110：构建包括编码器网络和解码器网络的神经网络模型；
65.s120：将获取的预训练数据输入所述编码器网络进行编码处理，以获取与所述训练数据对应的隐藏特征，作为所述编码器网络的输出；
66.s130：通过所述解码器网络对所述编码器网络的输出进行解码处理，以获取与所述训练数据对应的文本标签序列；
67.s140：获取所述隐藏特征下的所述训练数据的真实文本序列的负对数似然，作为所述神经网络模型的损失；
68.s150：基于所述训练数据迭代训练所述神经网络模型，直至所述损失收敛在预设范围内，形成所述语音识别模型。
69.具体地，在训练过程中，神经网络模型的损失的表达同时如下：
[0070][0071]
在上述公式中，y表示所述训练数据的真实文本序列，h表示所述隐藏特征，t表示第t个隐藏特征，p(y h
t
)表示所述真实文本序列在第t个隐藏特征处的概率。
[0072]
s200：对所述识别文本中的异常语义截断文本进行标注，得到所述识别文本对应的标注文本。
[0073]
其中，异常语义截断文本主要是指在原始语料中，出现语句短暂中断的情况，但该短暂的中断并不是用户本意的语句停顿，即非主观意识的语句停顿，例如，当用户在语言表达过程中出现“我想咨询一下，那个”出现短暂的中断时，或者，出现“额”、“嗯”等语气词时，用户的真实意思并没有表达完整，这种情况可默认为异常语义截断，此时，可指示对应的智能客服进行一定时间的等待，而不是直接进行答复。
[0074]
具体地，对异常语义截断文本的标注可通过人工进行标注，也可训练标注模型进行标注，在本方案中不做具体限制。
[0075]
s300：对所述标注文本进行分词处理，得到所述标注文本对应的分词后的语料。
[0076]
其中，在对所述标注文本进行分词处理之前，还包括对所述标注文本进行预处理的过程，其中，该预处理的过程包括：删除标注文本中的标点、乱码、符号等，仅保留文字部分，以及对文本进行格式调整等操作。
[0077]
具体地，对标注文本进行分词处理的过程可进一步包括：
[0078]
s310：构建深度神经网络模型；
[0079]
s320：基于获取的训练文本，对所述神经网络模型进行迭代训练，直至所述神经网络模型收敛在预设范围内，形成分词模型。
[0080]
作为具体示例，所构建的神经网络模型可包括四层，分别为输入层、第一隐藏层、第二隐藏层和输出层，其中的输入层的输入为所述训练文本的字符特征向量，所述第一隐藏层包括第一预设数目的节点，所述第二隐藏层包括第二预设数目的节点，所述第一隐藏层和所述第二隐藏层的激活函数可采用relu函数，所述输出层的输出为所述字符为任一类型的概率，所述输出层的激活函数可采用logistics函数。
[0081]
s330：基于所述分词模型对所述标注文本进行分词处理。
[0082]
可知，上述神经网络模型也可以选用其他结构或调整结构参数等，例如，也可采用n阶马尔科夫模型n-gram模型，对标注文本进行分词处理等，分词后的语料中即包含标注的异常语义截断文本，进而可据此对这些异常语义截断的类型进行归纳分类处理。
[0083]
s400：基于所述语料以及预设分类规则，判断所述异常语义截断文本中各截断的截断类型。
[0084]
具体地，预设分类规则主要包括：基于出现异常语义截断的语料进行分类，当异常语义截断出现时的语料为“嗯”、“呃”等预期词时，可将这类的截断类型归纳为语气词异常截断，当异常语义截断出现时的语料为“请问以下”、“怎么说呢”等时，可将这类截断类型归纳为停顿异常截断等，最终可基于分词后的语料进行全面的统计分析，从句长、首尾字、句式结构、出现频率等多个维度进行全方位分析，总结归纳语句容易出现异常截断的类型(即截断类型)。作为具体示例，在业务应用过程中，可归纳以下三种主要的截断类型：
[0085]
第一种：语气词异常截断，例如“啊”、“额”、“嗯”、“呃”等；
[0086]
第二种：停顿异常截断，主要指在用户表达时由于停顿或中断导致的异常截断，例如“咨询一下”、“要查”、“请问以下”、“怎么说呢”、“想了解下”等；
[0087]
第三种：口语异常截断，主要指在表达时出现口语习惯词汇导致的异常截断，例如“这个”、“那个”、“就是”等。
[0088]
可知，上述的截断类型也可根据具体的业务场景进行归纳总结，即针对不同的场景可归纳不同的截断类型，进而，在确定异常截断的截断类型后，可针对不同的截断类型制定对应的识别策略，以便能够在智能问答系统中，对用户的语音信息进行更加人性化的分析及对答，避免在异常截断出现时，智能客服却已经开始进行回复。
[0089]
s500：基于所述截断类型，制定与所述截断类型相对应的识别策略。
[0090]
其中，由于上述第一种语气词异常截断类型，多出现在短句中，针对这种截断类型的异常截断，可采用规则系统策略，规则系统可包括三种规则匹配方法：头部query匹配、特殊query匹配和短句query匹配，其中，头部query匹配，主要是指针对异常语义截断文本中数量较少但比较集中的query，通过文本精确匹配的方式进行异常截断进行判定；特殊query匹配主要是指针对一些特殊格式的query，采用正则匹配的方式进行异常截断的判断；短句query匹配，主要是针对一些模型难以解决的短句query，标注词性序列，通过匹配词性序列进行异常截断判定的方法。
[0091]
在实际应用过程中，可构建一个包含异常截断的语气词的字典，如果与用户的当前语音信号对应的文本中能都精确匹配到相应的字典中的语气词，则可判定当前语音信号属于异常截断，进而可控制对应的智能系统进行短暂的等待处理。
[0092]
此外，对于第二种停顿异常截断的情况，可采用规则系统和模型相组合的方法进行识别检测，所述规则系统和分类模型相结合策略包括：基于规则系统策略对所述待检测语音信号进行异常语义截断，如果未检测到异常语义截断，则基于分类模型再次对所述待检测语音信号进行异常语义截断，在实际应用中，可统计截断语句高频出现的短语和词组，作为规则字典。另外，模型方面可选择bert作为分类模型。
[0093]
具体地，所述分类模型的训练过程包括：
[0094]
将出现语义异常截断的中长句语料作为正例，非截断的语料作为负例，构建训练集；
[0095]
基于构建的训练集训练初始化的bert模型，通过所述bert模型的嵌入层获取所述训练集的文本的表征；
[0096]
将所述表征输入所述bert模型的transformer结构中，获取所述transformer结构的最后一层的隐藏状态的输出向量；
[0097]
将所述输出向量输入全连接层，通过所述全连接层输出类别的概率得分；
[0098]
基于所述概率得分确定所述训练集中的训练数据的分类结果；
[0099]
基于所述训练集迭代训练所述bert模型，直至所述分类结果的误差收敛在预设范围内，形成所述分类模型。
[0100]
进一步地，模型结构可采用标准的bert模型，即12-layer，768-hidden，12-heads，110m parameters。整个训练过程是，首先预处理好的训练集中的训练数据经过embedding层，得到对应文本的表征，接着将表征送入transformer中，将最后一层隐藏状态的输出向量送入一个全连接层，全连接层的输出结果就是两个类别的概率得分，取得分高的类别作
为最终的预测结果。
[0101]
最后，针对第二种停顿异常截断，可使用规则系统和模型相结合的策略，首先对待检测文本的开头及结尾进行匹配，如果规则系统无法确定，则进一步使用分类模型进行判别，并给出检测结果；如果规则系统直接匹配为异常截断情况，则无需进行模型检测。
[0102]
对于第三种口语词汇的截断类型，同样采用规则与模型的组合方法。与第二种情况相似，可先统计出截断语句高频出现的口语习惯词汇，建立一个规则字典，包括短语的精确匹配字典及特殊格式匹配字典。同样，将这类截断的语料作为正例，非截断的语料作为负例，构建训练集，训练bert分类模型。最终的策略是使用规则系统对待检测文本的结尾匹配，如果规则系统无法确定，则使用分类模型进行判别，给出检测结果。
[0103]
s600：基于所述识别策略对待检测语音信号进行异常语义截断检测。
[0104]
具体地，识别策略中可包括上述所有策略的集合，然后在对待检测语音信号进行异常语义截断检测时，可直接通过识别策略进行直接检测，识别策略会结合规则和模型对其中的异常截断进行检测识别。
[0105]
其中，识别策略包括预先构造的语气词字典、精确匹配字典、口语习惯字典以及分类模型，通过识别策略对待检测语音信号进行检测的过程中，默认先通过上述各字典进行匹配检测，如果能够检测到对应的匹配信息，则直接确定当前语音信号为异常语义截断，否则，进一步通过分类模型对该待检测语音信号进行检测，最终确定其是否为异常语义截断的情况。
[0106]
需要说明的是，上述待检测语音信号通常为一个句子，在智能问答系统中，每当用户输出一个句子时，即对其进行异常语义截断检测，进而达到提高智能问答系统性能的目的。
[0107]
此外，通过预先制定的识别策略对待检测语音信号进行异常语义截断检测之后，还可以包括：
[0108]
(1)、若当前待检测语音信号属于异常语义截断时，则延长智能客服的等待时间，该等待时间可灵活设置，例如300毫秒；
[0109]
(2)、若当前待检测语音信号不属于异常语义截断时，则智能客服按照正常流程反馈对应的回答内容。
[0110]
根据上述本发明的异常语义截断检测方法，截断类型的归纳是基础，其准确度决定了后续采取什么样的解决策略，通过对文本的长度、首尾字、句式结构、句子词性顺序、分词后的片段频率分布等不同角度分析，可对各类的异常语义截断进行归纳分类。比如“咨询一下”、“我要问一下”这样的文本比较多，在目前的智能问答系统中，存在用户在说完这句话后思考停顿了一下，准备说下一句时，客服机器人却开始回复了。同样地，用户听完一段播报后，无意识地说了“呃”，拖延了一两秒，刚说下一个字时，客服机器人便已经开始回复。虽然这两种都是语义截断，但类型不同，前一种多为用户主观停顿，句式表达多为主语 动词，后一种多以一些语气词的形式出现，无其他内容，因此准确全面地对上述各种异常语义截断进行统计归纳，能够为后续的检测效果带来帮助。
[0111]
最后，在具体应用过程中，还可以不断对识别策略进行优化，利用已有的规则系统、语言模型等筛选一些截断数据进行在线抽样，并进行人工标注，同时线上随机抽样进行人工标注，可增强数据，丰富训练集，达到异常语义截断的检测精度和效率。
[0112]
如图2所示，是本发明异常语义截断检测装置的功能模块图。
[0113]
本发明所述异常语义截断检测装置200可以安装于电子设备中。根据实现的功能，所述异常语义截断检测装置可以包括以下单元：识别文本获取单元210、标注文本获取单元220、分词语料获取单元230、截断类型判断单元240、识别策略制定单元250和异常语义截断检测单元260。本发所述单元也可以称之为模块，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
[0114]
在本实施例中，关于各模块/单元的功能如下：
[0115]
识别文本获取单元210，用于获取原始预料，对所述原始语料进行音转字识别，以得到所述原始预料对应的识别文本。
[0116]
其中，可通过预训练的语音识别模型对原始语料进行音转字识别，但是由于语音识别模型会存在一定的识别误差，为了提高识别文本的精度，方便后期能够准确地获取属于非正常(异常)截断的截断类型，该步骤在对原始语料进行音转字识别过程中，还可以同时通过人工对原始语料进行转译处理。
[0117]
具体地，首先，对获取的原始语料分别进行音转字识别以及人工转译处理，获取对应的识别文本以及转译文本；然后，基于转译文本对识别文本中的错误进行纠正，获取纠正后的文本作为最终的识别文本。
[0118]
其中，语音识别模型的预训练过程可进一步包括：
[0119]
网络模型构建模块，用于构建包括编码器网络和解码器网络的神经网络模型；
[0120]
隐藏特征获取模块，用于将获取的预训练数据输入所述编码器网络进行编码处理，以获取与所述训练数据对应的隐藏特征，作为所述编码器网络的输出；
[0121]
文本标签序列获取模块，用于通过所述解码器网络对所述编码器网络的输出进行解码处理，以获取与所述训练数据对应的文本标签序列；
[0122]
损失确定模块，用于获取所述隐藏特征下的所述训练数据的真实文本序列的负对数似然，作为所述神经网络模型的损失；
[0123]
语音识别模型形成模块，用于基于所述训练数据迭代训练所述神经网络模型，直至所述损失收敛在预设范围内，形成所述语音识别模型。
[0124]
具体地，在训练过程中，神经网络模型的损失的表达同时如下：
[0125][0126]
在上述公式中，y表示所述训练数据的真实文本序列，h表示所述隐藏特征，t表示第t个隐藏特征，p(y|h
t
)表示所述真实文本序列在第t个隐藏特征处的概率。
[0127]
标注文本获取单元220，用于对所述识别文本中的异常语义截断文本进行标注，得到所述识别文本对应的标注文本。
[0128]
其中，异常语义截断文本主要是指在原始语料中，出现语句短暂中断的情况，但该短暂的中段并不是用户本意的语句停顿，即非主观意识的语句停顿，例如，当用户在语言表达过程中出现“我想咨询一下，那个”出现短暂的中断时，或者，出现“额”、“嗯”等语气词时，用户的真实意思并没有表达完整，这种情况可默认为异常语义截断，此时，可指示对应的智能客服进行一定时间的等待，而不是直接进行答复。
[0129]
具体地，对异常语义截断文本的标注可通过人工进行标注，也可训练标注模型进
行标注，在本方案中不做具体限制。
[0130]
分词语料获取单元230，用于对所述标注文本进行分词处理，得到所述标注文本对应的分词后的语料。
[0131]
其中，在对所述标注文本进行分词处理之前，还包括对所述标注文本进行预处理的过程，其中，该预处理的过程包括：删除标注文本中的标点、乱码、符号等，仅保留文字部分，以及对文本进行格式调整等操作。
[0132]
具体地，对标注文本进行分词处理可进一步包括：
[0133]
网络模型构建模块，用于构建深度神经网络模型；
[0134]
分词模型形成模块，用于基于获取的训练文本，对所述神经网络模型进行迭代训练，直至所述神经网络模型收敛在预设范围内，形成分词模型。
[0135]
作为具体示例，所构建的神经网络模型可包括四层，分别为输入层、第一隐藏层、第二隐藏层和输出层，其中的输入层的输入为所述训练文本的字符特征向量，所述第一隐藏层包括第一预设数目的节点，所述第二隐藏层包括第二预设数目的节点，所述第一隐藏层和所述第二隐藏层的激活函数可采用relu函数，所述输出层的输出为所述字符为任一类型的概率，所述输出层的激活函数可采用logistics函数。
[0136]
分词处理模块，用于基于所述分词模型对所述标注文本进行分词处理。
[0137]
可知，上述神经网络模型也可以选用其他结构或调整结构参数等，例如，也可采用n阶马尔科夫模型n-gram模型，对标注文本进行分词处理等，分词后的语料中即包含标注的异常语义截断文本，进而可据此对这些异常语义截断的类型进行归纳分类处理。
[0138]
截断类型判断单元240，用于基于语料以及预设分类规则，判断所述异常语义截断文本中各截断的截断类型。
[0139]
具体地，预设分类规则主要包括：基于出现异常语义截断的语料进行分类，当异常语义截断出现时的语料为“嗯”、“呃”等预期词时，可将这类的截断类型归纳为语气词异常截断，当异常语义截断出现时的语料为“请问以下”、“怎么说呢”等时，可将这类截断类型归纳为停顿异常截断等，最终可基于分词后的语料进行全面的统计分析，从句长、首尾字、句式结构、出现频率等多个维度进行全方位分析，总结归纳语句容易出现异常截断的类型(即截断类型)。作为具体示例，在业务应用过程中，可归纳以下三种主要的截断类型：
[0140]
第一种：语气词异常截断，例如“啊”、“额”、“嗯”、“呃”等；
[0141]
第二种：停顿异常截断，主要指在用户表达时由于停顿或中断导致的异常截断，例如“咨询一下”、“要查”、“请问以下”、“怎么说呢”、“想了解下”等；
[0142]
第三种：口语异常截断，主要指在表达时出现口语习惯词汇导致的异常截断，例如“这个”、“那个”、“就是”等。
[0143]
可知，上述的截断类型也可根据具体的业务场景进行归纳总结，即针对不同的场景可归纳不同的截断类型，进而，在确定异常截断的截断类型后，可针对不同的截断类型制定对应的识别策略，以便能够在智能问答系统中，对用户的语音信息进行更加人性化的分析及对答，避免在异常截断出现时，智能客服却已经开始进行回复。
[0144]
识别策略制定单元250，用于基于所述截断类型，制定与所述截断类型相对应的识别策略。
[0145]
其中，由于上述第一种语气词异常截断类型，多出现在短句中，针对这种截断类型
的异常截断，可采用规则系统策略，规则系统可包括三种规则匹配方法：头部query匹配、特殊query匹配和短句query匹配，其中，头部query匹配，主要是指针对异常语义截断文本中数量较少但比较集中的query，通过文本精确匹配的方式进行异常截断进行判定；特殊query匹配主要是指针对一些特殊格式的query，采用正则匹配的方式进行异常截断的判断；短句query匹配，主要是针对一些模型难以解决的短句query，标注词性序列，通过匹配词性序列进行异常截断判定的方法。
[0146]
在实际应用过程中，可构建一个包含异常截断的语气词的字典，如果与用户的当前语音信号对应的文本中能都精确匹配到相应的字典中的语气词，则可判定当前语音信号属于异常截断，进而可控制对应的智能系统进行短暂的等待处理。
[0147]
此外，对于第二种停顿异常截断的情况，可采用规则和模型相组合的方法进行识别检测，所述规则系统和分类模型相结合策略包括：基于规则系统策略对所述待检测语音信号进行异常语义截断，如果未检测到异常语义截断，则基于分类模型再次对所述待检测语音信号进行异常语义截断，在实际应用中，可统计截断语句高频出现的短语和词组，作为规则字典。另外，模型方面可选择bert作为分类模型。
[0148]
具体地，所述分类模型的训练过程包括：
[0149]
将出现语义异常截断的中长句语料作为正例，非截断的语料作为负例，构建训练集；
[0150]
基于构建的训练集训练初始化的bert模型，通过所述bert模型的嵌入层获取所述训练集的文本的表征；
[0151]
将所述表征输入所述bert模型的transformer结构中，获取所述transformer结构的最后一层的隐藏状态的输出向量；
[0152]
将所述输出向量输入全连接层，通过所述全连接层输出类别的概率得分；
[0153]
基于所述概率得分确定所述训练集中的训练数据的分类结果；
[0154]
基于所述训练集迭代训练所述bert模型，直至所述分类结果的误差收敛在预设范围内，形成所述分类模型。
[0155]
进一步地，模型结构可采用标准的bert模型，即12-layer，768-hidden，12-heads，110m parameters。整个训练过程是，首先预处理好的训练集中的训练数据经过embedding层，得到对应文本的表征，接着将表征送入transformer中，将最后一层隐藏状态的输出向量送入一个全连接层，全连接层的输出结果就是两个类别的概率得分，取得分高的类别作为最终的预测结果。
[0156]
最后，针对第二种停顿异常截断，可使用规则系统和模型相结合的策略，首先对待检测文本的开头及结尾进行匹配，如果规则系统无法确定，则进一步使用分类模型进行判别，并给出检测结果；如果规则系统直接匹配为异常截断情况，则无需进行模型检测。
[0157]
对于第三种口语词汇的截断类型，同样采用规则与模型的组合方法。与第二种情况相似，可先统计出截断语句高频出现的口语习惯词汇，建立一个规则字典，包括短语的精确匹配字典及特殊格式匹配字典。同样，将这类截断的语料作为正例，非截断的语料作为负例，构建训练集，训练bert分类模型。最终的策略是使用规则系统对待检测文本的结尾匹配，如果规则系统无法确定，则使用分类模型进行判别，给出检测结果。
[0158]
异常语义截断检测单元260，用于基于所述识别策略对待检测语音信号进行异常
语义截断检测。
[0159]
具体地，识别策略中可包括上述所有策略的集合，然后在对待检测语音信号进行异常语义截断检测时，可直接通过识别策略进行直接检测，识别策略会结合规则和模型对其中的异常截断进行检测识别。
[0160]
其中，识别策略包括预先构造的语气词字典、精确匹配字典、口语习惯字典以及分类模型，通过识别策略对待检测语音信号进行检测的过程中，默认先通过上述各字典进行匹配检测，如果能够检测到对应的匹配信息，则直接确定当前语音信号为异常语义截断，否则，进一步通过分类模型对该待检测语音信号进行检测，最终确定其是否为异常语义截断的情况。
[0161]
需要说明的是，上述待检测语音信号通常为一个句子，在智能问答系统中，每当用户输出一个句子时，即对其进行异常语义截断检测，进而达到提高智能问答系统性能的目的。
[0162]
此外，通过预先制定的识别策略对待检测语音信号进行异常语义截断检测之后，还可以包括：
[0163]
(1)、若当前待检测语音信号属于异常语义截断时，则延长智能客服的等待时间，该等待时间可灵活设置，例如300毫秒；
[0164]
(2)、若当前待检测语音信号不属于异常语义截断时，则智能客服按照正常流程反馈对应的回答内容。
[0165]
如图3所示，是本发明实现异常语义截断检测方法的电子设备的结构示意图。
[0166]
所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如异常语义截断检测程序12。
[0167]
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如异常语义截断检测程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0168]
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如异常语义截断检测程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
[0169]
所述总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)
总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
[0170]
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0171]
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
[0172]
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
[0173]
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
[0174]
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
[0175]
所述电子设备1中的所述存储器11存储的基于人工智能的异常语义截断检测程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
[0176]
获取原始语料，对所述原始语料进行音转字识别，以得到所述原始语料对应的识别文本；
[0177]
对所述识别文本中的异常语义截断文本进行标注，得到所述识别文本对应的标注文本；
[0178]
对所述标注文本进行分词处理，得到所述标注文本对应的分词后的语料；
[0179]
基于语料以及预设分类规则，判断所述异常语义截断文本中各截断的截断类型；
[0180]
基于所述截断类型，制定与所述截断类型相对应的识别策略；
[0181]
基于所述识别策略对待检测语音信号进行异常语义截断检测。
[0182]
此外，可选的技术方案是，对所述原始语料进行音转字识别，以得到所述原始预料对应的识别文本的步骤包括：
[0183]
通过预训练的语音识别模型对所述原始语料进行音转字识别，并获取对应的识别文本；同时，
[0184]
对所述原始语料进行人工转译处理，并获取对应的转译文本；
[0185]
基于所述转译文本对所述识别文本进行纠正，获取纠正后的文本作为所述识别文本。
[0186]
此外，可选的技术方案是，所述语音识别模型的训练过程包括：
[0187]
构建包括编码器网络和解码器网络的神经网络模型；
[0188]
将获取的预训练数据输入所述编码器网络进行编码处理，以获取与所述训练数据对应的隐藏特征，作为所述编码器网络的输出；
[0189]
通过所述解码器网络对所述编码器网络的输出进行解码处理，以获取与所述训练数据对应的文本标签序列；
[0190]
获取所述隐藏特征下的所述训练数据的真实文本序列的负对数似然，作为所述神经网络模型的损失；
[0191]
基于所述训练数据迭代训练所述神经网络模型，直至所述损失收敛在预设范围内，形成所述语音识别模型。
[0192]
此外，可选的技术方案是，所述对所述标注文本进行分词处理的步骤包括：构建深度神经网络模型；
[0193]
基于获取的训练文本，对所述神经网络模型进行迭代训练，直至所述神经网络模型收敛在预设范围内，形成分词模型；
[0194]
基于所述分词模型对所述标注文本进行分词处理。
[0195]
此外，可选的技术方案是，所述截断类型包括语气词异常截断类型、停顿异常截断类型和口语异常截断类型；
[0196]
所述识别策略包括与所述语气词异常截断类型相对应的规则系统策略，以及与所述停顿异常截断类型和所述口语异常截断类型相对应的规则系统和分类模型相结合策略；其中，
[0197]
所述规则系统和分类模型相结合策略包括：基于规则系统策略对所述待检测语音信号进行异常语义截断，如果未检测到异常语义截断，则基于分类模型再次对所述待检测语音信号进行异常语义截断。
[0198]
此外，可选的技术方案是，所述规则系统策略包括：头部query匹配规则、特殊query匹配规则和短句query匹配规则；
[0199]
所述分类模型的训练过程包括：
[0200]
将出现语义异常截断的中长句语料作为正例，非截断的语料作为负例，构建训练集；
[0201]
基于构建的训练集训练初始化的bert模型，通过所述bert模型的嵌入层获取所述训练集的文本的表征；
[0202]
将所述表征输入所述bert模型的transformer结构中，获取所述transformer结构的最后一层的隐藏状态的输出向量；
[0203]
将所述输出向量输入全连接层，通过所述全连接层输出类别的概率得分；
[0204]
基于所述概率得分确定所述训练集中的训练数据的分类结果；
[0205]
基于所述训练集迭代训练所述bert模型，直至所述分类结果的误差收敛在预设范围内，形成所述分类模型。
[0206]
此外，可选的技术方案是，在基于所述识别策略对待检测语音信号进行异常语义截断检测之后，还包括：
[0207]
当所述待检测语音信号属于异常语义截断时，按照预设时间延长智能客服的等待时间；否则，
[0208]
当所述待检测语音信号不属于异常语义截断时，所述智能客服按照正常流程反馈与所述待检测语音信号相对应的答复内容。
[0209]
具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
[0210]
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
[0211]
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0212]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0213]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0214]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
[0215]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0216]
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
[0217]
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。