用于智慧客服的文本缩略语自动识别方法及系统与流程

本发明涉及中文缩略语识别领域，尤其涉及一种用于智慧客服的文本缩略语自动识别方法及系统。

背景技术：

1、缩略语通常是指由一个或者多个词经过压缩和变序而形成的长度缩短，意义不变特殊词，压缩之前的原始形式，称为缩略语的原语。汉语的缩略方式较为复杂和多样，同时，随着建筑行业信息化与智能建造的快速发展，建筑领域的文本信息呈爆炸式增长，涵盖设计说明、施工日志、监理报告、工程变更单、竣工验收材料以及多方会议纪要等。在这些文本中，专业缩略语被大量使用以提高书写和阅读效率，例如以“bim”指代建筑信息模型（building information modeling）、以“砼”代替“混凝土”、以“pc构件”指称“预制混凝土构件”、以“建施图”简称“建筑施工图”等。

2、此外，不同参与方——设计院、施工单位、监理单位及开发商——常根据各自习惯和地域形成大量非标准化的自定义缩略语，如“结平图”（结构平面布置图）、“风暖图”（通风供暖图纸）、“基坑支护专篇”缩略为“支护篇”等。这些缩略语形态多样，构词方式包括：首字母缩写（bim、cad）、语素截取（砼、建施）、数字谐音或代码代称（如“3d打印建筑”中的“3d”），以及领域特有的混搭式缩略。

3、由于缩略语形成方式的复杂性和新词的层出不穷，目前汉语缩略语词典版本较少，主要由专家根据个人知识编写，很难穷尽，而且更新较慢，此外，还可以通过将原语进行线上检索，例如百度、谷歌搜索引擎，其在一般常见缩略语识别上有较高识别率，但由于词频统计本身精确性不高，单独使用的情况下，识别准确率很难进一步提高。

4、中国专利公开号：cn109614493b，公开了一种基于监督词向量的文本缩写识别方法及系统，包括以下步骤：一，开放大语料训练监督词向量模型；二，标记现有缩略语词典的原语词性；形成原语词性序列；三，给定文本的词性计算；四，选出给定文本的候选原语和候选缩略语；五，将候选原语和候选缩略语分别输入到监督词向量模型的同义词关系分类器中进行判别。可以看出，所述技术方案对于缩略语的释义在原文本中的验证不足，导致文本缩写识别的识别精度不足。

技术实现思路

1、为此，本发明提供用于智慧客服的文本缩略语自动识别方法及系统，用以克服现有技术中对于缩略语的释义在原文本中的验证不足，导致文本缩写识别的识别精度不足的问题。

2、一方面，本发明提供一种智慧客服的文本缩略语自动识别方法，用于将客服交互中的长文本信息进行识别和合并，包括：

3、采集预设时长内输入的文本和输入的节奏，以形成对应的文本记录；

4、划分所述文本中的语句以获得对应的单字和词语；

5、将划分后的所述单字和所述词语按照在该文本中出现的频次进行降序排序；

6、调取储存库，逐个检索排序后的单字和/或词语以匹配其对应的释义，并将释义相同的单字和/或词语去重；

7、其特征在于，在完成排序及去重后，标记所述单字或所述词语，包括，

8、当所述缩略语数据库中有匹配的对应释义，将其标记为第一缩略语，

9、当所述缩略语数据库中无匹配的对应释义，将其标记为第二缩略语；

10、对于标记为第二缩略语的各单字或词语，根据该单字或词语的位置确定对应的文本的中心词，并根据中心词的构成方式，对所述第二缩略语进行扩展联想以获得对应数量的扩展释义；

11、基于获得的扩展释义的数量判定该缩略语的释义是否符合预设扩展标准，其中，

12、响应于不符合预设扩展标准，基于单个缩略字对应的扩展释义重新确定该缩略语的释义；

13、响应于符合预设扩展标准，验证各扩展释义与缩略语是否匹配，或者，

14、基于领域对扩展释义进行筛分后选取对应领域的扩展释义，并验证各扩展释义与缩略语是否匹配；

15、导出所述第一缩略语和所述第二缩略语并形成缩略语映射，所述对照表包括缩略语、缩略语原字词以及缩略语的释义；

16、其中，所述储存库中包含缩略语数据库，字词数据库，以及文本数据库。

17、尤其，基于扩展释义的数量判定该缩略语的释义是否符合预设扩展标准的步骤包括：

18、当所述扩展释义的数量小于所述预设扩展数量阈值时，判定该缩略语的缩略方式为语素缩略，并将该语素缩略的缩略语划分为若干缩略字，以及，

19、获取单个缩略字对应的扩展释义，并基于单个缩略字对应的扩展释义重新确定该缩略语的释义；

20、当所述扩展释义的数量大于或等于所述预设扩展数量阈值时，依次将该缩略语对应的扩展释义替换所述文本中对应的缩略语，以验证各扩展释义与缩略语是否匹配；

21、或者，依次从该缩略语对应的扩展释义中提取关键字，根据带有该关键字的释义所属的领域，对扩展释义进行领域筛分，并选取对应领域的扩展释义依次替换所述文本中对应的缩略语，以验证各扩展释义与缩略语是否匹配；

22、其中，所述预设扩展标准为针对所述第二缩略语进行扩展联想后所获得的扩展释义的数量是否达到预设扩展数量阈值；

23、当所获得的扩展释义的数量大于或等于所述预设扩展数量阈值时，判定该缩略语的释义符合预设扩展标准；

24、当所获得的扩展释义的数量小于所述预设扩展数量阈值时，判定该缩略语的释义不符合预设扩展标准，并判定该缩略语的缩略方式为语素缩略。

25、尤其，所述获取单个缩略字对应的扩展释义，包括：

26、针对单个缩略字，根据所述中心词的构成方式，对该单个缩略字进行扩展联想，以获得该单个缩略字对应的若干扩展释义；

27、其中，当对单个缩略字进行扩展联想无法获得扩展释义时，保留该缩略字原字，并将其原字作为该缩略字对应的扩展释义。

28、尤其，对于任一缩略字，所述基于单个缩略字对应的扩展释义重新确定该缩略语的释义的步骤包括：

29、将其相邻缩略字对应的若干扩展释义中；

30、在语义连贯性上与当前缩略字的扩展释义最为匹配的扩展释义作为该相邻缩略字的匹配扩展释义，并将各缩略字的匹配扩展释义依次拼接，以重新组成该缩略语的释义。

31、尤其，在所述重新组成该缩略语的释义后，所述方法还包括：

32、将重新组成的释义作为扩展释义，替换所述文本中对应位置的缩略语，并验证该替换后的语句与所述缩略语前后文本的匹配程度，得到匹配度；

33、所述匹配度是指扩展释义替换缩略语后形成的语句与所述缩略语前后文本在语义上相符合的程度的量化值。

34、尤其，在得到所述匹配度后，基于所述匹配度判定重新组成的所述缩略语的释义是否符合预设扩展标准；

35、当不符合预设扩展标准时，重新为所述单个缩略字匹配其相邻缩略字对应的另一扩展释义，以再次组成释义；或者，判定该缩略语包含多重含义，并结合该缩略语与其前后文本重新确定该缩略语的含义。

36、尤其，基于所述匹配度判定是否符合预设扩展标准后，当不符合预设扩展标准时，执行以下步骤：

37、使用该缩略语对应的下一个扩展释义替换所述文本中对应的缩略语，再次验证扩展释义与缩略语是否匹配，或者，

38、判定该缩略语存在错误，并将该错误缩略语导出。

39、尤其，在从扩展释义中提取关键字以进行领域筛分时，所述选取对应领域的扩展释义包括：

40、分别统计各领域下扩展释义的数量，选取扩展释义数量最多的领域作为该缩略语所归属的领域，并采用该领域下的扩展释义进行后续匹配验证。

41、对于所述输入节奏，所述划分文本中的语句获得对应的单字和词语，具体包括：

42、根据所述输入节奏中相邻输入字符之间的停顿时长，将停顿时长大于预设停顿阈值的字符交界处识别为词语边界，以划分得到所述单字和词语；其中，所述预设停顿阈值为预先设定的数值，本实施例中取800毫秒。

43、本发明进一步给出可落地的量化细则与权重计算体系：定义所述第二缩略语的置信度评分conf，采用加权计算式得到：

44、conf=w1·s_speed+w2·s_pause+w3·(1−s_edit)

45、其中，s_speed为输入速度归一化得分，s_pause为确认停顿归一化得分，s_edit为编辑修改次数归一化值，w1、w2、w3为权重系数且w1+w2+w3=1，本实施例中分别取0.4、0.3、0.3。

46、其中，所述输入速度归一化得分s_speed根据单字平均输入时长与预设快速输入阈值比较得到，所述预设快速输入阈值为预先设定的数值，本实施例中取200毫秒/字；

47、当单字平均输入时长小于该阈值时s_speed取较高值。

48、当所述置信度评分conf大于或等于预设高置信阈值（本实施例中取0.7）时，将该第二缩略语的缩略语置信度或扩展联想优先级调高；当所述输入节奏特征表明用户对该词语存在不确定性时，即输入后停顿时长大于预设确认停顿阈值（本实施例中取1500毫秒）或修改次数大于预设次数阈值，按预设比例下调扩展释义与文本的匹配度门槛；当所述输入节奏特征表明用户确信该词语含义明确，即输入连贯无停顿且为熟练输入时，选取最常见或最权威的释义作为匹配结果。

49、为缓解不同用户打字习惯差异导致的过切分或欠切分问题，中控单元针对每个用户终端维护其个人输入习惯画像，基于该用户自身的历史输入数据对所述预设停顿阈值、预设快速输入阈值、预设确认停顿阈值及权重系数进行个性化校准；所述历史输入数据的统计与参数确定方式，参见本技术说明书前文关于预设参数标准自适应确定的相关描述。

50、此外，本发明明确输入节奏仅作为分词与置信度判定的辅助信号之一，而非唯一依据。当待识别文本缺乏输入节奏数据，例如用户粘贴或复制的文本内容、从知识库或聊天记录批量导入的历史对话、以及系统间转发的消息，采集单元不获取输入节奏，改由基于统计语言模型的分词手段完成分词：采用n-gram语言模型或基于字标注的预训练分词模型对文本进行分词，以字间转移概率最大处作为词语边界，并与缩略语数据库进行最大正向或逆向匹配以优先切分出已知缩略语；当同时具备输入节奏与语言模型两种信号时，以两者一致的边界作为最终分词结果，不一致时以语言模型结果为主、输入节奏作为置信度修正。由此，本发明适用于实时打字输入场景，亦适用于粘贴、复制、历史导入等各类无输入节奏数据的客服文本场景。

51、另一方面，本发明还提供一种智慧客服的文本缩略语自动识别系统，包括：

52、存储单元，用以存储文本数据，包括用以存储缩略语及其释义的缩略语数据库、用以存储字和词语的字词数据库以及用以存储输入文本的文本数据库；

53、采集单元，其与所述存储单元相连，用以采集预设时长内输入的文本和输入的节奏以形成对应的文本记录，并将所述文本中的语句划分为单字和词语；

54、检索单元，其分别与所述存储单元和所述采集单元相连，用以将划分后的所述单字和所述词语按照在所述文本中出现的频次进行降序排序，对释义相同的单字和/或词语去重，然后逐个检索匹配其对应的释义，并在完成排序及去重后标记所述单字或所述词语，其中，当所述缩略语数据库中有匹配的对应释义时，将其标记为第一缩略语，当所述缩略语数据库中无匹配的对应释义时，将其标记为第二缩略语；

55、扩展单元，其与所述检索单元相连，用于对标记为第二缩略语的各单字或词语，根据该单字或词语的位置确定对应文本的中心词，并根据中心词的构成方式进行扩展联想以获得对应数量的扩展释义；以及，用于对从第二缩略语划分出的单个缩略字进行扩展联想以获得该单个缩略字对应的若干扩展释义；

56、识别单元，其分别与所述存储单元、所述检索单元和所述扩展单元相连，用以识别所述第一缩略语的释义和所述第二缩略语的扩展释义；

57、验证单元，其分别与所述识别单元和所述存储单元相连，用以验证各所述扩展释义与缩略语是否匹配；

58、中控单元，其分别与所述存储单元、所述采集单元、所述检索单元、所述扩展单元、所述识别单元和所述验证单元相连，用以根据获得的所述扩展释义的数量判定该缩略语的释义是否符合预设扩展标准，在不符合预设扩展标准时，基于单个缩略字对应的扩展释义重新确定该缩略语的释义，在符合预设扩展标准时，控制所述验证单元验证各扩展释义与缩略语是否匹配，或者，基于领域对扩展释义进行筛分后选取对应领域的扩展释义，并控制所述验证单元验证各扩展释义与缩略语是否匹配；

59、输出单元，其与所述中控单元相连，用以导出所述第一缩略语和所述第二缩略语并形成缩略语对照表，所述对照表包括缩略语、缩略语原字词以及缩略语的释义；

60、其中，所述预设扩展标准为，针对所述第二缩略语进行扩展联想后所获得的扩展释义的数量是否达到预设扩展数量阈值；

61、当所获得的扩展释义的数量大于或等于所述预设扩展数量阈值时，判定该缩略语的释义符合预设扩展标准；

62、当所获得的扩展释义的数量小于所述预设扩展数量阈值时，判定该缩略语的释义不符合预设扩展标准，并判定该缩略语的缩略方式为语素缩略。

63、尤其，上述系统还包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至8中任一项所述方法的步骤。

64、本发明的有益效果在于，通过采集预设时长内输入的文本和输入的节奏形成对应的文本记录，并划分语句以获得单字和词语，能够完整捕捉客服交互中的语境信息，为后续缩略语识别提供充分的数据基础。通过对单字和词语按出现频次降序排序后进行释义匹配和去重，优先处理高频词汇，有效提升了检索效率并减少了冗余计算。

65、尤其，将缩略语划分为第一缩略语和第二缩略语进行差异化处理，对于缩略语数据库中已有匹配释义的第一缩略语直接标记，对于无匹配释义的第二缩略语则进入自适应识别流程，从而兼顾了对标准化缩略语的快速响应和对非标准化缩略语的智能推导能力。通过根据单字或词语的位置确定对应文本的中心词，并依据中心词的构成方式对第二缩略语进行扩展联想，使得扩展释义的生成方向受到中心词的语义约束，避免了释义发散，显著提升了扩展联想的准确性和针对性。

66、尤其，通过设定预设扩展数量阈值，基于扩展释义的数量判定缩略语是否符合预设扩展标准，实现了对缩略语缩略方式的自动分类识别。当扩展释义数量较少时，将其判定为语素缩略并进一步拆分为单个缩略字，通过获取各缩略字对应的扩展释义并在语义连贯性上进行相邻匹配和拼接，重新组成该缩略语的释义，有效解决了语素截取型缩略语难以通过整体匹配获得释义的技术难题。当扩展释义数量较多时，通过将扩展释义替换回原文本进行上下文匹配验证，确保最终选定的释义与原始语境保持一致。

67、尤其，通过引入领域筛分机制，通过从扩展释义中提取关键字并统计各领域下扩展释义的数量，选取扩展释义数量最多的领域作为该缩略语所归属的领域，从而利用领域一致性约束对扩展释义进行精准筛选，有效降低了跨领域歧义带来的误识别风险。在验证过程中，通过计算替换后语句与前后文本的匹配度这一量化指标，对释义的合理性进行客观评估，并在匹配度不足时重新选择扩展释义或判定缩略语包含多重含义，实现了对多义缩略语的深度理解和对错误缩略语的容错处理。

68、尤其，最终导出的缩略语对照表包含缩略语、缩略语原字词以及缩略语的释义，形成了完整的缩略语知识映射，可供后续的客服系统直接调用，提升了智慧客服在长文本交互场景下的语义理解准确度和响应效率。进一步地，本发明通过将文本中未能识别的第二缩略语进行扩展联想以获得对应数量的扩展释义，并根据扩展释义的数量对缩略语的释义是否符合预设扩展标准进行判定，从而解决了对于文本中不能在数据库中记录的缩略语进行释义。

69、尤其，当缩略语不能通过基于中心词的构成方式解析出释义后，中控模块判定其为语素缩略，从而对不能扩展释义的缩略语进一步拆分，并使用语素扩展联想模型对其进行扩展联想以获得单个缩略字对应的若干扩展释义，提供了不能通过中心词构成方式解析的缩略语的释义的方法。

70、尤其，本发明在还将缩略语拆分释义后重新组合，同时通过将单个缩略字相邻的缩略字对应的最匹配的扩展释义作为匹配扩展释义进行重新组合，从而准确地匹配出重新组成的缩略语的释义。

71、尤其，本发明通过将缩略语对应的扩展释义替换所述文本中对应的缩略语，并验证扩展释义与相应的缩略语前后文本的匹配程度，从而保证了缩略语释义的确定。

72、尤其，通过匹配度精准地判定了缩略语释义是否匹配，以及在不匹配时，本发明给出了对应的解决方案，从而保证了缩略语的精准识别。

73、尤其，当扩展释义的数量过多时，本发明通过将扩展释义进行领域划分后择优选择其中一个领域的扩展释义逐项去验证与文本的匹配程度，从而保证了缩略语识别的效率。

74、尤其，本发明在通过领域内扩展释义的数量确定对应领域的选取，从而保证了缩略语识别的效率。

75、此外，本发明提供了通过设置用以存储文本数据的存储单元，采集和划分文本的采集单元，用以检索和标记的采集单元，用以获得扩展释义的扩展单元，识别扩展释义的识别单元，用以验证各所述扩展释义与缩略语是否匹配的验证单元，用以根据获得的所述扩展释义的数量判定该缩略语的释义是否符合预设扩展标准的中控单元，以及用以输出缩略语映射的输出单元，克服现有技术中对于缩略语的释义在原文本中的验证不足，导致文本缩写识别的识别精度不足的问题。