基于机器学习的文本质量智能评估方法及系统与流程

摘要: 本发明涉及机器学习,具体涉及基于机器学习的文本质量智能评估方法及系统。背景技术:1、在企业在线咨询场景中,现有文本质量评估方法通常基于客服对话数据,通过提取对话...
基于机器学习的文本质量智能评估方法及系统与流程

本发明涉及机器学习,具体涉及基于机器学习的文本质量智能评估方法及系统。

背景技术:

1、在企业在线咨询场景中,现有文本质量评估方法通常基于客服对话数据,通过提取对话中的表层语言特征,构建机器学习模型对服务端应答内容进行质量判定。此类方法将对话质量评估视为一个基于表面特征的分类或回归问题,评估服务端应答内容是否规范、完整,主要服务于客服质检场景中的合规性检查与基础服务质量监控。

2、然而,现有方法仅关注服务端应答内容的表层语言质量,却忽略了咨询系统是否真正理解了用户问题。在专业咨询场景中,用户的问题往往包含多个关键信息点和不同层次的诉求,咨询系统是否准确抓取了信息点、是否将用户的复杂诉求简化为表面问题处理、是否回应用户的原始诉求,上述认知层面的偏差直接决定了咨询服务的专业水平,但现有技术中缺乏对认知层面偏差的量化评估手段,导致评估结果无法反映咨询服务的真实专业水平,难以识别咨询系统在深层理解层面存在的缺陷。

技术实现思路

1、本发明提供了基于机器学习的文本质量智能评估方法及系统,目的在于解决现有技术中缺乏对服务端问题理解质量进行量化评估的技术问题。

2、鉴于上述问题,本发明提供了基于机器学习的文本质量智能评估方法及系统。

3、第一方面,本发明提供了基于机器学习的文本质量智能评估方法,包括:

4、获取在线咨询会话数据,所述在线咨询会话数据包括服务端发言序列和用户端发言序列;

5、基于所述在线咨询会话数据确定用户端原始特征和服务端重构特征,所述用户端原始特征包括用户端结构化要素、用户端需求层级和用户端语义向量,所述服务端重构特征包括服务端结构化要素、服务端需求层级和服务端语义向量;

6、根据所述用户端原始特征与所述服务端重构特征,确定信息遗漏偏差,并根据所述信息遗漏偏差确定需求可信度修正因子;

7、根据所述需求可信度修正因子对所述服务端需求层级进行修正,并根据修正后的服务端需求层级与所述用户端需求层级,确定需求降级偏差;

8、根据所述需求降级偏差对所述服务端语义向量进行补偿,并根据补偿后的服务端语义向量与所述用户端语义向量,确定语义偏移偏差;

9、根据所述信息遗漏偏差、所述需求降级偏差和所述语义偏移偏差,确定动态重构偏差特征,将所述动态重构偏差特征输入预训练的文本质量评估模型,输出综合质量评分。

10、第二方面,本发明提供了基于机器学习的文本质量智能评估系统,包括:

11、数据获取模块,用于获取在线咨询会话数据,所述在线咨询会话数据包括服务端发言序列和用户端发言序列;

12、特征提取模块,用于基于所述在线咨询会话数据确定用户端原始特征和服务端重构特征,所述用户端原始特征包括用户端结构化要素、用户端需求层级和用户端语义向量,所述服务端重构特征包括服务端结构化要素、服务端需求层级和服务端语义向量;

13、遗漏分析模块,用于根据所述用户端原始特征与所述服务端重构特征,确定信息遗漏偏差,并根据所述信息遗漏偏差确定需求可信度修正因子;

14、降级分析模块,用于根据所述需求可信度修正因子对所述服务端需求层级进行修正,并根据修正后的服务端需求层级与所述用户端需求层级,确定需求降级偏差;

15、偏移分析模块,用于根据所述需求降级偏差对所述服务端语义向量进行补偿,并根据补偿后的服务端语义向量与所述用户端语义向量,确定语义偏移偏差;

16、综合评估模块,用于根据所述信息遗漏偏差、所述需求降级偏差和所述语义偏移偏差,确定动态重构偏差特征,将所述动态重构偏差特征输入预训练的文本质量评估模型,输出综合质量评分。

17、本发明中提供的一个或多个技术方案,至少具有如下技术效果或优点:

18、本发明提供了基于机器学习的文本质量智能评估方法及系统,实现了对在线咨询会话质量的深度评估。首先,通过确定用户端原始特征和服务端重构特征,为后续偏差分析提供多维度的数据基础;在此基础上,通过计算信息遗漏偏差和需求可信度修正因子,量化了服务端对用户关键信息的缺失程度,并以此修正需求层级,使需求降级偏差的计算更为准确;进一步地,利用需求降级偏差对服务端语义向量进行补偿后再计算语义偏移偏差,确保语义偏移的评估结果真实反映信息遗漏和需求降级累积影响下的实际语义偏离程度;最终,将三种偏差共同输入预训练的文本质量评估模型,利用偏差传播链进行综合质量评分。本发明相较于传统单维度评估,从问题理解质量角度出发,解决了现有技术各指标孤立评估的问题,提升了评估结果的准确性。

1.基于机器学习的文本质量智能评估方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于机器学习的文本质量智能评估方法,其特征在于,获取在线咨询会话数据,包括:

3.如权利要求2所述的基于机器学习的文本质量智能评估方法,其特征在于,基于所述在线咨询会话数据确定用户端原始特征和服务端重构特征,包括:

4.如权利要求1所述的基于机器学习的文本质量智能评估方法,其特征在于,根据所述用户端原始特征与所述服务端重构特征,确定信息遗漏偏差,并基于所述信息遗漏偏差确定需求可信度修正因子,包括:

5.如权利要求4所述的基于机器学习的文本质量智能评估方法,其特征在于,确定所述用户端结构化要素中未被所述服务端结构化要素覆盖的遗漏要素,根据所述遗漏要素的数量与所述用户端结构化要素的总数量的比值,确定所述信息遗漏偏差,包括:

6.如权利要求1所述的基于机器学习的文本质量智能评估方法,其特征在于,根据所述需求可信度修正因子对所述服务端重构特征中的需求层级进行修正,并根据修正后的需求层级与所述用户端原始特征中的需求层级,确定需求降级偏差,包括:

7.如权利要求1所述的基于机器学习的文本质量智能评估方法,其特征在于,根据所述需求降级偏差对所述服务端语义向量进行补偿,并根据补偿后的服务端语义向量与所述用户端语义向量,确定语义偏移偏差,包括:

8.如权利要求1所述的基于机器学习的文本质量智能评估方法,其特征在于,根据所述信息遗漏偏差、所述需求降级偏差和所述语义偏移偏差,构建动态重构偏差特征,包括:

9.如权利要求1所述的基于机器学习的文本质量智能评估方法,其特征在于,所述文本质量评估模型的预训练,包括:

10.基于机器学习的文本质量智能评估系统,其特征在于,用于实施权利要求1至9任一项所述的基于机器学习的文本质量智能评估方法,所述系统包括: