基于多维度特征的客服对话用户情绪识别方法及系统与流程

本发明涉及自然语言处理与智能客服人机交互，更为具体地，涉及一种基于多维度特征的客服对话用户情绪识别方法及系统。

背景技术：

1、在现有智能客服人机交互领域，用户情绪识别技术主要依赖于单模态的数据分析，其核心实现方式是基于自然语言处理对文本内容进行语义挖掘，或基于声纹识别对语音语调进行特征提取。目前主流的技术方案主要分为以下两类：

2、1、基于深度学习的文本情感分析技术。该技术在电商、金融等行业的客服系统中被广泛应用，其核心实现方式是利用预训练的语言模型（如bert、roberta）对用户输入的文本进行编码。具体步骤包括：首先对对话文本进行分词和向量化处理，然后通过模型的注意力机制捕捉上下文语义，最后利用分类器输出情绪标签（如正面、中性、负面）。例如，在银行的智能客服系统中，当用户输入“我对这个账单有意见”时，系统通过语义分析将其识别为负面情绪，从而触发相应的应答策略。

3、2、基于规则引擎的关键词匹配技术。该技术多用于早期的客服系统或对实时性要求较高的场景，其构成主要包括关键词库、匹配引擎、阈值判定三个模块。实现步骤为：系统实时监听用户输入流，将输入文本与预设的负面情绪词库（如“投诉”、“差评”、“诈骗”等）进行字符串匹配，当匹配次数或词频权重超过设定阈值时，即判定用户处于负面情绪状态。例如，当用户连续发送包含“我要投诉”的消息时，系统会立即触发转接人工坐席的流程。

4、上述技术方案尽管在一定程度上实现了情绪识别的基础功能，但在实际应用中仍存在以下技术缺陷：

5、（1）文本语义分析的滞后性与场景适应性差。现有技术依赖完整的句子或段落进行语义建模，在面对口语化、碎片化的客服对话场景时，往往因信息不完整而产生误判。例如，当用户仅输入“？？？”或“……”时，由于缺乏明确的语义词汇，基于深度学习的模型通常无法识别其隐含的困惑或不耐烦情绪；而在用户输入“呵呵”等反讽词汇时，模型又可能因训练数据的偏差而误判为正面情绪。这种滞后性和场景适应性差的问题，导致情绪识别的实时性不足，平均每轮对话的响应延迟≥2秒，且在复杂语境下的误判率高达35%，直接影响了客服系统的智能化体验。

6、（2）交互行为特征的缺失导致情绪评估维度单一。现有技术仅聚焦于文本内容本身，未将用户在对话过程中的交互行为纳入情绪识别的考量范围。例如，用户在等待机器人回复时频繁点击“转人工”按钮、短时间内连续发送多条短消息、或长时间无输入但未结束会话等行为，都是衡量其情绪状态的重要指标。然而，当前的系统缺乏对这些行为数据的采集与分析机制，导致无法全面捕捉用户的真实情绪意图。这种维度单一的识别方式，使得系统在用户未使用明确负面词汇但表现出明显不耐烦时，仍会判定为“中性”情绪，进而导致服务策略的匹配错误，用户满意度因此降低至75%以下。

7、（3）多模态数据融合的缺失导致技术实现成本高且鲁棒性不足。在涉及语音客服的场景中，现有技术通常将文本分析与声纹识别作为独立模块运行，缺乏对文本、语音、语调等多模态数据的融合分析机制。例如，当用户语音中的语调平缓但文本内容含有负面词汇时，或文本内容中性但语速急促、音量增大时，单一模态的识别模块均可能出现偏差。由于未设计多模态特征的加权融合算法，现有系统需要部署多个独立模块并行运行，导致计算资源消耗增加≥40%，且在面对噪声干扰、网络延迟等异常情况时，系统的稳定性显著下降，情绪识别的准确率波动范围可达±15%，难以满足高可靠性场景的需求。

8、上述缺陷产生的核心原因在于：

9、1.特征提取机制的局限性：现有技术的特征工程设计过于依赖文本的语义信息，未引入针对标点符号、输入节奏、交互行为等非文本特征的量化提取算法，导致模型无法捕捉数字化交流中的“副语言”情绪信号。

10、2.数据维度的割裂：技术实现中将文本内容与用户行为、语音特征等数据割裂处理，缺乏一个多维度的数据融合框架，未设计交互行为特征与情绪标签之间的关联映射逻辑，导致情绪评估的全面性不足。

11、3.模型架构的单一性：现有系统多采用单模态的深度学习模型或规则引擎，未引入多模态特征的加权融合算法（如注意力机制下的跨模态特征融合），导致计算资源消耗增加且鲁棒性不足，难以应对复杂场景下的情绪识别需求。

12、因此，亟需一种能够解决上述识别精度低、实时性差、场景适配性弱、响应策略固化等问题的方案。

技术实现思路

1、鉴于上述问题，本发明的目的是提供一种基于多维度特征的客服对话用户情绪识别方法及系统，以通过融合文本语义特征、语气特征和交互行为特征的多维度动态融合方法，提升客服对话中用户情绪识别的精准度与实时性，并实现分级智能响应，降低误判率、改善用户体验。

2、第一方面，本发明提供一种基于多维度特征的客服对话用户情绪识别方法，应用于电子设备，包括如下步骤：

3、s1：实时采集客服对话过程中的多源数据，并对所述多源数据进行预处理；其中，所述多源数据包括用户文本流、非文本语气信号及交互行为时序数据；

4、s2：对预处理后的多源数据进行特征提取，得到包括文本语义特征、语气特征及交互行为特征的多维度标准化特征；

5、s3：基于预构建的跨维度注意力动态融合模型，通过乘积式非线性融合算法对所述多维度标准化特征进行加权融合，生成综合情绪分值；其中，所述乘积式非线性融合公式为：

6、f＝min (stext×(1+αstone)×(1+βsβehavior),100)

7、其中，stext为文本语义特征，stone为语气特征，sβehavior为交互行为特征，α、β 为所述跨维度注意力动态融合模型的调节系数，取值范围均为 [0,2]；

8、s4：根据预设情绪等级划分标准确定所述综合情绪分值的情绪等级，并执行与所述情绪等级相对应的分级响应策略；其中，所述预设情绪等级划分标准将用户综合情绪划分为低危、中危、高危三个等级。

9、此外，可选的技术方案是，所述非文本语气信号包括连续标点、重复字符、输入节奏、字符大小写；

10、所述交互行为时序数据为客服场景专属行为数据，包括机器人未回复时的打断行为、点击转人工行为、短时间连发行为、长时间沉默行为、点赞或点踩反馈行为。

11、此外，可选的技术方案是，对所述多源数据进行预处理包括：

12、清洗处理，用于去除所述多源数据中的噪声和无效内容；

13、归一化处理，用于统一所述多源数据的格式、精度和值域；

14、量化处理，用于将所述多源数据中的非文本数据和行为数据转成机器可识别的结构化特征。

15、此外，可选的技术方案是，所述文本语义特征通过bert 或 roberta 预训练语言模型提取并归一化至[0,100]区间；所述语气特征通过预设全连接网络提取并归一化至[0,1] 区间；所述交互行为特征通过预设加权模型提取并归一化至 [0,1] 区间。

16、此外，可选的技术方案是，所述跨维度注意力动态融合模型将所述多维度标准化特征映射至统一维度空间，通过预设transformer 编码器计算特征关联度，动态生成所述调节系数α、β。

17、此外，可选的方案是，所述预设情绪等级划分标准及对应响应策略为：

18、低危区间：f＜30，执行标准客服回复策略；

19、中危区间：30≤f＜60，自动插入共情话术，执行安抚响应策略；

20、高危区间：f≥60，强制转接人工坐席并推送情绪预警，执行升级干预策略。

21、此外，可选的方案是，当所述多维度标准化特征中的任一维度特征缺失或存在噪声干扰时，自动降低所缺失维度的注意力权重，基于剩余维度特征进行补偿计算

22、第二方面，本发明还提供一种基于多维度特征的客服对话用户情绪识别系统，包括：

23、数据采集单元，用于实时采集客服对话过程中的多源数据，并对所述多源数据进行预处理；其中，所述多源数据包括用户文本流、非文本语气信号及交互行为时序数据；

24、特征提取单元，用于对预处理后的多源数据进行特征提取，得到包括文本语义特征、语气特征及交互行为特征的多维度标准化特征；

25、加权融合单元，用于基于预构建的跨维度注意力动态融合模型，通过乘积式非线性融合算法对所述多维度标准化特征进行加权融合，生成综合情绪分值；其中，所述乘积式非线性融合公式为：

26、f＝min (stext×(1+αstone)×(1+βsβehavior),100)

27、其中，stext为文本语义特征，stone为语气特征，sβehavior为交互行为特征，α、β 为所述跨维度注意力动态融合模型的调节系数，取值范围均为 [0,2]；

28、等级划分单元，用于根据预设情绪等级划分标准确定所述综合情绪分值的情绪等级，并执行与所述情绪等级相对应的分级响应策略；其中，所述预设情绪等级划分标准将用户综合情绪划分为低危、中危、高危三个等级。

29、第三方面，本发明提供一种电子设备，所述电子设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的基于多维度特征的客服对话用户情绪识别程序，所述基于多维度特征的客服对话用户情绪识别程序被所述处理器执行时实现如上所述的基于多维度特征的客服对话用户情绪识别方法。

30、第四方面，本发明提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于多维度特征的客服对话用户情绪识别方法。

31、本发明公开的基于多维度特征的客服对话用户情绪识别方法、系统以及存储介质，通过构建用户文本流、非文本语气信号及交互行为时序数据三维特征体系，并采用跨维度注意力动态融合和乘积式非线性算法精准捕捉情绪非线性变化，有效解决现有技术维度单一、融合简单、场景适配不足的缺陷，显著提升客服场景下情绪识别准确率、降低误判率，同时实现毫秒级实时响应与分级闭环干预，有效拦截潜在投诉、提升用户满意度与服务智能化水平。

32、为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。