基于强化学习模型的电力客服工单摘要生成方法及装置与流程

本发明涉及计算机，尤其涉及一种基于强化学习模型的电力客服工单摘要生成方法及装置。

背景技术：

1、电力客服工单是电力企业服务客户的关键流程载体，其高效处理对提升客户满意度意义重大。目前，电力客服工单摘要生成主要依赖人工整理归纳和基于规则提取关键词序列方法。在这种传统模式下，客服代表通过电话、邮件或在线聊天等方式与客户沟通，详细记录问题后，凭借自身理解提炼关键信息，最终生成工单摘要。然而，人工处理方式受个人主观因素影响，不同客服代表对相同问题生成的摘要存在差异，导致摘要准确性难以保证，影响后续工单处理的准确性。基于规则提取关键词序列方法因人工总结规则无法涵盖对话所有情形，存在错误率高的问题，致使生成的文本摘要准确度不理想。

技术实现思路

1、本发明提供一种基于强化学习模型的电力客服工单摘要生成方法及装置，旨在提高生成的电力客服工单摘要的准确性。

2、第一方面，本发明提供基于强化学习模型的电力客服工单摘要生成方法，包括：

3、对接收到的电力客服会话数据进行文本分词，并基于预设词字典对文本词语结果进行筛选，得到涉及电力业务服务的关键词；

4、基于所述关键词组合的目标关键词组结合预先训练好的业务类型识别模型进行场景匹配，得到业务类型和细化业务场景；

5、基于所述业务类型和所述细化业务场景构建动作空间，并基于所述目标关键词组、所述业务类型、所述细化业务场景和当前阶段信息，构建状态空间；

6、基于强化学习结合初始动作选择策略和所述动作空间，在所述状态空间中选择目标动作，基于环境根据所述目标动作的执行结果给予的奖励更新状态空间和动作选择策略，得到最终状态空间和最终动作选择策略；

7、基于所述最终状态空间和所述最终动作选择策略提取所述电力客服会话数据的问题信息，并基于所述问题信息按照预设摘要模板生成电力客服工单摘要；

8、其中，所述业务类型识别模型基于样本业务类型以及样本关键词的重要度标识及相互关系训练得到；所述动作空间表征为处理工单触发的操作集合；所述当前阶段信息表征在截至当前阶段从所述客服会话数据中提取出的反映客户问题和业务情况的内容；所述状态空间表征工单处理的阶段性情况。

9、第二方面，本发明还提供基于强化学习模型的电力客服工单摘要生成装置，应用于如第一方面所述的基于强化学习模型的电力客服工单摘要生成方法；所述基于强化学习模型的电力客服工单摘要生成装置包括：

10、数据处理模块，用于对接收到的电力客服会话数据进行文本分词，并基于预设词字典对文本词语结果进行筛选，得到涉及电力业务服务的关键词；

11、场景匹配模块，用于基于所述关键词组合的目标关键词组结合预先训练好的业务类型识别模型进行场景匹配，得到业务类型和细化业务场景；

12、空间构建模块，用于基于所述业务类型和所述细化业务场景构建动作空间，并基于所述目标关键词组、所述业务类型、所述细化业务场景和当前阶段信息，构建状态空间；

13、强化学习模块，用于基于强化学习结合初始动作选择策略和所述动作空间，在所述状态空间中选择目标动作，基于环境根据所述目标动作的执行结果给予的奖励更新状态空间和动作选择策略，得到最终状态空间和最终动作选择策略；

14、工单摘要生成模块，用于基于所述最终状态空间和所述最终动作选择策略提取所述电力客服会话数据的问题信息，并基于所述问题信息按照预设摘要模板生成电力客服工单摘要；

15、其中，所述业务类型识别模型基于样本业务类型以及样本关键词的重要度标识及相互关系训练得到；所述动作空间表征为处理工单触发的操作集合；所述当前阶段信息表征在截至当前阶段从所述客服会话数据中提取出的反映客户问题和业务情况的内容；所述状态空间表征工单处理的阶段性情况。

16、第三方面，本发明还提供一种电子设备，包括：存储器，用于存储计算机软件程序；处理器，用于读取并执行所述计算机软件程序，进而实现如上述任一种所述基于强化学习模型的电力客服工单摘要生成方法。

17、第四方面，本发明还提供一种非暂态计算机可读存储介质，所述存储介质中存储有计算机软件程序，所述计算机软件程序被处理器执行时实现如上述任一种所述基于强化学习模型的电力客服工单摘要生成方法。

18、第五方面，本发明还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述任一种所述基于强化学习模型的电力客服工单摘要生成方法。

19、本发明实施例提供的基于强化学习模型的电力客服工单摘要生成方法，通过预设词字典自动筛选出关键词，根据关键词和业务类型识别模型自动确定出业务类型和细化业务场景，从而减少个人主观因素对业务场景和业务类型判断的影响。另一方面，强化学习过程中，根据环境反馈的奖励不断优化状态空间和动作选择策略，使得根据最终状态空间和最终动作选择策略能够更加准确地提取问题信息，根据问题信息生成精准反映客户问题的电力客服工单摘要，因此，本发明实施例提高了生成的电力客服工单摘要的准确性。

1.一种基于强化学习模型的电力客服工单摘要生成方法，其特征在于，包括：

2.根据权利要求1所述的基于强化学习模型的电力客服工单摘要生成方法，其特征在于，基于强化学习结合初始动作选择策略和所述动作空间，在所述状态空间中选择目标动作，基于环境根据目标动作的执行结果给予的奖励更新状态空间和动作选择策略，得到最终状态空间和最终动作选择策略，包括：

3.根据权利要求2所述的基于强化学习模型的电力客服工单摘要生成方法，其特征在于，所述基于所述更新后动作选择策略在所述更新后状态空间中选择第二目标动作进行迭代执行，直至累积奖励最大化，得到最终状态空间和最终动作选择策略，包括：

4.根据权利要求3所述的基于强化学习模型的电力客服工单摘要生成方法，其特征在于，所述基于所述第三状态和所述第二目标动作进行迭代执行，直至累积奖励最大化，得到所述最终状态空间和所述最终动作选择策略，包括：

5.根据权利要求4所述的基于强化学习模型的电力客服工单摘要生成方法，其特征在于，所述基于所述拓展后动作空间和所述重构后奖励，对所述更新后动作选择策略和所述更新后状态空间进行协同更新，得到所述最终状态空间和所述最终动作选择策略，包括：

6.根据权利要求1所述的基于强化学习模型的电力客服工单摘要生成方法，其特征在于，所述基于所述最终状态空间和所述最终动作选择策略提取所述电力客服会话数据的问题信息，包括：

7.根据权利要求6所述的基于强化学习模型的电力客服工单摘要生成方法，其特征在于，所述基于所述目标路径的最终关键词组和状态转移顺序确定所述问题信息，包括：

8.根据权利要求1至7任一项所述的基于强化学习模型的电力客服工单摘要生成方法，其特征在于，基于所述关键词组合的目标关键词组结合预先训练好的业务类型识别模型进行场景匹配，得到业务类型和细化业务场景，包括：

9.一种基于强化学习模型的电力客服工单摘要生成装置，其特征在于，应用于如权利要求1至8任一项所述的基于强化学习模型的电力客服工单摘要生成方法；所述基于强化学习模型的电力客服工单摘要生成装置包括：

10.一种非暂态计算机可读存储介质，所述存储介质中存储有计算机软件程序，其特征在于，所述计算机软件程序被处理器执行时，实现如权利要求1至8任一项所述基于强化学习模型的电力客服工单摘要生成方法。