一种员工防飞单方法、系统、电子设备及介质与流程

1.本技术涉及深度学习技术领域，尤其涉及一种员工防飞单方法、系统、电子设备及介质。


背景技术：

2.在toc端的企微服务中，公司运营人员通常使用企业微信，回应用户问题，开展营销活动。在此背景下，大量的会话存档数据可以进行存档，为检测员工营销质量提供了可能。然而，随着数据量增多，为企业管理者对员工运营质量的监控带来了较大的挑战。传统的防飞单系统，需要进行人工识别或者通过大量的对话和示例进行学习，而忽略话术的变化性。因此，现有人工的监控方案为需要对大量的会话进行管理，耗费时间。现有的分类模型训练过程中，若飞单会话进行改变，难以快速训练模型。因而，对于飞单的情况，现有技术无法实时监控潜在的飞单会话，并忽略了飞单会话很容易发生变化等情况，导致了公司监管者管理效率低。


技术实现要素：

3.本技术实施例提供了一种员工防飞单方法、系统、电子设备及介质，以至少通过本发明解决了无法实时监控潜在的飞单会话以及忽略了飞单会话的变化性，导致无法快速训练模型等问题。
4.本发明提供了员工防飞单方法，包括：
5.会话数据预处理步骤：对历史会话数据进行相应的数据处理后，对数据处理结果进行存储；
6.端到端模型训练步骤：将所述数据处理结果中的分词结果表示成编码后，通过所述编码获得所述分词结果的横向向量，从所述横向向量中抽取相应的样本，并对所述样本行训练获取端到端模型；
7.敏感词表构建步骤：通过敏感词扩展算法对所述数据处理结果中的敏感词进行数据处理后，获得敏感词表；
8.防飞单混合模型构建步骤：根据实际需求调整所述端到端模型和所述敏感词表的权重后，获得防飞单混合模型。
9.上述的员工防飞单方法中，所述会话数据预处理步骤包括，对所述历史会话数据进行分词和停用词处理，获得所述数据结果后，使用数据库mysql或es对所述数据处理结果进行存储。
10.上述的员工防飞单方法中，所述端到端模型训练步骤包括：
11.横向向量获取步骤：所述数据处理结果中提取所述分词结果，使用自然语言处理中的词向量技术，将所述分词结果中的词语表示成稠密的所述编码后，通过所述编码获得所述词语的所述横向向量；
12.端到端模型获取步骤：从所述横向向量中的飞单会话数据向量中往上取多个飞单
会话数据向量合并成正样本，并从非飞单会话数据向量中提取多个非飞单会话数据向量构建成负样本后，使用textcnn对所述正样本和所述负样本进行训练，获取所述端到端模型。
13.上述的员工防飞单方法中，所述敏感词表构建步骤包括，通过所述敏感词扩展算法，从所述数据处理结果中提取所述敏感词，并对所述敏感词中的每个词分别进行相应的数据处理后，获得相应的数据处理组合，将所述数据处理组合合并获得最终的所述敏感词表。
14.本发明还提供员工防飞单系统，其中，适用于上述所述的员工防飞单方法，所述员工防飞单系统包括：
15.会话数据预处理单元：对历史会话数据进行相应的数据处理后，对数据处理结果进行存储；
16.端到端模型训练单元：将所述数据处理结果中的分词结果表示成编码后，通过所述编码获得所述分词结果的横向向量，从所述横向向量中抽取相应的样本，并对所述样本行训练获取端到端模型；
17.敏感词表构建单元：通过敏感词扩展算法对所述数据处理结果中的敏感词进行数据处理后，获得敏感词表；
18.防飞单混合模型构建单元：根据实际需求调整所述端到端模型和所述敏感词表的权重后，获得防飞单混合模型。
19.上述的员工防飞单系统中，通过所述会话数据预处理单元对所述历史会话数据进行分词和停用词处理，获得所述数据结果后，使用数据库mysql或es对所述数据处理结果进行存储。
20.上述的员工防飞单系统中，所述端到端模型训练单元包括：
21.横向向量获取模块：所述数据处理结果中提取所述分词结果，使用自然语言处理中的词向量技术，将所述分词结果中的词语表示成稠密的所述编码后，通过所述编码获得所述词语的所述横向向量；
22.端到端模型获取模块：从所述横向向量中的飞单会话数据向量中往上取多个飞单会话数据向量合并成正样本，并从非飞单会话数据向量中提取多个非飞单会话数据向量构建成负样本后，使用textcnn对所述正样本和所述负样本进行训练，获取所述端到端模型。
23.上述的员工防飞单系统中，通过所述敏感词扩展算法，从所述数据处理结果中提取所述敏感词，并对所述敏感词中的每个词分别进行相应的数据处理后，获得相应的数据处理组合，通过所述敏感词表构建单元将所述数据处理组合合并获得最终的所述敏感词表。
24.本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述的员工防飞单方法。
25.本发明还提供一种电子设备可读存储介质，所述电子设备可读存储介质上存储有计算机程序指令，所述计算机程序指令被所述处理器执行时实现上述任一项所述的员工防飞单方法。
26.相比于相关技术，本发明提出的一种员工防飞单方法、系统、电子设备及介质，本发明通过在模型构建上加入敏感词系统作为辅助，可以更快地适应话术的变化，并构建端
到端预测模型，端到端预测模型与敏感词一并构建混合监控系统。因而，快速识别员工销售情况，并根据员工会话情况实时监控飞单意图，提高了自然语言处理能力。
27.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
28.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
29.图1是根据本技术实施例的员工防飞单方法流程图；
30.图2是根据本技术实施例的textcnn模型框架图；
31.图3是根据本技术实施例的实施步骤框架图；
32.图4为本发明的员工防飞单系统的结构示意图；
33.图5是根据本技术实施例的电子设备的框架图。
34.其中，附图标记为：
35.会话数据预处理单元：51；
36.端到端模型训练单元：52；
37.敏感词表构建单元：53；
38.防飞单混合模型构建单元：54；
39.横向向量获取模块：521；
40.端到端模型获取模块：522；
41.总线:80；
42.处理器：81；
43.存储器：82；
44.通信接口：83。
具体实施方式
45.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
46.显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
47.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显
式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
48.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
49.本发明通过企微的会话存档构建员工防飞单系统，帮助公司监管人员判定飞单情况，并结合敏感词算法和端到端深度学习算法，提出一种混合的防飞单判断模型，根据员工会话情况实时监控运营过程中的飞单意图，提高了运营者工作效率的同时能够更快的适应飞单会话数据的变化。
50.下面结合具体实施例对本发明进行说明。
51.实施例一
52.本实施例提供了员工防飞单方法。请参照图1至3，图1是根据本技术实施例的员工防飞单方法流程图；图2是根据本技术实施例的textcnn模型框架图；图3是根据本技术实施例的实施步骤框架图，如图1至3所示，员工防飞单方法包括如下步骤：
53.会话数据预处理步骤s1：对历史会话数据进行相应的数据处理后，对数据处理结果进行存储；
54.端到端模型训练步骤s2：将所述数据处理结果中的分词结果表示成编码后，通过所述编码获得所述分词结果的横向向量，从所述横向向量中抽取相应的样本，并对所述样本行训练获取端到端模型；
55.敏感词表构建步骤s3：通过敏感词扩展算法对所述数据处理结果中的敏感词进行数据处理后，获得敏感词表；
56.防飞单混合模型构建步骤s4：根据实际需求调整所述端到端模型和所述敏感词表的权重后，获得防飞单混合模型。
57.在实施例中，所述会话数据预处理步骤s1包括，对所述历史会话数据进行分词和停用词处理，获得所述数据结果后，使用数据库mysql或es对所述数据处理结果进行存储。
58.在具体实施中，对历史会话素材进行收集，会话素材例如：
[0059]“q：这个部分你们可以做吗
[0060]
a：加我微信手机号详聊”[0061]
对于该历史会话，对每一句话进行分词和停用词处理后，可使用数据库mysql或者es进行数据存储。例如：
[0062]“加我微信/手机号详聊”[0063]
分词成
[0064]“加我微信手机号详聊”。
[0065]
在实施例中，所述端到端模型训练步骤s2包括：
[0066]
横向向量获取步骤s21：所述数据处理结果中提取所述分词结果，使用自然语言处理中的词向量技术，将所述分词结果中的词语表示成稠密的所述编码后，通过所述编码获得所述词语的所述横向向量；
[0067]
端到端模型获取步骤s22：从所述横向向量中的飞单会话数据向量中往上取多个飞单会话数据向量合并成正样本，并从非飞单会话数据向量中提取多个非飞单会话数据向量构建成负样本后，使用textcnn对所述正样本和所述负样本进行训练，获取所述端到端模型。
[0068]
在具体实施中，将分词结果使用nlp(自然语言处理)中word2vec(词向量)技术进行提取(例如一个词200维度表达)。其中，word2vec是将词映射到稠密向量的技术。word2vec是用一个一层的神经网络(即cbow)把one
‑
hot形式的稀疏词向量映射称为一个n维(n一般为几百)的稠密向量的过程。将分词结果中的词语表示成稠密的所述编码后，通过编码获得分词结果中的词语的横向向量。管理人员可以根据历史飞单会话或者公开的飞单会话，在当前飞单会话中，往上取n个会话(n可以取5)，合并成一个正样本。同时，取若干个非飞单会话，构建成负样本。使用textcnn(也可以是textrnn、textrnn cnn)等进行模型训练，textcnn模型框架图如2所示。
[0069]
在实施例中，所述敏感词表构建步骤s3包括，通过所述敏感词扩展算法，从所述数据处理结果中提取所述敏感词，并对所述敏感词中的每个词分别进行相应的数据处理后，获得相应的数据处理组合，将所述数据处理组合合并获得最终的所述敏感词表。
[0070]
在具体实施中，通过敏感词扩展算法，从数据处理结果中提取敏感词，并对敏感词中的每个词分别进行类似拆字、拆拼音方面的变体，且可能多种变体结合或变体与原文结合起来用，比如说：“加微信”可能变体为“jxw”,“力口微信”等。根据观察，人们通常会使用字变体 拼音变体(首字母和完整拼音) 原文本 无效字符穿插的方式去组合。
[0071]
对敏感词中的每个字做如下处理：
[0072]
拆字，比如将“轮”拆成“车仑”[0073]
拆拼音的首部，比如将“轮”拆成“l”[0074]
拆拼音的全拼，比如将“轮”拆成“lun”[0075]
拆拼音的全拼带声调，比如将“轮”拆成“l
ú
n”[0076]
得到组合后，将数据处理组合合并获取最终的敏感词表后，可以使用dfa算法进行敏感词搜索。
[0077]
在实施例中，所述防飞单混合模型构建步骤s4包括，根据实际需求调整所述端到端模型和所述敏感词表的权重后，获得防飞单混合模型。
[0078]
在具体实施中，公司管理者可以根据实际需求调整深度学习分类模型和敏感词表的权重，或者综合两个模型的输出评分。以综合模型评分为例:
[0079]
对于深度学习模型，直接输入当前会话的上下文(这里上下文与步骤三的n取值挂钩)，可以直接得到评判分值，设为a。
random access memory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extended date out dynamic random access memory，简称为edodram)、同步动态随机存取内存(synchronous dynamic random
‑
access memory，简称sdram)等。
[0094]
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
[0095]
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意员工防飞单方法。
[0096]
在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图5所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
[0097]
通信接口83用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/异常数据监测设备、数据库、外部存储以及图像/异常数据监测工作站等之间进行数据通信。
[0098]
总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(data bus)、地址总线(address bus)、控制总线(control bus)、扩展总线(expansion bus)、局部总线(local bus)。举例来说而非限制，总线80可包括图形加速接口(accelerated graphics port，简称为agp)或其他图形总线、增强工业标准架构(extended industry standard architecture，简称为eisa)总线、前端总线(front side bus，简称为fsb)、超传输(hyper transport，简称为ht)互连、工业标准架构(industry standard architecture，简称为isa)总线、无线带宽(infiniband)互连、低引脚数(low pin count，简称为lpc)总线、存储器总线、微信道架构(micro channel architecture，简称为mca)总线、外围组件互连(peripheral component interconnect，简称为pci)总线、pci
‑
express(pci
‑
x)总线、串行高级技术附件(serial advanced technology attachment，简称为sata)总线、视频电子标准协会局部(video electronics standards association local bus，简称为vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
[0099]
电子设备可连接员工防飞单系统，从而实现结合图1至图3的方法。
[0100]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0101]
综上所述，本发明通过使用nlp等手段，提出一种基于深度学习和敏感词的混合模型，实时判断运营过程中的飞单语句，帮助公司监管者提高管理效率。
[0102]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求的保护范围为准。