一种基于机器学习的外呼对话管理智能选择方法及系统与流程

1.本发明涉及人工智能(artificial intelligence，ai)及信息处理技术，尤其涉及一种基于机器学习的外呼对话管理智能选择方法及系统。


背景技术：

2.随着ai技术和信息处理技术的发展，越来越多的企业选择采用ai语音交互技术的语音助手或ai语音机器人来取代人工外呼系统。
3.目前业界针对ai外呼一般采用如下方法：
4.1)申请号为cn202010772740.2，名称为“一种基于自然语言处理(natural language processing，nlp)深度学习智能消息推送方法”的发明申请，公开的基于nlp深度学习智能消息推送方法，该方法采用以下步骤，实现更准确、更高效地对客户进行智能催收：数据收集，收集催收对象的数据信息并插入信息库中，根据信息处理数据，生成量化指标；智能分案，根据量化指标对催收对象进行不同的策略分组；智能催收，根据不同的策略分组，对催收对象进行催收，并通过智能外呼系统，提高催收效率，使催收结果更结构化，方便机器学习；智能标注，对催收结果进行分类统计，使后续的催收更精准、高效。该方法通过客户评分对不同的客户选择不同的催收方式，但对于进入智能外呼系统的用户，未采用不同的对话策略。因此，通过智能外呼系统催收的用户群体数量有限、催收效果有限。
5.2)申请号为cn202010810228.2，名称为“一种基于互联网ai外呼的专家库数据抽取方法及系统”的发明申请，公开的所述基于互联网ai外呼的专家库数据抽取方法，该方法通过对专家库外呼项目的外呼访问计划进行模拟生成以提取外呼项目的特征，并将外呼相应特征与专家库外呼项目的特征进行关联，以确定专家外呼项目的较佳外呼访问计划，以提高外呼的针对性，提高数据提取的效率。然而，该方法缺少对外呼对象的特征进行甄别，难以针对外呼对象采用针对性外呼访问计划，在需要针对外呼对象特征采用不同外呼访问计划或策略的场景中效果欠佳。
6.然而，以上现有技术均没有针对外呼对话策略提供选择功能，因此不能适应复杂的应用场景，尤其是对外呼的准确性和外呼任务完成率有一定要求的应用场景。
7.申请号为cn202011186887.x，名称为“一种基于埋点数据的营销外呼数据推荐方法”，公开的所述营销外呼数据推荐方法，主要通过使用数据埋点技术，监测和采集用户访问数据进而得到用户访问行为数据，进行预处理后，再在此基础上进一步分析和预测，计算出用户价值分数，并以此为判断依据向外呼系统推荐待营销用户和用户基础数据的方式实现精准营销的目的。
8.但是采用上述数据埋点技术开启数据分析，由于设置数据埋点涉及产品、运营、技术实现以及埋点规划、埋点与数据分析的关系等多个环节，对实施埋点技术本身的要求非常高，而且对实施埋点技术与能否达到预期的效果，也需要反复评估和调整。因此，实施复杂度和难度很高，而且产生的推荐待营销用户的结果与实际能否达到营销目的的需求之间仍有一定偏差。


技术实现要素：

9.有鉴于此，本发明的主要目的在于提供一种基于机器学习的外呼对话管理智能选择方法及系统，利用机器学习算法预训练业务分类模型，提供多种不同的对话管理模块和对话策略选择，以适配不同的人群或应用场景；得到业务分类模型，再根据用户特征，针对不同的用户采用不同的对话管理模块和ai外呼对话策略，使ai外呼装置能够根据对话策略执行外呼任务。进一步地，根据用户反馈，对外呼效果进行标定，并通过标定后的外呼结果，将迭代优化结果输入深度学习模型，进一步提高外呼任务的准确率和完成概率。
10.为达到上述目的，本发明的技术方案如下：
11.一种基于机器学习的外呼对话管理智能选择方法，包括如下步骤：
12.根据用户特征建立业务分类模型，利用机器学习算法预训练所述业务分类模型，生成业务分类结果；
13.根据所述业务分类结果，选择不同的对话管理模块，送入ai外呼装置；
14.利用所述ai外呼装置，根据所选的对话管理模块执行不同的外呼对话策略，运行相应的外呼任务。
15.进一步地，所述对话管理模块执行不同的外呼对话策略，运行相应的外呼任务之后，还包括输出回复内容，生成回复文本，将所述回复文本转换成语音，完成当前外呼任务，并记录外呼结果。
16.进一步地，对所述外呼结果进行标定得到标定结果，经迭代优化处理后输入机器学习模块，得到深度训练后的业务分类模型。
17.进一步地，将所述深度训练后的业务分类模型更新预训练业务分类模块，生成更新的业务分类结果。
18.进一步地，根据所述更新的业务分类结果，选择优化后的不同对话管理模块，送入ai外呼装置。
19.一种基于机器学习的外呼对话管理智能选择系统，包括：
20.用户业务分类模块，用于根据所述用户特征，建立业务分类模型，然后对所述业务分类模型进行预训练得到业务分类结果；
21.对话管理装置，用于根据业务分类结果，选择不同的对话管理模块和对话策略，送入ai外呼装置；
22.ai外呼装置，用于根据预设的对话管理模块，针对不同业务类型的用户，在执行ai外呼任务之前将根据用户业务特征在所述对话管理装置中选择一个合适的对话管理模块，执行外呼任务。
23.进一步地，所述用户业务分类模块，还用于根据深度训练后的业务分类模型更新预训练业务分类模块，生成更新的业务分类结果。
24.进一步地，所述对话管理装置中，包括至少一个对话管理模块。
25.进一步地，还包括机器学习模块，用于根据所述外呼结果进行标定得到标定结果，经迭代优化处理后进行机器学习训练，得到深度训练后的业务分类模型，然后将其输入到所述用户业务分类模块。
26.一种计算机系统，包括处理器和被配置为计算机可读存储介质的存储器；所述存储器中存储有能够在所述处理器运行的程序模块，所述程序模块包括用户特征采集模块、
用户业务分类模块、对话管理装置、ai外呼装置、机器学习模块中的一个或多个；所述处理器被配置为用于运行所述基于机器学习的外呼对话管理智能选择方法的步骤。
27.一种计算机可读存储介质，所述计算机可读存储介质存储有一个或多个程序模块，所述程序模块为用户特征采集模块、用户业务分类模块、对话管理装置、ai外呼装置、机器学习模块中的一个或多个；当所述程序模块被计算机设备的处理器调用时，使得所述计算机设备执行所述基于机器学习的外呼对话管理智能选择方法的步骤。
28.本发明的基于机器学习的外呼对话管理智能选择方法及系统，具有如下有益效果：
29.本发明根据用户特征建立分类模型，利用深度学习算法预训练业务分类模型，再进一步通过业务分类模型，根据用户特征选择对话管理模块，对不同的用户选用不同的ai外呼对话策略；能够通过ai外呼机器人，根据对话策略执行外呼任务，根据用户的反馈，对外呼效果进行标定，并通过标定后的外呼结果，迭代优化深度学习模型。本发明既可以通过利用机器学习训练业务分类模型，对预设的对话管理模块进行选择；也可以兼顾用户特征，结合机器学习模型对对话管理模块进行选择；还能够对外呼结果进行标定，迭代优化机器学习进行业务模型分类，进一步提高对话管理模块选择的准确率，和提高外呼任务的完成概率。
附图说明
30.图1为本发明实施例基于机器学习的外呼对话管理智能选择方法流程示意图；
31.图2为基于本发明方法的试驾邀约业务的对话策略选择对话树示意图；
32.图3为图2所示试驾邀约业务对话运行过程流程示意图；
33.图4为本发明实施例基于机器学习的外呼对话管理智能选择系统结构示意图。
具体实施方式
34.下面以试驾邀约业务为例，结合附图及本发明的实施例对本发明作进一步详细的说明。
35.图1为本发明实施例基于机器学习的外呼对话管理智能选择方法流程示意图。
36.如图1所示，该基于机器学习的外呼对话管理智能选择方法，包括如下步骤：
37.步骤101：采集用户数据，提取用户行为数据以确定用户特征。
38.本技术中以开展试驾邀约业务为例，进行用户数据采集，对用户特征进行确认。
39.如图2所示，在该呼叫平台，如计算机电信集成(computer-telephony integration，cti)呼叫中心，设置试驾邀约业务服务，向目标用户发起呼叫请求或接听用户呼入，分配业务信道建立通信连接和进行业务对话。例如，可向用户发送/播放欢迎/问候信息、最新金融活动介绍、试驾意愿询问、用户信息询问、确认试驾预约、结束语等。在上述对话过程中，利用内置的nlp系统识别用户语音或/和文字信息，采集用户的语音或文字数据，提取用户行为数据，以确定用户业务需求特征。据此可以判断、确认用户有无试驾业务的需求，对确认有试驾业务需求的客户，进行试驾门店确认、试驾车系确认、试驾时间确认。
40.在该步骤中，具体的数据处理过程如下：
41.步骤1011：对识别的用户语音或/和文字信息进行处理，从中采集用户数据。例如，
采集注册时间、登录时长、选配数量等数据；利用asr、文本挖掘等技术，通过电话邀约的录音文本，挖掘用户的关注点、顾虑点等信息。
42.步骤1012：将采集的上述数据处理成用户特征。例如，将注册时间处理成为注册天数，关注点进行分箱等
43.步骤1013：对用户特征数据进行标定，若该用户经y种外呼策略外呼后，成功到店试驾，则该用户被标定为第y类的正样本；若未到店试驾，则标定为第y类的负样本。
44.步骤102：根据用户特征，建立业务分类模型，采用机器学习算法预训练所述分类模型，利用所述分类模型对用户进行分类生成业务分类结果。或者，根据深度学习算法对训练后的业务分类模型进行再训练，对用户进行再分类，生成修正后更新的业务分类结果。
45.这里，采用机器学习算法对用户特征数据进行预训练的过程如下：
46.步骤1021：针对历史数据进行用户特征数据提取。
47.步骤1022：将上述所提取的用户特征数据分为第一训练集、第一验证集和第一测试集。
48.步骤1023：利用从上述步骤中提取得到的第一训练集采用机器学习算法,如xgboost算法对所述分类模型进行预训练，利用从上述步骤中得到的第一验证集对所述的xgboost算法进行参数调整。
49.所述的xgboost算法是一种有监督的集成机器学习算法，能够通过对损失函数进行二阶泰勒展开，并在目标函数中加入正则化项，达到权衡目标函数和模型的复杂度的作用，以防止产生过拟合。在本实施例中采用xgboost算法，还有执行速度快、容错性好的优点。
50.步骤1024：从上述步骤中得到的第一测试集中选取最优模型，得到经预训练处理后的分类模型。然后，通过利用所述分类模型对用户进行分类，最终得到业务分类结果。
51.所述利用业务分类模型对用户进行分类的步骤，主要包括：
52.步骤1025：对用户的当前行为提取行为特征数据。
53.步骤1026：利用所述业务分类模型对当前的用户进行分类，得到业务分类结果。以便在后续处理步骤中，根据业务分类结果，选取对应的外呼策略进行外呼，例如，进行试驾邀约。
54.本发明实施例中，采用深度学习算法对训练后的业务分类模型进行再训练，以便对用户进行精准分类生成修正的业务分类结果，其过程与上述步骤1022～步骤1024类似，不同之处在于，输入所述预训练分类模块/深度学习分类模块的数据，是经过步骤106迭代优化后的外呼结果进行标定后的标定结果数据。然后，再通过深度机器学习算法训练后的业务分类模型，对用户进行再分类，生成修正后更新的业务分类结果。
55.步骤103：根据业务分类结果，从对话管理装置中选择不同的对话管理模块，送入ai外呼装置。
56.在本实施例中，所述对话管理模块采用ravenclaw架构，但本技术的对话管理场景中也可以采用其他架构。在ravenclaw架构中，利用“树”表示整个对话的组织结构，即对话树，见图2。
57.参考图2，在开展试驾邀约业务中，为了完成试驾邀约的目标，将业务对话拆分为多个二级目标，分别是：问候、最新金融活动介绍、试驾意愿询问、用户信息询问、确认试驾
预约以及结束语。为了完成二级目标，可以继续将目标拆分成多个三级目标，这样就形成了多级的树结构。另外，在该ravenclaw架构中，利用栈来维护对话中的对话焦点(见下文图3)。
58.步骤104：所述ai外呼装置根据所选的对话管理模块执行不同的外呼对话策略，运行相应的外呼任务。
59.例如，选取对应的外呼对话策略运行外呼任务，即进行试驾邀约，并记录外呼的结果，即用户是否前来试驾。以下为选择对话管理模块后，根据所选的外呼对话策略进行试驾邀约的对话处理过程简要说明。
60.如图3所示，对话管理装置从左向右依次遍历整个对话树(参考图2)，在每一时刻将一个节点入栈，该节点在该时刻成为对话焦点。每一时刻，对话管理装置将执行栈顶节点的响应，当节点的状态为“已完成”时，对话管理装置将该节点出栈，下一节点成为栈顶，以此方式可将对话树中的所有节点操作执行完成。
61.再次以试驾邀约业务为例，参考图3，在时刻1，“试驾邀约业务”节点入栈，该节点非叶子节点且未执行完成，故将其子节点从左往右依次入栈。所以在时刻2“问候”节点入栈，问候节点为叶子节点，执行问候操作并将该节点置为“已完成”，系统将其出栈。时刻3和时刻4同理。在时刻5，“用户信息查询”入栈，非叶子节点，其三个子节点皆为叶子节点，故依次入栈并执行，即时刻6、时刻7、时刻8所示。三个子节点执行完成后，“用户信息查询”节点置为“已完成”，出栈。在时刻9、时刻10，将“确认试驾预约”、“结束语”依次入栈并执行，最终完成整个对话过程。
62.对话管理装置/系统的设计者可将根据经验对所述对话管理模块进行个性化或偏好设计，即ravenclaw架构中的树结构。在本技术实施例中，可设计多个不同的可执行的对话管理模块，每个管理模块将针对不同人群，再通过多个分类模型为具体用户输出适用的对话管理模块，以促进最终的外呼任务完成。
63.步骤105：在运行外呼任务时，输出回复内容，生成回复文本，并将所述回复文本转换成语音信息，完成当前外呼任务，并记录外呼结果。
64.所述完成外呼任务并记录外呼结果，也就是，完成当前试驾邀约任务后，记录该当前用户是否前来试驾。
65.步骤106：对所述外呼结果进行标定，得到标定结果，经迭代优化处理后输入机器学习模块，得到深度训练后的业务分类模型；然后执行步骤102导入所述深度训练后的业务分类模型。
66.所述对外呼结果进行标定得到标定结果，经迭代优化处理后输入机器学习模块，得到深度训练的业务分类模型的处理过程，包括如下步骤：
67.步骤1061：结合所述步骤1025中的用户行为特征和经步骤106处理得到的外呼标定结果，组成新的待训练数据样本。
68.步骤1062：参考步骤1022，将上述步骤1061得到的待训练数据样本分为第二训练集、第二验证集和第二测试集。
69.步骤1063：利用步骤1062中得到的第二训练集，参照步骤1023～步骤1024，对分类模型进行迭代优化，以提升业务分类模型的分类准确性。具体包括：利用从上述步骤1062中提取得到的第二训练集，采用机器学习算法,如xgboost算法对所述分类模型进行深度训
练，利用从上述步骤中得到的第二验证集对所述的xgboost算法进行参数调整。然后从上述步骤中得到的第二测试集中选取最优模型，得到经深度训练处理后的分类模型。
70.最后，通过利用所述修正后的分类模型对用户进行精准分类，最终得到业务分类结果。
71.如此，执行步骤102～步骤106再跳转到执行步骤102，如此循环执行上述步骤，反复迭代优化，得到进一步的优化后的业务分类模型，并据此对用户进行精准分类，生成修正后更新的业务分类结果。
72.图4为本发明实施例基于机器学习的外呼对话管理智能选择系统结构示意图。
73.如图4所示，该基于机器学习的外呼对话管理智能选择系统，主要包括：用户特征采集模块、用户业务分类模块、对话管理装置、ai外呼装置、机器学习模块。其中：
74.所述用户特征采集模块，用于根据业务对话过程采集用户数据，确定用户特征。
75.所述用户业务分类模块，用于根据所述用户特征，建立业务分类模型，并对所述业务分类模型进行预训练得到业务分类结果。还用于根据深度训练后的业务分类模型更新预训练业务分类模块，生成更新的业务分类结果。
76.所述对话管理装置，包含多个对话管理模块，可标记为第一对话管理模块1、第二对话管理模块2、第三对话管理模块3、
……
、第n对话管理模块。用于根据业务分类结果，选择不同的对话管理模块和对话策略，送入ai外呼装置。
77.本技术实施例中，所述对话管理模块，是ai外呼业务的核心功能模块，被配置为能够根据业务对话状态决定对话策略，以推动业务对话的进行。
78.所述的业务分类模型，在多个对话管理模块中选择一个对话管理模块进行ai外呼，因此，对话管理模块的选择将被建模成一个多分类问题，如下式所示，n个对话管理模块将被从1到n编号，表示n种分类。所述业务分类模型为多分类模型。
79.另外，所述机器学习模块中采用的机器学习算法原则上可采用一切能够对多分类模型进行建模的算法，如随机森林算法、xgboost算法等以及其他深度学习算法。此类算法本质上都是拟合n个函数。函数的输入是用户特征，例如：用户的年龄、性别、近一周在线活跃天数等，输出是一个概率。第i个函数的输出为该用户属于第i类的概率。
80.p(y＝1|x)＝f1(x)
81.p(y＝2|x)＝f2(x)
82....
83.p(y＝n|x)＝fn(x)
84.其中：函数p()代表用户特征为x的用户，被分类至第y位的概率，y为分类结果，即该用户被分为哪一个类别，x为用户特征，函数f()代表机器学习算法训练得到的模型。
85.所述ai外呼装置，用于根据预设的对话管理模块，针对不同业务类型的用户，在执行ai外呼任务之前将根据用户业务特征在所述对话管理装置中选择一个合适的对话管理模块，以提高外呼任务的完成效果。
86.所述ai外呼装置，可以是ai外呼机器人。所述ai外呼机器人将根据接收到的对话管理模块，执行外呼任务。将用户的语音信息通过语音识别转化为文本，该文本通过自然语言理解输入到对话管理模块，对话管理模块根据当前的状态和策略输出回复内容，回复内容通过自然语言生成回复文本，回复文本再通过语音合成生成回复语音给用户，从而进入
下一轮循环，直至结束外呼通话。在完成当前外呼任务后，记录外呼结果。
87.所述机器学习模块，用于根据所述外呼结果进行标定得到标定结果，经迭代优化处理后进行机器学习训练，得到深度训练后的业务分类模型。
88.在本技术的实施例中，以试驾邀约的外呼任务为例进行说明。
89.例如，将用户的特征输入模型，模型输出为y，即该用户被分类至第y类。此时，若外呼任务成功，即用户答应前来试驾，则该样本被标定为第y类的正样本，否则标定为第y类的负样本。大量的此类样本将用于进一步对模型进行训练，以提升模型预测的准确率。
90.这里，对所述外呼结果，需要根据外呼任务完成情况对外呼结果进行标定，具体地：将完成任务的数据标定为该分类的正样本，例如：该用户被模型分类至第二对话管理模块2且ai外呼机器人完成了外呼任务，则该用户数据将被标定为正样本用于优化f2(x)。同理，未完成任务的用户数据将被标定了负样本也用于优化f2(x)。标定后的数据将用于进一步优化模型，提升模型分类的准确性和合理性。
91.在本发明实施例中，以了解用户购车意愿的ai外呼机器人为例，具体流程如下：ai外呼机器人的任务是了解用户购车意愿，将有意愿购车的用户转人工对接。根据这一任务，预设多个对话管理模块：1)以金融方案介绍为主的对话管理模块；2)以选配方案为主的对话管理模块；3)以产品介绍为主的对话管理模块。
92.根据已有的用户特征数据和ai外呼数据，利用机器学习算法对模型进行训练。利用训练好的模型对给定的用户进行分类，以得到更适合该用户的对话管理模块。ai外呼机器人利用选择的对话管理模块，执行外呼任务，记录外呼结果。将成功转接人工的用户标定为正样本，否则标定为负样本。最后，利用标定好的外呼数据进一步优化现有的业务分类模型。
93.本发明还提供一种被配置为运行所述基于机器学习的外呼对话管理智能选择方法各步骤的计算机系统，包括处理器和被设置为计算机可读存储介质的存储器；所述存储器中存储有可在所述处理器上运行的程序模块，所述程序模块包括用户特征采集模块、用户业务分类模块、对话管理装置、ai外呼装置、机器学习模块中的一个或多个；所述处理器被配置为用于执行所述基于机器学习的外呼对话管理智能选择方法的步骤。
94.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或多个程序模块，所述程序模块为用户特征采集模块、用户业务分类模块、对话管理装置、ai外呼装置、机器学习模块中的一个或多个；当所述程序模块被计算机设备的处理器调用时，使得所述计算机设备执行所述基于机器学习的外呼对话管理智能选择方法的步骤。
95.以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。