一种物流智能外呼全链路性能测试方法及系统与流程
本发明涉及智能语音通信测试,特别是一种物流智能外呼全链路性能测试方法及系统。
背景技术:
1、随着物流信息化、智能客服及人工智能语音技术的发展,智能外呼系统已逐步应用于取件通知、派件提醒、异常件处理及服务回访等物流业务场景,此类系统通常并非由单一语音呼叫模块构成,而是涉及外呼任务初始化及业务鉴权、语音通信线路呼叫建立、机器人话术调度、文本转语音合成、用户语音或按键交互、通话录音生成、语音识别及物流业务意图判断、业务回调和录音归档等多个处理环节,为保证物流业务高峰期智能外呼系统的稳定运行,现有技术通常在系统上线、版本更新或资源扩容前进行性能测试,其中可分别针对业务接口进行并发请求测试,针对语音通信线路模拟大量并发呼叫,并针对文本转语音服务和语音识别服务执行接口级并发测试,同时利用各服务器或者业务模块生成的日志、响应时间、任务数量及错误记录评价相应模块的运行性能,随着系统服务化程度提高,性能测试对象已经由单一接口逐渐扩展至包含通信线路和人工智能语音服务的多模块业务链路,对测试过程的场景真实性、跨模块数据关联能力和实际业务承载能力评价提出了更高要求,然而,物流智能外呼具有明显的业务因果时序和跨系统关联特征,现有分别针对业务接口、语音通信和人工智能语音服务实施的性能测试方式,容易使各测试压力源之间相互独立,难以保证同一物流运单对应的业务签名、话术模板、语音通信线路、实际呼叫、通话录音及语音识别任务始终处于同一业务上下文中。
技术实现思路
1、鉴于上述现有存在的问题,提出了本发明。
2、因此,本发明提供了一种物流智能外呼全链路性能测试方法及系统,解决现有技术难以保证同一物流运单对应的业务签名、话术模板、语音通信线路、实际呼叫、通话录音及语音识别任务始终处于同一业务上下文中的问题。
3、为解决上述技术问题,本发明提供如下技术方案:
4、第一方面,本发明提供了一种物流智能外呼全链路性能测试方法,其包括,
5、获取物流智能外呼测试基础信息,建立测试基础配置集并确定全链路测试场景,基于测试基础配置集生成标准化测试会话,并建立物流运单、业务签名及语音呼叫之间的唯一关联关系;
6、基于标准化测试会话建立双压力源协同调度机制,并按照物流外呼业务因果时序驱动测试执行,基于双压力源协同调度结果执行真实语音通话交互,并按照测试模式完成对应的全链路测试过程;
7、采集标准化测试会话对应的全链路测试事件,并基于全局追踪标识和物流运单号构建会话事件链,基于会话事件链确定全链路健康状态,并根据健康状态协同执行阶梯升压、异常隔离和双压力源同步降压;
8、基于会话事件链执行标准化测试会话的业务闭环校验,并对异常测试会话进行分层定位,根据业务闭环校验结果计算全链路业务性能指标,并基于不同压力等级确定稳定容量边界及主要性能瓶颈。
9、作为本发明所述物流智能外呼全链路性能测试方法的一种优选方案,其中:所述获取物流智能外呼测试基础信息,建立测试基础配置集并确定全链路测试场景具体为:
10、获取待测试物流智能外呼系统的业务接口信息、物流业务信息、语音通信线路信息、机器人话术信息、文本转语音服务信息、语音识别服务信息以及预设测试控制信息,并按照各类信息在物流智能外呼过程中的作用进行分类记录;
11、获取待测试环境中的语音通信线路信息,包括各语音通信线路对应的线路标识、运营商标识、主叫号码资源、被叫号码范围、线路最大允许并发呼叫数量以及线路支持的媒体传输方式,并按照线路标识建立语音通信线路配置记录;
12、获取机器人话术信息,根据物流智能外呼系统实际使用的取件通知、派件提醒、异常件通知、服务回访或者其他物流业务场景分别建立话术模板,并为每一个话术模板设置唯一的话术模板标识,将话术模板标识与对应的物流业务类型建立关联关系;
13、获取文本转语音服务和语音识别服务的服务配置信息,对于存在多个服务实例的情况,对各服务实例分别设置服务实例标识;
14、根据实际测试目的确定测试模式,并将测试模式统一划分为全链路测试模式、文本转语音专项测试模式和语音识别专项测试模式;
15、根据待测试系统的设计承载能力和测试环境资源情况设置测试控制参数,包括初始测试压力、压力增加幅度、每一压力阶段的稳定观察时间、最大允许测试压力、各语音通信线路的并发上限、文本转语音服务并发上限以及语音识别服务并发上限,将业务接口信息、物流业务信息、语音通信线路信息、机器人话术信息、文本转语音服务信息、语音识别服务信息、测试模式以及测试控制参数进行统一组织,形成测试基础配置集。
16、作为本发明所述物流智能外呼全链路性能测试方法的一种优选方案,其中:所述基于测试基础配置集生成标准化测试会话,并建立物流运单、业务签名及语音呼叫之间的唯一关联关系具体为:
17、从测试基础配置集中读取待测试物流运单,并按照一条物流运单对应一个标准化测试会话的原则,依次建立标准化测试会话;
18、根据当前物流运单的业务类型从话术模板配置中查找对应的话术模板,并将相应的话术模板标识写入标准化测试会话,根据测试任务对应的语音通信线路配置,为当前标准化测试会话确定候选语音通信线路,同时将当前测试模式写入标准化测试会话形成当前物流运单的基础会话参数;
19、对于待测试物流智能外呼系统采用时效业务签名进行业务鉴权的情况,根据当前物流运单提取需要参与业务签名的运单业务参数和公共请求参数,将所有参与签名的参数按照参数名称的字典顺序进行升序排列,并按照待测试物流智能外呼系统实际采用的参数拼接规则生成有序签名原始数据,在签名原始数据中加入业务密钥后执行消息摘要处理,得到当前标准化测试会话对应的时效业务签名;
20、在生成时效业务签名时,同时记录签名生成时间和签名失效时间;
21、对于已经开始执行业务初始化但后续仍需要调用业务回调接口或者录音归档接口的标准化测试会话,在执行相应接口调用之前再次检查当前时效业务签名是否有效,若签名仍处于有效期内,则继续使用当前业务签名,若签名已经接近失效或者已经失效,则依据同一物流运单的原始业务参数重新生成有效业务签名,并将新的签名状态写回当前标准化测试会话;
22、为每一个标准化测试会话建立统一的会话信息记录;
23、将生成完成的标准化测试会话写入共享会话参数池,并为共享会话参数池中的每一个标准化测试会话设置未分配、已锁定、执行中、待校验和已完成五种会话状态;
24、当标准化测试会话由未分配状态进入测试执行过程时,对该标准化测试会话执行独占锁定,并生成与当前标准化测试会话唯一对应的会话调度凭证。
25、作为本发明所述物流智能外呼全链路性能测试方法的一种优选方案,其中:所述基于标准化测试会话建立双压力源协同调度机制,并按照物流外呼业务因果时序驱动测试执行具体为:
26、在全链路性能测试开始后,建立业务接口压力源和语音呼叫压力源;
27、从共享会话参数池中查找处于未分配状态且业务签名仍处于有效期内的标准化测试会话,并按照测试任务预先设定的会话释放顺序选取当前待执行的标准化测试会话,选取完成后立即将其状态调整为已锁定;
28、将当前标准化测试会话中的物流运单号、业务参数和时效业务签名发送至业务接口压力源,由业务接口压力源按照待测试物流智能外呼系统的业务接口规则发起外呼初始化请求;
29、协同调度过程接收业务接口压力源返回的业务鉴权结果,并根据业务鉴权结果控制当前标准化测试会话的后续状态;
30、当业务接口返回鉴权成功或者外呼任务创建成功结果时,将当前标准化测试会话由已锁定状态调整为执行中,同时将对应的会话调度凭证、物流运单号、目标电话号码、话术模板标识和语音通信线路标识发送至语音呼叫压力源;
31、当业务接口返回签名错误、签名失效、鉴权失败或者业务任务创建失败结果时,不允许当前标准化测试会话继续进入语音呼叫阶段,并记录当前标准化测试会话发生的业务接口异常;
32、语音呼叫压力源获得允许执行的标准化测试会话后,根据其中记录的语音通信线路标识选择对应线路,并按照该线路配置的主叫号码、目标号码以及呼叫参数建立语音呼叫,呼叫建立后生成对应的呼叫标识,并将呼叫标识回写至当前标准化测试会话;
33、为每一个标准化测试会话建立会话执行状态链,按照实际物流智能外呼业务过程依次设置为等待鉴权状态、鉴权完成状态、允许呼叫状态、呼叫建立状态、语音交互状态、通话结束状态、语音识别状态、业务归档状态和闭环完成状态;
34、在协同调度过程中记录标准化测试会话每一次状态转换的开始时间、结束时间、执行结果以及负责执行的业务节点,并将状态转换记录与标准化测试会话中的全局追踪标识和物流运单号共同保存;
35、对于三种测试模式,在标准化测试会话通过前置阶段后,对进入不同处理阶段的会话数量进行差异化控制。
36、作为本发明所述物流智能外呼全链路性能测试方法的一种优选方案,其中:所述基于双压力源协同调度结果执行真实语音通话交互,并按照测试模式完成对应的全链路测试过程具体为:
37、当标准化测试会话进入允许呼叫状态后,由语音呼叫压力源读取当前标准化测试会话对应的目标联系电话、语音通信线路标识、机器人标识和话术模板标识,通过所选择的语音通信线路向目标测试终端发起语音呼叫,并依次记录呼叫过程状态;
38、当语音通信线路返回有效接听结果并建立媒体通道后,将当前标准化测试会话由呼叫建立状态调整为语音交互状态,并根据标准化测试会话中的话术模板标识,从机器人话术配置中读取对应话术内容,将话术内容提交至文本转语音服务;
39、文本转语音服务根据话术内容生成对应的语音数据,并将生成的语音数据发送至当前语音呼叫所对应的媒体通道进行播放,在话术提交文本转语音服务时记录话术提交时间,在媒体通道首次检测到有效播报语音时记录首音到达时间,在完整话术播报结束时记录播报结束时间,并将播报结束时间记录与当前标准化测试会话建立关联;
40、在测试基础配置集中预先针对不同物流业务类型建立用户行为脚本;
41、当机器人业务流程判定当前通话结束时,语音呼叫压力源执行挂机操作,并记录通话结束时间,将当前标准化测试会话由语音交互状态调整为通话结束状态,由待测试物流智能外呼系统按照正常业务处理流程生成本次通话对应的录音文件;
42、检测到录音文件生成后,获取对应的录音标识、录音文件生成时间、录音时长和录音存储位置,并将录音标识写入当前标准化测试会话;
43、将录音提交至语音识别服务,并将当前标准化测试会话调整为语音识别状态,语音识别服务对录音中的用户语音进行识别,生成语音识别文本,并根据待测试物流业务的意图分类规则输出对应的物流业务意图结果,将语音识别任务标识、识别开始时间、识别完成时间、识别文本和物流业务意图结果写入当前标准化测试会话;
44、完成语音识别后,由业务接口压力源根据当前标准化测试会话中的物流运单号、业务状态和仍处于有效期内的业务签名调用会话结束回调接口和录音归档接口;
45、完成业务回调和录音归档后,将当前标准化测试会话调整为业务归档状态;
46、针对三种测试模式,采用同一套标准化测试会话、同一套语音呼叫执行过程以及同一套后续结果关联机制,按照测试目的调整标准化测试会话在不同阶段的释放方式。
47、作为本发明所述物流智能外呼全链路性能测试方法的一种优选方案,其中:所述采集标准化测试会话对应的全链路测试事件,并基于全局追踪标识和物流运单号构建会话事件链具体为:
48、在测试开始前,对参与测试的业务接口服务器、协同调度节点、语音通信节点、机器人业务服务节点、文本转语音服务节点、语音识别服务节点和录音处理节点执行统一时间校准;
49、对于部署在同一执行节点内连续发生的处理事件,在记录统一时间的同时保留事件之间的相对时间;
50、从业务接口压力源持续采集外呼初始化请求、业务鉴权响应、业务回调请求和录音归档请求对应的运行记录,从语音呼叫压力源采集呼叫发起、线路首个响应、呼叫接通、媒体通道建立和通话结束对应的运行记录,从文本转语音服务采集话术请求、语音生成开始、首音产生、完整语音生成和调用异常对应的运行记录,从语音识别服务采集录音任务提交、任务进入解析、解析完成、识别文本和业务意图输出对应的运行记录,并从机器人业务服务及录音处理系统采集机器人会话状态、录音生成状态和录音归档状态;
51、将能够表示一个测试处理动作开始、完成或者状态变化的记录转换为统一的链路测试事件;
52、在生成链路测试事件时,从标准化测试会话中读取当前事件对应的全局追踪标识和物流运单号,并将二者共同写入链路测试事件;
53、当语音通信线路自身无法直接携带全局追踪标识时,利用标准化测试会话与呼叫标识的对应关系进行补充关联;
54、根据会话执行状态链确定各种事件的标准业务先后关系,并按照实际事件发生时间对同一标准化测试会话下的链路测试事件进行排序,形成会话事件链;
55、根据各链路测试事件之间的时间关系,从会话事件链中提取能够表征测试运行状态的基础时间信息。
56、作为本发明所述物流智能外呼全链路性能测试方法的一种优选方案,其中:所述基于会话事件链确定全链路健康状态,并根据健康状态协同执行阶梯升压、异常隔离和双压力源同步降压具体为:
57、在测试开始后按照预设采样周期建立连续的测试观察窗口,并在每一个测试观察窗口结束时,从会话事件链中提取该测试观察窗口内已经执行或者正在执行的标准化测试会话;
58、根据标准化测试会话分别获取业务接口层、语音通信层、文本转语音处理、语音识别处理和机器人业务处理对应的实时运行结果;
59、将上述不同层级运行结果与测试基础配置集中预设的允许条件进行比较,得到当前测试观察窗口对应的链路健康状态;
60、协同调度过程根据单位时间允许进入已锁定状态和执行中状态的标准化测试会话数量形成当前压力等级,当当前压力等级达到预设稳定观察时间,并且连续多个测试观察窗口均被判定为健康观察窗口时,允许进入下一压力等级;
61、当任一测试观察窗口出现异常时,根据会话事件链中异常事件对应的执行节点、语音通信线路标识或者服务实例标识确定异常对象;
62、当异常已经同时出现在多个语音通信线路、多个人工智能语音服务实例,或者业务接口、语音通信和人工智能语音处理多个技术层级同时出现持续性能下降时,将当前状态判定为全链路过载状态;
63、进入全链路过载状态后,停止共享会话参数池继续按照当前速度释放新的标准化测试会话,并降低单位时间允许进入执行状态的标准化测试会话数量;
64、完成降压后进入恢复观察阶段,在恢复观察阶段维持当前降低后的标准化测试会话释放速度,不立即恢复原压力,并连续检查多个测试观察窗口的链路健康状态;
65、当全链路运行状态连续多个测试观察窗口恢复正常后,按照低于正常阶梯升压幅度的恢复压力增加量逐步提高标准化测试会话释放速度,直至恢复至异常发生前的压力等级。
66、作为本发明所述物流智能外呼全链路性能测试方法的一种优选方案,其中:所述基于会话事件链执行标准化测试会话的业务闭环校验,并对异常测试会话进行分层定位具体为:
67、在标准化测试会话进入待校验状态后,从会话事件链中读取当前标准化测试会话对应的全部链路测试事件,同时读取该标准化测试会话的测试模式、物流运单号、全局追踪标识、语音通信线路标识、话术模板标识、呼叫标识、录音标识以及语音识别任务标识,并根据当前测试模式生成对应的预期事件序列;
68、确定预期事件序列后,将实际获得的会话事件链与当前测试模式对应的预期事件序列逐项进行比较,执行事件完整性校验;
69、完成事件完整性校验后,对当前标准化测试会话执行对象一致性校验;
70、对语音识别结果执行业务语义一致性校验;
71、在事件完整性、对象一致性、录音完整性和业务语义一致性均校验完成后,对当前标准化测试会话执行业务闭环状态判定,对于满足当前测试模式全部必要事件要求、业务对象关联一致、录音结果正常且需要执行的语音识别和业务归档过程均达到预设业务要求的标准化测试会话,将其判定为闭环完成会话,并将标准化测试会话由待校验状态调整为已完成状态;
72、对于已经进入实际测试执行过程,但因待测试物流智能外呼系统自身异常而未能完成相应业务链路的标准化测试会话,将其判定为业务失败会话;
73、对于因执行主动降压、线路隔离、服务实例隔离或者测试结束控制而未继续进入后续业务阶段,并且其停止执行并非由待测试系统本身处理失败造成的标准化测试会话,则标记为测试控制中止会话;
74、对于业务失败会话,根据会话事件链中首次出现的异常位置、异常事件所属执行节点以及对象一致性校验结果进行故障分层;
75、当一个标准化测试会话出现多个连续异常时,以会话事件链中最早出现且能够解释后续异常的异常处理阶段作为主要异常层级,并将由该异常继续向后传递产生的异常记录为关联异常;
76、针对每一个完成校验的标准化测试会话生成业务闭环校验记录,记录其物流运单号、全局追踪标识、测试模式、闭环状态、事件完整性校验结果、对象一致性校验结果、录音完整性校验结果、业务语义一致性校验结果、主要异常层级以及主要异常事件,并将业务闭环校验记录与对应的压力等级和链路健康状态建立关联。
77、作为本发明所述物流智能外呼全链路性能测试方法的一种优选方案,其中:所述根据业务闭环校验结果计算全链路业务性能指标,并基于不同压力等级确定稳定容量边界及主要性能瓶颈具体为:
78、读取本次测试期间形成的全部标准化测试会话,并根据业务闭环状态将标准化测试会话划分为闭环完成会话、业务失败会话和测试控制中止会话;
79、以标准化测试会话作为统一的业务统计单位,计算当前测试任务对应的业务级吞吐能力,确定业务级吞吐能力后,根据会话事件链中不同链路测试事件的发生时间计算各项业务处理时延;
80、根据闭环校验结果分别统计呼叫接通情况、文本转语音播报情况、语音识别处理情况、物流业务意图识别情况、录音完整情况和录音归档情况;
81、完成单个标准化测试会话及各分类对象的性能指标计算后,读取不同压力等级,按照压力由低至高的顺序分别建立压力阶段记录;
82、根据连续压力阶段之间的变化关系判断各压力阶段是否属于稳定承载阶段,按照阶梯升压方式增加标准化测试会话释放速度;
83、当进入新的压力等级后出现任一持续状态时,将当前压力等级确定为非稳定承载阶段;
84、将非稳定承载阶段之前最后一个满足稳定承载条件的压力等级确定为当前测试条件下的稳定容量边界,对稳定容量边界之后首次出现的非稳定承载阶段进行主要性能瓶颈定位;
85、根据处理结果生成物流智能外呼全链路性能测试报告。
86、第二方面,本发明提供了一种物流智能外呼全链路性能测试系统,包括,
87、测试配置与会话构建模块,用于获取物流智能外呼测试基础信息,建立测试基础配置集并确定全链路测试场景,基于测试基础配置集生成标准化测试会话,并建立物流运单、业务签名及语音呼叫之间的唯一关联关系;
88、双压力源协同与测试执行模块,用于基于标准化测试会话建立双压力源协同调度机制,并按照物流外呼业务因果时序驱动测试执行,基于双压力源协同调度结果执行真实语音通话交互,并按照测试模式完成对应的全链路测试过程;
89、链路监测与压力调控模块,用于采集标准化测试会话对应的全链路测试事件,并基于全局追踪标识和物流运单号构建会话事件链,基于会话事件链确定全链路健康状态,并根据健康状态协同执行阶梯升压、异常隔离和双压力源同步降压;
90、闭环校验与性能评估模块,用于基于会话事件链执行标准化测试会话的业务闭环校验,并对异常测试会话进行分层定位,根据业务闭环校验结果计算全链路业务性能指标,并基于不同压力等级确定稳定容量边界及主要性能瓶颈。
91、本发明有益效果为:本发明通过建立测试基础配置集,实现多类测试资源统一配置;通过标准化测试会话及唯一关联关系,实现运单、签名、呼叫和录音准确绑定;通过双压力源因果时序调度,使测试压力符合真实外呼流程;通过复用真实语音链路完成三类测试,提高专项测试真实性;通过会话事件链统一关联跨层数据,提高时延统计和异常追溯准确性;通过链路健康状态实施阶梯升压、异常隔离和协同降压,避免局部过载污染测试结果;通过业务闭环校验区分业务失败与测试控制中止,并定位异常层级;最终通过压力阶段与闭环完成会话分析确定稳定容量边界及主要性能瓶颈,从而提高物流智能外呼性能评价的真实性、完整性和容量判断可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com