一种基于端云协同的语言考试训练交互方法、设备及介质与流程

本发明涉及语音交互，特别是一种基于端云协同的语言考试训练交互方法、设备及介质。

背景技术：

1、随着智能学习终端、云端语音识别和在线语言测评技术的发展，语言考试训练逐渐由传统纸质练习和人工批改转向人机语音交互式训练，现有语言考试训练技术通常围绕听写、朗读、复述、图表描述、听后复述、阅读填空及听力填空等题型展开，通过终端设备完成题目展示、语音采集、音频播放和交互触发，通过云端服务完成语音识别、文本处理、答案比对、训练记录保存和反馈内容生成，此类技术能够将语音识别、自然语言处理、题型训练和学习过程记录结合起来，使用户在训练过程中获得较为即时的作答反馈，并支持多轮练习、题型切换、重听、重新作答和问答辅助等交互形式，端云协同架构还能够利用终端侧的便携交互能力和云侧的计算处理能力，提升语言考试训练的响应效率和反馈丰富度，适用于移动端、平板端、专用学习终端等多种应用环境。

2、在连续语言考试训练过程中，现有端云协同交互通常在用户语音上传后再由云侧依据语音识别结果判断交互意图，未在语音采集发生时将屏幕显示内容、扬声器播放状态、网络连接状态、上一轮反馈执行状态和训练上下文作为同一轮用户语音的用途判定依据，也未按照上一轮未闭合、播放打断、语音采集异常、当前题目作答和普通问答的先后关系区分用户语音的交互用途，导致同一用户语音容易被错误承接为新题调取、答案提交、普通问答、复采请求或题型切换待确认，对反馈内容下发、终端执行、反馈完成确认、训练上下文回写和回写结果接收之间缺少闭合校验，在网络中断、重复上传或反馈确认延迟时，容易出现反馈内容已经执行但训练上下文未同步更新，或者下一轮语音交互仍沿用旧训练上下文的情况。

技术实现思路

1、鉴于上述现有存在的问题，提出了本发明。

2、因此，本发明提供了一种基于端云协同的语言考试训练交互方法解决连续语言考试训练中用户语音交互用途难以准确区分以及反馈执行后训练上下文难以闭合承接的问题。

3、为解决上述技术问题，本发明提供如下技术方案：

4、第一方面，本发明提供了一种基于端云协同的语言考试训练交互方法，其包括：

5、采集用户语音、终端交互状态及当前训练上下文，根据终端交互状态和当前训练上下文确定采集用途标记，形成考试交互承接记录。

6、对考试交互承接记录中的用户语音进行识别，得到语音识别候选文本，并根据采集用途标记、语音识别候选文本及当前训练上下文形成唯一交互锁定记录。

7、根据唯一交互锁定记录确定未闭合轮次恢复、题型进入、答案提交、普通问答、播放打断、复采请求或题型切换待确认的处理路径，并生成考试训练证据记录。

8、根据考试训练证据记录生成反馈动作包，在终端接收或执行反馈动作包后形成反馈完成确认、反馈执行异常记录、反馈拒收记录或超时恢复记录，或者在存在未闭合交互轮次时形成未闭合轮次恢复记录，并根据形成的记录对当前训练上下文执行回写、保持或恢复处理。

9、作为本发明所述基于端云协同的语言考试训练交互方法的一种优选方案，其中：所述采集用户语音、终端交互状态及当前训练上下文，具体步骤为：

10、语言考试训练终端在响应交互触发时固化本轮交互基准状态，再进入语音采集状态采集用户语音，采集交互触发方式、屏幕显示内容、扬声器播放状态、网络连接状态及上一轮反馈执行状态作为终端交互状态，并采集当前训练题型、当前题目编号、当前题目文本、上一轮处理结果及上一轮允许动作作为当前训练上下文，首次交互时写入空题目承接状态和无上一轮记录状态。

11、作为本发明所述基于端云协同的语言考试训练交互方法的一种优选方案，其中：所述根据终端交互状态和当前训练上下文确定采集用途标记，具体步骤为：

12、语言考试训练终端按轮次恢复采集、播放打断采集、复采候选采集、训练作答采集、普通问答采集的先后顺序确定采集用途标记。

13、当上一轮语音上传、上一轮反馈接收、上一轮反馈完成确认或回写完成结果接收尚未闭合时，确定为轮次恢复采集。

14、当存在正在播放的题目音频或反馈内容且重新发起语音采集时，确定为播放打断采集。

15、当用户语音未形成完整语音包时，确定为复采候选采集。

16、当当前题目编号不是空题目承接状态且屏幕显示内容为当前题目文本或作答提示时，确定为训练作答采集。

17、当采集用途标记均不成立时，确定为普通问答采集。

18、作为本发明所述基于端云协同的语言考试训练交互方法的一种优选方案，其中：所述对考试交互承接记录中的用户语音进行识别，得到语音识别候选文本，具体步骤为：

19、云侧适配服务在会话标识、轮次标识及音频序号完整、用户语音包含与轮次标识和音频序号一致的起始采集记录、结束采集记录、连续语音数据及有效语音内容，且满足采样帧顺序要求时，对用户语音进行语音识别，得到由首选识别文本和备选识别文本组成的语音识别候选文本，备选识别文本仅保留与首选识别文本在题型名称、训练动作、题目关键词或答案内容上存在差异的文本，题目关键词来源于当前题目编号关联的当前题目文本、标准答案及题目文本标注，答案内容差异按当前训练题型对应的词语、字符或当前题目文本词位进行比较。

20、作为本发明所述基于端云协同的语言考试训练交互方法的一种优选方案，其中：所述根据采集用途标记、语音识别候选文本及当前训练上下文形成唯一交互锁定记录，具体步骤为：

21、云侧适配服务通过词表匹配、语义意图模型识别或词表匹配与语义意图模型识别组合，确定语音识别候选文本对应的题型显名状态和动作显名状态，并按采集用途标记确定唯一处理路径及禁止路径。

22、当采集用途标记为轮次恢复采集时，形成未闭合轮次恢复记录。

23、当采集用途标记为播放打断采集时，按重听、暂停、继续、题型切换待确认、题型进入、播放后追问的先后顺序确定唯一处理路径。

24、当采集用途标记为复采候选采集时，形成复采请求。

25、当采集用途标记为训练作答采集时，根据当前训练题型形成听写答案提交、朗读答案提交、当前题型答案提交或题型切换待确认。

26、当采集用途标记为普通问答采集时，先按上一轮允许动作匹配确认切换、继续原题、下一题、再来一题、重听、重新作答、查看解释、片段复读、返回训练、切换题型或退出训练，当匹配成立时，形成题型进入、播放打断处理、复采请求、普通问答或题型切换待确认，当匹配不成立时，形成题型进入、普通问答、复采请求或题型切换待确认。

27、作为本发明所述基于端云协同的语言考试训练交互方法的一种优选方案，其中：所述根据唯一交互锁定记录确定未闭合轮次恢复、题型进入、答案提交、普通问答、播放打断、复采请求或题型切换待确认的处理路径，并生成考试训练证据记录，具体步骤为：

28、云侧适配服务读取唯一交互锁定记录中的唯一处理路径及禁止路径，并判断唯一处理路径是否落入禁止路径。

29、若唯一处理路径落入禁止路径，则根据唯一处理路径、禁止路径、上一轮允许动作和语音识别候选文本确定路径冲突原因，并按路径冲突原因执行上一轮允许动作重匹配、生成普通问答证据记录或生成复采证据记录，并生成考试训练证据记录。

30、若唯一处理路径未落入禁止路径，则按唯一处理路径生成未闭合轮次恢复证据记录、播放打断证据记录、复采证据记录、题型进入证据记录、听写答案证据记录、朗读答案证据记录、当前题型答案证据记录、普通问答证据记录或题型切换待确认证据记录，并写入允许动作。

31、作为本发明所述基于端云协同的语言考试训练交互方法的一种优选方案，其中：所述根据考试训练证据记录生成反馈动作包，具体步骤为：

32、云侧适配服务根据考试训练证据记录所属的未闭合轮次恢复证据记录、播放打断证据记录、复采证据记录、题型进入证据记录、听写答案证据记录、朗读答案证据记录、当前题型答案证据记录、普通问答证据记录或题型切换待确认证据记录，生成反馈动作包。

33、反馈动作包写入会话标识、轮次标识、音频序号、屏幕显示内容、语音播报内容、终端目标状态、允许动作及训练上下文回写内容，并发送至语言考试训练终端。

34、作为本发明所述基于端云协同的语言考试训练交互方法的一种优选方案，其中：所述根据考试训练证据记录生成反馈动作包，在终端接收或执行反馈动作包后形成反馈完成确认、反馈执行异常记录、反馈拒收记录或超时恢复记录，或者在存在未闭合交互轮次时形成未闭合轮次恢复记录，并根据形成的记录对当前训练上下文执行回写、保持或恢复处理，具体步骤为：

35、语言考试训练终端根据反馈动作包中的会话标识、轮次标识及音频序号执行一致性校验，校验一致后执行反馈动作包，当反馈动作包执行完成时，语言考试训练终端生成反馈完成确认，并将反馈动作包中的训练上下文回写内容保存为本地待确认当前训练上下文，云侧适配服务根据反馈完成确认和训练上下文回写内容回写当前训练上下文，并返回回写完成结果。

36、当反馈动作包执行失败或仅部分完成时，语言考试训练终端生成反馈执行异常记录，云侧适配服务接收反馈执行异常记录后保持当前训练上下文。

37、当会话标识、轮次标识或音频序号校验不一致时，语言考试训练终端生成反馈拒收记录且不执行反馈动作包，云侧适配服务接收反馈拒收记录后保持当前训练上下文。

38、当语言考试训练终端形成超时恢复记录，或云侧适配服务形成未闭合轮次恢复记录时，云侧适配服务根据已经保存的反馈动作包、反馈完成确认、回写完成结果或本地待确认当前训练上下文，对当前训练上下文执行保持或恢复处理。

39、语言考试训练终端接收回写完成结果后，将回写后的当前训练上下文写入本地保存并已完成反馈确认的最近一次训练上下文。

40、第二方面，本发明提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的基于端云协同的语言考试训练交互方法的任一步骤。

41、第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的基于端云协同的语言考试训练交互方法的任一步骤。

42、本发明有益效果为：通过在响应交互触发时固化本轮交互基准状态，并按轮次恢复采集、播放打断采集、复采候选采集、训练作答采集、普通问答采集确定采集用途标记，实现同一用户语音在不同交互用途之间的前置区分，通过反馈动作包、反馈完成确认、反馈执行异常记录、反馈拒收记录、超时恢复记录、未闭合轮次恢复记录、当前训练上下文回写和回写完成结果接收的闭合处理，使下一轮采集用途标记继续承接上一轮反馈执行结果，减少语音交互路径误承接并保证训练上下文闭合承接。