全双工语音交互方法及系统与流程

本技术涉及智能语音交互，特别涉及一种基于打断评分、动作决策与未播报后缀重规划的全双工语音交互实时控制技术。

背景技术：

1、随着语音交互技术的发展，具备语音识别、自然语言理解、回复生成和语音播报能力的智能语音系统被广泛应用于多种实际场景。例如，在车载语音助手中，系统常常需要在行车过程中向驾驶员播报导航路线、路况提示或联系人确认信息；在会议助手中，系统需要向参会人播报会议摘要或会议纪要；在电话客服与智能客服中，系统需要向用户播报业务说明、办理流程或身份及订单确认信息；此外，在陪伴机器人和实时语音代理系统中，系统也需要在与用户的持续对话中完成较长内容的播报。在这些场景下，用户往往需要在系统播报的过程中及时插话，以进行附和、纠正、补充说明或提出新的请求。

2、然而，现有大多数语音交互系统仍然采用近似半双工的工作方式，即用户说完之后系统才开始识别、理解、生成响应并播报，而在播报期间通常不鼓励或不充分支持用户继续说话。在上述场景下，现有技术存在以下问题：其一，用户在系统播报过程中插话时，系统往往只能简单地停播或忽略，难以对插话作出恰当处理；其二，现有方法难以区分短时附和、纠正、补充说明与真正的抢话打断，容易出现误打断；其三，系统一旦开始播报，通常将整条回复视为不可再修改的整体，缺乏对未播报部分进行动态重规划的能力，导致重新生成代价较高、响应冗余、时延升高；其四，在全双工场景中，系统播报音容易混入麦克风输入，使得用户增量语音理解较为困难。上述问题在导航播报、会议摘要播报和业务说明播报等需要用户随时插话的场景中尤为突出。因此，迫切需要一种新的技术方案，以在系统播报的过程中持续监听用户输入，并对用户插话作出更加自然、低时延且鲁棒的处理。

技术实现思路

1、本技术的目的在于提供一种全双工语音交互方法，以解决现有语音交互系统在播报过程中对用户插话难以恰当处理、易将短促附和或环境噪声误判为有效打断、且在需要切换回复时通常将整条回复推倒重来从而造成重复播报与响应时延升高的问题。

2、本技术提供了一种基于打断评分、动作决策与未播报后缀重规划的全双工语音交互方法，在电子设备上运行，在系统播报当前语音回复的过程中，逐控制周期地执行以下步骤：

3、获取综合观测量：实时接收用户输入语音得到用户增量识别前缀 ，并根据语音播报状态确定当前播报进度 、已播报前缀  和未播报后缀 ，其中  为当前播放指针所对应的已播报 token 位置， 为当前语音回复的总 token 数；

4、计算连续打断评分：基于所述用户输入语音的声学活动特征、所述用户增量识别前缀的完整度、以及所述用户增量识别前缀与所述已播报前缀之间的上下文冲突程度，计算当前时刻的连续打断评分 ；

5、多动作收益决策：基于所述连续打断评分、所述未播报后缀的剩余回复价值 以及候选动作的时延代价，计算候选动作集合中各候选动作的综合收益，并基于所述综合收益从所述候选动作集合中选择当前控制动作；

6、未播报后缀重规划：当所述当前控制动作指示切换回复时，保留所述已播报前缀，并基于所述用户增量识别前缀、所述已播报前缀和所述未播报后缀的语义状态，仅对所述未播报后缀进行局部重规划，生成候选后缀 ；

7、输出新语音回复：将所述已播报前缀与所述候选后缀拼接得到总 token 数为 的新语音回复，并控制系统自与所述已播报前缀相邻的播放指针位置起播报所述候选后缀。

8、在一个优选例中，所述连续打断评分  按下式计算：

9、

10、

11、式中各函数含义为： 为控制周期对应的离散时刻； 为声学活动得分，为由前端语音活动检测或能量检测得到的用户语音活跃度， 为缩放系数， 为语音活跃度阈值， 为 sigmoid 函数； 为文本完整性得分， 为所述用户增量识别前缀  的稳定度或完整度； 为上下文冲突得分， 为所述已播报前缀， 为已播报 token 数， 为相似度函数； 为持续性得分， 为截至时刻  用户连续发声时长， 为参考时长， 为取最小值；、、、 为各得分权重，且 。

12、在一个优选例中，所述候选动作集合为，分别表示继续播报、降低音量、暂停播报、停止播报和切换回复；对于任一候选动作 ，其综合收益  按下式计算：

13、

14、

15、

16、式中各函数含义为： 为响应用户增量输入对播报控制产生的控制收益项， 为动作  对响应用户增量输入的响应程度系数； 为所述剩余回复价值， 为所述播报进度（， 为当前语音回复的总 token 数）， 为未播报比例， 为剩余内容重要性系数，由回复内容结构标签、播报类型或内容类型标签确定，所述内容类型标签包括安全提示、身份确认或业务确认； 为系统侧完成当前回复的保留收益，、 为剩余收益保留系数； 为时延代价， 为其平均时延系数； 为说话重叠冲突代价， 为冲突敏感系数， 为所述用户语音活跃度； 为重规划代价， 为重规划成本系数； 至  为权重系数，且。

17、在一个优选例中，当所选当前控制动作指示切换回复时，先计算切换收益 并与所述剩余回复价值  比较，仅在满足下式时才执行所述未播报后缀重规划：

18、

19、式中各函数含义为： 为执行切换并重规划的潜在收益； 为用户新输入相对原未播报后缀的增量重要度， 为所述未播报后缀， 为所述相似度函数， 越大表示用户新输入与原未播报后缀差异越大；、、 为权重系数； 为切换收益阈值。

20、在一个优选例中，所述局部重规划采用后缀重规划函数  生成所述候选后缀，并对候选后缀施加长度约束：

21、

22、式中各函数含义为： 即所述候选后缀； 为当前对话上下文； 为所述用户增量识别前缀； 为所述已播报前缀； 为所述未播报后缀的意图或槽位语义状态，取自原未播报后缀的摘要、对话意图槽位状态或原回复的中间语义表示； 为所述新语音回复的总长度， 为重规划后缀允许的最大长度。

23、在一个优选例中，在所述输出新语音回复之前，对所述候选后缀  相对所述已播报前缀  计算衔接一致性 ，仅在  时才允许输出新语音回复：

24、

25、式中各函数含义为： 为非冗余性分项，表征候选后缀不重复已播报前缀中已完成传达的信息槽，由文本比对或重复信息检测得到； 为事实非矛盾性分项，表征候选后缀不否定已播报前缀中仍有效的安全提示、身份确认或业务确认结论，由矛盾检测得到； 为指代一致性分项，表征候选后缀中的代词或指代对象与已播报前缀可一致消解，由共指消解得到； 为槽位一致性分项，表征已播报前缀已填充的任务槽位在候选后缀中保持一致（所述用户增量识别前缀显式纠错的槽位除外），由槽位比对得到；、、、 为各分项权重， 为衔接一致性通过阈值；其中，当所述候选后缀否定所述已播报前缀中仍有效的安全提示、身份确认或业务确认结论时，将所述事实非矛盾性分项  置为不通过状态，或者将所述衔接一致性  判定为低于所述衔接一致性通过阈值 ，从而禁止切换回复并保持所述已播报前缀不变。

26、在一个优选例中，基于所述衔接一致性  计算语义桥接代价 ，并以切换净收益  作为执行切换回复的判据：

27、

28、当且仅当 、 且  同时满足时，执行切换回复并输出所述新语音回复；

29、式中各函数含义为： 为语义桥接代价，与  负相关； 为候选后缀与已播报前缀在时间或逻辑顺序上的边界冲突量，由顺序比对得到； 为候选后缀长度或生成时延风险项；、、 为权重系数； 为切换净收益，、、、、 分别为所述切换收益、剩余回复价值、切换收益阈值、重规划后缀最大长度与衔接一致性通过阈值。

30、在一个优选例中，所述多动作收益决策进一步包括动作分级滞回：

31、将综合收益最大的动作记为候选控制动作 ，将实际执行的当前控制动作记为 ，并在二者之间设置动作滞回；按对当前播报的干预强度定义，并构造修正收益  与自适应切换裕量 ：

32、

33、令增益 ：在  的升级方向，当，或强插话条件  成立时，令，其中强插话触发时免最小驻留；在  的回退方向，除 外还须当前动作已持续的控制周期数  方可更新，否则维持上一控制周期的 ；

34、式中各函数含义为： 为上一控制周期的实际执行动作， 为指示函数（条件成立取 1，否则取 0）， 为切换惩罚幅度， 为上次动作切换时刻， 为衰减时间常数， 为自然指数函数； 为裕量基值， 为方差灵敏度系数， 为最近 个控制周期内连续打断评分的滑动方差， 为进度系数；、、 分别为强插话打断阈值、持续性阈值与稳定度阈值， 为回退方向的最小驻留周期数。

35、在一个优选例中，所述未播报后缀重规划进一步包括分级回退：当所述候选后缀生成超时、、 或  时，不丢弃所述已播报前缀，按序执行分级回退：一级，在所述用户增量识别前缀尚未稳定时执行暂停播报，于下一控制周期重新评估；二级，在插话强度回落且原未播报后缀与当前用户输入无明显冲突时，执行降低音量或继续播报以续播原未播报后缀并放弃本次切换；三级，在插话强度持续较高且候选后缀多次未通过所述衔接一致性校验时，执行停止播报并转入监听状态，待用户表述完整后整体规划。

36、本技术提供了一种全双工语音交互系统，包括至少一个处理器以及与所述至少一个处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被执行时使所述至少一个处理器执行上述全双工语音交互方法。

37、本技术提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述全双工语音交互方法。

38、本技术实施方式中，通过将声学活动、用户增量识别前缀完整度、上下文冲突程度与持续性共同用于连续打断评分，有助于降低误打断概率；通过在多个候选动作之间进行收益决策，有助于对不同类型的插话采取相称的播报控制；通过保留已播报前缀、仅对未播报后缀进行局部重规划，有助于减少重复播报与重生成时延，并在保持已播报内容连续性的前提下提高切换响应的语义连贯性。

39、上述技术方案在系统播报当前语音回复的过程中逐控制周期运行，其所取得的技术效果并非各技术手段效果的简单相加，而是随观测、评分、决策、重规划与校验的逐级配合而逐步显现。

40、由于综合观测量在获取阶段即同时纳入了用户增量识别前缀、已播报前缀、未播报后缀与播报进度，打断评分的计算得以建立在“用户所说是否与正在播报的内容冲突”“当前是否已接近说完”等丰富信息之上，而不再退化为仅凭有无声音作出反应的单纯语音活动检测，这为后续判别的可靠性奠定了基础。在此基础上，将声学活动、用户增量识别前缀完整度、上下文冲突程度与插话持续性共同用于连续打断评分，使这四个分项相互校验：即便短促附和、环境噪声或单帧声学尖峰抬高了声学活动得分，也会因文本完整性得分与持续性得分偏低而被抑制，从而有效降低将附和、噪声或短促插话误判为有效打断的概率。

41、将连续打断评分、由播报进度导出的剩余回复价值、时延代价、说话重叠冲突代价与重规划代价一并纳入多动作收益的比较，使系统能够在继续播报、降低音量、暂停播报、停止播报与切换回复之间进行细粒度的播报控制，对不同类型的插话采取相称的动作，而不是机械地一经检测到用户发声即停播。进一步地，在指示切换回复时先将切换收益与剩余回复价值加以比较，只有当切换确实相对更有价值时才进入后缀重规划路径，从而避免在任何用户发声时都停止并重写回复所带来的不必要中断与交互抖动。

42、通过在切换时保留用户已经听到的已播报前缀、仅对未播报后缀进行局部重规划，并对候选后缀施加长度约束，系统得以只生成承接前缀并响应用户新意图的后缀，而无需重复播报前缀；由于已播报前缀已经进入用户感知，保留该部分内容并从相邻播放指针位置起播报候选后缀，可以使语音输出链路在物理播放顺序上保持连续，也使当前回复的重规划范围被限制在尚未输出的后缀部分，从而在保持已播报内容连续性的前提下减少重复播报内容与重生成长度，降低切换响应时延。针对这一“仅重规划后缀”所反向带来的前后缀重复、矛盾与指代冲突问题，以非冗余性、事实非矛盾性、指代一致性与槽位一致性四个分项构成的衔接一致性对候选后缀相对已播报前缀进行承接自洽性校验，并在候选后缀否定已播报前缀中仍然有效的安全提示、身份确认或业务确认结论时禁止切换，从而降低前后缀出现语义重复、矛盾、指代不清或槽位冲突的概率。将语义桥接代价反向纳入切换净收益的判决之后，切换收益比较与语义衔接校验前后配合，前者过滤“不值得切换”的情形，后者过滤“值得切换却衔接不佳”的情形，二者共同使系统在降低切换时延与保持语义连贯之间取得较好的平衡。

43、此外，在收益最大化之后将候选控制动作与实际执行动作相分离，通过干预强度分级、随时间衰减的切换惩罚以及随打断评分波动和播报进度自适应的切换裕量，并使升级方向对真实抢话即时响应、回退方向以最小驻留换取稳定，能够减少收益临界区附近的动作抖动、音量抖动与误切换，同时有助于对明确纠错或新请求作出及时响应；而在候选后缀生成超时、超长或衔接校验失败时，按暂停等待、续播原后缀、停止转监听的分级回退处理，则使系统在候选后缀暂不可用时仍能保持控制链路收敛，既不整句推倒重来，也避免“切换-重规划-再切换”的反复震荡。综合而言，上述各手段以因果次序层层衔接，共同实现了相对现有技术更为稳定、低时延且语义连贯的全双工语音播报控制。

44、本技术的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本技术所有可能的技术特征的组合（即技术方案）的话，会使得说明书过于冗长。为了避免这个问题，本技术上述 技术实现要素： 中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案（这些技术方案均应视为在本说明书中已经记载），除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征a+b+c，在另一个例子中公开了特征a+b+d+e，而特征c和d是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征e技术上可以与特征c相组合，则，a+b+c+d的方案因技术不可行而应当不被视为已经记载，而a+b+c+e的方案应当视为已经被记载。