多形态无线麦组合系统、方法、控制器、设备及介质与流程
本申请涉及麦克风,尤其涉及一种多形态无线麦组合系统、方法、控制器、设备及介质。
背景技术:
1、随着多媒体记录、内容创作以及基于自然语言交互的人机协同场景日益普及,多模态语音录制及交互驱动的办公方式愈发广泛。在现有的音频录制及处理过程中,一方面,可拆卸的无线领夹麦克风(如双通道无线麦克风系统)因其高自由度的拾音能力被大量应用,较好地解决了多人协同拾音的问题;另一方面,用户往往还需要利用键盘等外接输入设备进行转写界面的实时交互与流程控制。
2、然而,现有的无线麦克风系统与键盘等控制器输入设备之间缺乏有效协同,导致用户在需要同时进行高质量双人录音,并对产生的语音识别结果进行即时编辑、指令干预或打点标记的场景下,不得不采用两套完全独立的设备,并在对话表达与键盘操作之间频繁手动切换注意力。
3、这种设备孤立的工作模式导致用户的交互体验严重割裂、工作效率低下;且由于不同设备的数据链路相互独立,系统难以将经过异构无线链路存在时延波动的语音信号,与分离的硬件按键操作指令进行精准的时域对齐,导致用户的交互标记无法准确对应到实际的语义文本位置。
4、因此,业内迫切需要一种将双通道无线麦克风与控制器深度融合的多形态组合方案。
技术实现思路
1、本申请提供一种多形态无线麦组合系统、交互控制方法、语音交互处理方法、控制器、终端设备及可读存储介质,以解决上述问题。
2、为实现上述目的,本申请提供了一种多形态无线麦组合系统,系统包括:
3、控制器,设有多个配合部,以及设置于控制器上的交互组件;每个配合部内均设有有线数据接口;
4、无线麦克风,用于采集语音信号;
5、无线接收器,用于连接终端设备;
6、对于处于接入配合部状态的任一无线麦克风:无线麦克风配置为通过对应的有线数据接口将采集的语音信号传输至控制器,以使控制器将语音信号以及基于交互组件的交互操作所产生的交互指令封装为携带有全局时间戳的聚合数据包,并通过第一无线链路传输至无线接收器;
7、对于处于脱离配合部状态的任一无线麦克风:无线麦克风配置为通过其自身的第二无线链路向无线接收器传输携带有全局时间戳的语音信号,且控制器配置为通过第一无线链路将携带有全局时间戳的交互指令传输至无线接收器;
8、终端设备配置为:通过无线接收器接收信号内容,信号内容包括聚合数据包,以及处于脱离状态下的语音信号和交互指令中的至少一种;从接收到的信号内容中识别各路信号分别携带的全局时间戳作为统一时间基准,对来自不同无线链路的语音信号进行时序校准以输出同步后的多路语音信号,且基于全局时间戳将交互指令映射至由同步后的多路语音信号转写得到的目标文本中对应的时刻位置,以执行交互进程控制,或对目标文本的交互呈现状态进行调整。
9、本申请还提供了一种应用于控制器的交互控制方法,方法包括:
10、感应控制器的每个配合部是否有无线麦克风接入;
11、若监测到无线麦克风处于脱离状态,通过第一无线链路向无线接收器发送响应于交互操作产生的携带有全局时间戳的交互指令,以使无线接收器将交互指令与无线麦克风独立发送的语音信号发送给终端设备;
12、若监测到无线麦克风处于接入状态,通过有线数据接口获取该无线麦克风采集的语音信号,并将获取到的语音信号与响应于交互操作产生的交互指令进行聚合处理,生成带有全局时间戳的聚合数据包,通过第一无线链路将聚合数据包发送至无线接收器。
13、本申请还提供了一种语音交互处理方法,应用于终端设备,方法包括:
14、通过无线接收器接收信号内容,信号内容包括聚合数据包、独立传输的语音信号以及独立传输的交互指令中的至少一种,且各路信号分别携带全局时间戳;
15、识别全局时间戳,并利用全局时间戳作为统一时间基准,对来自不同无线链路的语音信号进行时序校准,得到同步后的多路语音信号并进行转写处理得到目标文本;
16、基于识别出的全局时间戳,将交互指令映射至目标文本中对应的时刻位置,以执行交互进程控制,或对目标文本的交互呈现状态进行调整。
17、本申请还提供了一种用于语音交互的控制器,控制器包括:
18、控制器壳体,设有多个配合部,每个配合部内均设有有线数据接口;
19、交互组件,设置于控制器壳体,用于检测交互操作并产生交互指令;无线模块,用于与无线接收器通信;
20、控制电路,用于感应每个配合部内无线麦克风的接入状态:若监测到无线麦克风处于脱离状态,控制电路通过无线模块向无线接收器发送响应于交互操作产生的携带有全局时间戳的交互指令,以使无线接收器将交互指令与无线麦克风独立发送的语音信号发送给终端设备;若监测到无线麦克风处于接入状态,控制电路通过有线数据接口获取该无线麦克风采集的语音信号,并将获取到的语音信号与响应于交互操作产生的交互指令进行聚合处理,生成带有全局时间戳的聚合数据包,通过无线模块将聚合数据包发送至无线接收器。
21、本申请还提供了一种终端设备,包括存储器及处理器,处理器执行存储在存储器上的计算机程序时实现上述语音交互处理方法的步骤。
22、本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述应用于控制器的交互控制方法的步骤,或者实现上述语音交互处理方法的步骤。
23、通过上述方案,可以看出:
24、一方面,本系统将双通道无线麦克风的高灵活拾音能力与控制器(如宏键盘)的进行了深度融合。用户在一个控制器即可完成多路音频的灵活采集(支持接入与脱离两种形态)、以及基于交互组件下达实时编辑与进程交互指令。避免了现有技术中需要同时操作两套独立设备所造成的体验割裂感,使得用户无需在对话表达与寻找屏幕鼠标之间频繁切换注意力,真正实现了边说边录、即时干预的高连贯性操作,大幅提升了多人语音交互场景下的协同编辑效率与工作流畅度。
25、另一方面,针对异构物理链路(即第一无线链路与第二无线链路),引入了全局时间戳机制。无论是处于接入状态下被统一封装的聚合数据包,还是脱离状态下独立传输的语音信号与交互指令,均被赋予了统一绝对时间坐标系下的时间戳标记。终端设备通过识别该全局时间戳进行时序校准,不仅消除了多路麦克风混合收音时的相位错位,保证了分离的硬件按键操作指令能够精准锚定并映射至实际语音转写语义文本的精确时刻位置,解决了现有技术中交互标记位置漂移、对应不准的难题,保障了音文同步的准确性及后期处理的可靠性。
1.一种多形态无线麦组合系统,其特征在于,所述系统包括:
2.根据权利要求1所述的系统,其特征在于,所述终端设备执行所述时序校准包括:
3.根据权利要求2所述的系统,其特征在于,所述控制器配置为:在监测到所述无线麦克风接入所述配合部时,通过所述有线数据接口向所述无线麦克风发送模式切换指令,以控制所述无线麦克风关闭其内部的无线射频模块并切换至有线传输模式。
4.根据权利要求1所述的系统,其特征在于,所述控制器配置为:为处于接入状态的每路语音信号分别分配逻辑音轨标识,并将带有逻辑音轨标识的语音信号封装入所述聚合数据包。
5.根据权利要求1所述的系统,其特征在于,所述交互组件包括旋转编码器及多个按键;所述交互指令包含基于所述旋转编码器产生的位移控制数据,以及响应于所述按键触发产生的预设交互指令;
6.一种应用于控制器的交互控制方法,其特征在于,所述方法包括:
7.根据权利要求6所述的方法,其特征在于,所述聚合处理包括:
8.一种语音交互处理方法,其特征在于,应用于终端设备,所述方法包括:
9.根据权利要求8所述的方法,其特征在于,所述对所述目标文本的交互呈现状态进行调整,包括以下至少之一:
10.根据权利要求8所述的方法,其特征在于,所述执行交互进程控制,包括以下至少之一:
11.一种用于语音交互的控制器,其特征在于,所述控制器包括:
12.一种终端设备,包括存储器及处理器,其特征在于,所述处理器执行存储在所述存储器上的计算机程序时实现如权利要求8至10任一项所述方法的步骤。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求6至7任一项所述方法的步骤,或者实现如权利要求8至10任一项所述方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com