一种消防应急四足机器人的实时语音对讲方法及系统与流程

摘要: 本发明涉及消防应急四足机器人,特别是涉及一种消防应急四足机器人的实时语音对讲方法及系统。背景技术:1、在消防应急场景中,四足机器人作为特种作业设备,需要深入高温...
一种消防应急四足机器人的实时语音对讲方法及系统与流程

本发明涉及消防应急四足机器人,特别是涉及一种消防应急四足机器人的实时语音对讲方法及系统。

背景技术:

1、在消防应急场景中,四足机器人作为特种作业设备,需要深入高温、浓烟、有毒等危险环境执行侦察、搜救等任务。操作人员需要通过实时语音对讲与机器人进行通信,获取现场信息并下达指令。

2、然而现有技术存在以下问题:

3、1.回声干扰严重:机器人扬声器播放的声音会被麦克风回采,产生回声;

4、2.环境噪声大:火灾现场存在大量背景噪声,影响语音质量;

5、3.网络不稳定:应急场景下网络环境复杂,需要保证语音流稳定传输;

6、4.多音频源冲突:机器人可能同时接收多路语音,需要合理调度。

7、可见。现有语音通信方案未针对消防机器人场景进行优化,无法满足复杂环境下的通信需求。

技术实现思路

1、鉴于上述问题,本发明提供用于克服上述问题或者至少部分地解决上述问题的一种消防应急四足机器人的实时语音对讲方法及系统。用以在复杂环境下实现高质量实时语音对讲,有效抑制回声和噪声,支持本地和公网混合通信,提升通信稳定性与可靠性。

2、本发明提供了如下方案:

3、一种消防应急四足机器人的实时语音对讲方法,包括:

4、在消防应急四足机器人上配置具有目标采样率以及目标帧大小的音频流并建立udp通信通道;

5、启动音频采集线程、播放线程和udp接收线程,建立双工通信通道;

6、对采集的音频帧进行音频预处理,以抑制回声、环境噪声并动态调整增益;

7、管理本地udp流、公网rtsp流和文件播放三个音频源,根据音频源优先级选择播放源进行混音处理,所述优先级为文件播放源高于公网rtsp流,公网rtsp流高于本地udp流;

8、建立本地udp连接和公网rtsp连接,通过udp协议传输本地语音流,通过rtsp协议传输公网语音流,实现混合通信模式;

9、实时检测网络连接状态,流断开后自动重试重连,并通过命令防抖机制避免短时间内反复启停语音流。

10、优选地:所述混音处理包括:

11、为本地udp流、公网rtsp流和文件播放分别建立独立的缓冲区;

12、根据所述优先级从对应缓冲区获取音频帧进行混音处理,当高优先级音频源存在有效数据时,优先播放高优先级音频源,低优先级音频源的数据被暂停或衰减混音。

13、优选地:本地udp连接和公网rtsp连接同时维持,本地语音流和公网语音流分别通过对应协议并行传输,且所述udp通信通道配置本地接收端口41115和发送端口41116。

14、优选地:监测udp连接和rtsp连接的网络状态;

15、当检测到连接断开时,自动触发重连机制,按照预设重试间隔和最大重试次数进行重连;

16、在重连过程中,通过命令防抖机制限制单位时间内启停命令的执行次数,所述防抖机制采用时间窗口计数或状态锁定的实现方式。

17、优选地:所述预处理包括:

18、采用自适应回声消除算法对采集的音频帧进行回声消除,所述自适应回声消除算法支持延迟感知和延迟估计;

19、采用多频段噪声检测和智能抑制算法对采集的音频帧进行噪声抑制;

20、根据语音活跃度动态调整增益,进行自动增益控制。

21、一种消防应急四足机器人的实时语音对讲系统,包括:

22、音频预处理模块,用于对采集的音频进行音频预处理,以抑制回声、环境噪声并动态调整增益;

23、播放混音模块,用于管理本地udp流、公网rtsp流和文件播放三个音频源,根据音频源优先级选择播放源进行混音处理,所述优先级为文件播放源高于公网rtsp流,公网rtsp流高于本地udp流;

24、语音流桥接模块,用于同时建立本地udp连接和公网rtsp连接,通过udp协议传输本地语音流,通过rtsp协议传输公网语音流;

25、网络状态监测与重连模块,用于实时检测网络连接状态,流断开后自动触发重连,并通过命令防抖机制避免短时间内反复启停语音流。

26、优选地:所述播放混音模块管理三个独立的缓冲区,分别对应本地udp流、公网rtsp流和文件播放,根据所述优先级从对应缓冲区获取音频帧进行混音处理,当高优先级音频源存在有效数据时,优先播放高优先级音频源。

27、优选地:所述语音流桥接模块通过独立进程实现rtsp流的拉流和推流,所述udp通信配置本地接收端口41115和发送端口41116,且本地udp连接和公网rtsp连接同时维持。

28、优选地:所述网络状态监测与重连模块包括:

29、状态检测子模块,用于实时监测udp连接和rtsp连接的网络状态;

30、自动重连子模块,用于在连接断开时按照预设重试间隔和最大重试次数进行重连;

31、命令防抖子模块,用于限制单位时间内启停命令的执行次数,采用时间窗口计数或状态锁定的实现方式。

32、优选地:所述音频预处理模块包括:

33、回声消除器,采用自适应回声消除算法,支持延迟感知和延迟估计;

34、噪声抑制器,采用多频段噪声检测和智能抑制算法;

35、自动增益控制器,根据语音活跃度动态调整增益。

36、根据本发明提供的具体实施例,本发明公开了以下技术效果:

37、本申请实施例提供的一种消防应急四足机器人的实时语音对讲方法及系统,回声消除效果优异,采用自适应回声消除算法,有效消除扬声器回采的声音;噪声抑制能力强,通过多频段噪声检测和智能抑制,提升语音清晰度;网络适应性强,支持udp和rtsp双协议,适应不同网络环境;多源音频管理完善,支持文件、公网、本地三个音频源的优先级调度;稳定性高:实现快速重连和命令防抖,保证通信连续性;实时性好,采用48khz采样率和10ms帧长,保证低延迟通信。

38、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

1.一种消防应急四足机器人的实时语音对讲方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述混音处理包括:

3.根据权利要求1所述的方法,其特征在于,本地udp连接和公网rtsp连接同时维持,本地语音流和公网语音流分别通过对应协议并行传输,且所述udp通信通道配置本地接收端口41115和发送端口41116。

4.根据权利要求1所述的方法,其特征在于,监测udp连接和rtsp连接的网络状态;

5.根据权利要求1所述的方法,其特征在于,所述预处理包括:

6.一种消防应急四足机器人的实时语音对讲系统,其特征在于,包括:

7.根据权利要求6所述的系统,其特征在于,所述播放混音模块管理三个独立的缓冲区,分别对应本地udp流、公网rtsp流和文件播放,根据所述优先级从对应缓冲区获取音频帧进行混音处理,当高优先级音频源存在有效数据时,优先播放高优先级音频源。

8.根据权利要求6所述的系统,其特征在于,所述语音流桥接模块通过独立进程实现rtsp流的拉流和推流,所述udp通信配置本地接收端口41115和发送端口41116,且本地udp连接和公网rtsp连接同时维持。

9.根据权利要求6所述的系统,其特征在于,所述网络状态监测与重连模块包括:

10.根据权利要求6所述的系统,其特征在于,所述音频预处理模块包括: