一种面向VOIP音频算法验证的系统的制作方法
本发明属于语音通信、voip终端设备、数字信号处理、音频算法验证与测试系统领域,尤其涉及一种面向voip音频算法验证的系统。
背景技术:
1、现有测试模式通常选用两台不同版本或不同参数配置的设备进行人工通话对比;由于算法链路中存在多项级联处理,即便其中只有一个参数被修改,其输入却几乎不可避免地受到前后级算法影响,使得最终听感差异无法准确归因至某一模块本身。
2、此外,每次重新通话都需要挂断重拨,难以实现“瞬时 a/b test”式的对比,这使得微小处理差异几乎不可能被及时察觉。
3、另一种方式是通过修改 voip 设备底层代码,在算法内部插入录音钩子,将中间pcm 输出导出到 pc,再通过离线方式对比波形或监听差异;然而这种方式步骤繁琐,每一次算法调整都需要反复导出录音,费时费力。
4、由于上述限制,算法验证严重依赖主观听感,而非客观指标;尤其在包含多个复杂算法并行工作的系统中,调试人员很难明确某一参数的调整会对整条算法链产生何种影响。例如,一项噪声处理算法的优化可能被后级agc或vad的动态行为掩盖,导致其改善无法反映在监听结果中。对于多设备同时调试统一目标效果的场景,更是极度困难,因为不同话机型号、硬件声路、微差的模拟接口特性都会带来不同声音表现,使得工程师无法快速评估算法的一致性。
5、此外,现有方案缺乏可视化的实时算法分析工具,不如专业音频领域中的压缩器增益衰减表、eq 频响曲线、波形示意图等,使得算法工作状态仅能凭经验判断。
技术实现思路
1、针对上述问题,本发明提出一种面向voip音频算法验证的系统,实现了设备通讯过程中算法链的测试与调试系统,封装的vst插件满足在系统中即插即用、实时调整参数、参数合并导出的功能、多节点录音校验。
2、所述面向voip音频算法验证的系统由voip设备端和windows软件端组成,二者通过基于sip协议的rtp音频链路建立双向通信;voip设备端用于采集、编码、接收、解码及播放音频数据,windows软件端用于建立网络接口、运行音频引擎、加载vst插件链并进行可视化分析和参数导出;二者先通过sip协议完成会话建立、地址协商和状态管理,再通过rtp音频链路进行双向实时音频数据传输。
3、所述voip设备端在codec层嵌入sip通信接口,包括麦克风v,编码器v,rtp封装模块v,rtp接收模块v,解码器v和扬声器v;
4、所述windows软件端包括自带麦克风w,编码器w,rtp接收模块w,rtp封装模块w,解码器w和插件链框架;
5、所述系统包括mic测试模式和spk测试模式两种工作模式:
6、在mic测试模式下,麦克风v对voip设备端的音频数据进行采集,并经ffmpeg库编码器v 的codec编码后送入rtp封装模块v被封装为rtp数据包,通过sip会话发送至windows软件端;
7、windows软件端通过rtp接收模块w实时接收rtp数据包,通过ffmpeg库解码器w进行解码,输入插件链框架进行处理,通过本地声卡播放。
8、在spk测试模式下,windows软件端自带麦克风w采集数据,经过插件链框架进行处理,输入ffmpeg库编码器w进行编码后,送入rtp封装模块w封装成rtp音频流,通过配置的sip输出地址发送到voip设备端,通过rtp接收模块v对rtp音频流进行接收,经ffmpeg库codec解码器v,解码后的pcm数据连接至数模转换模块,再连接扬声器v完成播放。
9、所述插件链框架利用python中的pedalboard框架实现,同时分别将mic测试模式和spk测试模式下的rtp封装模块,编码器,解码器以及对应的ip输入输出网址,录音模式以及参数导出模块,封装成exe格式的文件,通过前端gui显示;
10、mic测试模式下的python语句为:python fl_test_mic.py --cf mic_config.cfg;
11、spk测试模式下的python语句为:python fl_test_spk.py --cf spk_config.cfg
12、所述插件链框架选用steinberg vst或vst3标准的开源vst插件,或者自编vst插件,通过不同插槽嵌入;在插件链框架中不同插槽之间设置若干录音节点,当开启录音功能后,自动创建数据副本并写入pcm文件,文件按照vst插件名+“_before/after”与时间自动命名;将相同节点的缓冲区读取的数据绘制实时波形、频谱、响度与动态范围,进行可视化展示和通过窗口的控件控制后端参数传入接口实现参数调整。
13、在每个vst插件的前侧设有一个红绿旁通按钮,绿色代表非bypass状态,表示算法启用;红色代表bypass状态,表示跳过算法,实现了“a/b-test” 即时对比;
14、点击红绿旁通按钮会弹出对应vst的显示窗口,通过旋钮或滑块调整各vst插件的参数。
15、所述面向voip音频算法验证的系统,具体工作原理如下:
16、步骤一、用户点击前端显示的exe格式的文件,分别对mic测试模式和spk测试模式进行初始化;
17、mic测试模式下,在voip设备的codec层嵌入sip通信接口模块,在codec内部设定好数据抓取位置,将麦克风v采集并完成模数转换后的pcm数据输出至sip接口。
18、rtp封装模块v按照系统时钟驱动周期从pcm缓冲区读取48khz单声道数据,封装为标准rtp数据包,经udp端口发送至windows软件端指定ip地址与端口。
19、步骤二、将windows软件端网络接口与音频引擎进行初始化。
20、windows软件端首先创建udp socket并绑定用户配置的sip输入端口,voip设备端的rtp接收模块v与内部的pcm缓冲区连接,该缓冲区连接至插件链框架建立数据连接。
21、插件链框架输出节点同时连接本地声卡播放模块与rtp发送模块,形成mic测试模式下“voip设备端输入—插件链框架(内部接入vst插件)—windows软件端输出”和spk测试模式下“windows软件端输入—插件链框架(内部接入vst插件)—voip设备端输出”的两条音频传送通路。
22、步骤三、加载vst插件到插件链框架plugins列表,输入音频数据依次流经各vst插件处理节点,最终输出至声卡或rtp发送模块。
23、列表中各vst插件按用户拖拽排序顺序依次连接,各插件的processor处理端口通过steinberg vst3接口的回调函数串联。
24、步骤四、vst插件实例化后自动完成延迟补偿计算,并在下一个音频处理缓冲周期参与实时运算。
25、测试过程中,通过图形界面调节vst插件的参数,每个插件设置独立旁通控制单元,旁通时信号绕过处理核心但保持延迟补偿与节点录音有效,从而实现时间对齐的a/b对比。 在播放过程中切换插件旁通状态或替换不同插件模块,对比不同算法组合下的处理效果。
26、步骤五、通过多节点录音,从相同节点缓冲区读取数据并绘制成可视化文本,进行分析、调参,并对比不同节点录音文件进行客观分析,得到最优参数。
27、步骤六、调试完成后,点击参数导出按钮,系统读取当前插件链框架plugins中所有vst插件的参数状态,统一格式。
28、步骤七、针对不同的测试模式,进行整体的验证;
29、具体过程如下:
30、步骤701、用户点击前端显示的exe格式的文件,判断是否选择mic测试模式,如果是,进入步骤702;否则,选择spk测试模式,进入步骤703;
31、mic测试模式下voip设备端抓取音频数据,建立与rtp的发送链路,windows软件端接收并实时播放或处理;
32、spk测试模式下,windows软件端自带麦克风w采集数据,通过rtp包传输给voip设备端,voip设备端接收音频数据,并建立播放链路。
33、两种测试模式下,通过加载vst插件链并调参,使用旁通按钮进行“a/b-test”即时对比;使用录音功能记录各节点数据,通过可视化工具分析或参数优化,将最佳参数配置应用到voip设备端固件。
34、步骤702、判断是否与设定ip的windows软件端通信成功,如果是,ip in指示灯变绿,表示通讯成功,继续步骤704;否则,ip in指示灯变红,表示通讯失败,结束。
35、步骤703、判断是否与设定ip的voip设备端通信成功,如果是,ip out指示灯变绿,表示通讯成功,继续步骤704;否则,ip out指示灯变红,表示通讯失败,结束。
36、步骤704、判断用户是否通过windows软件端图形界面的录音开关开启录音模式,如果是,则在vst host框架的插件链输入、各vst插件之间以及插件链输出建立录音节点,进入vst host框架执行插件链处理;否则,不写入pcm录音文件,直接进入vst host框架执行插件链处理。
37、所述vst host框架为承载、调度和串联各vst插件的插件链框架。
38、步骤705、vst host框架完成插件链处理后,根据当前测试模式确定输出方向实现播放;
39、在mic测试模式下,将处理后的pcm数据输出至windows软件端本地声卡播放模块;
40、在spk测试模式下,将处理后的pcm数据送入编码器w,编码器w按照预设的编码格式对pcm数据编码,rtp封装模块w为编码后的音频帧添加rtp头部信息并封装为rtp音频包,再依据已由sip会话建立并配置完成的目标ip地址和端口,通过udp网络接口发送至voip设备端;voip设备端的rtp接收模块v接收并解封装所述rtp音频包,经解码后输出至扬声器v播放。
41、步骤706、判断用户是否点击windows软件端图形界面中的参数导出按钮;若检测到导出按钮被点击,则读取vst host框架中各vst插件的插件标识、链路顺序、旁通状态及当前参数值,按照统一的配置字段编码并封装为设备端固件可解析的参数配置文件,导出完成后结束;若未检测到导出按钮被点击,则保留当前插件链运行状态并结束本次流程。
42、本发明的优点在于:
43、本发明建立了一种面向通信音频算法的模块化插件运行机制,将传统嵌入式通信算法转化为符合vst3架构的可插拔算法模块;构建了多节点自动录音与可回溯分析机制,实现算法链全过程数据记录;提供实时可视化分析工具,使算法调试过程可量化、可解释;建立参数自动映射与导出机制,实现调试结果向设备固件的直接迁移;同时通过双向rtp闭环结构实现算法与硬件协同验证。该系统不仅适用于voip设备,还可推广应用于会议终端、录音设备、执法记录设备、对讲终端、通信耳机及智能音频终端等需要实时算法验证的嵌入式音频系统,从而将通信领域算法调试方式由传统主观验证模式提升为模块化、可视化、可回溯的系统化验证模式。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com