基于音频实时定位技术的声场自适应系统、方法、存储介质与流程

本发明属于电子信息技术和室内定位技术领域，尤其涉及一种基于音频实时定位技术的声场自适应系统、方法、存储介质。

背景技术

目前，对于音响系统，当各扬声器节点固定后，会形成最佳的听音位置，该位置通常被称为“皇帝位”。为了使特定位置设置为最佳听音位置，通常会根据听音者所处的声学环境，调整扬声器节点的摆放位置，或者通过音响系统中的中央控制系统调节各扬声器节点的发声时刻等方式，达到该目的。

实现声场自适应的关键是测量扬声器节点和电子终端间的实时距离，传统的基于蓝牙或Wi-Fi等信号的测距方法均需要细粒度的信道信息，其测距精度最高仅为米级，不符合声场自适应的要求。一些其他的如基于UWB等信号的测距技术不具有普适性，不但需要在扬声器增加专门的收发单元并进行复杂的逻辑管理和协调控制，还需要专门的电子终端与之适配，无法使用大众智能终端。

通过上述分析，现有技术存在的问题及缺陷为：传统的基于蓝牙或Wi-Fi等信号的测距方法均需要细粒度的信道信息，其测距精度不高，不符合声场自适应的要求。其他一些测距技术或方法提升了系统复杂度，对终端有指定的要求。

解决以上问题及缺陷的难度为：

传统的专用于短距通讯的信号在室内场景中将长期存在用于测量的劣势，环境多样性以及其信号带宽等通讯指定的特殊条件，将限制其用于测量距离时的精度和稳定性。一些专门用于高精度测量的信号频段或技术，在短时间内仍然存在成本以及对于设备兼容性等方面的限制。

解决以上问题及缺陷的意义为：

对于音响系统，其自身就存在发声的基本条件。通过软件逻辑的改进，以及简单的硬件改造，如添加低成本的无线通讯单元，即可实现基于音频信号的高精度测距效果。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于音频实时定位技术的声场自适应系统、方法、存储介质。

本发明是这样实现的，一种基于音频实时定位技术的声场自适应系统，所述基于音频实时定位技术的声场自适应系统包括：

智能扬声器节点、电子终端；

智能扬声器节点，用于播放影音流，并根据数据流特点播出不同声道；用于以固定时间周期和间隔向外播放以预订方式调制的音频定位信号；同时用于接收电子终端的信号反馈，并调节经过智能扬声器节点的影音流播放时延；

电子终端，用于将接收的音频定位信号进行去噪处理，同时用于进行音频定位信号解调及距离差的计算，并将结果反馈至各个智能扬声器节点。

进一步，所述智能扬声器节点间通过射频单元进行时间同步。

进一步，所述智能扬声器节点设置有音频接口、模数转换模块、处理器、数模转换模块、功率放大模块、扬声器、射频收发处理器以及天线；

所述处理器，用于利用同步信号处理、时间管理逻辑、信号调制处理逻辑与发声管理逻辑进行影音流播放、无线通信、时间同步、定位信号发射和主动延时控制。

进一步，所述音频定位信号的频率在可听波段及近可听波段之超声波段范围之内，并可进行频率调制。

进一步，所述电子终端为包含麦克风的智能设备；

所述智能设备包括但不限于系统搭配的专用标签设备、安装有配套应用程序的智能手机/智能穿戴设备。

本发明的另一目的在于提供一种应用于所述基于音频实时定位技术的声场自适应系统的基于音频实时定位技术的声场自适应方法，所述基于音频实时定位技术的声场自适应方法包括：

步骤一，利用扬声器进行影音流的播放，同时多个扬声器节点间通过时间同步单元自组网，并以固定时间周期和间隔向外播放以预订方式调制的音频定位信号；

步骤二，一个以上的电子终端接收所述扬声器节点播放的音频定位信号，并对接收的音频定位信号进行去噪、解调处理，并基于解调后的音频定位信号计算距离差，并将计算结果反馈至各扬声器节点；

步骤三，各扬声器节点接收电子终端反馈的计算结果，同时各个扬声器节点基于所述计算结果以到达终端的影音流时间相同为目标，通过主动延时处理调节经过各个扬声器节点的影音流播放的时延。

进一步，步骤二中，所述对接收的音频定位信号进行去噪、解调处理，并基于解调后的音频定位信号计算距离差包括：

(1)利用10阶的Butterworth带通波器对接收到的音频信号进行滤波去噪处理；对滤波后的数据进行短时傅里叶变换，通过在时域给信号加窗口的方法计算得到当前窗口信号的时频矩阵，

(2)利用已知信号的调频率，对矩阵进行旋转变换，计算矩阵在水平轴上的能量累计，计算相邻能量累计的变化量估计音频信号的到达时刻TC；以检测的时间戳Tc为基准，前后各截取N/2检测窗口大小的采样数据，与模板信号计算广义互相关度；

(3)于定位到信号相关性的最大峰后，再向前进行倒序回溯峰值搜索法，选取第一个超过峰值阈值的时刻，作为音频信号的到达时刻估计

其中α(0<α≤1)为阈值系数；

(4)根据每个扬声器节点获取到的到达时延乘以声速C获取距离或距离差结果。

进一步，步骤三中，所述以到达终端的影音流时间相同为目标，通过主动延时处理调节经过各个扬声器节点的影音流播放的时延包括：

以固定发声周期内第一智能扬声器节点的时间系统为基准，计算声场内其余各智能扬声器节点的信号相较于第一智能扬声器节点的信号，基于到达听音者位置处的时间差异，进而计算声场内其余各智能扬声器节点在下一周期中与原定发声时刻相比所需的延时长度。

进一步，所述以到达终端的影音流时间相同为目标，通过主动延时处理调节经过各个扬声器节点的影音流播放的时延包括以下步骤：

1)记录电子终端解算的各智能扬声器节点到听音者位置处的距离差为δ2/1，δ3/2，…，δn/n-1，其中δn/n-1表示声场内第n音箱与第n-1智能扬声器节点到听音者位置处的距离差；

2)根据距离差，利用下式反算除第一智能扬声器节点外的各智能扬声器节点音频信号到达听音者位置处的时间相对于第一音箱的时间差：

其中，ΔTn表示第n音箱相对第一智能扬声器节点的信号到达时间差，δk/k-1表示第k智能扬声器节点与第k-1智能扬声器节点到听音者位置处的距离差，c表示常温常压下给定的声速；

3)根据计算得到的除第一智能扬声器节点外其余各智能扬声器节点的时间差，对各智能扬声器节点进行自适应的延时调整即在原各音箱指定的发声时间戳基础上，增加-ΔTn的时延；其中，若ΔTn为正，则第n智能扬声器节点发声需提前原定发声时间戳|ΔTn|；若ΔTn为负，则第n智能扬声器节点发声需延后原定发声时间戳|ΔTn|；

4)结束本周期对各智能扬声器节点发声的时延处理；并判断确认最佳听音者身份是否发生转移，如果否，则开启新一轮周期的状态检测与时延处理；如果是，则清空系统维持的延时标志位，针对转移后的听音位，再次进行延时调整。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：

本发明基于音频信号的实时定位技术，测量各音箱喇叭到听音者之间的距离差，并根据音箱到听音者的实时距离差，自适应地对每个音箱的发声进行精准的时延处理，以保证每个音箱发出的声音能同时到达听音者的位置，实现最佳听音位置(“皇帝位”)的自适应调整。

本发明可根据听音者的位置变化，实时优化调整音箱发音时延，以保证听音者的位置变化后能始终获得最佳听音效果。

本发明采用的音频定位技术可以达到平均分米级的测距精度，为声场自适应提供技术支撑。且基于音频信号可直接利用音响系统的现有基础，无需另外增加过多的硬件成本。

附图说明

图1是本发明实施例提供的基于音频实时定位技术的声场自适应系统原理图。

图2是本发明实施例提供的基于音频实时定位技术的声场自适应系统结构示意图；

图中：1、智能扬声器节点；2、电子终端。

图3是本发明实施例提供的基于音频实时定位技术的声场自适应方法原理图。

图4是本发明实施例提供的基于音频实时定位技术的声场自适应方法流程图。

图5是本发明实施例提供的基于智能扬声器节点频率调制信号的自适应音频信号时延估计与距离解算流程图。

图6是本发明实施例提供的基于音频定位技术测距结果的“皇帝位”自适应音箱发声延时流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于音频实时定位技术的声场自适应系统，下面结合附图对本发明作详细的描述。

如图1-图2所示，本发明实施例提供的基于音频实时定位技术的声场自适应系统包括：

智能扬声器节点1、电子终端2；

智能扬声器节点1，用于播放影音流，并根据数据流特点播出不同声道；用于以固定时间周期和间隔向外播放以预订方式调制的音频定位信号；同时用于接收电子终端的信号反馈，并调节经过智能扬声器节点的影音流播放时延；

电子终端2，用于将接收的音频定位信号进行去噪处理，同时用于进行音频定位信号解调及距离差的计算，并将结果反馈至各个智能扬声器节点。

本发明实施例提供的智能扬声器节点间通过射频单元进行时间同步。

如图3所示，本发明实施例提供的智能扬声器节点设置有音频接口、模数转换模块、处理器、数模转换模块、功率放大模块、扬声器、射频收发处理器以及天线。

本发明实施例提供的处理器，用于利用同步信号处理、时间管理逻辑、信号调制处理逻辑与发声管理逻辑进行影音流播放、无线通信、时间同步、定位信号发射和主动延时控制。

本发明实施例提供的音频定位信号的频率在可听波段及近可听波段之超声波段范围之内，并可进行频率调制。

本发明实施例提供的电子终端为包含麦克风的智能设备；

本发明实施例提供的智能设备包括但不限于系统搭配的专用标签设备、安装有配套应用程序的智能手机/智能穿戴设备。

如图4-图5所示，本发明实施例提供的基于音频实时定位技术的声场自适应方法包括：

S101，利用扬声器进行影音流的播放，同时多个扬声器节点间通过时间同步单元自组网，并以固定时间周期和间隔向外播放以预订方式调制的音频定位信号；

S102，电子终端接收所述扬声器节点播放的音频定位信号，并对接收的音频定位信号进行去噪、解调处理，并基于解调后的音频定位信号计算距离差，并将计算结果反馈至各扬声器节点；

S103，各扬声器节点接收电子终端反馈的计算结果，同时各个扬声器节点基于所述计算结果以到达终端的影音流时间相同为目标，通过主动延时处理调节经过各个扬声器节点的影音流播放的时延。

本发明实施例提供的对接收的音频定位信号进行去噪、解调处理，并基于解调后的音频定位信号计算距离差包括：

(1)利用10阶的Butterworth带通波器对接收到的音频信号进行滤波去噪处理；对滤波后的数据进行短时傅里叶变换，通过在时域给信号加窗口的方法计算得到当前窗口信号的时频矩阵，

(2)利用已知信号的调频率，对矩阵进行旋转变换，计算矩阵在水平轴上的能量累计，计算相邻能量累计的变化量估计音频信号的到达时刻TC；以检测的时间戳Tc为基准，前后各截取N/2检测窗口大小的采样数据，与模板信号计算广义互相关度；

(3)于定位到信号相关性的最大峰后，再向前进行倒序回溯峰值搜索法，选取第一个超过峰值阈值的时刻，作为音频信号的到达时刻估计

其中α(0<α≤1)为阈值系数；

(4)根据每个扬声器节点获取到的到达时延乘以声速C获取距离或距离差结果。

本发明实施例提供的以到达终端的影音流时间相同为目标，通过主动延时处理调节经过各个扬声器节点的影音流播放的时延包括：

以固定发声周期内第一智能扬声器节点的时间系统为基准，计算声场内其余各智能扬声器节点的信号相较于第一智能扬声器节点的信号，基于到达听音者位置处的时间差异，进而计算声场内其余各智能扬声器节点在下一周期中与原定发声时刻相比所需的延时长度。

如图6所示，本发明实施例提供的以到达终端的影音流时间相同为目标，通过主动延时处理调节经过各个扬声器节点的影音流播放的时延包括以下步骤：

1)记录电子终端解算的各智能扬声器节点到听音者位置处的距离差为δ2/1，δ3/2，…，δn/n-1，其中δn/n-1表示声场内第n音箱与第n-1智能扬声器节点到听音者位置处的距离差；

2)根据距离差，利用下式反算除第一智能扬声器节点外的各智能扬声器节点音频信号到达听音者位置处的时间相对于第一音箱的时间差：

其中，ΔTn表示第n音箱相对第一智能扬声器节点的信号到达时间差，δk/k-1表示第k智能扬声器节点与第k-1智能扬声器节点到听音者位置处的距离差，c表示常温常压下给定的声速；

3)根据计算得到的除第一智能扬声器节点外其余各智能扬声器节点的时间差，对各智能扬声器节点进行自适应的延时调整即在原各音箱指定的发声时间戳基础上，增加-ΔTn的时延；其中，若ΔTn为正，则第n智能扬声器节点发声需提前原定发声时间戳|ΔTn|；若ΔTn为负，则第n智能扬声器节点发声需延后原定发声时间戳|ΔTn|；

4)结束本周期对各智能扬声器节点发声的时延处理；并判断确认最佳听音者身份是否发生转移，如果否，则开启新一轮周期的状态检测与时延处理；如果是，则清空系统维持的延时标志位，针对转移后的听音位，再次进行延时调整。

下面结合具体实施例对本发明的技术方案做进一步说明。

实施例1：

现在参照图1和图3来描述根据本发明优选实施例的一种基于音频定位技术的声场自适应系统，其包括：智能扬声器节点、电子终端、自适应执行系统。

在赏音空间内，固定放置不少于两个音箱，音箱内扬声器之基本功能包含播放影音流，并根据数据流特点播出不同声道，使系统可输出立体声效果。每个扬声器形成一个多功能节点，其扩展功能包含：节点间通过射频单元进行时间同步，并以固定时间周期和间隔向外播放以预订方式调制的音频定位信号，该信号与影音流叠加，不影响听音效果；节点可接收终端信号反馈，并调节经过其的影音流播放之时延。故称之为智能扬声器节点。

电子终端一般跟随听众，可执行音频定位信号解调及距离差之解算，并将结果反馈至各扬声器节点。

例如，电子终端可为该自适应系统之配套标签，或通过在智能手机上安装应用程序实现。

电子终端在测得与各扬声器之间的距离差后，通过射频通信方式反馈至所有扬声器节点。基于反馈信息，各节点以到达终端的影音流时间相同为目标，各自执行主动延时动作。

实施例2：

在具体实施例中，为实现最佳听者位置(“皇帝位”)的自适应调整，电子终端需要跟随听众，可执行音频定位信号解调及距离差之解算，并将结果反馈至各扬声器节点，包括：自适应系统使用电子终端接收记录扬声器节点发射的经过频率调制后的定位音频信号，对音频信号进行实时地信号解调与检测获取到达时延，根据到达时延计算距离差并将距离结果反馈至各扬声器节点。

具体地，图5示意性地给出了根据本发明优选实施例的基于智能扬声器节点频率调制信号的自适应音频信号时延估计与距离解算流程，包括：

第X步骤：首先定义智能扬声器节点播发的音频信号到达电子终端的麦克风为x(t)。由于传播路径、反射面，反射路径长度各不相同，电子终端接收到的音频信号可以看作是不同能量与时延信号的叠加，可定义为

其中，s′(t)为智能扬声器节点的调制信号，h(t)为室内环境的信道脉冲响应(Channel Impulse Response,CIR)，αi为路径的衰减系数或者信道增益，τi为路径传播时延。

第X步骤：本发明设计了10阶的Butterworth带通波器对接收到的音频信号进行预处理，以滤除背景音乐和环境噪声，削弱其对后续解调检测的影响。

第X步骤：再对滤波后的数据进行短时傅里叶变换(Short-Time Fourier Transform,STFT)，通过在时域给信号加窗口的方法计算求得当前窗口信号的时频矩阵。利用已知信号的调频率，对矩阵进行旋转变换，求得矩阵在水平轴上的能量累计，计算相邻能量累计的变化量来粗略地估计音频信号的到达时刻Tc。

第X步骤：以粗检测的时间戳Tc为基准，前后各截取N/2检测窗口大小的采样数据，用来和模板信号求解广义互相关度。

第X步骤：在定位到信号相关性的最大峰后，再向前进行倒序回溯峰值搜索法，选取第一个超过峰值阈值的时刻，作为音频信号的到达时刻估计

其中α(0<α≤1)为阈值系数，本节选取α＝0.3。

第X步骤：根据每个扬声器节点获取到的到达时延乘以声速(C)获取距离或距离差结果，再反馈至各扬声器节点。

实施例3：

在具体实施例中，为保证最佳听音效果，根据上一实施例中解算得到的距离或距离差结果，实时自适应地优化调整音箱发音时延，包括：以固定发声周期内第一音箱的时间系统为基准，计算声场内其余各音箱的信号相较于第一音箱的信号，到达听音者位置处的时间差异，进而反算声场内其余各音箱在下一周期中与原定发声时刻相比所需的延时长度。

具体地，图6示意性地示出了根据本发明优选实施例的基于音频定位技术测距结果的“皇帝位”自适应音箱发声延时流程，包括：

第X步骤：假定本次发声周期内各音箱的音频信号相对于电子终端时间系统的发送时间戳分别为t1，t2，…，tn，其中对应第一音箱的音频信号发送时间戳为t1；

第X步骤：记录电子终端解算的各音箱到听音者位置处的距离差为δ2/1，δ3/2，…，δn/n-1，其中δn/n-1表示声场内第n音箱与第n-1音箱到听音者位置处的距离差；

第X步骤：根据距离差，反算除第一音箱外的各音箱音频信号到达听音者位置处的时间相对于第一音箱的时间差，运用计算式：

其中，ΔTn为第n音箱相对第一音箱的信号到达时间差，δk/k-1为第k音箱与第k-1音箱到听音者位置处的距离差，c为常温常压下给定的声速；

第X步骤：根据计算得到的除第一音箱外其余各音箱的时间差，对各音箱进行自适应的延时调整，即在原各音箱指定的发声时间戳基础上，增加-ΔTn的时延；

其中，若ΔTn为正，则第n音箱发声需提前原定发声时间戳|ΔTn|；若ΔTn为负，则第n音箱发声需延后原定发声时间戳|ΔTn|；

第X步骤：结束本周期对各音箱发声的时延处理；

第X步骤：判断：确认最佳听音者身份是否发生转移，

如果否，则开启新一轮周期的状态检测与时延处理；

如果是，则清空系统维持的延时标志位，针对转移后的听音位，开启新的延时方案。

实施例4：

一种基于音频实时定位技术的声场自适应系统，包括：智能扬声器节点、电子终端、自适应执行系统；

其中在赏音空间内，固定放置不少于两个音箱，音箱内扬声器之基本功能包含播放影音流，并根据数据流特点播出不同声道，使系统可输出立体声效果。每个扬声器形成一个多功能节点，其扩展功能包含：节点间通过时间同步单元自组网，并以固定时间周期和间隔向外播放以预订方式调制的音频定位信号，该信号与影音流叠加，不影响听音效果；节点可接收终端信号反馈，并调节经过其的影音流播放之时延。故称之为智能扬声器节点。

电子终端一般跟随听众，可执行音频定位信号解调及距离差之解算，并将结果反馈至各扬声器节点。其使用过程中具体可为该自适应系统之配套标签，或通过在智能手机上安装应用程序实现。

电子终端在测得与各扬声器之间的距离差后，反馈至所有扬声器节点。基于反馈信息，各节点以到达终端的影音流时间相同为目标，各自执行主动延时动作。

基于音频实时定位技术的声场自适应系统使用的扬声器为智能音箱，除了传统之影音播放功能，同时具有实时发射定位信号的功能。所应用的方法和系统在现有音响体系中植入了无线通信、时间同步、定位信号发射和主动延时之功能。该植入一般需要在通用音响系统基础上进行软硬件改造，包括增加用于通信和时间同步的射频收发处理器和天线等硬件单元，增加同步信号处理与时间管理逻辑，增加信号调制处理逻辑与发声逻辑管理等。

基于音频实时定位技术的声场自适应系统扬声器所发射之定位音频信号，其频率在可听波段及近可听波段之超声波段范围之内，并进行频率调制。

基于音频实时定位技术的声场自适应系统的电子终端可滤除背景音乐和环境噪声，并实时接收解调定位音频信号并解算距离差。

基于音频实时定位技术的声场自适应系统电子终端可以为包含麦克风的多种智能设备，包括但不限于系统搭配的专用标签设备、安装有配套应用程序的智能手机/智能穿戴设备等。

基于音频实时定位技术的声场自适应系统包括，自适应执行方法，该方法根据听音者的位置变化，实时优化调整音箱发音时延，以保证听音者的位置变化后能始终获得最佳听音效果。

基于音频实时定位技术的声场自适应系统具有把最佳听音位置跟踪从一个听音者切换到另外一个听音者的功能。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。