基于内建传感器欠采样数据的通用语音信息恢复装置及方法与流程

技术特征：
1.一种基于内建传感欠采样数据的通用语音信息恢复装置，其特征在于，所述的装置包括信号预处理模块、基频估计模块、频谱重建模块和频谱语音转换模块，所述的信号预处理模块、基频估计模块、频谱重建模块和频谱语音转换模块依次连接。2.根据权利要求1所述的基于内建传感欠采样数据的通用语音信息恢复装置，其特征在于，所述的信号预处理模块：用于采集手机加速度计、陀螺仪和磁力计的数据，并将采集到的传感器数据送入高通滤波器；所述的基频估计模块：用于估计传感器数据中隐含的语音信号的基频；所述的频谱重建模块：用于重建高频段的谐波、及校正低频段的异常谐波，将低分辨率的频谱恢复成高分辨率的频谱；所述的频谱语音转换模块：用于使用griffin
‑
lim算法将恢复出来的高分辨率频谱转换成人耳可听的语音信号。3.一种采用如权利要求1或2所述的基于内建传感欠采样数据的通用语音信息恢复装置的恢复方法，其特征在于：1)通过信号预处理模块，采集手机加速度计z轴、陀螺仪y轴、磁力计z轴的数据，再将采集到的传感器数据送入一个高通滤波器；2)通过基频估计模块，利用基于混叠的基频估计算法来估计基频大小，所述的算法能够同时考虑语音信号中的正常谐波与信号欠采样时产生的异常谐波，估计传感器数据中隐含的语音信号的基频；3)根据估计的基频，通过频谱重建模块，重建高频段的谐波和校正低频段的异常谐波，将低分辨率的频谱恢复成高分辨率的频谱；4)通过频谱语音转换模块，使用griffin
‑
lim算法将恢复出来的高分辨率频谱转换成人耳可听的语音信号。4.根据权利要求3所述的恢复方法，其特征在于，所述的步骤2)中，基频估计模块，使用短时傅里叶变换，将滤波处理后的传感器时域信号转换为幅度频谱m(t，f)，当原始信号的频率大于传感器采样率的一半时，传感器实际采集的信号会因为欠采样而产生混叠，信号欠采样前后频率变化的关系为：是原始频率，sr是采样率，a(f)是变化后的频率；使用基于混叠的谐波相加法来衡量频率f是基频的可能性h(f)：其中，m(t，f)是传感器数据的幅度频谱，t为帧号，f为频率，k为谐波的阶数，n为频率低于的最高阶谐波的阶数，m代表频率低于1250hz的最高阶谐波的阶数。5.根据权利要求4所述的恢复方法，其特征在于，由于频率变化，所述的幅度频谱m(t，f)中存在对应语音信号中的正常谐波和欠采样生成的异常谐波。6.根据权利要求4所述的恢复方法，其特征在于，所述的h(f)中，前一项累加了频谱中的正常谐波的能量，后一项累加了欠采样生成的异常谐波的能量，频谱中每一帧的基频f
p
为7.根据权利要求3所述的恢复方法，其特征在于，所述的步骤3)中，通过频谱重建模块
重构传感器信号的频谱，通过混叠校正的超分辨率算法扩展传感器幅度频谱的带宽，记重建后的幅度频谱为m
new
(t，f)(初始为一个零矩阵)，原始幅度频谱为m
old
(t，f)，具体步骤为：a、算法遍历原始频谱m
old
(t，f)的每一帧，在每一轮遍历中，先利用基频估计模块估计出基频f
p
的大小，再根据基频与谐波频率的整倍数关系，得到各个谐波的频率kf
p
；b、算法重建频谱，对于频率处于0hz到之间的频谱，语音谐波的频率为将m
old
(t，kf
p
)直接赋值给m
new
(t，kf
p
)；(以保留低频段的正常语音谐波，并且去除低频段的混叠。)对于频率处于到f
end
hz之间的频谱，语音谐波的频率为f
end
为重建频谱的最高频率；c、根据欠采样时频率变化的关系来估计这一部分谐波(频率为到f
end
hz)所在的位置以及能量的大小，原始正常语音谐波的频率为kf
p
hz，由于欠采样，其频率以公式(1)转变成a(kf
p
)hz；d、用已知的混叠谐波频谱m
old
(t，a(kf
p
))来替换未知的正常谐波频谱m
new
(t，kf
p
)，在完成对m
old
(t，f)中每一帧t的遍历后，系统生成了重建后的幅度频谱m
new
(t，f)。8.根据权利要求3所述的恢复方法，其特征在于，所述的步骤4)中，频谱语音转换模块基于重建频谱m
new
(t，f)，使用griffin
‑
lim算法从中恢复出人耳可听的语音信号，所述的算法通过n次迭代从重建频谱m
new
(t，f)中估计出语音信号。9.根据权利要求8所述的恢复方法，其特征在于，所述的步骤4)的具体步骤为：d、griffin
‑
lim算法随机生成一个相位频谱p0，再利用逆短时傅里叶变换将相位频谱p0和幅度频谱m
new
(t，f)转化为语音信号x0；e、对语音信号x0做一次短时傅里叶变换，得到相位频谱p1和幅度频谱由于幅度频谱与重建频谱m
new
(t，f)存在一定的区别，算法只保留相位频谱p1，并将p1送入下一次迭代过程；f、griffin
‑
lim算法通过n次的迭代不断修正相位频谱p
i
，直到生成的幅度频谱与重建频谱m
new
(t，f)足够相似，griffin
‑
lim算法利用给定的重建频谱m
new
(t，f)生成了对应的语音信号。

技术总结
本发明公开了一种基于内建传感欠采样数据的通用语音信息恢复装置及方法，装置包括信号预处理模块、基频估计模块、频谱重建模块和频谱语音转换模块，信号预处理模块、基频估计模块、频谱重建模块和频谱语音转换模块依次连接，不仅能够恢复带宽极窄且严重混叠的传感器数据中的语音信息，还解决了基于学习的模型迁移性比较差的问题。手机内建传感器在不同的场景下采集的数据有不同的特点，本发明从传感器数据的内在特征与语音信号的特点出发，无需使用数据集进行模型训练，直接构造了一个语音信息恢复系统，且能够适应用户、环境和设备的变化，有效地从手机内建传感器中恢复出隐匿的语音信号。音信号。音信号。


技术研发人员：卢立 王磊 巴钟杰 任奎
受保护的技术使用者：浙江大学
技术研发日：2021.06.02
技术公布日：2021/9/6