基于单毫米波雷达的语音内容识别与身份识别方法及系统

本发明涉及唇语识别，特别涉及基于单毫米波雷达的语音内容识别与身份识别方法及系统。

背景技术：

1、在听障辅助、人机交互、医疗陪护、日常交流等场景中，准确获取语言内容和说话人识别信息至关重要，特别是对于有听力障碍的人。

2、毫米波雷达凭借其非接触性、抗光照干扰、一定的穿透能力以及对微小运动的敏感等优势，逐渐被应用于人类行为识别、生物信号识别以及语音相关运动感知任务等领域。如公告号为cn116416996b的发明专利公开的一种基于毫米波雷达的多模态语音识别系统及方法，通过融合嘴唇运动特征和声带振动特征使得语音识别的准确率得到进一步的提高。相比传统的声学和视觉方案，毫米波雷达具有适应嘈杂环境、保密性强、可24小时连续工作等潜在优势，已成为语音感知领域的重要研究方向。

3、但现有方法仍存在明显缺陷，识别过程中仅依赖单一类型的运动信息，不仅受背景噪声、回声以及多人同时发声干扰，还未能充分利用声带振动、嘴唇宏观运动以及喉咙微振动等多重附加信息，导致对发音内容和说话人特征的表达不够完整。亟需提出一种基于单毫米波雷达的语音内容识别与身份识别方法，实现在单毫米波雷达下唇部和喉部信号的有效分离，从而实现语音内容识别与说话人认证。

技术实现思路

1、为了解决现有技术中存在的问题，本技术实施例提供了基于单毫米波雷达的语音内容识别与身份识别方法及系统，实现了单毫米波雷达下唇部和喉部信号的高精度有效分离，从而提高了在单毫米波雷达下语音内容识别与说话人认证的准确性。

2、本技术实施例提供了基于单毫米波雷达的语音内容识别与身份识别方法，包括以下步骤：

3、将预处理后的多路回波信号进行距离维傅里叶变换，以得到包括距离维度和时间维度的二维热图，并基于二维热图中各距离仓的相位筛选出匹配人体微动的多个目标距离仓；

4、基于所述目标距离仓，按照capon算法对预处理后的多路回波信号进行两级doa估计并计算各空间角度的空间微动功率，构建包括距离维度和方位维度的联合热图；其中，所述联合热图中每一个空间单元格存储有各空间角度的空间微动功率；所述两级doa估计表示先对零俯仰角的多个空间角度进行doa估计以得到候选空间角度，再对非零俯仰角的候选空间角度进行doa估计以得到有效空间角度；对联合热图进行恒虚警检测，将联合热图中空间微动功率大于恒虚警检测阈值的空间单元格作为联合热图的有效空间单元格，所述恒虚警检测中被测单元的窗口几何形态为菱形形态；

5、对联合热图的有效空间单元格进行连通域聚类，并结合人体生理约束划分多组空间窗口，每组空间窗口包括唇部空间窗口和喉部空间窗口，逐帧计算各组窗口中信号的相位差，得到反映目标口唇开合的第一微多普勒信号，以及反映目标声带振动的第二微多普勒信号；

6、对时间同步后的第一微多普勒信号和第二微多普勒信号分别进行短时傅里叶变换，得到时间为横轴、多普勒频率为纵轴的第一微多普勒时频图和第二微多普勒时频图。

7、优选地，所述基于所述目标距离仓，按照capon算法对预处理后的多路回波信号进行两级doa估计以获取多个目标方位角，构建包括距离维度和方位维度的联合热图，包括：

8、基于单个目标距离仓下不同啁啾的预处理后的m路回波信号计算该目标距离仓的m阶协方差矩阵，并采用基于cordic算法的改进gauss-jordan迭代方式求解该目标距离仓的协方差矩阵的逆矩阵；其中，m为单毫米波雷达的接收天线数量；

9、获取单个目标距离仓的各空间角度的导向矢量，结合该目标距离仓的协方差矩阵的逆矩阵进行两级doa估计得到该目标距离仓下不同空间角度的capon波束倒谱值；

10、将各空间角度的capon波束倒谱值的倒数作为该目标距离仓下各空间角度的空间微动功率，将该目标距离仓下所有空间角度对应的空间微动功率构成该目标距离仓对应的功率行向量；

11、将全部目标距离仓对应的功率行向量沿距离维度拼接成联合热图。

12、优选地，所述采用基于cordic算法的改进gauss-jordan迭代方式求解该目标距离仓的协方差矩阵的逆矩阵包括：

13、基于该目标距离仓下不同chirp的预处理后的m路回波信号计算该目标距离仓的m阶协方差矩阵；其中，m为单毫米波雷达的接收天线数量；

14、将该目标距离仓的m阶协方差矩阵中第一行第一列的元素作为主元，通过cordic算法的向量模式计算主元的旋转角度；

15、将单位矩阵作为协方差矩阵的当前逆矩阵，将协方差矩阵和当前逆矩阵按行分组，分组数量等于矩阵行数，每组包括一行协方差矩阵的复数数据、一行当前逆矩阵的复数数据；

16、以主元的旋转角度的相反数与各组数据为输入，调用cordic算法的旋转模式对每组数据的实部、虚部同步旋转，以旋转后的行维度坐标更新各协方差矩阵和当前逆矩阵；

17、基于主元及其旋转角度计算协方差矩阵第一列其余各元素的旋转角度，调用cordic算法的旋转模式对各协方差矩阵和当前逆矩阵进行列维度的旋转，以旋转后的列维度坐标更新各协方差矩阵和当前逆矩阵；

18、将协方差矩阵和当前逆矩阵的各列循环左移一列，并将协方差矩阵和当前逆矩阵的各行循环上移一行；

19、迭代执行上述步骤m次，迭代完成后获取协方差矩阵中对角元素的旋转角度，将旋转角度取反后调用cordic算法的旋转模式计算当前逆矩阵的补偿旋转坐标以替换当前逆矩阵中的原始坐标，输出最终的逆矩阵。

20、优选地，所述获取单个目标距离仓的各空间角度的导向矢量，结合该目标距离仓的协方差矩阵的逆矩阵进行两级doa估计得到该目标距离仓下不同空间角度的capon波束倒谱值，包括：

21、针对单个目标距离仓，构建预设的多个空间角度的导向矢量，其中，所述空间角度的俯仰角为零；

22、将该目标距离仓的协方差矩阵的逆矩阵拆解为m列数据流，调用cordic算法的旋转模式对m列数据流和当前空间角度的导向矢量进行旋转，并将旋转运算的结果按照数据的实部、虚部分别进行累加求和，得到复数形式的第一求和结果；

23、对当前空间角度的导向矢量进行共轭运算的结果作为共轭导向矢量，以当前空间角度的共轭导向矢量的相位为旋转基准，对第一求和结果再次执行cordic旋转与实虚部分类累加，得到复数形式的第二求和结果；

24、将第二求和结果的模作为当前空间角度的capon波束倒谱值，遍历所有空间角度形成该目标距离仓的capon波束倒谱值集合；

25、将capon波束倒谱值集合中小于左右相邻capon波束倒谱值的数据作为局部最小值，获取局部最小值对应的空间角度；

26、将局部最小值对应的空间角度赋值非零俯仰角后的角度记为有效空间角度，重新计算有效空间角度的capon波束倒谱值，即最终得到不同空间角度的capon波束倒谱值。

27、优选地，所述对联合热图进行恒虚警检测，包括：

28、按照先距离维度、后方位维度的顺序遍历联合热图的所有像素，将遍历得到的每一像素作为被测单元；

29、将菱形形态作为被测单元的窗口几何形态，并相对被测单元形成具备窗口几何形态的参考窗口区以及保护窗口区；

30、根据参考窗口区及保护窗口区内的空间微动功率，计算被测单元的恒虚警检测阈值；

31、若被测单元的空间微动功率大于恒虚警检测阈值，则记被测单元的恒虚警检测结果为存在目标并标记为有效空间单元格，否则记被测单元的恒虚警检测结果为不存在目标。

32、优选地，所述将菱形形态作为被测单元的窗口几何形态，并相对被测单元形成具备窗口几何形态的参考窗口区以及保护窗口区，包括：

33、获取单个被测单元在联合热图的位置下标，结合给定的保护窗口宽度和参考窗口宽度对联合热图的边界进行扩充以防窗口越界，得到扩充后的距离-方位联合热图；其中，所述位置下标包括距离维度和方位维度的下标，所述参考窗口宽度大于所述保护窗口宽度；

34、以扩充后的联合热图内被测单元的位置下标作为中心点，结合保护窗口宽度从扩充后的联合热图中圈选出满足菱形形态的曼哈顿距离判定条件的单元格，构成保护窗口区；

35、以扩充后的联合热图内被测单元的位置下标作为中心点，结合参考窗口宽度得到外层菱形对应的候选单元格集合，从该外层菱形候选单元格集合中剔除已经划入保护窗口区的单元格，剩余单元格共同构成参考窗口区。

36、优选地，所述根据参考窗口区及保护窗口区内的空间微动功率，计算被测单元的恒虚警检测阈值，包括：

37、针对每一个被测单元，将该被测单元的参考窗口区内的参考单元格的样本数量作为该被测单元的参考样本数量；

38、获取各个参考单元格对应的微动功率值并按照功率大小进行有序排序，以排序后预设位置的微动功率值作为该被测单元的恒虚警检测阈值。

39、优选地，所述对联合热图的有效空间单元格进行连通域聚类，并结合人体生理约束划分多组空间窗口，包括：

40、将空间上互相邻接的各有效空间单元格聚合成多个空间连通簇，作为候选头部空间簇；

41、获取各候选头部空间簇的质心，结合唇部、喉部相对于质心的角度偏移范围分别由质心向上、向下俯仰偏移得到唇部候选中心位置和喉部候选中心位置，从而得到多个有效候选头部空间簇；其中，所述有效候选头部中间簇的唇部候选中心位置和喉部候选中心位置之间的物理距离在生理允许的区间；

42、针对单个有效候选头部空间簇，分别以对应的候选头部中间簇的唇部候选中心位置和喉部候选中心位置为中心，划定不重合的唇部空间窗口和喉部空间窗口；其中，唇部空间窗口和喉部空间窗口均包含于有效候选头部空间簇。

43、优选地，所述逐帧计算各组窗口中信号的相位差，得到反映目标口唇开合运动的第一微多普勒信号，以及反映目标声带振动的第二微多普勒信号，包括：

44、在截取同一有效候选头部空间簇的唇部空间窗口和喉部空间窗口内各空间单元格的逐帧回波信号后，对唇部空间窗口和喉部空间窗口内的逐帧回波信号分别进行相干积累，得到该有效候选头部空间簇的唇部空间窗口和喉部空间窗口的复合回波信号；

45、在提取两类复合回波信号的相位后，分别进行相位解缠绕，得到解缠绕的两个相位序列，以消除相位折叠跳变，记为该有效候选头部空间簇的唇部空间窗口的解缠绕相位序列和喉部空间窗口的解缠绕相位序列；

46、对解缠绕的两个相位序列分别进行时域差分，得到该有效候选头部空间簇的唇部空间窗口的时域差分信号和喉部空间窗口的时域差分信号；

47、通过带通滤波器对唇部空间窗口的时域差分信号进行滤波，得到第一微多普勒信号，通过高通滤波器对喉部空间窗口的时域差分信号进行滤波，得到第二微多普勒信号。

48、第二方面，本技术提供了基于单毫米波雷达的语音内容识别与身份识别系统，包括：

49、目标距离仓获取单元，用于将预处理后的多路回波信号进行距离维傅里叶变换，以得到包括距离维度和时间维度的二维热图，并基于二维热图中各距离仓的相位筛选出匹配人体微动的多个目标距离仓；

50、联合热图构建单元，用于基于所述目标距离仓，按照capon算法对预处理后的多路回波信号进行两级doa估计并计算各空间角度的空间微动功率，构建包括距离维度和方位维度的联合热图；其中，所述联合热图中每一个空间单元格存储有各空间角度的空间微动功率；所述两级doa估计表示先对零俯仰角的多个空间角度进行doa估计以得到候选空间角度，再对非零俯仰角的候选空间角度进行doa估计以得到有效空间角度；

51、恒虚警检测单元，用于对联合热图进行恒虚警检测，将联合热图中空间微动功率大于恒虚警检测阈值的空间单元格作为联合热图的有效空间单元格，所述恒虚警检测中被测单元的窗口几何形态为菱形形态；

52、微多普勒信号分离单元，用于对联合热图的有效空间单元格进行连通域聚类，并结合人体生理约束划分多组空间窗口，每组空间窗口包括唇部空间窗口和喉部空间窗口，逐帧计算各组窗口中信号的相位差，得到反映目标口唇开合的第一微多普勒信号，以及反映目标声带振动的第二微多普勒信号；

53、多普勒时频图生成单元，用于对时间同步后的第一微多普勒信号和第二微多普勒信号分别进行短时傅里叶变换，得到时间为横轴、多普勒频率为纵轴的第一微多普勒时频图和第二微多普勒时频图。

54、本发明实施例提供的技术方案带来的有益效果至少包括：

55、1、针对室内多人共存，多物体反射、唇部与喉部近微动导致回波信号高度相干的问题，区别于传统直接矩阵求逆的方式，本技术采用基于cordic算法的改进gauss-jordan迭代方式求解各目标距离仓的协方差矩阵的逆矩阵，有效规避了高度相干的回波信号的协方差矩阵病态、秩亏、数值发散的缺陷，进而提高了按照capon算法结合协方差矩阵的逆矩阵和导向矢量执行doa估计的准确性，显著抑制capon空间谱伪峰与角度跳变问题，提升多目标方位估计精度，为多人场景下区分不同说话人、精准定位人体微弱微动区域提供稳定的数据。

56、2、针对传统capon波束进行doa估计时采用零俯仰角度进行扫描，无法识别人体口唇与喉部在俯仰维度的生理高差，极易造成两处邻近微弱微动信号空间混叠的问题，本技术先以零俯仰角的空间角度进行第一轮筛选以获取单个目标距离仓的capon波束倒谱值集合，从而筛选出局部最小值以及对应的空间角度，再对这些角度赋值非零俯仰角后形成有效空间角度，从而计算有效空间角度的capon波束倒谱值，从而实现同一人头区域内口唇、喉部两个紧邻微弱微动目标的高精度空间分离。

57、3、本技术中采用菱形形态对联合热图进行恒虚警检测，相比传统矩形窗口形态该形态更贴合人体微动能量扩散特性，有效抑制杂波虚警。同时通过空间连通域聚类以及结合生理上人体喉部与唇部的距离约束，过滤多径、杂波产生的虚假目标簇，精准锁定有效候选头部空间簇。并在单一有效候选头部空间簇内自适应分割出互不重叠、完全包含于簇内的唇部空间窗口与喉部空间窗口。

58、4、本技术中对双窗口内的回波信号分别进行相干累积以提升信噪比，通过相位解缠绕消除毫米波相位折叠跳变，再经时域差分提取真实微动相位变化信息。针对口唇低频开合运动、喉部高频声带振动的差异，分别通过带通滤波器对唇部空间窗口的时域差分信号进行滤波，通过高通滤波器对喉部空间窗口的时域差分信号进行滤波，以针对性滤除头部刚体晃动、低频漂移、高频杂波噪声，最终得到两路物理机理独立、特征互不干扰的唇部、喉部微多普勒信号，解决现有技术无法区分发声器官运动模态、语音特征混叠的问题。