双通道语音时序分析方法、可穿戴设备、介质及智能眼镜与流程

本技术涉及可穿戴智能设备，尤其涉及一种双通道语音时序分析方法、可穿戴设备、介质及智能眼镜。

背景技术：

1、随着人机交互从单一文本模态向语音、行为信号融合的多模态范式演进，对话系统已不再满足于"听懂内容"，而是需要"理解交互过程"。在智能眼镜这一特定形态下，设备持续伴随用户参与面对面或远程对话，其集成的麦克风阵列、惯性传感器及陀螺仪，为实时捕捉对话参与者的反应提供了独特的硬件基础。然而，传统单通道录音工具在面对面交互场景中存在根本性局限：所有对话参与者的声音被混合录制为单一音频流，形成"一锅粥"式的声学叠加，系统无法精确判定"佩戴者何时结束发言"以及"对方接下来的反应起始于哪个时间窗口"，导致发言与反应之间的因果时序关系彻底模糊。在智能会议、虚拟助手、远程协作及社交辅助等场景中，如何依托双通道硬件的物理分离能力，对对话参与者的动态反应进行实时感知、量化建模，并据此评估对话参与度的变化，已成为当前可穿戴智能交互领域的核心需求之一。

2、在学术层面，对话分析领域已形成若干基础研究方向。其一，"对话轮转动力学（turn-taking dynamics）"通过统计方法分析说话人角色转换对轮转速率的影响，揭示了对话结构中的宏观规律；其二，"听众反应建模（listener response modeling）"聚焦于对话中的反馈信号，对点头、简短应答等 backchannels 进行量化分类，以刻画听众的参与状态。在产业与专利层面，meta公开的多模态说话人识别专利整合了声纹特征、方向性音频与摄像头视觉信息，实现了"谁在说话"的精准定位；同时，市场上已存在大量面向会议场景的摘要生成与对话情感分析产品，能够对对话内容进行事后提炼与情绪标签化。

3、然而，上述现有技术仍存在显著不足，难以直接支撑"基于智能眼镜的对话参与者反应变化评估"这一核心创新点的技术确权。第一，现有框架虽覆盖了对话特征的宏观量化，但普遍建立在单通道录音或软件声源分离的基础上，无法解决"一锅粥"式音频中发言与反应因果时序模糊的根本问题；即便配合最先进的ai算法，单通道设备也无法在物理层面实现佩戴者与对话方语音的精确切割，导致参与度评估的时间窗口基准存在系统性误差。第二，若仅将方案描述为"利用大语言模型（llm）分析对方反应变化"，则容易在专利审查的 alice test 框架下被认定为"抽象思想"，而缺乏与智能眼镜特定硬件架构的紧密结合。第三，现有nlp技术若未明确写入智能眼镜的硬件感知前提，则极易被视为自然语言处理的常规软件应用，无法体现技术方案在"物理隔离采集-精确时序切割-端侧反应分析-近眼实时反馈"闭环中的实质性贡献。

技术实现思路

1、本技术提供了一种双通道语音时序分析方法、可穿戴设备及介质，以解决上述技术问题。

2、有鉴于此，本技术第一方面提供了一种双通道语音时序分析方法，所述方法包括：

3、步骤s1、通过设置于可穿戴设备上的麦克风阵列，输出至少两路在硬件采集层面物理分离的通道音频信号，其中，第一通道音频信号对应佩戴用户的第一语音内容，第二通道音频信号对应至少一个非佩戴用户的第二语音内容，所述物理分离由所述可穿戴设备的声学隔离结构在采集层面实现，使所述第一通道与所述第二通道之间的串扰抑制比不低于预设阈值，从而在不对所述第一语音内容和所述第二语音内容进行软件声源分离及声纹识别的情况下区分声源；

4、步骤s2、从所述第一通道音频信号中识别所述佩戴用户的至少一个话语单元，并确定每个所述话语单元的起始时间点和结束时间点；

5、步骤s3、以所述话语单元的所述结束时间点作为触发事件，仅在所述结束时间点之后的有界时间窗口内，对所述第二通道音频信号进行处理，从所述第二通道音频信号中提取声学响应特征数据，所述声学响应特征数据包含响应延迟、能量变化量、语速变化率、基频变化量中的至少一种；

6、步骤s4、基于所述声学响应特征数据，通过加权组合计算并输出表征所述话语单元的影响力指标。

7、可选地，所述声学隔离结构包括声学隔离腔体、减震支架及防风罩中的至少一种；

8、所述第一通道的麦克风阵列设置于靠近佩戴用户口腔的位置且主瓣方向对准佩戴用户唇部，所述第二通道的麦克风阵列主瓣方向朝向佩戴用户视线前方。

9、可选地，所述从第一通道音频信号中检测话语单元并确定每个所述话语单元的起始时间点和结束时间点具体包括：

10、获取表征所述佩戴用户自身发声的参考信号，所述参考信号来自与佩戴用户身体振动或声带活动同步、且与所述第一通道音频信号共享同一硬件时钟源的传感器；

11、计算所述第一通道音频信号与所述参考信号的相关性，并根据相关性结果锁定所述话语单元的起始时间点和结束时间点。

12、可选地，所述参考信号具体为骨传导振动信号、加速度体征信号或喉部拾音信号中的至少一种。

13、可选地，对所述第一通道音频信号x(t)与所述参考信号r(t)在分析窗长w内做滑动窗口互相关rxr(τ)，其中τ为用于补偿所述参考信号与空气传导麦克风之间传播延迟的时延补偿量；

14、当rxr(τ)的峰值超过预设相关性阈值时判定该时刻存在佩戴用户发声；

15、所述起始点由所述参考信号首次出现显著振动特征的时刻确定，所述结束点通过向所述参考信号振动残余实际消失的时刻搜索修正，使所述结束时间点的标注误差不超过±50ms。

16、可选地，仅在被所述触发事件开启的所述有界时间窗口内执行所述对第二通道音频信号的测量，在所述有界时间窗口之外不对所述第二通道音频信号执行所述测量；

17、所述有界时间窗口的长度为5-60秒，并在所述结束时间点之后动态调整。

18、可选地，还包括：

19、基于所述第一通道音频信号与所述第二通道音频信号的能量比值模式、所述话语单元的轮转频率、所述第二通道音频信号中的声源数量估计，识别对话场景类型，所述对话场景类型包括正式会议、一对一谈话、多人讨论、电话沟通中的至少一种；

20、其中所述声源数量估计基于各通道能量分布、到达方向及话语节奏的统计特征进行，不依赖声纹识别；并根据所识别的对话场景类型，从所述声学响应特征中选择对应的特征子集进行计算。

21、可选地，所述步骤s1至s4在所述可穿戴设备的微控制器上以定点运算实时执行，运行时不执行神经网络推理、不进行声纹识别、且不将所述音频信号上传至远端服务器；所述第一通道音频信号与所述第二通道音频信号不离开所述可穿戴设备，在测量与计算完成后即被丢弃，所述可穿戴设备仅保留由测量得到的声学响应特征数据及影响力指标。

22、可选地，所述响应延迟为所述话语单元结束时间点与所述第二通道音频信号中首个有效响应起始时间点之间的时间间隔；

23、所述能量变化量为所述有界时间窗口内所述第二通道音频信号的短时能量包络相对于所述话语单元结束前的基线能量水平的偏离量；

24、所述语速变化率为所述有界时间窗口内所述第二通道音频信号的音节速率相对于所述话语单元结束前对话方语速基线的变化比率；

25、所述基频变化量为所述有界时间窗口内所述第二通道音频信号的基频轨迹统计特征相对于所述话语单元结束前基频基线的偏移量。

26、可选地，响应特征数据还包括语义走向特征；

27、所述语义走向特征包括话题相似度变化、关键词更替率、决策性词汇密度变化、情感极性变化中的至少一种。

28、可选地，还包括：

29、在多个时段或多个对话场景下计算所述影响力指标的时间序列，根据所述佩戴用户在不同时段内影响力指标的统计分布变化、特定对话场景下影响力指标的中位数漂移趋势、以及影响力指标与佩戴用户沟通策略调整之间的关联分析，在与所述可穿戴设备通信连接的移动终端用户界面中生成跨时段影响力趋势报告。

30、可选地，还包括：

31、基于所述影响力指标，对所述话语单元进行分级标记，并在与所述可穿戴设备通信连接的移动终端用户界面中按级别区分显示，其中，所述分级标记包括至少三个级别：高影响力级别、中影响力级别和低影响力级别；所述按级别区分显示包括采用不同的颜色编码或图标标识进行视觉区分。

32、可选地，所述麦克风阵列包含至少两种具有不同极性指向特性的mems麦克风，其中所述至少两种麦克风至少包括：

33、第一类型麦克风，具有近似无方向偏好的极性指向；

34、第二类型麦克风，所述第二类型麦克风为偶极子麦克风，所述偶极子麦克风具有固定空间响应零点方向，所述固定空间响应零点方向在制造过程中由振膜结构和声学孔布局确定，且在运行时不可改变。

35、本技术第二方面提供一种可穿戴设备，所述设备包括处理器以及存储器：

36、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

37、所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的双通道语音时序分析方法的步骤。

38、本技术第三方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的双通道语音时序分析方法。

39、本技术第四方面提供一种智能眼镜，应用上述第一方面所述的双通道语音时序分析方法，所述智能眼镜包括：

40、设置于镜腿内侧、靠近佩戴用户口腔的第一定向麦克风阵列，其主瓣方向对准佩戴用户唇部，构成所述第一通道；

41、设置于镜腿外侧或前框边缘的第二定向麦克风阵列，其主瓣方向朝向佩戴用户视线前方，构成所述第二通道；

42、以及位于所述第一定向麦克风阵列与所述第二定向麦克风阵列之间的声学隔离结构，使所述第一通道与所述第二通道之间的串扰抑制比不低于预设阈值。

43、从以上技术方案可以看出，本技术实施例具有以下优点：

44、本技术中，提供了一种双通道语音时序分析方法、可穿戴设备、介质及智能眼镜，通过设置于可穿戴设备上的麦克风阵列，借助声学隔离结构在硬件采集层面输出两路物理分离、串扰抑制比不低于预设阈值的通道音频信号，从而在不进行软件声源分离和声纹识别的情况下区分佩戴用户与非佩戴用户的声源；从第一通道检测佩戴用户话语单元的起止时间点，并以话语单元结束时间点作为触发事件，仅在其后的有界时间窗口内对第二通道音频信号进行处理，测量得到声学响应特征，加权计算并输出表征该话语单元的影响力指标。本方法以硬件物理隔离与事件驱动的有界窗口测量替代单通道软件分离，解决了单通道设备发言与反应因果时序模糊、系统性时序误差及持续计算负载高的技术问题。