一种基于幼儿社交互动的识别装置、系统及方法与流程

本发明涉及幼儿教育的，具体为一种基于幼儿社交互动的识别装置、系统及方法。

背景技术：

1、在学前教育场景下一日生活中，幼儿的日常社交行为、对话交流以及师幼互动数据对于评估幼儿语言发展、社交喜好及心理健康至关重要。然而，现有技术在实际幼儿园环境落地中存在以下显著缺陷：

2、（1）环境强噪声干扰与声纹识别失效：幼儿园环境极度嘈杂，幼儿说话不连续、不完整，单纯依赖传统软件声纹识别算法极难进行精准的幼儿身份辨别与语音分离；（2）近场测距精度差与“隔墙误判”：传统的蓝牙rssi或wifi定位多径效应严重，信号漂移大，无法精准判定1米内的面对面社交；超宽带（uwb）定位则存在功耗过高、成本过昂贵、无法与录音联动等问题；（3）高频高精同步导致的电池续航灾难：分布式可穿戴设备若要在教室内维持非必要的毫秒级（如±10ms以内）绝对时间同步，设备必须频繁与网关进行无线通信握手，这会产生极高的功耗，导致微型穿戴设备电池迅速耗尽，无法满足一日生活全天续航的需求；（4）录音与定位事件割裂：传统的定位系统与录音系统独立运行，由于缺乏有效的端侧瞬间联动与云端容差补偿机制，导致后期音轨对齐工作量呈灾难性放大。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于幼儿社交互动的识别装置、系统及方法，解决了上述背景技术中提出的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：

3、一种幼儿社交互动的识别装置，包括：

4、徽章式壳体，用于固定在佩戴者的胸口位置；

5、语音采集模块，固设于所述徽章式壳体内，用于采集语音数据形成录音文件，包括第一麦克风和第二麦克风，在佩戴状态下，所述第一麦克风朝上指向所述佩戴者口部，所述第二麦克风朝下背向所述佩戴者口部；

6、低频通信模块，固设于所述徽章式壳体内，包括微型高磁导率铁氧体绕线天线，用于在设定的局域空间感应范围内发射和接收近场低频广播信号，其中发射模块支持驱动等级控制，来实现不同感应范围调节；

7、主控模块，分别与所述语音采集模块和所述低频通信模块电连接，主控模块内置有驱动等级控制程序和语音活动检测vad算法；所述主控模块根据所述第一麦克风和所述第二麦克风的声学物理参数差异触发有效说话状态，并由所述驱动等级控制程序调整所述低频通信模块的驱动强度，控制所述局域空间感应范围在设定的默认距离以内，同时控制所述低频通信模块发射包含本设备id的近场低频广播信号，并常态化监听邻近其他识别装置发射的低频广播信号以生成低频交互事件；

8、数据存储模块，与所述主控模块电连接，用于本地存储所述录音文件和所述低频交互事件；

9、无线传输模块，与所述主控模块电连接，用于将本地存储的数据上传至远端云平台。

10、由于学前教育场景下幼儿体格较小，本装置采用轻量化的胸口徽章形态。为了在有限的体积内实现精准的本人语音分离，本发明将第一麦克风与所述第二麦克风在所述徽章式壳体内呈垂直上下排列，二者的物理中心间距限定在 2.5cm - 3.5cm。

11、作为优选，所述主控模块在检测有效说话状态时，实时计算所述第一麦克风与所述第二麦克风的实时信号能量比值，其中为第一麦克风的实时信号能量值，为第二麦克风的实时信号能量值；当且仅当所述能量比值 r 大于预设的绝对能量阈值 θ 时，判定为佩戴者自身的有效说话语音。在实际佩戴中，由于徽章位于胸口，上方的第一麦克风距离幼儿嘴部的物理距离明显小于下方的第二麦克风。当幼儿自身说话时，声波到达第一麦克风的能量显著高于第二麦克风，且存在微小的到达时间差（tdoa）。

12、作为优选，当所述主控模块判定处于有效说话状态时，控制所述数据存储模块自动启动编码录音；当检测到连续超过 3 秒无有效说话声音时，控制所述数据存储模块自动关闭当前的录音文件并保存，随后在本地重新创建新的录音文件并重启语音检测流程。

13、作为优选，所述低频通信模块内置有防碰撞机制；其发射的低频广播信号数据包长度限制在预设的毫秒级时间窗口内，且所述防碰撞机制配置为：在有效说话状态触发后，所述低频通信模块采用在固定时间段内随机延迟重发若干次的机制发射所述低频广播信号，且所述随机延迟重发的总周期，远小于所述录音文件的3秒无声切片时间。

14、作为优选，所述低频通信模块发射和接收的近场低频广播信号为125khz，所述局域空间感应范围默认设置为1米。传统的蓝牙rssi测距由于电磁波多径效应，在室内环境下信号飘忽不定，经常出现“隔了一堵薄墙或屏风仍能感应”的误判。

15、本发明还提供了一种幼儿社交互动的识别系统，包括：

16、多个如权利要求1-7任一项所述的幼儿社交互动的识别装置，分别由班级内的幼儿及教师佩戴，且每个所述识别装置的设备id在系统内绑定对应的幼儿学号或教师工号；

17、物联网网关，作为局域网内的基准时钟源，用于长周期定期向各所述识别装置发送时钟同步帧；各所述识别装置通过其无线传输模块与所述物联网网关进行时间同步，保持全班所有的识别装置在观察周期内的全局时钟偏差在 ±100ms 以内；

18、远端云平台，包含处理器与存储器，通过无线网络与所述无线传输模块进行数据通信，用于接收各识别装置上传的录音文件和低频交互事件，并在同一全局时间轴上进行设备id与时间戳的双向交集匹配，识别社交互动行为。

19、本发明还提供了一种幼儿社交互动的识别方法，包括以下步骤：

20、s1：低功耗局域时钟对齐：各识别装置开机后，通过无线传输模块与所述物联网网关进行低频次的局域网时钟同步，维持全班设备间的全局时钟偏差不超过±100ms；

21、s2：双麦克能量比对vad触发录音：装置工作期间，主控模块利用垂直上下放置的双麦克风的实时信号能量比值 r 判定佩戴者是否说话；当检测到有效说话时，启动编码录音并在本地存储带有设备id和发射时间戳的录音文件，该时间戳可以设定为有效说话的起始时间；

22、s3：近场低频防碰撞广播：在vad触发录音的瞬间，装置通过125khz低频通信模块及微型铁氧体天线向外广播局域近场信号，信号通过在固定时间段内随机重发以避免多设备信号空中碰撞，信号中包含发射时间戳（有效说话的起始时间）、该设备id和低频感应范围；

23、s4：近场事件双向捕获：处于该装置1米感应范围内的邻近装置通过其常态化监听的低频接收端捕获该信号，并将本设备id、接收时间戳、发射装置id、发射时间戳和低频感应范围打包生成一条低频交互事件并进行本地存储；

24、s5：云端弹性时空对齐与多模态大数据分析：所述远端云平台接收各装置上传的数据，根据事件信息中的双向id及时间戳，在 ±100ms 的容差窗口内将发生互动冲突或交集的两台装置的录音文件在全局时间轴上进行切片拼接，并基于音频波形或时间戳偏移量执行弹性对齐补偿，还原出多通道双向完整对话音轨，并基于对齐后的音轨和事件进行多维度的社交拓扑及师幼互动指标计算；

25、s6：云端基于nlp语义的社交指标算法计算，该指标不只是了解幼儿的社交情况，还可以同步了解师幼互动指标；

26、目标i 在观察周期 t 内的严谨总社交时长定义为：

27、

28、其中：

29、 为周期 t 内，幼儿 i 设备与同伴 j 设备之间发生低频近场交互事件的总次数，该周期建议设置为一天或者一个自主活动时间段；和分别为第 m 次低频交互事件的起始全局时间戳与结束全局时间戳；

30、为社交实质性关联判定示性函数（取值为0或1），通过以下条件进行控制和约束：

31、

32、为低频近场双向空间感知约束，物理音轨能量交织重叠度约束，为语义轮次概率约束。

33、为了平衡设备功耗、硬件成本与数据对齐质量，本发明摒弃了高成本、高功耗的毫秒级高频同步方案，将系统整体的时钟偏差容差范围限定在±100ms以内。物联网网关作为班级局域网内的时钟主控源，以预设的分钟级长周期（例如每5分钟一次）向教室内所有徽章设备广播发送时间同步帧。各徽章设备的主控模块接收到同步帧后修正本地rtc时钟，大幅延长了电池续航。

34、当多名幼儿聚集在1米范围内同时开口说话时，为了避免125khz信号产生空中冲突，本发明引入固定时段内的随机重发机制。一旦某个徽章的vad被触发，低频模块会在随后的固定时间窗内启动基于随机延迟算法的多次重发。

35、由于幼儿的语言表达具有不连续、碎片化、易被外界打断的特点，长时间的连续录音不仅会产生大量包含空白环境音的冗余数据，还会给云端后期的语音转文字（asr）带来长语音对齐的巨大算力负担。本发明采用动态断句切片流机制，主控模块实时监测vad状态，当幼儿说话中断时，主控模块开始计时，若连续超过 3 秒均未检测到有效声音，则判定本次对话意图或阶段性发言结束，主控模块立即向闪存（flash）发出中断，将当前录制的文件执行封包、关闭并保存（文件名注入当前设备id与精确时间戳），随后，主控模块清空缓存，重新创建并挂载一个新的空白录音文件，系统重新进入待机vad监测状态。这种“3秒无声即切片”的逻辑，确保了上传到云端的每一个音频文件都是高度浓缩的“语言交互干货”，且极大地延长了硬件设备的电池续航。

36、由于各徽章设备之间存在最大不超过 ±100ms 的时钟硬件异步漂移，当云端平台接收到来自两个不同 id 的音频切片文件以及低频交互事件日志时，直接按字面时间戳硬性拼接可能会导致对话音轨出现微弱的重叠或断层。为了消除这 ±100ms 范围内的硬件时钟不一致，云端平台引入了弹性对齐补偿算法。云端首先根据两台设备记录的低频广播信号发射时间戳（tx_time）与接收时间戳（rx_time）计算出相对的时钟偏移基准值；随后，调取对应的多通道音频切片，在 ±100ms 的滑动滑窗内，基于音频包络能量突变点匹配或交叉相关性（cross-correlation）最大化原则，对两个通道的音频数据进行微调对齐。该机制允许硬件端维持低功耗、低精度的 ±100ms 局域网时钟，而将高精度对齐压力转移至云端，以极低的硬件代价实现了完美的双向双通道清晰对话还原。

37、云端通过解析低频交互事件，构建班级社交网络图矩阵 g = (v, e)，其中 v 为识别装置的节点集合，e 为节点间的社交边集合。

38、交互权重计算公式：

39、

40、式中：为周期 t 内设备 i 与设备 j 成功发生双向低频事件握手的总频次；为第 k 次交互的持续时长；α 和 β 为预设的频次与时长权重系数。

41、社交边缘化筛查指标（点度中心度 degree centrality）：

42、

43、当某个幼儿节点的连续 m 个教学日低于班级平均值的两个标准差时，系统自动触发“社交孤立风险预警”，提示教师进行定向关怀引导。

44、本发明提供的一种基于幼儿社交互动的识别装置、系统及方法，解决了背景技术中提到的环境强噪声干扰与声纹识别失效，近场测距精度差与“隔墙误判”，高频高精同步导致的电池续航灾难，录音与定位事件割裂等问题；

45、本发明在主控芯片中引入“能量比对算法”：主控芯片实时计算两个麦克风的能量比值，当且仅当 r 大于预设绝对阈值 θ时，才触发vad录音与低频发射。而当环境噪音或旁边其他幼儿说话时（属于远场声源），声波到达两个麦克风的能量和时间基本一致（r 接近 1.0），系统直接进行硬件级过滤。这一物理与算法的有机联动，完美解决了幼儿园高嘈杂环境下无法精准录音和声纹易误判的行业痛点；

46、本发明采用125khz低频近场通信，该频段信号具有极强的空间边界骤降效应（边沿衰减极快）。为了在不同教室大小或不同动态场景下灵活调整交互判定距离，主控模块中写有驱动等级控制程序。通过软件指令直接调节低频发射天线的驱动强度（即电流驱动能力），从而可以选择不同的信号发射功率等级。通过微调天线驱动强度，将该低频信号的有效感应半径锁定在1米范围的物理边界内。只要对方在1米内且面迎面（徽章正对），即可实现100%的近场事件捕获，从物理层确保了“社交即发生”的准确性；

47、为了确保系统时间轴不发生冲突，本发明限定低频防碰撞的随机重发总周期，远小于vad的静默切片等待时间3秒，在数量级上拉开差距，确保低频交互事件在毫秒级内彻底闭环，绝不干扰秒级的音频切片逻辑，保证了多设备高并发下的鲁棒性。这种“3秒无声即切片”的逻辑，确保了上传到云端的每一个音频文件都是高度浓缩的“语言交互干货”，且极大地延长了硬件设备的电池续航；

48、云端平台引入了弹性对齐补偿算法，允许硬件端维持低功耗、低精度的 ±100ms局域网时钟，而将高精度对齐压力转移至云端，以极低的硬件代价实现了完美的双向双通道清晰对话还原。