一种基于多模态数据的外语课堂学习行为分析方法及系统

本发明涉及ss，尤其涉及一种基于多模态数据的外语课堂学习行为分析方法及系统。

背景技术：

1、在外语课堂教学场景中，存在两种典型的复杂声学交互状态：教师语音为主状态（教师单向讲解、示范）和学生语音为主状态（学生多声源并发的跟读、小组互动讨论）。两种状态下，学习者表现出的时序语音行为序列特征存在根本性的统计学差异。

2、学习者在外语课堂中产生的语音活动具有区别于普通会议语音和自然对话语音的特殊时序结构特征。在外语跟读、口语模仿及即时应答场景下，大量存在由语言组织、发音修正及语义检索引发的非句法边界停顿时长，该类停顿在时域上表现为短时随机突发静音，其统计分布与自然语音中的正常句法停顿存在显著差异。

3、目前课堂行为分析领域的现有技术主要包括以下几类：

4、公开号：cn115547304a，公开了一种课堂分析方法及装置。该方案通过声纹识别分割课堂中各声源个体的音频数据，计算教师与学生之间、学生与学生之间的话轮切换次数，根据切换次数确定课堂的交互结构类型。该方案仅输出静态的交互结构标签，不调整系统底层的特征分析与决策逻辑，对于不同交互结构下的数据分布差异，仍采用统一的分析参数进行处理。

5、公开号：cn120850228b，公开了一种基于深度学习的课堂多模态数据处理方法及系统。该方案提出了符合教学节律的多模态数据对齐方法，对教师讲解重点、师生互动等语义关键片段赋予更高对齐权重，实现符合教学节律的非线性对齐。该方案对节律的感知仅用于优化时间轴上的对齐精度，属于数据预处理层面的自适应调整，不涉及分析参数本身的动态切换。

6、公开号：cn120541781a，公开了一种基于自适应算法的课堂行为分析系统。该方案采集课堂多模态行为数据，提取学生实时姿态向量、语音频谱特征、交互响应时延及教学内容语义标签，通过多头注意力机制进行层次化关联建模与动态优先级排序。该方案采用多头注意力机制进行多模态融合，但未涉及根据课堂声学交互状态的切换来动态调整底层分析参数。

7、公开号：cn117079667a，公开了一种场景分类方法、装置、设备和可读存储介质。该方案获取学生音频数据集和教师音频数据集，按时间顺序对音频原子片段进行重排和合并，经过两级合并划分，结合场景分类判断式，得到与各场景对应的时段信息。该方案的场景分类结果用于输出时段标签，不用于驱动系统分析参数的动态调整。

8、在通用语音信号处理和异常检测领域，已有多种自适应参数调整和统计基线建模方案，例如：自适应语音增强方案通过场景识别模型判断音频帧所属场景，根据场景选择不同方式控制音频信号的输出比例，实现自适应语音增强，但其自适应调整发生在信号预处理层，用于优化音频质量，不涉及行为分析决策层的判断标准调整。在网络安全领域，存在采用个体基线进行用户行为异常检测的方案，但其属于不同的技术领域，不涉及课堂声学行为分析场景。

9、综上，上述现有技术存在以下共同问题：

10、第一，现有课堂分析系统对不同声学状态下的数据均采用固定参数处理。教师语音为主状态下话轮交替频率低、学生以聆听为主；学生语音为主状态下话轮交替密集、学生以主动语音产出为主，两种状态下的语音行为特征统计分布存在根本差异。

11、第二，固定参数系统预设的分析参数集仅能匹配单一声学状态，当声学交互状态发生切换时，固定参数与当前数据分布之间产生系统性错配，导致异常检测误报率和漏报率升高。

12、第三，现有技术未意识到非句法边界停顿时长在外语课堂中的特殊性。传统固定参数的语音活动检测机制通常将非句法边界停顿时长误识别为语音结束边界，导致连续语音流被错误切分，进一步引发语音响应延迟计算失真、话轮交替统计偏移以及异常检测误报率升高。现有技术未针对外语课堂特有的非句法边界停顿时长设计动态调整的检测窗口机制。

13、第四，现有技术中的自适应调整均发生在信号预处理层或标签输出层，未涉及分析决策层的参数动态重构。场景分类的结果仅用于输出时段标签，节律感知仅用于优化时间对齐，均未将状态感知结果用于驱动分析参数集的切换。

技术实现思路

1、鉴于现有技术问题存在课堂行为分析系统对不同声学交互状态下的数据均采用固定参数处理，未意识到声学交互状态切换会导致语音行为特征统计分布发生非平稳漂移，固定分析参数无法同时兼容低交互密度长静音场景与高交互密度短突发场景，导致异常检测误报率和漏报率升高的问题，从而提出了一种基于多模态数据的外语课堂学习行为分析方法及系统。

2、其目的在于：针对外语课堂不同声学交互状态导致的非平稳时序特征漂移，通过声学状态感知驱动底层语音行为分析参数动态重构，使分析标准与当前数据分布自适应对齐，从而降低系统在复杂声学场景切换条件下的误报率和漏报率。

3、本技术中，学习行为特指由音频采集设备和视频采集设备获取的、能够通过时序数据进行客观表征的多模态物理行为数据，包括语音活动时序、话轮交替特征、响应时延特征序列、非句法边界停顿时长等可量化的时序特征序列。

4、学习行为分析是指对上述多模态数据进行底层数字信号处理、统计分布建模与分布偏离检测的技术过程，不包含对学习者内部主观状态、学习态度或能力的任何推断或评价。本技术中的学习者仅用于标识教室声学场景中的数据来源对象。

5、本发明的技术方案为一种基于多模态数据的外语课堂学习行为分析方法，包括：

6、s1、获取布置在教室的音频采集设备和视频采集设备采集的多模态数据，多模态数据对应至少一个预定义的空间观测节点，空间观测节点对应于教室内一个预定义空间区域的音视频数据观测通道。

7、s2、依据多模态数据识别当前课堂的声学交互状态，声学交互状态包括教师语音为主状态和学生语音为主状态。

8、s3、根据识别出的声学交互状态，从预先构建的参数配置集合中调用与当前声学交互状态对应的语音行为分析参数集，利用调用的语音行为分析参数集动态调整语音活动检测窗口长度、时域分帧窗口长度、静音持续时间阈值或语音响应延迟判定阈值，使后续音频流的分帧边界、静音段切分结果及语音活动触发时刻发生同步变化，以重构后续特征提取的数据输入结构，教师语音为主状态和学生语音为主状态对应不同的分析参数。

9、s4、从多模态数据中提取目标空间观测节点的语音活动时序特征参数，语音活动时序特征参数包括非句法边界停顿时长、语音响应延迟时间和话轮交替频率，基于目标空间观测节点在历史同一声学交互状态下的参数值构建个体统计基线，并基于当前课堂内、处于同一声学交互状态的所有空间观测节点在同一声学交互状态下的实时参数值构建群体统计基线。

10、s5、利用调用的语音行为分析参数集，计算当前语音活动时序特征参数相对于个体统计基线和群体统计基线的偏差数据。

11、s6、当偏差数据超出预设阈值范围时，生成异常状态标记信号，并基于异常状态标记信号触发异常时序片段缓存、元数据标记或分析参数集的增量重训练。

12、进一步的，s2中依据多模态数据识别当前课堂的声学交互状态，包括：从多模态数据中提取语音能量空间分布特征和话轮交替频率；语音能量空间分布特征中教师语音能量占比高于预设的第一阈值，并且话轮交替频率低于预设的第二阈值时，识别为教师语音为主状态；语音能量空间分布特征中学生语音能量占比高于预设的第三阈值，并且话轮交替频率高于预设的第四阈值时，识别为学生语音为主状态。

13、进一步的，提取语音能量空间分布特征，包括：利用视频采集设备获取的视频流提取教师活动区域及学生座位区域的空间几何边界向量，利用空间几何边界向量构建空间区域加权矩阵，对音频采集设备采集的多通道声学能量矩阵进行逐元素空间加权计算，确定语音能量空间分布特征。

14、进一步的，多通道声学能量矩阵通过对音频采集设备获取的原始音频流进行波束成形处理后输出；逐元素空间加权计算采用加权矩阵与声学能量矩阵的哈达玛积运算实现。

15、进一步的，s3中利用调用的语音行为分析参数集动态调整语音活动检测窗口长度、时域分帧窗口长度、静音持续时间阈值或语音响应延迟判定阈值，包括：识别当前课堂为教师语音为主状态时，调大时域分帧窗口长度或调长静音持续时间阈值；识别当前课堂为学生语音为主状态时，调小时域分帧窗口长度或缩短语音活动检测判定窗口长度。

16、进一步的，s4中构建目标空间观测节点的个体统计基线，包括：获取目标空间观测节点在历史时间段内、处于当前声学交互状态下的语音活动时序特征参数历史数据；采用滑动窗口和指数滑动平均方式更新滑动均值和滑动方差，滑动均值的更新公式为：

17、

18、滑动方差的更新公式为：

19、

20、将更新后的滑动均值和滑动标准差作为个体统计基线，滑动标准差的更新公式为：

21、

22、其中，为更新后的当前滑动均值，为更新前的历史滑动均值，为更新后的当前滑动方差，为更新前的历史滑动方差，为当前观测值，为更新后的滑动标准差，为预设的学习率参数，取值范围为。

23、进一步的，s4中构建群体统计基线，包括：获取当前课堂内、处于同一声学交互状态的所有空间观测节点的语音活动时序特征参数实时数据；计算实时数据的算术平均值和总体标准差，将算术平均值和总体标准差作为群体统计基线。

24、进一步的，语音行为分析参数集包括非句法边界停顿时长阈值、跟读延迟时间阈值和语音响应延迟时间阈值；当声学交互状态为教师语音为主状态时，采用第一非句法边界停顿时长阈值，该阈值大于第二非句法边界停顿时长阈值；当声学交互状态为学生语音为主状态时，采用第二非句法边界停顿时长阈值，该阈值小于第一非句法边界停顿时长阈值。

25、进一步的，s5中计算当前语音活动时序特征参数相对于个体统计基线的偏差数据，包括：计算目标空间观测节点当前语音活动时序特征参数值相对于个体统计基线的第一标准化距离，第一标准化距离的计算方式为：

26、

27、其中，为第一标准化距离，为当前观测值，为个体统计均值，为个体统计标准差；

28、计算当前语音活动时序特征参数相对于群体统计基线的偏差数据，包括：

29、计算目标空间观测节点当前语音活动时序特征参数值相对于群体统计基线的第二标准化距离，第二标准化距离的计算方式为：

30、

31、其中，为第二标准化距离，为群体统计均值，为群体统计标准差；

32、偏差数据超出预设阈值范围，包括：

33、第一标准化距离的绝对值大于预设的第一灵敏度系数，表示为：

34、

35、其中，为第一灵敏度系数，；

36、同时，第二标准化距离的绝对值大于预设的第二灵敏度系数，表示为：

37、

38、其中，为第二灵敏度系数，。

39、进一步的，本发明还提供一种基于多模态数据的外语课堂学习行为分析系统，包括处理器和存储器，处理器执行存储器中存储的程序时，实现上述任意一项方法的步骤。

40、本技术语音行为序列特征的分析对象仅限于多模态时序数据中的客观声学响应特征与空间交互特征，分析结果仅作为数据层面的统计异常偏离检测结果，不用于、无法用于生成学习能力评分、教学评价结果或行为优劣判定结论。

41、与现有技术相比，本发明具有以下有益效果：

42、1.本发明通过声学交互状态感知机制，根据教师语音为主状态和学生语音为主状态动态调用不同的语音行为分析参数集，使系统分析参数能够与当前课堂中的语音行为特征统计分布自适应匹配，从而解决了固定参数系统在课堂声学状态切换条件下产生参数与数据分布错配的问题，降低了异常检测中的误报率和漏报率。

43、2.本发明通过动态调整语音活动检测窗口长度、时域分帧窗口长度、静音持续时间阈值及语音响应延迟判定阈值，使参数切换直接作用于底层数字信号处理流程，能够对后续音频流的分帧处理、静音段识别及语音活动检测过程进行自适应调节，从而提高不同课堂声学交互状态下语音活动特征提取的稳定性与准确性。

44、3.本发明针对外语课堂场景中特有的非句法边界停顿现象，通过状态感知驱动动态检测窗口机制，在教师讲解场景下避免将正常聆听静默误识别为异常响应延迟，在学生跟读及小组互动场景下提升对瞬态突发语音的捕获能力，从而提高了外语课堂复杂声学场景中的语音活动检测准确性。

45、4.本发明通过结合视频流提取的空间几何边界向量与音频波束成形后的多通道声学能量矩阵，构建空间区域加权矩阵，实现音视频数据在特征层面的空间融合，能够在多人同时发声及声场混叠条件下有效抑制非目标区域的混响干扰，提高语音能量空间分布特征的准确性，进而提升声学状态识别和异常检测的可靠性。

46、5.本发明同时构建个体统计基线与群体统计基线，并利用双重标准化距离进行协同偏差检测，使系统不仅能够反映目标空间观测节点的长期行为模式，还能够结合当前课堂整体分布状态进行实时对比，仅在同时偏离个体基线与群体基线时才生成异常状态标记信号，从而有效区分个体正常波动、群体共性变化与突发异常行为，降低异常检测误判。

47、6.本发明采用本地边缘计算架构完成多模态数据处理，原始音视频数据在完成特征提取后即时删除，仅保留匿名化特征数值进行后续分析，从而降低了原始数据传输与存储带来的带宽占用和隐私泄露风险，提高了系统在课堂场景中的实时处理能力与部署适应性。