基于多摄像头协同感知的学生情绪行为分析系统及方法与流程

本发明涉及人工智能与教育信息化，特别涉及基于多摄像头协同感知的学生情绪行为分析系统及方法。

背景技术：

1、随着人工智能与计算机视觉技术的快速发展，基于人脸表情识别的情绪分析技术已在多个领域得到应用。在教育领域，对课堂中学生情绪状态的实时感知与分析，对于教师优化教学策略、提升教学质量具有重要意义。

2、然而，现有的课堂教学情绪分析技术仍存在以下不足：

3、第一，传统课堂情绪分析主要依赖教师的主观观察与经验判断，难以实现对全班学生情绪的全面、实时、客观的量化评估，且人工观察存在主观性强、覆盖面有限等问题。

4、第二，现有基于摄像头的课堂监控方案通常采用单摄像头采集教室全景画面，由于教室空间较大、学生分布分散，单摄像头难以同时获取所有学生的清晰面部图像，导致远离摄像头的学生面部图像分辨率不足，情绪识别精度大幅下降。

5、第三，现有情绪识别系统多将采集的图像数据传输至云端进行处理，一方面造成较大的网络带宽占用和传输延迟，难以满足课堂实时分析的需求；另一方面，将包含学生面部生物特征信息的图像数据上传云端，存在隐私泄漏风险。

6、第四，现有情绪分析系统大多仅输出个体情绪分类结果，缺乏对群体情绪的聚合统计分析以及与空间位置信息关联的可视化呈现能力，难以直观反映课堂整体情绪分布状况和变化趋势。

技术实现思路

1、本发明所解决的技术问题：本发明提供一种基于多摄像头协同感知的学生情绪行为分析系统及方法，旨在通过端侧全闭环感知与云端轻量化可视分析的协同架构，同步解决现有的课堂情绪分析技术存在的大空间覆盖盲区、远距离识别精度不足、隐私泄漏风险和多维度数据融合可视化缺失的问题。

2、本发明解决上述技术问题采用的技术方案：基于多摄像头协同感知的学生情绪行为分析系统，包括端侧智能感知设备和云端情绪数据管理平台；

3、所述端侧智能感知设备集成有多摄像头协同采集模块和神经网络处理单元；所述多摄像头协同采集模块用于采集目标区域内的图像数据；所述神经网络处理单元上运行有端侧情绪分析引擎，所述端侧情绪分析引擎与所述多摄像头协同采集模块通信连接，用于对所述多摄像头协同采集模块采集的图像数据执行情绪分析处理，生成结构化情绪数据并输出至云端情绪数据管理平台；

4、云端情绪数据管理平台，与所述端侧智能感知设备通信连接，用于接收并存储所述结构化情绪数据，并生成学科情绪对比图、教室空间情绪分布热力图及个体情绪变化趋势图进行可视化呈现。

5、进一步的，所述多摄像头协同采集模块包括一颗广角主摄像头和三颗辅摄像头，所述广角主摄像头用于采集所述目标区域的全景画面并提供空间定位基准，所述三颗辅摄像头分别覆盖所述目标区域的左区、中区和右区，拼接形成覆盖所述目标区域全宽度的合成画面；所述端侧智能感知设备还包括帧同步控制器，用于使各摄像头在同一时间基准下采集图像。

6、进一步的，所述端侧情绪分析引擎包括人脸检测与追踪模块、人脸质量评估模块、情绪特征提取模块、情绪分类模块和群体情绪聚合模块；

7、所述人脸检测与追踪模块，用于检测所述图像数据中的人脸图像并为每张人脸图像分配唯一追踪标识；

8、所述人脸质量评估模块，用于对检测到的人脸图像进行质量评分，当质量评分达到预设阈值时，将检测到的人脸图像送入情绪特征提取模块；

9、所述情绪特征提取模块，用于根据人脸图像在所述图像数据中的尺寸采取不同的特征提取策略，提取情绪特征；

10、所述情绪分类模块，用于基于提取的情绪特征输出情绪分类结果；

11、所述群体情绪聚合模块，用于根据各追踪标识将每个人脸图像及其情绪分类结果关联至所述目标区域内对应的目标对象，将所述目标区域内各目标对象所对应的人脸图像的情绪分类结果按积极情绪和消极情绪进行聚合统计，并将各目标对象的情绪分类结果与所述目标对象在所述目标区域内的空间坐标关联，生成带空间位置信息的结构化情绪数据。

12、进一步的，所述情绪特征提取模块对于尺寸大于或等于预设阈值的人脸图像采用直接提取情绪特征的策略，对于尺寸小于预设阈值的人脸图像采用先进行超分辨率重建再提取情绪特征的策略；所述情绪分类模块输出七维情绪分类结果，所述七维情绪包括快乐、平静、悲伤、愤怒、惊讶、厌恶和恐惧。

13、进一步的，所述图像数据存储于端侧，所述端侧智能感知设备通过长连接经加密通道向云端实时推送所述结构化情绪数据；当消极情绪人数占目标区域总人数的比例超过预设阈值时，所述端侧智能感知设备向所述云端情绪数据管理平台推送预警消息。

14、进一步的，所述云端情绪数据管理平台包括学科情绪画像模块、空间情绪分布模块和个体情绪追踪模块；

15、所述学科情绪画像模块，用于按学科维度聚合所述结构化情绪数据，生成不同学科的情绪对比分析和时间趋势分析；

16、所述空间情绪分布模块，用于将所述目标区域划分为多个网格区域，统计各网格区域的情绪分类结果分布，以可视化方式呈现；

17、所述个体情绪追踪模块，用于追踪各目标对象的情绪分类结果变化趋势，当目标对象在预设连续时间段内消极情绪占比超过预设阈值时，生成预警消息并推送至对应教师。

18、进一步的，所述端侧智能感知设备为一体化嵌入式设备，所述多摄像头协同采集模块和所述神经网络处理单元集成于所述一体化嵌入式设备中；或者，所述端侧智能感知设备为独立摄像机模块，所述多摄像头协同采集模块和所述神经网络处理单元集成于所述独立摄像机模块中。

19、本发明还提供一种基于多摄像头协同感知的学生情绪行为分析方法，应用于如上所述的基于多摄像头协同感知的学生情绪行为分析系统，所述方法包括以下步骤：

20、通过多摄像头协同采集目标区域的图像数据，其中采用广角摄像头采集所述目标区域的全景画面，采用多个辅摄像头分别采集所述目标区域的不同子区域画面；

21、在端侧对所述辅摄像头采集的图像数据进行人脸检测与追踪，为检测到的各人脸图像分配唯一追踪标识；

22、在端侧对检测到的人脸图像进行情绪分析处理，生成结构化情绪数据；

23、将所述结构化情绪数据传输至云端，在云端进行数据可视化分析。

24、进一步的，所述情绪分析处理包括以下步骤：

25、对检测到的人脸图像进行质量评分，当质量评分达到预设阈值时，根据人脸图像在所述图像数据中的尺寸采取不同的特征提取策略提取情绪特征，并基于提取的情绪特征输出情绪分类结果；所述特征提取策略包括对于尺寸大于或等于预设阈值的人脸图像采用直接提取情绪特征的策略，对于尺寸小于预设阈值的人脸图像采用先进行超分辨率重建再提取情绪特征的策略；

26、根据各追踪标识将每个人脸图像及其情绪分类结果关联至所述目标区域内对应的目标对象，将所述目标区域内各目标对象所对应的人脸图像的情绪分类结果与各目标对象在所述目标区域内的空间坐标关联，生成带空间位置信息的结构化情绪数据。

27、进一步的，所述方法还包括：

28、由端侧智能感知设备将所述图像数据存储于端侧，并通过长连接经加密通道向云端实时推送所述结构化情绪数据；当消极情绪人数占目标区域总人数的比例超过预设阈值时，由端侧智能感知设备推送预警消息至云端情绪数据管理平台；

29、由云端情绪数据管理平台按学科维度聚合所述结构化情绪数据，生成不同学科的情绪对比分析和时间趋势分析，将所述目标区域划分为多个网格区域，统计各网格区域的情绪分类结果分布并进行可视化呈现，并追踪各目标对象的情绪分类结果变化趋势，当目标对象在预设连续时间段内消极情绪占比超过预设阈值时生成预警消息并推送至对应教师。

30、本发明的有益效果：

31、本发明通过多摄像头协同采集的架构，结合广角主摄像头提供空间定位基准、多辅摄像头分区域覆盖的方案，能够实现教室全域无盲区的图像采集，有效解决了传统单摄像头方案中远离摄像头位置学生面部图像分辨率不足的问题，大幅提升了全班学生情绪识别的整体精度。

32、本发明采用端侧全闭环处理的架构，所有包含学生的原始图像数据均存储于端侧，仅向云端传输结构化情绪数据，既大幅降低了网络带宽占用，消除了云端处理带来的传输延迟，能够满足课堂实时分析的应用需求，又从根源上避免了学生面部隐私数据外传的风险，有效提升了系统的数据安全性。

33、本发明针对不同尺寸的人脸图像采用差异化的情绪特征提取策略，对低分辨率小尺寸人脸先进行超分辨率重建再提取特征，进一步提升了小尺寸人脸的情绪识别准确率，适配了课堂场景下不同空间位置学生的识别需求，系统鲁棒性更强。

34、本发明的云端情绪数据管理平台可实现多维度的情绪数据可视化分析，既能够从学科、时间维度完成群体情绪的聚合统计与趋势分析，也能够结合学生空间位置生成课堂情绪分布热力图，还可对个体学生的情绪变化进行长期追踪并自动触发预警，能够为教师提供直观、全面的课堂情绪状态参考，助力教师及时调整教学节奏、优化教学策略，同时也为教育教学量化研究提供了可靠的数据支撑。