一种多模态的智慧教室边缘计算控制系统

技术特征：
1.一种多模态的智慧教室边缘计算控制系统，其特征在于：包括音频数据采集单元、全景图像采集及ai计算单元、网络连接单元和设备控制单元，音频数据采集单元、全景图像采集及ai计算单元、网络连接单元和设备控制单元与控制器连接；所述音频数据采集单元包括麦克风组件，麦克风组件包括麦克风、音频处理芯片和用于焊接组装的印刷电路板，用于获取目标声音；全景图像采集及ai计算单元包括全景摄像机，所述全景摄像机包括多个无死角拍摄的高清普通摄像机，用于获取智慧教室内部全景图像数据；网络连接单元包括wifi6无线网络单元、光纤接入单元和rj45有线网络单元，用于普通计算设备、iot设备和其他无线设备的接入；设备控制单元通过rs232总线接口对iot设备进行控制。2.根据权利要求1所述的一种多模态的智慧教室边缘计算控制系统，其特征在于：所述音频数据采集单元采集多个不同方向的声音并对其进行降噪，提供一种语音信号的降噪处理方法，该方法包括以下步骤：s1、通过麦克风组成的多麦克风阵列拾取声音数据预存至系统的存储器；s2、对待处理的语音数据进行预处理，得到第一特征的音频数据；预处理调用深度学习算法对语音数据进行初步的处理，包括去除语音数据中的环境底噪，留出较为清晰的人声；s3、调用预设的二阶降噪算法对第一特征的音频数据进行二次处理，过滤掉语音数据中的平稳噪声，得到第二特征数据；s4、将第一特征数据和第二特征数据输入至预设的降噪深度学习算法，过滤待处理语音数据中的瞬态噪声，并得到第三特征数据；s5、根据第一特征数据、第二特征数据和第三特征数据，确定降噪处理后的语音数据。3.根据权利要求1所述的一种多模态的智慧教室边缘计算控制系统，其特征在于：所述全景图像采集及ai计算单元根据宽度学习算法模型对全景摄像机采集的声音与图像进行解算，用于分析学生的专注度与情感、学习环境氛围。4.根据权利要求3所述的一种多模态的智慧教室边缘计算控制系统，其特征在于：所述宽度学习算法模型对全景摄像机采集的声音与图像进行解算，包括以下步骤：s1、根据智慧教室的教师和学生的数据，即用户数据进行宽度学习算法模型训练；s2、将用户数据、环境声音数据与图像数据同时传输至完成模型训练的宽度学习算法模型和hmm情感计算模型内；s3、通过宽度学习算法模型对教师和学生的授课与学习过程行为进行预测，理解教师和学生的语言和动作意图；s4、将被理解的教师和学生的语言和动作意图数据传入至hmm情感计算模型中，进行数据预处理，将用户数据、智慧教室环境数据和预处理的意图数据转换为能被hmm情感计算模型理解的数据表达信息；s5、提取与教师和学生相关的特征数据，进行教师和学生的情感识别；s6、建立hmm情感计算模型，将智慧教室环境数据和意图数据作为敏感因素指标，对hmm情感计算模型进行矫正；s7、输出符合教师和学生需求的情感表达数据。5.根据权利要求1所述的一种多模态的智慧教室边缘计算控制系统，其特征在于：所述设备控制单元通过rs232总线接口对iot设备进行控制的控制方式包括对智慧教室内多个红外接收遥控设备进行控制和通过深度学习算法加速，利用多麦克风阵列和全景摄像机，
生成控制指令进行语音或手势控制。6.根据权利要求1-5任一项所述的一种多模态的智慧教室边缘计算控制终端，其特征在于：包括设备外壳，设备外壳内部设置有印刷电路板和控制器，印刷电路板与控制器连接，印刷电路板上设置有麦克风和音频处理芯片，设备外壳的一侧设置有外部设备接口和按键板，按键板相邻的设备外壳的侧面设置有无线网络接口，无线网络接口相对的设备外壳的侧面设置有有线网络接口和电源输入接口，外部设备接口与按键板相对的设备外壳的侧面设置有全景摄像机，麦克风、音频处理芯片、外部设备接口、按键板、无线网络接口、有线网络接口、电源输入接口、全景摄像机均与控制器连接。

技术总结
本发明公开了一种多模态的智慧教室边缘计算控制系统，包括音频数据采集单元、全景图像采集及AI计算单元、网络连接单元和设备控制单元，所述音频数据采集单元包括麦克风组件，用于获取目标声音；全景图像采集及AI计算单元包括全景摄像机，用于获取智慧教室内部全景图像数据；网络连接单元包括WIFI6无线网络单元、光纤接入单元和RJ45有线网络单元，用于普通计算设备、IoT设备和其他无线设备的接入；设备控制单元通过RS232总线接口对IoT设备进行控制。本发明采用上述的一种多模态的智慧教室边缘计算控制系统，通过增加语音控制、手势控制、多模态控制方法，使各个设备之间互联互通，比单独使用手工按钮节省时间，方便便捷。方便便捷。方便便捷。


技术研发人员：黄荣怀
受保护的技术使用者：北京师范大学
技术研发日：2022.10.10
技术公布日：2022/12/16