一种多模态的智慧教室边缘计算控制系统

1.本发明涉及教育信息化技术领域，尤其是涉及一种多模态的智慧教室边缘计算控制系统。


背景技术：

2.近几年来，随着大数据与信息化技术的不断发展，互联网时代的到来，人们的生活和生产方式发生了巨大的变化。智能化和信息化的教育模式也成为了人们学习生活的日常化，教育手段的优化和创新需要从高校智慧教室设计入手。我国目前大部分的中小学都开始应用智慧教室技术，智慧教室物联网应用系统的功能部门通过控制逻辑进行联动，到目前为止智慧教室的控制方式，通常表现为两种形式：(1)智慧教室的控制方式主要是多个子系统各自分别控制，每次都要执行多个操作；(2)智慧教室的控制方式也可通过各个设备独立发挥作用、独立运行与控制，即通过对应设备的按钮、开关、遥控进行控制。
3.因此，现有的智慧教室控制系统或控制方式有如下缺点：
4.(1)控制方式较为粗放，单系统功能与控制方式较为单一。多个系统各自独立控制，各个系统互不通讯，或通讯方式与通讯方法较少，每次开关设备需要针对每种设备或子系统以人力的方式手动操作控制，每次开关设备耗时耗力，效率低下。
5.(2)现有智慧教室独立设备控制方式需要针对特定的设备使用特定的遥控器或按键板对其进行控制或使用，从而造成使用较为不便，效率低下，无法与“智能教室”所匹配，是单一功能设备的简单拼凑。
6.因此，需要一种高效的，便于管理与使用和多模态的智慧教室控制系统。


技术实现要素：

7.本发明的目的是提供一种多模态的智慧教室边缘计算控制系统，通过增加语音控制、手势控制、多模态控制方法，使各个设备之间互联互通，比单独使用手工按钮节省时间，方便便捷。
8.为实现上述目的，本发明提供了一种多模态的智慧教室边缘计算控制系统，包括包括音频数据采集单元、全景图像采集及ai计算单元、网络连接单元和设备控制单元，音频数据采集单元、全景图像采集及ai计算单元、网络连接单元和设备控制单元与控制器连接；所述音频数据采集单元包括麦克风组件，麦克风组件包括麦克风、音频处理芯片和用于焊接组装的印刷电路板，用于获取目标声音；全景图像采集及ai计算单元包括全景摄像机，所述全景摄像机包括多个无死角拍摄的高清普通摄像机，用于获取智慧教室内部全景图像数据；网络连接单元包括wifi6无线网络单元、光纤接入单元和rj45有线网络单元，用于普通计算设备、iot设备和其他无线设备的接入；设备控制单元通过rs232总线接口对iot设备进行控制。
9.优选的，所述音频数据采集单元采集多个不同方向的声音并对其进行降噪，提供一种语音信号的降噪处理方法，该方法包括以下步骤：
10.s1、通过麦克风组成的多麦克风阵列拾取声音数据预存至系统的存储器；
11.s2、对待处理的语音数据进行预处理，得到第一特征的音频数据；预处理调用深度学习算法对语音数据进行初步的处理，包括去除语音数据中的环境底噪，留出较为清晰的人声；
12.s3、调用预设的二阶降噪算法对第一特征的音频数据进行二次处理，过滤掉语音数据中的平稳噪声，得到第二特征数据；
13.s4、将第一特征数据和第二特征数据输入至预设的降噪深度学习算法，过滤待处理语音数据中的瞬态噪声，并得到第三特征数据；
14.s5、根据第一特征数据、第二特征数据和第三特征数据，确定降噪处理后的语音数据。
15.优选的，所述全景图像采集及ai计算单元根据宽度学习算法模型对全景摄像机采集的声音与图像进行解算，用于分析学生的专注度与情感、学习环境氛围。
16.优选的，所述宽度学习算法模型对全景摄像机采集的声音与图像进行解算，包括以下步骤：
17.s1、根据智慧教室的教师和学生的数据，即用户数据进行宽度学习算法模型训练；
18.s2、将用户数据、环境声音数据与图像数据同时传输至完成模型训练的宽度学习算法模型和hmm情感计算模型内；
19.s3、通过宽度学习算法模型对教师和学生的授课与学习过程行为进行预测，理解教师和学生的语言和动作意图；
20.s4、将被理解的教师和学生的语言和动作意图数据传入至hmm情感计算模型中，进行数据预处理，将用户数据、智慧教室环境数据和预处理的意图数据转换为能被hmm情感计算模型理解的数据表达信息；
21.s5、提取与教师和学生相关的特征数据，进行教师和学生的情感识别；
22.s6、建立hmm情感计算模型，将智慧教室环境数据和意图数据作为敏感因素指标，对hmm情感计算模型进行矫正；
23.s7、输出符合教师和学生需求的情感表达数据。
24.优选的，所述设备控制单元通过rs232总线接口对iot设备进行控制的控制方式包括对智慧教室内多个红外接收遥控设备进行控制和通过深度学习算法加速，利用多麦克风阵列和全景摄像机，生成控制指令进行语音或手势控制。
25.上述的一种多模态的智慧教室边缘计算控制终端，包括设备外壳，设备外壳内部设置有印刷电路板和控制器，印刷电路板与控制器连接，印刷电路板上设置有麦克风和音频处理芯片，设备外壳的一侧设置有外部设备接口和按键板，按键板相邻的设备外壳的侧面设置有无线网络接口，无线网络接口相对的设备外壳的侧面设置有有线网络接口和电源输入接口，外部设备接口与按键板相对的设备外壳的侧面设置有全景摄像机，麦克风、音频处理芯片、外部设备接口、按键板、无线网络接口、有线网络接口、电源输入接口、全景摄像机均与控制器连接。
26.本发明所述的一种多模态的智慧教室边缘计算控制系统的优点和积极效果是：
27.1、保留手工按钮控制的同时，增加了语音控制、手势控制，多模态控制方式，比单独使用手工按钮逐步控制，节省时间，方便快捷。
28.2、改变以往多种控制子系统，通过多模态智慧教室边缘计算控制系统使各设备之间互联互通。
29.3、将语音处理放在本地终端，边缘计算处理，而不是云端处理，降低了对网络的依赖性，提升了控制延时，使响应更迅速。
30.4、固定手势识别，深度学习算法本地终端边缘计算实时处理。
31.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
32.图1为本发明一种多模态的智慧教室边缘计算控制系统实施例的结构示意图；
33.图2为本发明一种多模态的智慧教室边缘计算控制系统实施例的另一角度结构示意图；
34.图3为本发明一种多模态的智慧教室边缘计算控制系统实施例的多麦克风阵列语音降噪流程图；
35.图4为本发明一种多模态的智慧教室边缘计算控制系统实施例的全景图像识别功能构成示意图；
36.图5为本发明一种多模态的智慧教室边缘计算控制系统实施例的控制工作流程图。
37.附图标记
38.1、麦克风；2、按键板；3、外部设备接口；4、无线网络天线接口；5、全景摄像机；6、有线网络接口；7、电源输入接口；8、设备外壳；9、音频处理芯片。
具体实施方式
39.以下通过附图和实施例对本发明的技术方案作进一步说明。
40.除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
41.实施例
42.一种多模态的智慧教室边缘计算控制系统，包括音频数据采集单元、全景图像采集及ai计算单元、网络连接单元和设备控制单元，音频数据采集单元、全景图像采集及ai计算单元、网络连接单元和设备控制单元与控制器连接。音频数据采集单元包括麦克风组件，麦克风组件包括4-8个硅芯片麦克风zts6032m器件、xmos-xvf3610语音处理芯片和用于焊接组装的玻璃纤维pcb基板，用于获取目标声音。全景图像采集及ai计算单元包括全景摄像机，所述全景摄像机包括多个无死角拍摄的高清普通摄像机，用于获取智慧教室内部全景图像数据。网络连接单元包括wifi6无线网络单元、光纤接入单元和rj45有线网络单元，用
于普通计算设备、iot设备和其他无线设备的接入。设备控制单元通过rs232总线接口对iot设备进行控制。
43.多模态智慧教室边缘计算控制终端搭载多个麦克风，多个麦克风组成拾音阵列，能够有效的从环境中提取各个方向的声音。由于智慧教室中存在诸多不可控噪声，因此需要多模态智慧教室边缘计算控制终端能够自动提取目标声音，通过音频处理芯片对由拾音麦克风阵列提取的声音进行处理，过滤掉无用的噪声，提取出有用的目标声音，并能够保障目标声音足够清晰。因此就需要引入多麦克风降噪算法，以保证音频数据的有效采集。
44.图3为多麦克风阵列语音降噪流程图，如图所示，为解决麦克风降噪的问题，提供一种语音信号的降噪处理方法，该方法包括以下步骤：
45.s1、通过多麦克风组成的多麦克风阵列拾取声音数据预存至系统的存储器；
46.s2、对待处理的语音数据进行预处理，得到第一特征的音频数据；预处理调用深度学习算法对语音数据进行初步的处理，包括去除语音数据中的环境底噪，留出较为清晰的人声；
47.s3、调用预设的二阶降噪算法对第一特征的音频数据进行二次处理，过滤掉语音数据中的平稳噪声，得到第二特征数据；
48.s4、将第一特征数据和第二特征数据输入至预设的降噪深度学习算法，过滤待处理语音数据中的瞬态噪声，并得到第三特征数据；
49.s5、根据第一特征数据、第二特征数据和第三特征数据，确定降噪处理后的语音数据。
50.图5为一种多模态的智慧教室边缘计算控制系统实施例的控制工作流程图，设备控制单元通过rs232总线接口对iot设备进行控制。如图所示，通过多模态语音和全景图像识别可以实现对智慧教室的语音控制和手势控制。
51.在多模态语音控制中，多麦克风阵列能够从智慧教室的大场景中拾取声音数据并自动过滤，多麦克风阵列通过不同位置的麦克风能够从不同的方向识别获取并识别声音，使得拾取的声音更为立体，可以实现语音识别的方式控制智慧教室中的各类设备，如语音控制电子触摸大屏开关，语音控制智慧教室灯光窗帘开关和语音控制智慧教室内智慧录播系统的工作状态等。
52.在全景图像识别控制中，全景摄像机安装在智慧教室中，用于获取智慧教室内部全景图像数据，通过图像边缘计算算法识别全景图像中的任何人的肢体动作，通过在多模态智慧教室边缘计算控制终端系统中预设多种智慧教室内设备控制动作，终端系统即可通过智慧教室内的教师或学生做出的肢体动作或局部动作达到控制智慧教室内各类设备的目的，如手势控制电子触摸大屏开关等。
53.如图4所示，全景图像识别功能的实现包括全景摄像机、多模态智慧教室边缘计算控制终端的图像处理器、语音或图像提示器即操纵命令确认的语音提示喇叭和操控的目标设备。
54.多模态智慧教室边缘计算控制系统可通过智慧教室内的全景摄像机获取智慧教室内的图像，对学生的专注度与情感和学习氛围进行计算。
55.多模态智慧教室边缘计算控制系统通过智慧教室内的全景摄像机获取上课学生的实时表情、肢体动作、眼部动作进行宽度学习算法模型训练，利用多模态智慧教室边缘计
算控制终端搭载的ai计算单元，根据宽度学习算法模型对全景摄像机获取的图像进行解算，并将解算结果汇入智慧教室的学情分析系统，对学生的上课专注度与学生情感进行分析，从而帮助教师分析学生学习成果。
56.多模态智慧教室边缘计算控制终端通过智慧教室内的全景摄像机获取智慧教室内的图像数据，并使用多麦克风阵列获取智慧教室内的语音信息，利用多模态智慧教室边缘计算控制终端搭载的ai计算单元，根据宽度学习算法模型，对智慧教室的语音数据和图像数据进行分析，分析结果包括语音语义、语音情感、学生与教师的肢体动作和面部表情等，得出学习环境氛围，从而帮助教师通过分析学习环境氛围得出影响学生学习效果的内在因素。
57.使用宽度学习算法模型对全景摄像机采集的声音与图像进行解算，包括以下步骤：
58.s1、根据智慧教室的教师和学生的数据，即用户数据进行宽度学习算法模型训练；
59.s2、将用户数据、环境声音数据与图像数据同时传输至完成模型训练的宽度学习算法模型和hmm情感计算模型内；
60.s3、通过宽度学习算法模型对教师和学生的授课与学习过程行为进行预测，理解教师和学生的语言和动作意图；
61.s4、将被理解的教师和学生的语言和动作意图数据传入至hmm情感计算模型中，进行数据预处理，将用户数据、智慧教室环境数据和预处理的意图数据转换为能被hmm情感计算模型理解的数据表达信息；
62.s5、提取与教师和学生相关的特征数据，进行教师和学生的情感识别；
63.s6、建立hmm情感计算模型，将智慧教室环境数据和意图数据作为敏感因素指标，对hmm情感计算模型进行矫正；
64.s7、输出符合教师和学生需求的情感表达数据。
65.如图1和图2所示，一种多模态的智慧教室边缘计算控制终端，包括设备外壳8，设备外壳8内部设置有印刷电路板和控制器，印刷电路板与控制器连接，印刷电路板上设置有麦克风1和音频处理芯片9，麦克风1设置有4-8个，麦克风1阵列设置在印刷电路板四周，设备外壳8的一侧设置有外部设备接口3和按键板2，按键板2相邻的设备外壳8的侧面设置有无线网络接口4，无线网络接口4相对的设备外壳8的侧面设置有有线网络接口6和电源输入接口7，外部设备接口3与按键板2相对的设备外壳8的侧面设置有全景摄像机5，麦克风1、音频处理芯片9、外部设备接口3、按键板2、无线网络接口4、有线网络接口6、电源输入接口7、全景摄像机5均与控制器连接。
66.麦克风阵列，使用时，系统能够自动调用麦克风阵列拾取的来自多个方向的环境音，送入音频处理芯片9进行处理即可对噪声进行过滤，多个麦克风1能够更灵敏和清晰的获取声音信息。
67.按键板2，使用时，用户可通过按键板2在多模态智慧教室边缘计算控制终端手动操作系统按键菜单配置各类参数，也可用按键板2以手动的方式控制选定的物联网设备，如智慧教室的窗帘、灯光等设备。
68.外部设备接口3，在安装本终端设备时，可通过特定的端口接入合适的外部设备，外部设备接口3提供了多种不同的通讯协议，用以接入并控制智慧教室中的多个设备，与外
部设备通信。
69.无线网络天线接口4，使用时接入无线网络天线，无线网络天线不仅能直接安装于终端机体本身，也能通过天线电缆安装与智慧教室的各个点位，使得智慧教室能够实现多点位网络覆盖。
70.全景摄像机5，全景摄像机5能够根据系统程序自动拍摄智慧教室的图像，送入系统处理后即可通过ai深度学习算法识别图像中的教师和学生，从而为学情分析和情感计算提供数据资源。
71.有线网络接口6可接入光纤和以太网络，光纤网络的高数据带宽和传输速度有利于传输连续高质量的多媒体资源，以太网络用于设备间的数据交换和网络输入。
72.电源输入接口7为终端接入电源。设备外壳8用于安装各个单元设备，为整个硬件系统提供稳固的运行环境。
73.因此，本发明采用上述的一种多模态的智慧教室边缘计算控制系统，通过增加语音控制、手势控制、多模态控制方法，使各个设备之间互联互通，比单独使用手工按钮节省时间，方便便捷。
74.最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。