一种虚拟形象在线智能教学的方法、平台、设备及介质

1.本发明涉及智能教育领域，尤其涉及一种虚拟形象在线智能教学的方法、平台、设备及介质。


背景技术：

2.随着科学技术的发展，使得在线学习开始发展，一开始只是简单的在线文字问答互动，然后到专门有平台针对某一个领域的教育学习平台或者论坛；从简单的录播课程到现在的老师在线直播上课，在线教育的发展越来越快速与多元化，而在线教育平台的竞争也日趋白热化。随着近几年在线教育的需求大增，以及竞争下收入的下降，对相关技术的成本与效果的要求也越来越高。
3.目前计算机编程是热门的在线学习课程之一，大多提供线编程教育的平台，为初学者提供录播课的学习模式，让学生跟着录播视频以及联系题学习，可以使学生学习时间的灵活性大大增加，但是由于编程在学习的过程中每一位学生都会存在例如：系统环境配置问题、开发程序安装问题、硬件性能受限、课程内容存在疑问等一系列的问题，如何与学生及时沟通，并帮助他们解决问题，是在线学习平台非常重视的一个问题。现有的在线教育平台通常是老师在线视频直播课，老师或者运营团队为同学在线答疑，批改线上作业。
4.然而，现有的在线教育平台通常面临一些问题：1、教学模式枯燥单一，编程学习本身初学较为难入门，老师上课的模式也主要是按部就班的按照教学课程教学生编程语言和解答问题，模式单一并且枯燥，降低了学生继续学习的兴趣和动力；2、在线直播课程，部分学生面对直播的老师会害羞，对自己存在的问题尽量少的提问，与老师存在距离感，导致在上课的体验上并不理想，部分问题得不到解决，长期学习会导致很多学习问题不断累积，难以和老师进行良好的沟通；3、在线直播的视频流的教学模式，成本较高，由于需要及时和学生进行答疑和沟通，在线视频的老师无法一对几十位学生，需要大量的教学老师和运营团队以及场地；对于大多数中小企业的教学平台，这种教学模式非常昂贵，除了少数头部企业可以实现这样的模式，其他企业很难在在线教学平台上有所发展；4、录播视频教学、同质化严重，学习效果不理想，视频教学内容容易被盗用或者共用，平台收益低。


技术实现要素：

5.为了解决现有的在线教育平台教学模式枯燥单一、真人录播和真人直播教学容易导致学生存在距离感，导致学习效果不理想，且真人直播上课人力成本过高的问题，本发明提供一种虚拟形象在线智能教学的方法、平台、设备及介质。
6.本发明提供一种虚拟形象在线智能教学的方法，包括：
7.通过绘图渲染技术与语音合成技术生成虚拟形象；
8.采集教学相关的问题及其答案的样本，并将其构建为训练集和测试集；
9.通过机器学习算法构建神经网络模型，并通过所述训练集和所述测试集对所述神经网络模型进行迭代优化，得到智能教师模块；
10.输出教学内容；其中，所述教学内容包括教学课件，以及用于控制所述虚拟形象图像以及音频输出的控制脚本，所述虚拟形象执行所述控制脚本输出图像及音频；
11.输出互动窗体，依据互动窗体采集的输入内容反馈操作结果，并检测输入内容中是否存在问题；其中，所述问题包括操作错误或主动提问；
12.如确认存在问题，则通过所述智能教师模块得到所述问题的第一答案，并通过所述虚拟形象输出所述第一答案。
13.作为优选地，所述互动窗体包括操作窗口以及交流窗口；其中，所述操作窗口用于人机交互的操作内容的输入和输出，所述交流窗口用于多个终端相互之间进行通信的交流内容的输入和输出；
14.所述输出互动窗体，依据互动窗体采集的输入内容反馈操作结果，并检测输入内容中是否存在问题；具体为：
15.输出所述操作窗口，根据所述操作窗口采集到的操作内容，检测操作内容中是否存在操作错误，否则，反馈操作结果；
16.输出所述交流窗口，根据所述交流窗口输入的交流内容，检测所述交流内容中是否包含主动提问，否则，将所述交流窗口输入的内容作为交流内容显示在所述多个终端的所述交流窗口。
17.优选地，还包括：
18.当所述输入内容包含音频信息时，将音频信息通过语音识别转换为文字信息。
19.优选地，还包括：
20.搭建后台操作环境，并检测所述互动窗体所在的本地操作环境是否出现故障；
21.如确认出现故障，则无缝切换本地操作环境和后台操作环境，后台操作环境执行操作内容，并将操作结果返回给互动窗体。
22.优选地，还包括：
23.在通过所述虚拟形象输出所述第一答案后，收集答案满意度；
24.当答案满意度小于第一阈值时，将所述问题和所述第一答案发送至运营团队，所述运营团队改正或补充所述第一答案形成第二答案；
25.将所述第二答案及其对应的问题录入所述训练集和所述测试集，并用其对智能教师模块进行迭代优化。
26.优选地，所述虚拟形象包括预设动作、动作触发条件和语音触发条件，每个预设动作关联有至少一个所述动作触发条件；
27.所述语音触发条件是检测到需要通过所述虚拟形象输出文字信息时，利用语音合成将文字信息转换成音频信息输出；
28.所述动作触发条件包括关键字触发、延时触发、随机触发和事件触发，当检测到所述动作触发条件时，控制所述虚拟形象执行其关联的预设动作。
29.本发明还提供一种虚拟形象在线智能教学的平台，包括：虚拟形象模块、收集模块、训练模块、显示模块、互动模块和智能教师模块；
30.所述虚拟形象模块用于通过绘图渲染技术与语音合成技术生成虚拟形象；
31.所述收集模块用于采集教学相关的问题及其答案的样本，并将其构建为训练集和测试集；
32.所述训练模块用于通过机器学习算法构建神经网络模型，并通过所述训练集和所述测试集对所述神经网络模型进行迭代优化，得到智能教师模块；
33.所述显示模块用于输出教学内容；其中，所述教学内容包括教学课件，以及用于控制所述虚拟形象图像以及音频输出的控制脚本，所述虚拟形象执行所述控制脚本输出图像及音频；
34.所述互动模块用于输出互动窗体，依据互动窗体采集的输入内容反馈操作结果；
35.所述智能教师模块用于检测输入内容中是否存在问题；其中，所述问题包括操作错误或主动提问；如确认存在问题，则通过所述智能教师模块得到所述问题的第一答案，并通过所述虚拟形象输出所述第一答案。
36.作为优选地，所述智能教师模块包括操作单元以及交流单元；所述互动窗体包括操作窗口以及交流窗口；
37.所述操作单元用于根据所述操作窗口采集到的操作内容，检测操作是否存在问题，否则，反馈操作结果；
38.所述交流单元用于根据所述交流窗口输入的内容，检测所述输入内容是否包含问题，否则，将所述交流窗口输入的内容作为交流内容显示在所述交流窗口。
39.本发明还提供一种终端设备，包括处理器和存储装置，所述存储装置用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，所述处理器实现上述一种虚拟形象在线智能教学的方法。
40.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述一种虚拟形象在线智能教学的方法。
41.本发明的有益效果是：
42.通过智能教师模块的虚拟形象代替了直播老师，避免了学生和真人老师面对面视频学习的尴尬，上课过程中学生可以通过互动窗体与智能教师模块进行互动答疑，通过深度学习算法，常用问题可以自动回复学生，减少了答疑问题的时间，增加学生对学习课程的活跃度，智能教师模块无需全程控制操作即可完成教学任务。
43.优选地，针对输入内容的问题可以智能回复，无法智能回答的问题或者对答案不满意的问题则传输给专门的后台运营老师统一解决。
附图说明
44.下文将结合说明书附图对本发明进行进一步的描述说明，其中：
45.图1为本发明其中一个实施例的虚拟形象在线智能教学的方法流程图。
具体实施方式
46.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.参见图1，作为本发明的其中一个实施例，包含一种虚拟形象在线智能教学的方
法，其实现步骤如下：
48.s1、通过绘图渲染技术与语音合成技术生成虚拟形象；
49.s2、采集教学相关的问题及其答案的样本，并将其构建为训练集和测试集；
50.s3、通过机器学习算法构建神经网络模型，并通过所述训练集和所述测试集对所述神经网络模型进行迭代优化，得到智能教师模块；
51.s4、输出教学内容；其中，所述教学内容包括教学课件，以及用于控制所述虚拟形象图像以及音频输出的控制脚本，所述虚拟形象执行所述控制脚本输出图像及音频；
52.s5、输出互动窗体，依据互动窗体采集的输入内容反馈操作结果；
53.s6、检测输入内容中是否存在问题；其中，所述问题包括操作错误或主动提问；
54.s61、若是，则通过所述智能教师模块得到所述问题的第一答案，并通过所述虚拟形象输出所述第一答案。
55.优选地，所述步骤s5中，还包括分步骤如下：
56.s51、当所述输入内容包含音频信息时，将音频信息通过语音识别转换为文字信息。
57.优选地，所述互动窗体包括操作窗口以及交流窗口；其中，所述操作窗口用于人机交互的操作内容的输入和输出，所述交流窗口用于多个终端相互之间进行通信的交流内容的输入和输出；
58.所述步骤s5，包括分步骤如下：
59.s52、输出所述操作窗口，根据所述操作窗口采集到的操作内容，检测操作内容中是否存在操作错误，否则，反馈操作结果；
60.s53、输出所述交流窗口，根据所述交流窗口输入的交流内容，检测所述交流内容中是否包含主动提问，否则，将所述交流窗口输入的内容作为交流内容显示在所述多个终端的所述交流窗口。
61.优选地，所述步骤s5中，还包括分步骤如下：
62.s54、搭建后台操作环境，并检测所述互动窗体所在的本地操作环境是否出现故障；
63.s55、如确认出现故障，则无缝切换本地操作环境和后台操作环境，后台操作环境执行操作内容，并将操作结果返回给互动窗体。
64.优选地，所述步骤s6，还包括分步骤如下：
65.s62、在通过所述虚拟形象输出所述第一答案后，收集答案满意度；
66.s63、当答案满意度小于第一阈值时，将所述问题和所述第一答案发送至运营团队，所述运营团队改正或补充所述第一答案形成第二答案；
67.s64、将所述第二答案及其对应的问题录入所述训练集和所述测试集，并用其对智能教师模块进行迭代优化。
68.优选地，所述虚拟形象包括预设动作、动作触发条件和语音触发条件，每个预设动作关联有至少一个所述动作触发条件；
69.所述语音触发条件是检测到需要通过所述虚拟形象输出文字信息时，利用语音合成将文字信息转换成音频信息输出；
70.所述动作触发条件包括关键字触发、延时触发、随机触发和事件触发，当检测到所
述动作触发条件时，控制所述虚拟形象执行其关联的预设动作。
71.本实施例还包括一种虚拟形象在线智能教学的平台，具体包括：虚拟形象模块、收集模块、训练模块、显示模块、互动模块和智能教师模块；
72.所述虚拟形象模块用于通过绘图渲染技术与语音合成技术生成虚拟形象；
73.所述收集模块用于采集教学相关的问题及其答案的样本，并将其构建为训练集和测试集；
74.所述训练模块用于通过机器学习算法构建神经网络模型，并通过所述训练集和所述测试集对所述神经网络模型进行迭代优化，得到智能教师模块；
75.所述显示模块用于输出教学内容；其中，所述教学内容包括教学课件，以及用于控制所述虚拟形象图像以及音频输出的控制脚本，所述虚拟形象执行所述控制脚本输出图像及音频；
76.所述互动模块用于输出互动窗体，依据互动窗体采集的输入内容反馈操作结果；
77.所述智能教师模块用于检测输入内容中是否存在问题；其中，所述问题包括操作错误或主动提问；如确认存在问题，则通过所述智能教师模块得到所述问题的第一答案，并通过所述虚拟形象输出所述第一答案。
78.作为优选地，所述智能教师模块包括操作单元以及交流单元；所述互动窗体包括操作窗口以及交流窗口；
79.所述操作单元用于根据所述操作窗口采集到的操作内容，检测操作是否存在问题，否则，反馈操作结果；
80.所述交流单元用于根据所述交流窗口输入的内容，检测所述输入内容是否包含问题，否则，将所述交流窗口输入的内容作为交流内容显示在所述交流窗口。
81.作为本发明的另一实施例，结合实际运用在在线编程教学平台的案例，对上述方案进行解释。
82.本实施例客户端的显示界面分为三个部分：交流窗体、显示窗体和操作窗体，本实施例的采用vue.js和element搭建客户端，element是基于vue2.0的组件ui库，具有很强的兼容性，通过其对显示界面的ui进行设计美化，利用vue.js和element将客户端编写成网页形式，对各种浏览器有良好的兼容性。
83.本实施例的交流窗体采用flask-socketio搭建，使flask应用程序可以访问客户端和服务器之间的低延迟双向通信；客户端应用程序可以使用javascript、c 、java、swift或socketio来建立与服务器的永久连接。
84.通过第三方服务商提供的智能程序实现人脸识别、语音合成、语音识别、自然语言处理、文字识别等智能功能，通过深度学习算法构建神经网络模型，通过由所教学程序的技术手册、收集的常见学习问答数据以及编程习题，所组成的训练集和测试集，对神经网络模型进行训练和测试，得到智能问答模块。
85.因为python天生具有训练ai模型的功能，所以本实施例的智能教师模块采用python架构，通过深度神经网络，基于信息检索机制(ir:information retrieval)、基于问答知识库机制(kb:knowledge base)和基于知识图谱机制(kg:knowledge graph)的多机制组合，形成机器阅读理解(mrc:machine reading comprehension)模型作为智能教师模块。
86.交流窗体负责进行教师与学员互动或学员之间互动的显示与操作，如与智能教师
模块进行上课的答疑沟通，进行课程的提问、讨论，实现学员与智能教师模块之间、学员之间的互动。当学生在上课的过程中，如果有对所学课程的疑问或问题，可以通过语音输入、文字输入或者唤醒按键来唤醒智能教师模块的虚拟形象，一些常见的编程问题智能教师模块会自动回复，课程当中学生提出的问题不是系统默认时，后台会有专门的老师进行在线答疑，该答疑内容通过虚拟形象反馈学生，且该问答信息还会录入训练集和测试集，用于智能教师模块的迭代更新。交流窗体同时也有学生相互讨论的功能，录播课的学生可以通过类似弹幕、聊天框、群聊的形式，可以与其他学生进行沟通，发言被回复的学生会收到通知，可以对上课所学的进行互帮互助，或者合作完成编程等。
87.本实施例默认以“老师，”开头的输入内容为主动提问，包括在交流窗体的输入的文字，以及语音输入后识别出的文字信息，学生在交流窗体输入主动提问时，智能问答模块根据该问题得到第一结果，反馈给学生，同时显示对该回答是否满意的选项，当学生选择不满意时，在后台提示运营团队复核该问答内容，运营团队对问题答案进行纠正、补充，或者排除与学习无关的问题。被纠正或补充的问题答案及其问题将自动录入神经网络模型的训练集和测试集，以供定期重新训练更新智能问答模块。
88.优选地，智能问答模块在回答问题后，还可以显示与该问题关联度较高的其他问题的选项，以供学生直接选择。
89.本实施例的显示窗体用于显示教学视频以及智能教师模块的虚拟形象，采用live2d的绘图渲染技术生成虚拟形象老师，如下图所示，live2d是一种表达技术，可以使插图栩栩如生，并实现2d立体表达。live2d的表达技术是将通过移动绘制的图片来产生协同效果，增强视觉的直观效果。因此live2d模型在保持原始素材的同时，能够以三维交互方式进行表达。虚拟形象老师由后台运营团队控制，运营团队的老师上课并不需要自己说话，通过人工智能(脚本)自动控制或文字控制两种模式对虚拟形象进行控制；这两种模式都是用文字进行合成声音，将文字输入后台，可以将文字通过电子声音合成器合成为虚拟形象老师说话的声音，再利用live2d cubism sdk for web的基础数据，进行定制化扩展这个软件开发工具包，比如定制化教学动作、表情动作、唇音同步等。并且live 2d支持音频播放，将合成的声音直接通过live 2d进行唇音同步的播放即可。智能教师模块通过脚本和文字进行控制，并不需要每一步都由后台运营团队操纵，当提前设置好脚本和文字时，整节课都不需要后台进行手动操作，直播课也是由提前设置好的算法设定好课程自动控制的，网页的所有课程，包括录播或者在线直播课都是采用虚拟形象老师，同时为增加上课的趣味性，在智能教师模块在上课的同时根据语句会做出一些动作，使得我们上课的过程中更加真实，感受真正的上课体验。
90.本实施例采用live2d生成虚拟形象老师，采用了虚拟主播代替了真人老师授课的方式，增加了课程的趣味性，减少了学生与录播教学之间的疏离感。用live2d生成的虚拟主播后台直接控制其动作，输入文字或脚本，虚拟主播便可以发声，并不需要每一步都操作，直接由文字或人工智能算法自动控制。
91.本实施例通过新颖的虚拟形象 人工智能网络授课的模式，可以在线学习多种计算机编程语言，同时加入了虚拟人物老师完全代替了真实的上课老师，可以与学生进行及时的学习上沟通问答和纠错，而真人老师只需要处理意外情况和控制进度。
92.操作窗体，主要是跟随课程的老师讲解，编写代码，可以使用任何一个编译器(例
如visual studio code)，学生编写的代码和操作实时同步至云端服务器。由于初学者经常会出现很多非代码错误的问题，若网页系统检测到本地编程环境运行出现问题，学生不需要进行技术方面或者是手动操作，后台可以利用将系统与云端服务器进行通信，在云服务器中自动准备好相关镜像环境，创建容器，重新部署好后台操作环境，保证在编程课程学习中，学生编程操作过程的完整性。同时只有在本地环境崩溃的情况下，才会采取云端服务器，建立台操作环境来运行代码，正常运行时不会触发，从而降低云服务器成本，并且触发云端服务器用户是无法感知的，所以他们并不知道是否存在环境崩溃的情况，由后台自动完成，学生编程的学习体验也会得到进一步提升，降低了学习编程对学生硬件平台的要求。
93.本实施例提出了一个新颖的编程教学平台，与现有的线上老师与学生视频上课方式不同，采用了虚拟形象主播代替了网络教学中真人教师与学生面对面的上课方式，并且后台控制虚拟主播只需要输入相对应的文字或者相对应的脚本，而不需要真人老师发声，文字自动合成电子声音，并且平台上的答疑区也和虚拟形象主播直接联系在一起，学生提出的问题，虚拟形象主播会与学生进行互动，通过深度学习算法在答疑区自动回复学生的问题，出现复杂问题则有专门的老师回答，学生也可以在答疑交流窗体和其他学生沟通组队配合完成学习。
94.其次由于线上编程课程对学生的自主性要求很高，编程初学者会出现很多环境配置的问题，经常会导致在上课的时候出现环境奔溃或者一些错误，不得不重新进程编程。而线上教学，老师帮助学生远程配置环境或者是让学生根据教程解决，影响学习体验浪费大量时间。在我们的虚拟主播学习平台中，学生在上课的过程中在操作窗体敲写代码如果出现一些不可预期的错误时，后台无缝切换本地环境和云服务器环境，云服务器会自动运行结果返回给本地，且这一流程用户是感知不到的，极大的提升了学生的学习体验。
95.智能教师模块由运营团队通过操作指令或者预设程序控制，且运营团队只需要输入相对应的选项、文字、图像或者脚本，
96.基于paas模式，部署云环境，本地环境和云端环境无缝切换，学生不会因为一些错误或者是环境崩溃，而导致编程中断。增加了学生在在线编程学习的流畅性和积极性。
97.本发明还公开了一种终端设备，包括处理器和存储装置，存储装置用于存储一个或多个程序；当一个或多个程序被处理器执行时，处理器实现上述的一种虚拟形象在线智能教学的方法。所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所称处理器是测试设备的控制中心，利用各种接口和线路连接整个测试设备的各个部分。
98.存储装置可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储装置内的计算机程序和/或模块，以及调用存储在存储装置内的数据，实现终端设备的各种功能。存储装置可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储装置可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、
内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
99.其中，一种虚拟形象在线智能教学的方法设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于至少一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
100.需说明的是，以上所描述的设备及装置的实施例仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例的附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
101.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。