一种基于大数据的教学资源动态可视化的系统及其方法与流程

1.本发明涉及教学信息技术领域，更具体地说，本发明涉及一种基于大数据的教学资源动态可视化的系统及其方法。


背景技术：

2.大数据是一股创新的力量，是一股时代变革的力量，也是一股推动教育领域全面深化改革的科学力量。教育大数据将汇聚无数以前看不到、采集不到、不重视的数据，对这些混杂数据进行深度挖掘以及其他领域的大数据进行关联分析。教育决策将不再过度依靠经验、拍脑袋和简单的统计结果，而转向基于数据的科学决策。随着国家教育管理公共服务平台的建设和运营，我国教育数据的采集工作将越来越规范化、有序化和全面化。
3.大数据技术的突出优势在于其拥有强大的“预判”能力，随着教育大数据应用的逐步深入，预测性分析在消除教育不确定性、提供提前干预方面潜力巨大。另外，大数据将使得教师和机器能够真正了解每个学生的真实情况，从而为其提供真正个性化的学习资源、学习活动、学习路径、学习工具与服务等。如果说互联网促进了教育的民主化，那么大数据将实现教育的个性化。
4.信息时代每时每刻都在产生海量的、各种来源、多种类型的教育数据，如何让生成的大量数据变得更加易于理解并反馈于教学，已成为教育工作者面临的重大问题。针对该问题，将海量的、复杂的、实时的数据转换为动态的图像的可视化方法无疑是最有效的途径。传统的可视化展示工具包括报表、表格和条形图、饼状图等图标展示工具，对于教育大数据的挖掘，由于需要进行数据的分析，所采用的图标也更加复杂和专业，主要为力学图、分区图、力导向图、弦图、集群图、思维导图等。
5.目前，教育大数据多从一维的角度通过传统图标进行表达，没有考虑从多个维度的特征融合来进行可视化表达。因此，在基于教育平台的已汇聚的海量数据基础上，如何实现客观反映教育现状及趋势的数据分析并以通俗易懂的形式进行可视化表达，成为需要解决的技术问题。


技术实现要素：

6.为了克服现有技术的上述缺陷，本发明的实施例提供一种基于大数据的教学资源动态可视化的系统及其方法，通过对大数据教学资源中的内容进行爬虫抓取，完成对用户需要展示内容的识别，并对大数据教学资源年内容进行可视化转化，完成教学资源的多维度展示，将单维度和形式单一的内容通过多维度的方式进行全方位的展示，将海量的教学资源更加简洁清楚明了的展示，提高了教学资源的利用率，同时便于用户进行阅读和观看。
7.为实现上述目的，本发明提供如下技术方案：一种基于大数据的教学资源动态可视化的系统，包括存储层、数据层和抓取层，所述存储层连接端设有可视端，所述抓取层包括爬虫服务端，所述抓取层还连接有云数据库，所述抓取层与web互联网连接；
8.所述抓取层通过web互联网与线教学平台连接，通过网络对在线教学平台内的大
数据教学内容进行下载和抓取，所述爬虫服务端包括数据清洗整理、热度分析、分类分析和定向监控，所述爬虫服务端用于对抓取的大数据教学内容进行数据清洗和整理，根据用户的抓取需求对抓取的大数据内容进行清洗，对于需求不同的教学内容进行整理并进行剔除，将清洗整理后的内容进行热度分析，并将热度值过低的内容进行单独标记，进行分类分析，完成对大数据教学内容的定向监控；
9.所述数据层和存储层用于对抓取后的大数据教学内容进行存储，所述数据层存储的教学内容为正在进行爬虫服务的数据内容，所述存储层存储的教学内容为完成爬虫服务后的数据内容；
10.所述云数据库用于对抓取层抓取后的大数据教学内容进行单独上传，并与本系统中的爬虫服务端和可视端进行对接，在进行数据可视化的过程中直接进行数据交换；
11.所述可视端为进行数据动态可视化的单独单元，接收存储层内完成爬虫服务的数据内容，并将其转化为python数据后进行可视化，其中涉及的python代码为：
12.import sys
13.import numpy as np
14.import matplotlib.pyplot as plt
15.from matplotlib.animation importfuncanimation
16.fig,ax＝plt.subplots()
17.fig.set-tighy-layout(true。
18.在一个优选地实施方式中，所述爬虫服务端和抓取层的数量可设置为多个，在进行数据抓取时，利用多个爬虫进行数据的并发抓取，使用concurrent.futures模块以及requests beautifulsoup。
19.在一个优选地实施方式中，所述可视端可连接显示屏，将完成教学资源动态可视化。
20.本发明还公开了一种基于大数据的教学资源动态可视化的方法，具体包括如下步骤：
21.步骤一，抓取层通过web互联网与在线教学平台进行连接，对大数据教学内容进行抓取，将抓取的教学内容传输本地的数据层中，并在云数据库内进行备份；
22.步骤二，爬虫服务端对数据层内的大数据教学内容进行数据清洗和整理，根据用户的抓取需求对抓取的大数据内容进行清洗，对于需求不同的教学内容进行整理并进行剔除，将清洗整理后的内容进行热度分析，并将热度值过低的内容进行单独标记，并分类分析；
23.步骤三，爬虫服务端在对大数据进行处理时，还对大数据进行定向监控，对大数据教学内容的来源和数据种类进行分类，且云数据库内的大数据教学内容可对存储层内的内容进行实时补充；
24.步骤四，可视端接收存储层内经过处理的大数据教学内容，利用将其转化为python数据后进行可视化，
25.import sys
26.import numpy as np
27.import matplotlib.pyplot as plt
28.from matplotlib.animation import funcanimation
29.fig,ax＝plt.subplots()
30.fig.set-tighy-layout(true；
31.步骤五，在完成数据转化后，根据可视端需要显示的大小进行适配：
32.#询问图形在屏幕上的大小和dpi
33.#注意当把图形保存为文件时，需要为此单独提供一个dpi
34.print(
‘
figsize；{θ}dpi,size ini nches{1}’.format(
35.fig.get-dpi(),fig,get.get-size-inches()))；
36.步骤六，对大数据教学内容可视化进行绘制：
37.#绘制一个保持不变(不会被重新绘制)的散点图以及初始直线
38.x＝np.arange(θ,2θ,θ.1)
39.ax.scatter(x,x np.random.normal(θ,3.θ,len(x)))
40.line,＝ax.plot(x,x-5,’r
‑’
,linewidth＝2)
41.def update(i):
42.label＝’timestep{θ}’.format(i)
43.print(label)
44.#更新直线和轴
45.#以元组形式返回这一帧需要重新绘制的物体
46.line.set-ydata(x-5 1)
47.ax.set-xlabel(label)
48.returnline,ax
49.if-name-mm-main
50.#会为每一帧调用update函数
51.#这里funanimation设置一个10帧动画，每帧间隔200ms
52.anim＝funcanimation(fig,update,frames＝np.aeange(θ,1θ),interval＝2θθ)
53.if len(sys.argv)》1 and sys.argv[1]＝＝’save’；
[0054]
anim.save(
‘
line.gif’,dpi＝8θ,writer＝’imagemagick’)
[0055]
slse:
[0056]
#plt.show()会一直循环动画
[0057]
plt.show(_)；
[0058]
完成可视化的输出。
[0059]
本发明的技术效果和优点：
[0060]
1、通过对大数据教学资源中的内容进行爬虫抓取，完成对用户需要展示内容的识别，并对大数据教学资源年内容进行可视化转化，完成教学资源的多维度展示，将单维度和形式单一的内容通过多维度的方式进行全方位的展示，将海量的教学资源更加简洁清楚明了的展示，提高了教学资源的利用率，同时便于用户进行阅读和观看；
[0061]
2、通过采用爬虫服务端对大数据教学资源进行数据清洗和整理，使得抓取的大数据教学内容可以与用户的教学需求进行相适配，对一些繁琐的信息可进行直接过滤，提搞了用户的查阅体验。
附图说明
[0062]
图1为本发明的系统结构示意图。
[0063]
图2为本发明的爬虫服务物结构示意图。
[0064]
附图标记为：1存储层、2数据层、3抓取层、4可视端、5爬虫服务端、6云数据库。
具体实施方式
[0065]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0066]
实施例1
[0067]
如图1-2所示的一种基于大数据的教学资源动态可视化的系统，包括存储层1、数据层2和抓取层3，所述存储层1连接端设有可视端4，所述抓取层3包括爬虫服务端5，所述抓取层3还连接有云数据库6，所述抓取层3与web互联网连接；
[0068]
所述抓取层3通过web互联网与线教学平台连接，通过网络对在线教学平台内的大数据教学内容进行下载和抓取，所述爬虫服务端5包括数据清洗整理、热度分析、分类分析和定向监控，所述爬虫服务端5用于对抓取的大数据教学内容进行数据清洗和整理，根据用户的抓取需求对抓取的大数据内容进行清洗，对于需求不同的教学内容进行整理并进行剔除，将清洗整理后的内容进行热度分析，并将热度值过低的内容进行单独标记，进行分类分析，完成对大数据教学内容的定向监控；
[0069]
所述数据层2和存储层1用于对抓取后的大数据教学内容进行存储，所述数据层2存储的教学内容为正在进行爬虫服务的数据内容，所述存储层1存储的教学内容为完成爬虫服务后的数据内容；
[0070]
所述云数据库6用于对抓取层3抓取后的大数据教学内容进行单独上传，并与本系统中的爬虫服务端5和可视端4进行对接，在进行数据可视化的过程中直接进行数据交换；
[0071]
所述可视端4为进行数据动态可视化的单独单元，接收存储层1内完成爬虫服务的数据内容，并将其转化为python数据后进行可视化，其中涉及的python代码为：
[0072]
import sys
[0073]
import numpy as np
[0074]
import matplotlib.pyplot as plt
[0075]
from matplotlib.animation import funcanimation
[0076]
fig,ax＝plt.subplots()
[0077]
fig.set-tighy-layout(true。
[0078]
进一步的，所述爬虫服务端5和抓取层3的数量可设置为多个，在进行数据抓取时，利用多个爬虫进行数据的并发抓取，使用concurrent.futures模块以及requests beautifulsoup。
[0079]
进一步的，所述可视端4可连接显示屏，将完成教学资源动态可视化。
[0080]
通过采用爬虫服务端5对大数据教学资源进行数据清洗和整理，使得抓取的大数据教学内容可以与用户的教学需求进行相适配，对一些繁琐的信息可进行直接过滤，提搞
了用户的查阅体验。
[0081]
实施例2
[0082]
如图1-2所示的一种基于大数据的教学资源动态可视化的方法，具体包括如下步骤：
[0083]
步骤一，抓取层3通过web互联网与在线教学平台进行连接，对大数据教学内容进行抓取，将抓取的教学内容传输本地的数据层2中，并在云数据库6内进行备份；
[0084]
步骤二，爬虫服务端5对数据层2内的大数据教学内容进行数据清洗和整理，根据用户的抓取需求对抓取的大数据内容进行清洗，对于需求不同的教学内容进行整理并进行剔除，将清洗整理后的内容进行热度分析，并将热度值过低的内容进行单独标记，并分类分析；
[0085]
步骤三，爬虫服务端5在对大数据进行处理时，还对大数据进行定向监控，对大数据教学内容的来源和数据种类进行分类，且云数据库6内的大数据教学内容可对存储层1内的内容进行实时补充；
[0086]
步骤四，可视端4接收存储层1内经过处理的大数据教学内容，利用将其转化为python数据后进行可视化，
[0087]
import sys
[0088]
import numpy as np
[0089]
import matplotlib.pyplot as plt
[0090]
from matplotlib.animation import funcanimation
[0091]
fig,ax＝plt.subplots()
[0092]
fig.set-tighy-layout(true；
[0093]
步骤五，在完成数据转化后，根据可视端4需要显示的大小进行适配：
[0094]
#询问图形在屏幕上的大小和dpi
[0095]
#注意当把图形保存为文件时，需要为此单独提供一个dpi
[0096]
print(
‘
figsize；{θ}dpi,sizeininches{1}’.format(
[0097]
fig.get-dpi(),fig,get.get-size-inches()))；
[0098]
步骤六，对大数据教学内容可视化进行绘制：
[0099]
#绘制一个保持不变(不会被重新绘制)的散点图以及初始直线
[0100]
x＝np.arange(θ,2θ,θ.1)
[0101]
ax.scatter(x,x np.random.normal(θ,3.θ,len(x)))
[0102]
line,＝ax.plot(x,x-5,’r
‑’
,linewidth＝2)
[0103]
def update(i):
[0104]
label＝’timestep{θ}’.format(i)
[0105]
print(label)
[0106]
#更新直线和轴
[0107]
#以元组形式返回这一帧需要重新绘制的物体
[0108]
line.set-ydata(x-5 1)
[0109]
ax.set-xlabel(label)
[0110]
returnline,ax
[0111]
if-name-mm-main
[0112]
#会为每一帧调用update函数
[0113]
#这里funanimation设置一个10帧动画，每帧间隔200ms
[0114]
anim＝funcanimation(fig,update,frames＝np.aeange(θ,1θ),interval＝2θθ)
[0115]
if len(sys.argv)》1 and sys.argv[1]＝＝’save’；
[0116]
anim.save(
‘
line.gif’,dpi＝8θ,writer＝’imagemagick’)
[0117]
slse:
[0118]
#plt.show()会一直循环动画
[0119]
plt.show(_)；
[0120]
完成可视化的输出。
[0121]
用户在进行大数据教学资源的抓取过程中，可对抓取数据的需求进行自定义，同时在进行可视化输出时，可进行多维度的展示，通过对大数据教学资源中的内容进行爬虫抓取，完成对用户需要展示内容的识别，并对大数据教学资源年内容进行可视化转化，完成教学资源的多维度展示，将单维度和形式单一的内容通过多维度的方式进行全方位的展示，将海量的教学资源更加简洁清楚明了的展示，提高了教学资源的利用率，同时便于用户进行阅读和观看。
[0122]
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。