一种基于云计算的数据处理方法与流程

1.本发明涉及学习云技术领域，具体为一种基于云计算的数据处理方法。


背景技术：

2.在全面推进“网络学习空间人人通”的建设背景下，学习云空间的应用不断深入。但正如其他在线学习平台一样，学习云空间也存在辍学率高、学习投入不足等问题。
3.由于网络学习比传统面对面学习存在更大的挑战，需要学习者付出更多的心智努力才足以获得良好的学习绩效，大量文献指出认知投入与学习策略和自我监控有关(孔企平,2002；fredricks,blumenfeld,&paris,2004；张娜,2012)，也有研究指出(shea,hayes,&smith,2012)要着重从学生如何对自身认知进行调控的角度出发深入考虑认知投入，即元认知投入的视角。艾克和加里森(akyol&garrison,2011)认为，元认知投入主要包括认知管理(主动执行学习和控制学习环境)和认知监控(学习者反思自己和对学习过程做出的改变)。因此，将学习策略应用和学习自我监控作为认知投入的依据，从元认知投入的角度出发将学习自我监控细化为管理与监控两个方面，选取自我管理和自我监控与调节来表征认知投入。其中，自我管理和自我监控与调节的侧重点不同，自我管理特指学习者在主动学习意愿的前提下对学习条件与环境进行管理，而自我监控与调节则是学习者发挥主观能动性，通过改变学习过程中的内在行为以及自我反思进行调整。考虑到学习是不断追求对知识的应用与创造，作为最具影响力的学习投入测量工具，即全美学生投入调查(the national survey of student engagement，nsse)将学习挑战作为认知投入的重要内容，本文也将学习挑战作为认知投入的重要构成要素：学习挑战是学习者在认知形态上对更高学习成就的渴望与追求，有助于学习者高阶能力的发展。结合上述表述，本文认为认知投入是人类认知过程中的深层次心智努力活动，是学习主体在学习中所采用认知策略的具体应用，包含自我管理、自我监控与调节、学习挑战三个方面，是从被动学习到主动学习的自我知识构建过程。其中，认知策略的应用包括精加工策略、组织策略等，精加工策略是指把新旧知识联系起来从而增加新知识的意义，组织策略是将提炼出来的知识点加以构造，形成知识结构的更高水平的知识。


技术实现要素：

4.本发明的目的在于提供一种基于云计算的数据处理方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于云计算的数据处理方法，包括机器学习量化实现模块、量化应用模块、学习云空间模块、数据采集模块、数据处理模块。
6.优选的，所述机器学习量化实现模块包括训练数据集模块、认知主体认知投入聚类模块、认知主体认知投入分类模块、算法设计模块、训练机器算法学习模型模块、基于svm的量化模型模块、测试数据集模块、认知投入量化结果模块，所述量化应用模块包括学习干预模块、自我诊断模块、学情检测模块等等。
7.优选的，所述数据采集模块包括日志数据模块、动态数据模块和问卷数据模块，所述数据处理模块包括描述统计模块、文本分析模块、关联分析模块。
8.优选的，所述机器学习量化实现模块的输出端与量化应用的输入端为单向电连接，所述量化应用模块的输出端与学习云空间的输入端为单向电连接。所述学习云空间模块的输出端与数据收集模块的输入端为单向电连接，所述数据收集模块的输出端与数据处理模块的输入端为单向电连接，所述数据处理模块的输出端与机器学习量化实现模块的输入端为单向电连接。
9.优选的，所述训练数据收集模块的输出端与认知主体认知投入聚类模块的输入端为单向电连接，所述认知主体认知投入聚类模块的输出端与认知主体认知投入分类模块的输入端为单向电连接，所述主体认知投入分类模块的输出端与算法设计模块的输出端为单向电连接，所述算法设计模块的输出端与训练及其算法学习模型的输入端为单向电连接，所述算法学习模型的输出端与基于svm的量化模型模块的输入端为单向电连接，所述基于svm的量化模型模块的输出端与测试数据集模块的输入端为单向电连接。
10.优选的，所述描述性统计模块包括nlpir文本分析模块，所述nlpir文本分析模块的输出端与深度模块的输入端为单向电连接，所述深度模块的输出端与深度维度模块的输入端为单向电连接。
11.与现有技术相比，本发明的有益效果是：
12.1、该基于云计算的数据处理方法，该框架从数据采集、数据处理、量化实现和量化应用四个模块阐释了认知投入量化的整个闭合循环过程，为后续量化应用的实施提供有力的支撑，学习云空间因其丰富的共享资源和便捷的交互特性，记录并存储了关于学习主体投入行为的海量数据，主要分为三类：一是学习主体在学习过程中产生的日志数据；二是学习云空间环境中的动态数据，包含交互文本和学习成果(测试、作业及作品)；三是问卷数据。采集并分析这些数据有助于了解学习主体隐藏的投入行为。因此，采集数据成为认知投入量化分析的基础，为后续研究提供数据支持；
13.2、该基于云计算的数据处理方法，学习云空间环境下采集的数据具有结构多样性，为了使各种形式的数据成为机器学习可读的数据形式，需对数据进行数据处理，其方法包括描述统计、文本分析和关联分析。数据处理是认知投入量化分析的前提，对于认知量化分析结果的准确性有着决定性作用，直接影响认知投入量化的可信度，认知投入量化的实现是本文研究的重点，由上述指标分析结果可知，认知投入量化分析的影响要素具有多维性和复杂性；鉴于svm具有快速且准确地处理多维多特征教育数据的能力，采用以svm为代表的机器学习算法为量化模型。首先，将采集的数据集分为训练集和测试集两部分，并对训练集进行聚类操作，得到学习主体认知投入分类结果；然后，根据分类结果，设计机器学习算法，再将训练集“喂”入机器学习模型中训练量化模型；最后，将测试集输入到量化模型中以测试模型的认知投入量化能力；
14.3、该基于云计算的数据处理方法，自我监控与调节是指学习主体在认知驱动下，针对认知目标对所发生的学习活动进行自我控制、修正和调整的过程。在云空间中，自我监控与调节涵盖了明确学习目标、制定学习计划、改进学习方法、定期自我评价和自我反思五个方面，明确学习目标是学习主体为调节个体认知差异而清晰化学习目标的过程，是云空间中学习主体自我监控与调节学习活动的指挥棒。学习计划是学习主体实施学习活动的蓝
图，制定弹性可行的学习计划有助于学习主体量力而行地安排学习时间和内容，是实现学习目标必不可少的方式之一，学习方法是达成学习目标的手段，在学习过程中基于对目标的监控和调节，学习主体需要对自己的学习方法进行适应和改进，以最优的学习方法提升学习效率。定期自我评价是学习主体有规律地对学习任务等做出的自我判断，促进学习主体积极参与学习过程。自我反思是学习主体深度学习的表现，是自我意识高度发展的结果。通过对自身学习、思维等认知活动的反思，学习主体可以创建丰富的认知情境来发展其认知活动，从而提升认知的理解水平。
附图说明
15.图1为本发明结构示意图；
16.图2为本发明结构连接关系示意图。
具体实施方式
17.下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
18.下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。
19.在本专利的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利的限制。
20.在本专利的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”应做广义理解，例如，可以是固定相连、设置，也可以是可拆卸连接、设置，或一体地连接、设置。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利中的具体含义。
21.请参阅图1-2，本发明提供一种技术方案：一种基于云计算的数据处理方法，包括机器学习量化实现模块、量化应用模块、学习云空间模块、数据采集模块、数据处理模块，机器学习量化实现模块包括训练数据集模块、认知主体认知投入聚类模块、认知主体认知投入分类模块、算法设计模块、训练机器算法学习模型模块、基于svm的量化模型模块、测试数据集模块、认知投入量化结果模块，量化应用模块包括学习干预模块、自我诊断模块、学情检测模块等等，数据采集模块包括日志数据模块、动态数据模块和问卷数据模块，数据处理模块包括描述统计模块、文本分析模块、关联分析模块，机器学习量化实现模块的输出端与量化应用的输入端为单向电连接，量化应用模块的输出端与学习云空间的输入端为单向电连接。学习云空间模块的输出端与数据收集模块的输入端为单向电连接，数据收集模块的输出端与数据处理模块的输入端为单向电连接，数据处理模块的输出端与机器学习量化实现模块的输入端为单向电连接，训练数据收集模块的输出端与认知主体认知投入聚类模块的输入端为单向电连接，认知主体认知投入聚类模块的输出端与认知主体认知投入分类模块的输入端为单向电连接，主体认知投入分类模块的输出端与算法设计模块的输出端为单向电连接，算法设计模块的输出端与训练及其算法学习模型的输入端为单向电连接，算法
学习模型的输出端与基于svm的量化模型模块的输入端为单向电连接，基于svm的量化模型模块的输出端与测试数据集模块的输入端为单向电连接，描述性统计模块包括nlpir文本分析模块，nlpir文本分析模块的输出端与深度模块的输入端为单向电连接，深度模块的输出端与深度维度模块的输入端为单向电连接。
22.工作原理：认知投入量化分析的影响要素具有多维性和复杂性；鉴于svm具有快速且准确地处理多维多特征教育数据的能力，采用以svm为代表的机器学习算法为量化模型。首先，将采集的数据集分为训练集和测试集两部分，并对训练集进行聚类操作，得到学习主体认知投入分类结果；然后，根据分类结果，设计机器学习算法，再将训练集“喂”入机器学习模型中训练量化模型；最后，将测试集输入到量化模型中以测试模型的认知投入量化能力；在数据采集方面，为保障数据能够提供完整的认知投入信息，用三种方式采集数据：一是从web服务器所产生的日志文件中获取日志数据；二是从学习云空间平台的环境中捕获学习主体的动态数据，包括交互文本数据和学习成果数据；三是运用问卷工具收集学习主体的认知投入信息，在数据处理方面，根据认知投入数据来源的不同，考虑到机器学习算法读取数据的格式要求，综合多种途径对学习主体的认知投入数据进行处理。处理途径包括：利用描述性统计方法对结构化数据进行整理，从时间维度表征认知投入；通过文本分析法对非结构化数据进行处理分析，筛选出深度指标和关联度指标的数据，并从深度维度表征认知投入；通过灰色关联分析计算关联系数与关联度，从关联维度表征数据；其中，文本分析指的是对学习主体的动态数据进行处理；首先，通过对每个学习主体的动态文本进行细读归并；接着，利用nlpir工具对文本进行分词标注、词频统计和关键词提取等操作；然后，借鉴布鲁姆教育目标分类体系和可选动词表来判断认知投入的深度层级；最后，进行人工梳理和判断学习主体达到的认知投入关联程度，并对学习主体的认知投入数据加注标签。以上对数据的采集与处理步骤为后续认知投入量化的实现提供了精准的数据支持。
23.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。