面向在线教育大数据的多模态学习行为分析方法及系统与流程
本发明涉及人工智能领域,具体而言,涉及一种面向在线教育大数据的多模态学习行为分析方法及系统。
背景技术:
1、当前在线教育平台普遍依赖于单一模态的行为统计指标,如视频完课率、论坛发帖数或页面停留时长,对学习者投入状态的刻画停留在表面频次统计层面,未能捕捉行为序列内在的动态结构与跨模态协同规律。现有分析方法多采用独立建模策略,分别处理视频、文本与操作行为,缺乏对行为间时序依赖、语义关联与操作意图的联合建模能力,导致学习状态识别存在显著语义断层与时空失配问题。此外,传统聚类或分类模型难以有效表达学习行为在高维空间中的连续演化特性,无法构建反映个体学习路径非线性变迁的低维流形结构,致使教学干预滞后于真实认知状态变化,难以实现精准、实时、个性化的教学策略响应。
技术实现思路
1、鉴于上述提及的问题,结合本发明的第一方面,本发明实施例提供一种面向在线教育大数据的多模态学习行为分析方法,所述方法包括:
2、获取在线教育平台中目标学习者的学习行为数据流,所述学习行为数据流包含所述目标学习者在课程学习周期内产生的视频观看行为序列、文本交互行为序列及界面操作行为序列;
3、对所述视频观看行为序列、所述文本交互行为序列及所述界面操作行为序列分别进行行为模式的拓扑特征建模,生成所述视频观看行为序列的视频行为拓扑特征、所述文本交互行为序列的文本行为拓扑特征及所述界面操作行为序列的操作行为拓扑特征;
4、将所述视频行为拓扑特征、所述文本行为拓扑特征及所述操作行为拓扑特征输入预构建的跨模态行为状态推理模型进行行为状态空间映射,生成所述目标学习者在所述课程学习周期内不同时间节点下的行为状态表征向量,并根据相邻时间节点下的行为状态表征向量之间的状态转移关系构建行为状态演化流形;
5、通过预构建的学习投入状态解码模型对所述行为状态演化流形进行状态模式解码,生成所述目标学习者在所述课程学习周期内的时间连续的投入状态标识序列;
6、根据所述投入状态标识序列生成所述目标学习者对应的学习行为分析图谱,并将所述学习行为分析图谱反馈至在线教育教学系统以触发教学策略调整操作。
7、再一方面,本发明实施例还提供一种面向在线教育大数据的多模态学习行为分析系统,包括处理器、机器可读存储介质,所述机器可读存储介质和所述处理器连接,所述机器可读存储介质用于存储程序、指令或代码,所述处理器用于执行所述机器可读存储介质中的程序、指令或代码,以实现上述的方法。
8、基于以上方面,本发明实施例通过将视频、文本与操作三类异构行为序列分别转化为具有拓扑语义的有向图结构,并融合节点出度分布、聚类系数、介数中心性等图论指标,形成具有行为语义承载能力的高维特征空间,显著提升了行为模式的可区分性与可解释性;进一步地,借助跨模态注意力机制实现模态间相关性自适应加权融合,并基于状态转移向量构建低维行为演化流形,使学习投入状态的表征具备流形几何一致性与时间连续性;最终通过解码模型将流形上的隐状态映射为可解释的投入状态标识序列,形成从原始行为数据到教学决策信号的端到端因果链条,使教学系统能够依据学习者真实认知演化轨迹实施动态干预,从而实现从行为观测到状态理解再到策略自适应的智能化迁移。
1.一种面向在线教育大数据的多模态学习行为分析方法,其特征在于,所述方法包括:
2.根据权利要求1所述的面向在线教育大数据的多模态学习行为分析方法,其特征在于,所述对所述视频观看行为序列、所述文本交互行为序列及所述界面操作行为序列分别进行行为模式的拓扑特征建模,生成所述视频观看行为序列的视频行为拓扑特征、所述文本交互行为序列的文本行为拓扑特征及所述界面操作行为序列的操作行为拓扑特征,包括:
3.根据权利要求2所述的面向在线教育大数据的多模态学习行为分析方法,其特征在于,所述通过预设的视频行为拓扑特征编码器对所述视频行为有向图结构进行节点拓扑属性计算,提取所述视频行为有向图结构中每个节点单元的节点出度分布、节点聚类系数及节点间最短路径长度,并将所述节点出度分布、所述节点聚类系数及所述节点间最短路径长度映射为视频行为拓扑特征,包括:
4.根据权利要求2所述的面向在线教育大数据的多模态学习行为分析方法,其特征在于,所述通过预设的文本行为拓扑特征编码器对所述文本行为有向图结构进行节点拓扑属性计算,提取所述文本行为有向图结构中每个节点单元的节点介数中心性、节点传递性参数及节点间平均路径长度,并将所述节点介数中心性、所述节点传递性参数及所述节点间平均路径长度映射为文本行为拓扑特征,包括:
5.根据权利要求1所述的面向在线教育大数据的多模态学习行为分析方法,其特征在于,所述将所述视频行为拓扑特征、所述文本行为拓扑特征及所述操作行为拓扑特征输入预构建的跨模态行为状态推理模型进行行为状态空间映射,生成所述目标学习者在所述课程学习周期内不同时间节点下的行为状态表征向量,并根据相邻时间节点下的行为状态表征向量之间的状态转移关系构建行为状态演化流形,包括:
6.根据权利要求5所述的面向在线教育大数据的多模态学习行为分析方法,其特征在于,所述通过所述跨模态行为状态推理模型中的跨模态注意力融合层对所述视频行为嵌入向量、所述文本行为嵌入向量及所述操作行为嵌入向量进行模态间相关性计算,生成模态交互权重矩阵,并根据所述模态交互权重矩阵对所述视频行为嵌入向量、所述文本行为嵌入向量及所述操作行为嵌入向量进行加权融合,生成跨模态融合行为特征,包括:
7.根据权利要求1所述的面向在线教育大数据的多模态学习行为分析方法,其特征在于,所述通过预构建的学习投入状态解码模型对所述行为状态演化流形进行状态模式解码,生成所述目标学习者在所述课程学习周期内的时间连续的投入状态标识序列,包括:
8.根据权利要求7所述的面向在线教育大数据的多模态学习行为分析方法,其特征在于,所述通过所述学习投入状态解码模型中的解码映射层对所述流形采样点集合中的每个流形采样点进行坐标解码,将流形采样点的低维流形坐标映射为高维投入状态特征向量,包括:
9.根据权利要求1所述的面向在线教育大数据的多模态学习行为分析方法,其特征在于,所述根据所述投入状态标识序列生成所述目标学习者对应的学习行为分析图谱,并将所述学习行为分析图谱反馈至在线教育教学系统以触发教学策略调整操作,包括:
10.一种面向在线教育大数据的多模态学习行为分析系统,其特征在于,所述面向在线教育大数据的多模态学习行为分析系统包括处理器和存储器,所述存储器和所述处理器连接,所述存储器用于存储程序、指令或代码,所述处理器用于执行所述存储器中的程序、指令或代码,以实现上述权利要求1-9任意一项所述的面向在线教育大数据的多模态学习行为分析方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com