一种个性化学情分析实现方法、装置、设备、介质和程序产品与流程
本技术涉及人工智能,特别是涉及一种个性化学情分析实现方法、装置、设备、介质和程序产品。
背景技术:
1、学情分析,即学习情况分析,是指通过系统化方法收集、处理、解释与学习过程相关的各类数据,以全面评估学习者的知识掌握程度、能力发展状况、学习行为特征及情感状态。传统学情分析主要依赖于教师经验、课堂观察、标准化测验及问卷调查等主观或半主观手段,存在数据采集片面、分析滞后、结论主观性强等局限性。随着教育信息化进程的加速,学习过程中产生的数据规模与复杂度显著提升,如何高效、精准、个性化地实现学情分析,已成为提升教育质量、落实因材施教理念的关键课题。
2、近年来,人工智能技术,特别是机器学习、深度学习、自然语言处理及知识图谱等领域取得突破性进展,为处理高维、非线性、多模态数据提供了强大工具。ai技术已广泛应用于计算机视觉、语音识别、推荐系统及决策支持等多个领域,展现出从海量数据中自动提取特征、发现复杂规律、预测未来趋势的卓越能力。在算力提升、算法优化与数据积累的共同驱动下,ai正从专用智能向通用智能持续演进,其与各行业的深度融合已成为技术发展的显著趋势。
3、相关技术中,k12基础教育场景的数字化基础设施已初步完善,智能笔、学习机、智慧课堂摄像头、线上答题平台等硬件与软件广泛普及,为多模态数据采集提供了硬件支撑;同时,ai技术在计算机视觉、语音识别等领域的准确率已达教育场景应用门槛(如人脸表情识别准确率>90%、语音情感识别准确率>85%),具备了将ai技术应用至教育场景中进行学情分析落地的可行性。
4、然而,目前的学情分析方法,存在如下的技术问题:
5、现有的基于ai技术的学情分析方法提供的分析结果维度单一且存在动态性不足等缺陷,有待优化。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够进行多维诊断分析,为个性化路径规划、资源匹配提供更精确的决策依据,适配多场景的一种个性化学情分析实现方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面,本技术提供了一种个性化学情分析实现方法。所述方法包括:
3、获取目标对象的多模态学情数据,所述多模态学情数据包括文本数据、语音数据、视觉数据以及行为数据;
4、对所述多模态学情数据进行处理,得到各模态对应的特征向量,所述处理包括预处理、标注、时序对齐和特征提取;
5、采用预设的跨模态注意力融合机制对所述特征向量进行动态加权融合,生成统一的学情融合特征向量;
6、基于所述学情融合特征向量,通过预设的多维度诊断模型分别进行预设的多维度诊断,输出多维度诊断结果;
7、根据所述多维度诊断结果,生成针对所述目标对象的分析报告,所述分析报告包括个性化学习建议。
8、在其中一个实施例中,所述对所述多模态学情数据进行处理,得到各模态对应的特征向量,所述处理包括预处理、标注、时序对齐和特征提取包括:
9、对所述语音数据进行降噪处理以及静音切除处理;
10、对所述视觉数据进行人脸检测以及表情分类处理;
11、对所述行为数据进行异常值检测与数据清洗处理。
12、在其中一个实施例中,所述采用预设的跨模态注意力融合机制对所述特征向量进行动态加权融合,生成统一的学情融合特征向量包括:
13、基于预设的注意力配置机制,分别计算各模态对应的所述特征向量的注意力权重参数;
14、基于所述注意力权重参数对所述特征向量进行加权融合,得到所述学情融合特征向量。
15、在其中一个实施例中,预设的诊断维度包括知识掌握、核心能力、学习状态以及学习情感,所述基于所述学情融合特征向量,通过预设的多维度诊断模型分别进行预设的多维度诊断,输出多维度诊断结果包括:
16、提取文本特征以及行为特征,基于所述文本特征以及所述行为特征进行知识掌握等级分类,基于所述视觉特征以及语音特征对分类结果进行验证与修正;
17、和/或基于所述文本特征以及所述行为特征进行逻辑推理能力评估,基于所述语音特征以及所述文本特征进行语言表达能力评估,基于所述视觉特征以及所述行为特征进行实践学习能力评估;
18、和/或基于所述视觉特征进行专注度分类,基于所述视觉特征以及所述行为特征进行疲劳度评估,基于所述语音特征以及所述行为特征进行课程参与度分析;
19、和/或基于所述语音特征进行情感类别分类,基于所述视觉特征进行表情情感识别,结合所述行为特征构建情绪-行为映射关系。
20、在其中一个实施例中,所述方法还包括:
21、基于所述多维度诊断结果确定所述目标对象的专注度指标;
22、响应于所述目标对象的所述专注度指标低于预设的阈值,触发实时预警并生成与所述目标对象相匹配的干预方案。
23、在其中一个实施例中,所述方法还包括:
24、基于预部署的边缘设备进行实时数据采集以及轻量化处理;
25、基于预部署的云端服务器进行多模态融合与模型推理。
26、第二方面,本技术还提供了一种个性化学情分析实现装置。所述装置包括:
27、数据采集模块,用于获取目标对象的多模态学情数据,所述多模态学情数据包括文本数据、语音数据、视觉数据以及行为数据;
28、数据处理模块,用于对所述多模态学情数据进行处理,得到各模态对应的特征向量,所述处理包括预处理、标注、时序对齐和特征提取;
29、特征融合模块,用于采用预设的跨模态注意力融合机制对所述特征向量进行动态加权融合,生成统一的学情融合特征向量;
30、多维分析模块,用于基于所述学情融合特征向量,通过预设的多维度诊断模型分别进行预设的多维度诊断,输出多维度诊断结果;
31、报告生成模块,用于根据所述多维度诊断结果,生成针对所述目标对象的分析报告,所述分析报告包括个性化学习建议。
32、在其中一个实施例中,所述数据处理模块包括:
33、语音数据处理模块,用于对所述语音数据进行降噪处理以及静音切除处理;
34、视觉数据处理模块,用于对所述视觉数据进行人脸检测以及表情分类处理;
35、行为数据处理模块,用于对所述行为数据进行异常值检测与数据清洗处理。
36、在其中一个实施例中,所述特征融合模块包括:
37、注意力配置模块,用于基于预设的注意力配置机制,分别计算各模态对应的所述特征向量的注意力权重参数;
38、加权融合模块,用于基于所述注意力权重参数对所述特征向量进行加权融合,得到所述学情融合特征向量。
39、在其中一个实施例中,预设的诊断维度包括知识掌握、核心能力、学习状态以及学习情感,所述多维分析模块包括:
40、知识掌握分析模块,用于提取文本特征以及行为特征,基于所述文本特征以及所述行为特征进行知识掌握等级分类,基于所述视觉特征以及语音特征对分类结果进行验证与修正;
41、和/或核心能力分析模块,用于基于所述文本特征以及所述行为特征进行逻辑推理能力评估,基于所述语音特征以及所述文本特征进行语言表达能力评估,基于所述视觉特征以及所述行为特征进行实践学习能力评估;
42、和/或学习状态分析模块,用于基于所述视觉特征进行专注度分类,基于所述视觉特征以及所述行为特征进行疲劳度评估,基于所述语音特征以及所述行为特征进行课程参与度分析;
43、和/或学习情感分析模块,用于基于所述语音特征进行情感类别分类,基于所述视觉特征进行表情情感识别,结合所述行为特征构建情绪-行为映射关系。
44、在其中一个实施例中,所述装置还包括:
45、专注度模块,用于基于所述多维度诊断结果确定所述目标对象的专注度指标;
46、专注度干预模块,用于响应于所述目标对象的所述专注度指标低于预设的阈值,触发实时预警并生成与所述目标对象相匹配的干预方案。
47、在其中一个实施例中,所述装置还包括:
48、边缘设备模块,用于基于预部署的边缘设备进行实时数据采集以及轻量化处理;
49、云端服务器模块,用于基于预部署的云端服务器进行多模态融合与模型推理。
50、第三方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如第一方面中任意一项实施例所述的一种个性化学情分析实现方法中的步骤。
51、第四方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面中任意一项实施例所述的一种个性化学情分析实现方法中的步骤。
52、第五方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面中任意一项实施例所述的一种个性化学情分析实现方法中的步骤。
53、上述一种个性化学情分析实现方法、装置、计算机设备、存储介质和计算机程序产品,通过实施例中的技术特征进行推导,能够达到对应背景技术中的技术问题的如下有益效果:
54、本技术提供了一种个性化学情分析实现方法,所述方法包括:获取目标对象的多模态学情数据,所述多模态学情数据包括文本数据、语音数据、视觉数据以及行为数据;对所述多模态学情数据进行处理,得到各模态对应的特征向量,所述处理包括预处理、标注、时序对齐和特征提取;采用预设的跨模态注意力融合机制对所述特征向量进行动态加权融合,生成统一的学情融合特征向量;基于所述学情融合特征向量,通过预设的多维度诊断模型分别进行预设的多维度诊断,输出多维度诊断结果;根据所述多维度诊断结果,生成针对所述目标对象的分析报告,所述分析报告包括个性化学习建议。在实施中,通过获取文本、语音、视觉和行为四类多模态学情数据,实现了对学生学习过程的全维度感知与结构化表征。通过预处理、标注、时序对齐和特征提取,有效融合异质异构数据,克服了传统学情分析中模态单一、信息割裂的问题。进一步利用跨模态注意力融合机制对各模态特征向量进行动态加权融合,生成统一学情融合特征向量,增强特征表达的互补性与鲁棒性。在此基础上,通过预设的多维度诊断模型分别进行知识掌握、核心能力、学习状态与情感态度的综合诊断,输出精细化、层次化的诊断结果,有效解决了传统方法诊断维度单一、忽视非智力因素等痛点。最终基于多维度诊断结果生成包含个性化学习建议的分析报告,不仅提升了学情诊断的准确性和全面性,也为教师精准教学、学生自适应学习及家长协同育人提供了科学依据,具有较强的实用性、可解释性与教育适配性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com