基于深度学习的多源实训行为融合智能评分方法、装置及设备

本技术涉及深度学习，尤其涉及一种基于深度学习的多源实训行为融合智能评分方法、装置及设备。

背景技术：

1、随着职业教育实训评价体系向过程化与精细化方向发展，实训评分场景中可利用的学生行为数据种类日益增多，包括上机操作界面图像、历史课程成绩以及自评与师评文本报告，这些数据从不同维度反映了学生的实训综合能力，对评价系统提出了融合多源异构数据进行综合量化评判的技术需求。

2、当前主流的实训评分方法包括人工主观打分、系统规则打分及二者的混合方法。人工主观打分完全依赖教师个人经验，评分尺度因人而异且标准难以统一；系统规则打分仅依据固定阈值与预设规则对显性结果进行合规性判定，无法利用历史成绩等辅助信息，也不能从界面图像与评语文本中提取深层语义特征；混合方法虽结合定性与定量手段，但仍受制于主观偏差和规则设定的合理性，上述方法均未能建立多源行为数据之间的有效关联。

3、由于现有方法缺乏对界面图像、历史成绩和评语文本等多源数据间潜在耦合关系的学习与建模能力，导致实训评分无法突破单维度或浅层关联的局限，进而产生了一个技术问题：如何通过融合多源实训行为数据并挖掘其内在关联，实现不依赖固定规则和主观评判的客观化实训综合评分。

4、上述内容仅用于辅助理解本技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本技术的主要目的在于提供一种基于深度学习的多源实训行为融合智能评分方法、装置及设备，旨在解决如何通过融合多源实训行为数据并挖掘其内在关联，实现不依赖固定规则和主观评判的客观化实训综合评分的技术问题。

2、为实现上述目的，本技术提出一种基于深度学习的多源实训行为融合智能评分方法，所述的方法包括：

3、基于实训代码界面图片，得到代码特征向量；

4、基于实训课程成绩，得到成绩特征向量；

5、基于自我评价报告和教师评价报告，得到评语特征向量和情感特征向量；

6、基于所述成绩特征向量和所述代码特征向量，得到代码-成绩融合特征；

7、基于所述成绩特征向量和所述评语特征向量，得到成绩-评语融合特征；

8、基于所述代码-成绩融合特征和所述成绩-评语融合特征，得到无情感实训行为特征；

9、基于所述无情感实训行为特征和所述情感特征向量，得到实训综合评价分数。

10、在一实施例中，所述基于实训代码界面图片，得到代码特征向量，包括：

11、对实训代码界面图片进行规范化裁剪，得到目标代码图片；

12、将所述目标代码图片输入预设视觉模型，以获取所述预设视觉模型输出的代码特征向量。

13、在一实施例中，所述基于实训课程成绩，得到成绩特征向量，包括：

14、对实训课程成绩进行归一化，得到归一化课程成绩；

15、将所述归一化课程成绩输入至双层非线性函数网络，以获取所述双层非线性函数网络从所述归一化课程成绩中提取的成绩特征向量。

16、在一实施例中，所述基于自我评价报告和教师评价报告，得到评语特征向量和情感特征向量，包括：

17、基于自我评价报告和教师评价报告，得到评价报告内容；

18、将所述评价报告内容输入预设语言模型，以获取所述预设语言模型输出的评语特征向量；

19、将所述评价报告内容输入预设情感分析工具，以获取所述预设情感分析工具从所述评价报告内容中提取的情感特征向量。

20、在一实施例中，所述基于所述成绩特征向量和所述代码特征向量，得到代码-成绩融合特征，包括：

21、对所述成绩特征向量进行线性变换，确定第一查询向量；

22、对所述代码特征向量进行线性变换，确定第一键向量和第一值向量；

23、基于所述第一查询向量、所述第一键向量和所述第一值向量，得到第一注意力权重；

24、根据所述第一注意力权重对所述代码特征向量和所述成绩特征向量进行加权求和，得到代码-成绩融合特征。

25、在一实施例中，所述基于所述成绩特征向量和所述评语特征向量，得到成绩-评语融合特征，包括：

26、对所述成绩特征向量进行线性变换，确定第二查询向量；

27、对所述评语特征向量进行线性变换，确定第二键向量和第二值向量；

28、基于所述第二查询向量、所述第二键向量和所述第二值向量，得到第二注意力权重；

29、根据所述第二注意力权重对所述成绩特征向量和所述评语特征向量进行加权求和，得到成绩-评语融合特征。

30、在一实施例中，所述基于所述代码-成绩融合特征和所述成绩-评语融合特征，得到无情感实训行为特征，包括：

31、基于所述代码-成绩融合特征和所述成绩-评语融合特征，得到门控权重参数；

32、基于所述门控权重参数、所述代码-成绩融合特征和所述成绩-评语融合特征，得到无情感实训行为特征。

33、在一实施例中，所述基于所述无情感实训行为特征和所述情感特征向量，得到实训综合评价分数，包括：

34、对所述无情感实训行为特征和所述情感特征向量进行拼接操作，得到目标实训行为特征；

35、将所述目标实训行为特征输入预设多层感知机，得到实训综合评价分数，其中，所述预设多层感知机包括依次连接的第一线性层、第一非线性激活函数层、第二线性层和第二非线性激活函数层。

36、此外，为实现上述目的，本技术还提出一种基于深度学习的多源实训行为融合智能评分装置，所述基于深度学习的多源实训行为融合智能评分装置包括：

37、第一特征提取模块，用于基于实训代码界面图片，得到代码特征向量；

38、第二特征提取模块，用于基于实训课程成绩，得到成绩特征向量；

39、第三特征提取模块，用于基于自我评价报告和教师评价报告，得到评语特征向量和情感特征向量；

40、第一特征融合模块，用于基于所述成绩特征向量和所述代码特征向量，得到代码-成绩融合特征；

41、第二特征融合模块，用于基于所述成绩特征向量和所述评语特征向量，得到成绩-评语融合特征；

42、第三特征融合模块，用于基于所述代码-成绩融合特征和所述成绩-评语融合特征，得到无情感实训行为特征；

43、评价分数输出模块，用于基于所述无情感实训行为特征和所述情感特征向量，得到实训综合评价分数。

44、此外，为实现上述目的，本技术还提出一种基于深度学习的多源实训行为融合智能评分设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的基于深度学习的多源实训行为融合智能评分方法的步骤。

45、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的基于深度学习的多源实训行为融合智能评分方法的步骤。

46、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的基于深度学习的多源实训行为融合智能评分方法的步骤。

47、本技术基于实训代码界面图片，得到代码特征向量；基于实训课程成绩，得到成绩特征向量；基于自我评价报告和教师评价报告，得到评语特征向量和情感特征向量；基于所述成绩特征向量和所述代码特征向量，得到代码-成绩融合特征；基于所述成绩特征向量和所述评语特征向量，得到成绩-评语融合特征；基于所述代码-成绩融合特征和所述成绩-评语融合特征，得到无情感实训行为特征；基于所述无情感实训行为特征和所述情感特征向量，得到实训综合评价分数。由于采用了获取多源实训行为数据并分别提取图像特征、成绩数值特征及评语文本与情感特征的技术手段，使得成绩特征能够作为指导信息分别与代码图像特征和评语特征进行交叉融合，再将两类融合结果进一步聚合为统一的多源实训行为表征，并将该表征与情感特征结合后输入多层感知机进行端到端的评分预测，从而解决了现有方法因缺乏对界面图像、历史成绩和评语文本等多源数据间潜在耦合关系的建模能力而导致评分依赖固定规则或主观经验的技术问题，实现了基于数据内在关联驱动的客观化实训综合评分。