基于动作识别的数字化平台非遗研学教学方法及系统

摘要: 本发明涉及教育信息,具体为基于动作识别的数字化平台非遗研学教学方法及系统。背景技术:1、非物质文化遗产手工技艺承载着丰富的传统工艺智慧,其核心技术特征往往体现为...
基于动作识别的数字化平台非遗研学教学方法及系统

本发明涉及教育信息,具体为基于动作识别的数字化平台非遗研学教学方法及系统。

背景技术:

1、非物质文化遗产手工技艺承载着丰富的传统工艺智慧,其核心技术特征往往体现为大量隐性知识和微细肢体动作,例如剪纸中的"对折剪"运刀角度与手腕发力节奏、刺绣中的"平针绣"针法频率与布料张力控制、陶艺拉坯中的双手施力均衡与转速配合等。这些技法在传统教学中高度依赖传承人的口传心授和肉眼观察,缺乏客观、量化的技能评估标准。

2、近年来,将非遗手工技艺体验纳入学校综合实践课程和校外研学活动的需求日益增长。与专业传承训练不同,非遗研学场景具有三个显著特征:学员数量多且年龄跨度大、学员普遍为零基础或低基础、单次研学活动的教学时长有限(通常为1至4课时)。这些特征使得传统"一对一示范+肉眼纠错"的教学模式在规模化研学场景下难以为继——一位指导老师在同一时间段内无法对多名学员的动作精度逐一做出准确判断,学员也无法在有限的课时内获得充分的个性化反馈。

3、与此同时,数字化教育平台虽然已开始尝试将动作捕捉技术引入手工教学,但现有方案在非遗研学场景下仍存在以下亟待解决的技术问题:

4、1、传统研学平台多采用二维rgb摄像头配合简易姿态估计算法,在复杂的教室光照或学员身体自遮挡场景下关节定位误差大,难以满足剪纸、刺绣等精细手工技艺对指尖及小关节位姿的捕捉需求。

5、2、不同学员的肢体长度、动作节奏存在天然差异,现有系统多采用固定时间窗口的帧间比对或直接模板匹配,当学员动作速度偏慢或偏快时会产生大量误判,无法将学员的实时动作轨迹与标准非遗技法进行高精度的时空对齐。

6、3、即使能够输出相似度分数,现有系统也仅停留在打分层面,未将评分结果映射为具体的教学策略,学员无法在有限的研学课时内获得有效纠正。

7、4、现有平台的资源推荐多采用通用推荐算法,未将学员的动作偏差特征与教学资源库的索引结构建立语义关联,导致推送内容与学员实际缺陷不匹配。

技术实现思路

1、针对现有技术的不足,本发明提供了基于动作识别的数字化平台非遗研学教学方法及系统,解决了现今存在的问题。

2、为实现上述目的,本发明提供如下技术方案:基于动作识别的数字化平台非遗研学教学方法,包括如下步骤:

3、步骤一:通过深度摄像头采集学员的非遗实操视频,采用卷积神经网络提取人体关节三维坐标并按骨骼拓扑排序,得到骨骼关键点序列;

4、步骤二:对骨骼关键点序列进行基于相邻帧矢量差分,并执行骨骼段方向矢量反余弦运算的运动学参数提取,随后对运动学参数进行归一化处理,生成关节运动特征向量;

5、步骤三:计算关节运动特征向量与标准动作特征向量的欧氏距离矩阵并执行动态时间规整动态规划搜索,得到动作相似度评分;

6、步骤四:将动作相似度评分与预设阈值区间比对得到偏差等级标签,基于偏差等级标签检索教学策略规则库得到目标干预规则,并依据目标干预规则生成个性化研学反馈报告;

7、步骤五:解析个性化研学反馈报告并执行倒排索引查询与渲染推送,以此实现教学干预。

8、在其中一些实施例中,所述骨骼关键点序列获取过程包括:

9、通过深度摄像头以预设帧率连续拍摄学院实操过程,得到原始视频帧集合,对原始视频帧集合中的每一帧执行基于卷积神经网络的人体检测,获取人体边界框;

10、在人体边界框内构建多尺度特征金字塔,构建多尺度热力图,对多尺度热力图执行非极大值抑制与亚像素级峰值定位,得到关节坐标点集合;

11、将关节坐标点集合按人体拓扑结构进行骨骼连线排序,以此获取骨骼关键点序列。

12、在其中一些实施例中,所述关节运动特征向量生成过程包括:

13、提取骨骼关键点序列中第t帧与第t-1帧中同一关节的三维坐标,得到相邻帧坐标对;

14、对相邻帧坐标对执行矢量差分晕眩并除以预设的采样时间间隔,获取关节线速度矢量,基于骨骼关键点序列中相邻三帧中同一骨骼段的方向矢量执行矢量夹角反余弦运算,得到关节角速度标量;

15、将关节线速度矢量与组合,构成原始特征矩阵,对其执行零均值单位方差归一化变换,以此生成关节运动特征向量。

16、在其中一些实施例中,所述动作相似度评分获取过程包括:

17、由标准非遗动作模块库中调取与目标技艺对应的标准特征向量,得到标准动作特征向量;将关节运动特征向量与标准动作特征向量分别按时间步展开为行向量,获得学员特征行向量及标准特征行向量;

18、对学员特征行向量中每一个时间步的向量与标准特征行向量中每一个时间步的向量执行逐元素相减与平方求和运算,得到单步距离标量;

19、遍历学员特征行向量与标准特征行向量的全部时间步组合,将所有单步距离标量按行列位置排列,得到距离矩阵;

20、初始化与距离矩阵尺寸相同的累积代价矩阵,将距离矩阵第零行第零列的单步距离标量赋值至累积代价矩阵对应位置,得到初始累积代价矩阵;

21、对初始累积代价矩阵中剩余每个位置,取该位置左邻、左上邻、上邻三个累积代价中的最小值,与该位置对应的单步距离标量相加,得到当前累积代价;

22、遍历初始累积代价矩阵的全部位置后,提取矩阵右下角终点的当前累积代价,得到规整路径代价,将规整路径代价除以匹配路径长度进行归一化映射,以此获取动作相似度评分;

23、在其中一些实施例中,所述规整路径代价的具体过程包括:

24、在遍历初始累积代价矩阵中剩余每个位置之前,根据学员特征行向量的时间步长度与标准特征行向量的时间步长度,计算全局约束窗口半径,得到约束窗口半径;

25、以约束窗口半径为边界条件,对初始累积代价矩阵中超出约束窗口范围的矩阵元素预设为无穷大代价值,得到窗口约束累积代价矩阵;

26、对窗口约束累积代价矩阵中剩余每个位置,取该位置左邻、左上邻、上邻三个累积代价中的最小值,与该位置对应的单步距离标量相加,得到当前累积代价;

27、遍历窗口约束累积代价矩阵的全部位置后,提取矩阵右下角终点的当前累积代价,得到规整路径代价。

28、在其中一些实施例中,所述个性化研学反馈报告生成过程包括:

29、将动作相似度评分与预设的评分阈值区间进行比对,得到偏差等级标签,并解析偏差等级标签对应的数值范围,得到偏差数值区间;

30、在预设的教学策略规则库中检索与偏差数值区间存在映射关系的干预规则条目,得到目标干预规则;

31、依据目标干预规则生成包含资源类型与推送时机的教学策略调整指令;

32、将教学策略调整指令与动作相似度评分进行结构化文本封装,以此生成个性化研学反馈报告。

33、在其中一些实施例中,所述教学干预实现过程包括:

34、解析个性化研学反馈报告中的薄弱环节标识,提取薄弱环节对应的关键词,得到知识点缺陷标签,同时利用知识点缺陷标签在非遗数字化教学资源库的索引文件中进行倒排索引查询,得到候选资源列表;

35、对候选资源列表中的资源按照与知识点缺陷标签的语义相关度进行降序排序,得到定制化非遗教学资源,读取定制化非遗教学资源的资源类型标识,获取资源格式标签;

36、基于资源格式标签调用对应的前端渲染引擎对定制化非遗教学资源执行解码与画面合成,得到可视化渲染页面,随后通过超文本传输协议将可视化渲染页面推送至学员终端的浏览器内核进行加载呈现,以此实现教学干预。

37、本发明要解决的另一技术问题是提出基于动作识别的数字化平台非遗研学教学系统,包括:

38、动作采集模块:通过深度摄像头采集学员的非遗实操视频,采用卷积神经网络提取人体关节三维坐标并按骨骼拓扑排序,得到骨骼关键点序列;

39、特征提取模块:接收动作采集模块的输出,对骨骼关键点序列进行基于相邻帧矢量差分,并执行骨骼段方向矢量反余弦运算的运动学参数提取,随后对运动学参数进行归一化处理,生成关节运动特征向量;

40、智能评估模块:接收特征提取模块的输出,计算关节运动特征向量与标准动作特征向量的欧氏距离矩阵,并执行动态时间规整动态规划搜索,得到动作相似度评分;

41、反馈获取模块:接收智能评估模块的输出,将动作相似度评分与预设阈值区间比对得到偏差等级标签,基于偏差等级标签检索教学策略规则库得到目标干预规则,并依据目标干预规则生成个性化研学反馈报告;

42、教学干预模块:解析个性化研学反馈报告并执行倒排索引查询与渲染推送,以此实现教学干预。

43、与现有技术相比,本发明提供了基于动作识别的数字化平台非遗研学教学方法及系统,具备以下有益效果:

44、1、该基于动作识别的数字化平台非遗研学教学方法及系统,通过深度摄像头结合卷积神经网络提取三维骨骼关键点,能够在复杂背景下实现毫米级关节定位精度,为非遗精细手工动作的量化评估提供了可靠的数据基础;

45、2、该基于动作识别的数字化平台非遗研学教学方法及系统,通过对骨骼关键点序列执行相邻帧矢量差分和骨骼段方向矢量反余弦运算,提取线速度矢量与角速度标量并归一化,有效消除了学员因肢体长度差异和动作幅度不同带来的量纲影响,使得不同体型学员的动作特征具有可比性;

46、3、该基于动作识别的数字化平台非遗研学教学方法及系统,采用动态时间规整算法对关节运动特征向量与标准动作特征向量进行动态规划搜索,突破了传统固定时间窗口比对的局限,能够自适应学员动作节奏的快慢差异,实现高精度的时空对齐匹配;

47、4、该基于动作识别的数字化平台非遗研学教学方法及系统,通过将动作相似度评分与预设阈值区间比对,从教学策略规则库中检索对应的干预规则,实现了从量化评分到教学决策的自动转化,生成的个性化研学反馈报告能够精准指出学员的薄弱环节;

48、5、该基于动作识别的数字化平台非遗研学教学方法及系统,利用知识点缺陷标签在非遗数字化教学资源库中执行倒排索引查询与语义相关度排序,确保推送的定制化教学资源与学员的实际缺陷高度匹配,真正实现了"因材施教"的数字化研学闭环。