基于智能终端设备的适用儿童训练汉字结构的方法及装置与流程

本发明涉及人机交互，具体涉及一种基于智能终端设备的适用儿童训练汉字结构的方法及装置。

背景技术：

1、汉字书法是中华文化的重要载体，而“结字”（即汉字笔画的空间结构布局）被公认为书法学习的核心要素之一。随着智能终端的普及，基于电子屏幕的书法训练系统逐渐成为辅助儿童识字与书法启蒙的重要工具。

2、现有技术中，电子书法训练方案主要沿循两类技术路径。第一类为“临摹-书写”路径，如cn113627408b、cn114092943b所公开的文字书写展示与训练方法，其在屏幕上划分展示区与训练区，通过获取用户的屏幕触控输入得到书写轨迹，并与标准笔顺轨迹进行比对评分；该类方案本质上仍是传统纸笔临摹的电子化延伸，用户需以手指或触控笔在屏幕上完成书写动作。第二类为“笔画比对”路径，如cn101551724b公开的在触摸屏上书写文字的方法，其通过接收用户在触摸屏上书写的待比较笔画，将笔画结构属性值、形状属性值与标准笔画进行比对并输出提示信息；该类方案同样依赖于多点触控屏幕的物理接触式输入。

3、然而，上述基于触控交互的现有技术存在以下共性缺陷：其一，手指或触控笔在触摸拖拽过程中必然遮挡屏幕上的笔画块及目标区域，用户需反复移开手指以观察对位情况，操作连贯性差，尤其对于学龄前儿童等精细动作控制能力较弱的群体，定位效率显著降低。其二，当学习框中已放置的笔画数量较多时，用户若需对较早放入的某一笔画进行位置微调，常因笔画相互重叠、触控点面积较大而发生误触，导致回溯调整成本高昂。其三，现有触控交互方式单一，未能充分考虑幼儿认知与行为特点——幼儿在使用触控屏时，因手部骨骼肌肉发育尚未成熟，极易产生非规则的快速晃动、方向混乱或无意识抖动等干扰动作，现有系统缺乏对此类干扰动作的识别与纠正机制，导致训练失败率居高不下，进而削弱学习兴趣和训练效果。

技术实现思路

1、本发明意在提供一种基于智能终端设备的适用儿童训练汉字结构的方法及装置，以解决现有触控式书法训练系统中手指遮挡视线、已放置笔画回溯调整困难、手部精细动作不成熟导致操作失败率高的技术问题。

2、为解决以上问题，本发明采用如下技术方案：

3、方案一：基于智能终端设备的适用儿童训练汉字结构的方法，包括以下步骤：

4、s1，获取目标汉字的标准笔画数据和标准笔顺序列；

5、s2，在智能终端设备显示界面上划分标准字显示区、拼字工作区以及笔画供给区；

6、s3，根据所述标准笔顺序列，在所述笔画供给区中逐笔依次仅显示当前待挪动的一个笔画图像；

7、s4，通过智能终端设备的前置图像采集装置实时采集用户手部区域的视频流，通过计算机视觉算法识别用户手指的凌空运动轨迹和手势类别，所述手势类别至少包括指向手势、抓取手势、拖拽手势以及释放手势；

8、s5，根据响应识别到的指向手势或抓取手势，将当前待挪动的笔画图像锁定并跟随手指的凌空运动轨迹在所述拼字工作区中移动；

9、s6，根据响应识别到的释放手势，将笔画图像固定在当前屏幕位置，并自动将下一笔顺对应的笔画图像刷新至所述笔画供给区；

10、s7，重复第s5和s6直至所有笔画按标准笔顺序列挪动完成，形成组合汉字图像；

11、s8，将所述组合汉字图像与所述标准字显示区中的标准汉字图像进行结构相似度比对，输出训练结果；

12、其中，在识别用户手指凌空运动轨迹的过程中，实时分析手指运动轨迹的时空特征，当判断用户动作属于非规则干扰动作时，暂停当前笔画图像的跟随响应，并生成对应的动作纠正提示信息。

13、有益效果：本发明通过非触控凌空拼接替代传统触控临摹，克服了书法训练领域长期存在的“必须模拟书写动作”的技术偏见；逐笔依次供给机制将笔顺规则无形嵌入拼接流程；非规则干扰动作的实时检测与暂停纠正，使系统能够在用户产生无意识快速晃动或手抖时主动干预而非被动响应，显著降低用户的晃动、手抖等习惯尤其是幼儿因为手部发育不成熟导致的操作失败率，实现了对3岁以上儿童全年龄段的训练适配。

14、进一步，所述实时分析手指运动轨迹的时空特征，判断用户动作是否属于非规则干扰动作，包括：

15、条件一，计算手指在相邻视频帧之间的瞬时位移速度，当瞬时位移速度超过预设速度阈值vmax时，判定为快速晃动干扰，速度阈值vmax的取值范围为300至600像素/秒；

16、条件二，计算手指在预设时间窗口t内运动方向的变化角度，当变化角度超过预设角度阈值θ时，判定为方向混乱干扰，角度阈值θ的取值范围为90至150度；

17、条件三，计算手指运动轨迹的曲率半径，当曲率半径小于预设半径阈值rmin时，判定为轨迹抖动干扰，半径阈值rmin的取值范围为30至80像素；

18、当上述任一条件满足且持续时长超过预设时长阈值t时，判定用户动作属于非规则干扰动作，时长阈值t的取值范围为0.3至0.8秒。

19、有益效果：通过将用户三类典型干扰动作量化为具有具体数值区间的判据（速度阈值300-600像素/秒、角度阈值90-150度、半径阈值30-80像素、持续时长0.3-0.8秒），使非规则干扰的判定从定性描述转化为可复现的数学计算，既避免了系统对用户尤其是幼儿正常探索性动作的过度敏感，又确保了真正影响操作精度的干扰行为被及时捕获，提升了检测的客观性和稳定性。

20、进一步，所述生成对应的动作纠正提示信息，包括：

21、当判定为快速晃动干扰时，输出减速提示，同时将笔画图像跟随灵敏度降低至第一增益系数，所述第一增益系数的取值范围为0.4至0.7；

22、当判定为方向混乱干扰时，输出方向引导提示，同时在所述拼字工作区中目标位置处显示动态导向箭头；

23、当判定为轨迹抖动干扰时，输出稳定手势提示，同时启用滑动平均滤波算法对手指运动轨迹进行平滑处理，所述滑动平均滤波的窗口帧数为3至5帧。

24、有益效果：针对快速晃动、方向混乱、轨迹抖动三类干扰分别实施差异化纠正策略，通过0.4-0.7的增益系数抑制跟随灵敏度以匹配幼儿减速需求，通过动态导向箭头提供视觉方向锚定以纠正空间迷失，通过3-5帧滑动平均滤波消除高频手抖噪声；三类策略协同使幼儿在训练过程中逐步建立稳定、规范的凌空手势控制肌肉记忆。

25、进一步，所述方法还包括：

26、s41，接收用户发出的包含笔顺编号的语音指令；

27、s42，根据笔顺编号在拼字工作区中查找对应已放置的笔画图像，将该笔画图像以边框高亮及呼吸灯闪烁方式进行标记并设置为可调整状态；

28、s43，响应于用户手指的凌空运动轨迹，调整被锁定笔画图像在所述拼字工作区中的位置；

29、s44，响应于释放手势或确认语音指令，解除对笔画图像的锁定并将其固定在新位置。

30、有益效果：通过语音笔顺编号与凌空手势的跨模态绑定，使用户无需在密集堆叠的已放置笔画中进行毫米级触控点选，仅需说出数字即可隔空锁定目标笔画；配合凌空微调，彻底解决了触控方案中“笔画数量多、相互遮挡、点选易误触”的结构性痛点，将已放置笔画的回溯调整效率提升3倍以上。

31、进一步，智能终端设备通过固定支架放置在水平承载面上，所述前置图像采集装置与用户手部区域之间保持20cm至40cm的恒定采集距离；

32、所述计算机视觉算法以不低于30帧/秒的频率对视频流进行逐帧处理，所述手指的凌空运动轨迹在屏幕二维坐标系中的映射精度达到像素级。

33、有益效果：通过固定支架建立20cm至40cm的恒定采集距离，避免了因设备晃动或儿童持握不稳导致的识别距离漂移；配合不低于30帧/秒的逐帧处理速率和像素级映射精度，确保了凌空手势在常规坐姿下具有与直接触控相当的空间分辨率和时间响应度，使幼儿无需学习即可自然操作。

34、进一步，在将笔画图像固定在当前屏幕位置之前，计算当前笔画图像的中心坐标与所述标准汉字图像中对应笔画的标准中心坐标之间的像素距离d；

35、若d≤d1，则直接固定笔画图像并输出正向反馈，其中d1为5至15个像素；

36、若d1＜d≤d2，则输出位置微调提示并引导用户继续调整，其中d2为16至30个像素；

37、若d＞d2，则判定为放置失败，将笔画图像还原至所述笔画供给区顶部。

38、有益效果：通过5至15像素的第一距离阈值d1和16至30像素的第二距离阈值d2构建三级评判机制：在d1范围内直接通过给予正向激励，在d1与d2之间提供容错引导以避免挫败感，超过d2则判定失败并还原笔画；该机制在保证汉字结构训练严谨性的同时，通过15像素的容错区间兼顾了幼儿心理接受度，使幼儿在错误中仍能保持学习动机。

39、进一步，所述方法还包括：

40、获取用户的年龄信息，根据所述年龄信息从预设的年龄-干扰阈值映射表中查询对应的干扰检测参数，并动态调整所述预设速度阈值vmax、预设角度阈值θ、预设半径阈值rmin及所述手势识别模块的识别帧率和响应延迟；

41、所述年龄-干扰阈值映射表包括：

42、3-5岁幼儿对应第一参数组：vmax1为300至400像素/秒，θ1为90至120度，rmin1为30至50像素，识别帧率不低于30帧/秒且手指锁定响应延迟不超过100毫秒；

43、6-8岁儿童对应第二参数组：vmax2为400至500像素/秒，θ2为100至140度，rmin2为40至60像素，识别帧率不低于25帧/秒且手指锁定响应延迟不超过150毫秒；

44、9岁以上用户对应第三参数组：vmax3为500至600像素/秒，θ3为120至150度，rmin3为50至80像素，识别帧率不低于20帧/秒且手指锁定响应延迟不超过200毫秒。

45、有益效果：通过年龄-干扰阈值映射表将用户按3-5岁、6-8岁、9岁以上三个年龄段进行差异化参数配置，使干扰检测阈值与儿童生理发育水平动态匹配，对3-5岁幼儿采用最严格的干扰判定标准（最低速度阈值300-400像素/秒、最小半径阈值30-50像素）和最高的系统响应性能（不低于30帧/秒、不超过100毫秒延迟），确保其快速但不稳定的手势能够被及时识别和容错；对9岁以上用户放宽阈值并降低帧率要求以节约算力。该联动机制使同一系统能够精准适配不同年龄段用户的神经肌肉控制特征，显著提升了全年龄段兼容性。

46、方案二：基于智能终端设备的适用儿童训练汉字结构的装置，应用于方案一所述的方法，包括：

47、图像采集模块，通过智能终端设备的前置图像采集装置实时采集用户手部区域的视频流；

48、手势识别模块，基于计算机视觉算法从视频流中识别用户手指的凌空运动轨迹和手势类别，所述手势类别至少包括指向手势、抓取手势、拖拽手势以及释放手势；

49、笔画供给模块，用于获取目标汉字的标准笔画数据和标准笔顺序列，同时在显示界面的笔画供给区中基于标准笔顺序列逐笔依次显示当前待挪动的一个笔画图像；

50、凌空操控模块，响应于识别到的所述指向手势或抓取手势，将当前待挪动的笔画图像锁定并跟随手指的凌空运动轨迹在拼字工作区中移动；响应于识别到的所述释放手势，将笔画图像固定在当前屏幕位置，并自动将下一笔顺对应的笔画图像刷新至笔画供给区；

51、结构评估模块，用于将拼字工作区中形成的组合汉字图像与标准汉字图像进行结构相似度比对，并输出训练结果；

52、干扰检测模块，用于在识别用户手指凌空运动轨迹的过程中，实时分析手指运动轨迹的时空特征，当判断用户动作属于非规则干扰动作时，暂停当前笔画图像的跟随响应，并生成对应的动作纠正提示信息；

53、其中，智能终端设备通过固定支架放置在水平承载面上，所述固定支架用于保持前置图像采集装置与用户手部区域之间形成20cm至40cm的恒定采集距离。

54、有益效果：通过图像采集模块、手势识别模块、凌空操控模块与干扰检测模块的协同，构建了一套完整的非接触式汉字结构训练闭环；固定支架的硬件限定确保了采集距离的恒定性，使凌空手势识别具有可重复的几何基准，避免了手持设备导致的距离漂移和识别失准，提升了装置在儿童使用场景下的鲁棒性。

55、进一步，还包括：

56、语音交互模块，用于接收用户发出的包含笔顺编号的语音指令；

57、笔画管理模块，用于根据所述笔顺编号在所述拼字工作区中查找对应已放置的笔画图像，将该笔画图像以边框高亮及呼吸灯闪烁方式进行标记并设置为可调整状态；

58、所述凌空操控模块还响应于用户手指的凌空运动轨迹调整被锁定笔画图像的位置，并响应于释放手势或确认语音指令解除锁定。

59、有益效果：语音交互模块与笔画管理模块的跨模态配合，实现了对已放置笔画的非接触式精准回溯；用户仅需语音报出笔顺编号，系统即可在拼字工作区中高亮锁定对应笔画并进入可调整状态，配合凌空操控模块完成位置微调，解决了触控方案无法解决的密集笔画精准选中难题。

60、进一步，还包括：

61、年龄适配模块，用于获取用户的年龄信息，根据所述年龄信息从预设的年龄-干扰阈值映射表中查询对应的干扰检测参数，并动态调整所述手势识别模块的识别帧率和响应延迟以及所述干扰检测模块的预设速度阈值vmax、预设角度阈值θ和预设半径阈值rmin；

62、所述年龄干扰阈值映射表包括：

63、3-5岁幼儿对应第一参数组：vmax1为300至400像素/秒，θ1为90至120度，rmin1为30至50像素，识别帧率不低于30帧/秒且手指锁定响应延迟不超过100毫秒；

64、6-8岁儿童对应第二参数组：vmax2为400至500像素/秒，θ2为100至140度，rmin2为40至60像素，识别帧率不低于25帧/秒且手指锁定响应延迟不超过150毫秒；

65、9岁以上用户对应第三参数组：vmax3为500至600像素/秒，θ3为120至150度，rmin3为50至80像素，识别帧率不低于20帧/秒且手指锁定响应延迟不超过200毫秒。

66、有益效果：年龄适配模块使装置能够根据用户年龄自动切换手势识别性能参数和干扰检测阈值，确保3-5岁幼儿在最高灵敏度（不低于30帧/秒、不超过100毫秒延迟）和最严格干扰过滤（vmax1 300-400像素/秒）下获得即时容错响应；同时使9岁以上用户在适当降低的性能参数下仍能流畅使用，实现了装置对全年龄段用户的自适应优化，避免了“一刀切”参数导致的幼儿操作失败或大龄用户系统冗余。

67、本发明的优点在于：

68、本发明摒弃了现有电子书法训练系统对触摸屏等书写用品物理接触的依赖，通过前置摄像头采集凌空手势实现汉字笔画的非接触式拼接，从根本上消除了手指遮挡屏幕视线、已放置笔画回溯调整困难、幼儿因手部精细动作不成熟导致误触频发等触控方案固有的结构性缺陷。

69、相较于现有技术中被动等待用户完成书写后再进行结果比对的“事后评判”模式，本发明首创性地将计算机视觉算法同时用于操作过程中的实时行为监测，通过分析手指运动轨迹的瞬时速度、方向变化角及曲率半径等时空特征，主动识别用户尤其是幼儿在凌空操作过程中产生的快速晃动、方向混乱及轨迹抖动等非规则干扰动作，并在干扰发生的瞬间暂停系统响应、输出针对性纠正提示，将错误预防前置于有效识别环节，使系统对用户尤其是幼儿行为的容错能力由被动的事后补救转变为主动的过程干预。

70、此外，本发明通过语音笔顺编号与凌空手势的跨模态融合，使用户仅需说出数字即可在密集的已放置笔画中精准锁定目标笔画并进行位置微调，彻底解决了触控方案中因笔画堆叠、点选面积有限而导致的回溯调整难题。

71、尤为重要的是，本发明并非将凌空手势识别、语音交互及干扰检测三种技术进行简单的功能堆砌，而是基于3至5岁、6至8岁及9岁以上三个年龄段儿童的神经肌肉发育差异，建立了年龄与干扰检测阈值、手势识别帧率及响应延迟之间的动态映射关系，使同一套系统能够根据用户的生理发育水平自动切换识别灵敏度与容错标准，实现了对全年龄段用户的自适应适配，显著提升了儿童汉字结构训练的成功率、操作流畅度与学习沉浸感。

72、书法训练领域长期存在一种根深蒂固的技术偏见，即认为书法训练的本质是“书写”，电子书法训练系统必须模拟或替代纸笔书写动作，因此本领域技术人员在面对“提升幼儿书法训练效果”的技术问题时，其常规改进思路始终被限定在“如何优化触控书写体验”的框架内，例如提高触控采样精度、增加字帖库、改进笔画比对算法、增大笔画块触控热区等。现有技术改进均服务于“让用户在屏幕上写得更准、评得更准”。不存在为克服幼儿手部发育不成熟、触控易失败的问题而彻底取消触控书写、改用凌空拼接的技术动机，因为这一改进方向与书法训练领域“书写”的固有认知相悖，属于对现有技术范式的背离而非框架内的优化。因此，将输入方式从触控书写转变为凌空拼接，并将训练模式从“临摹书写”转变为“笔画拼接”，并非本领域技术人员容易想到的常规替代。

73、本领域公知的手势识别技术（包括凌空手势识别）的设计目标是提高有效手势的识别准确率、降低误识别率，其技术思路聚焦于“如何正确理解用户的意图”。而本技术将计算机视觉算法同时用于“识别用户的错误动作以纠正用户行为”，即在判定用户动作属于非规则干扰动作时，暂停系统响应并输出纠正提示，这一设计思路属于将手势识别技术从“意图理解”反向延伸至“行为矫正”，并非手势识别领域的常规设计。本领域技术人员没有动机将用于识别有效指令的算法同时用于检测并纠正用户的无效动作，因为现有技术中不存在“在操作过程中实时打断用户并纠正其动作”的技术需求，亦不存在将瞬时速度、方向变化角、曲率半径组合用于幼儿干扰行为分类的公知常识。

74、在现有触控方案中，用户通过直接点选即可选中屏幕上的目标对象，虽然存在误触问题，但本领域技术人员的常规改进方向是优化点选精度（如增大热区、引入压力感应），而非引入语音指令作为选中手段。本领域技术人员不存在为解决触控点选困难而引入语音编号锁定机制的技术动机，因为语音交互与手势控制分属不同模态，其组合需要解决指令冲突、时序同步、状态机切换等额外技术问题，属于增加系统复杂度的非必要设计。只有在彻底取消触控、采用凌空拼接导致“无法点选已放置笔画”这一新的结构性难题出现后，引入语音锁定才成为解决该特定问题的必要技术手段，而非本领域技术人员在常规手段中能够预先想到的常规组合。

75、本发明相比于在现有技术及本领域惯用技术手段具有以下预料不到的技术效果：

76、（1）操作失败率的显著降低：经内部测试，30名3至5岁幼儿使用本技术凌空拼接方案的平均操作失败率为12%，而使用现有触控拼接方案的平均失败率为58%，失败率降低了79%。该效果并非简单地将输入方式从触控改为凌空即可自然获得，而是凌空非接触输入、非规则干扰动作实时检测纠正、年龄联动阈值适配三者协同作用的结果；若仅采用凌空输入而不配置干扰检测与年龄适配，幼儿因手部发育不成熟产生的快速晃动仍会导致笔画漂移，失败率仅能从58%降至约35%，无法达到12%的水平。

77、（2）训练专注时长的大幅延长：由于本技术彻底消除了手指遮挡视线的问题，且通过干扰检测纠正机制帮助幼儿逐步建立稳定的凌空手势控制习惯，3至5岁幼儿的平均单次训练专注时长从现有触控方案的2分15秒延长至5分40秒，提升了152%。该效果超出了本领域技术人员对“输入方式改变可提升专注度”的合理预期，因为现有技术普遍认为幼儿注意力短暂是心理特征而非技术问题，无法通过交互方式的改变根本解决。

78、（3）已放置笔画回溯效率的质变：通过语音笔顺编号锁定与凌空微调的跨模态融合，已放置笔画的平均回溯调整耗时从触控方案的18.6秒缩短至4.2秒，且误触率从32%降至0%。该效果源于非接触式交互对密集笔画堆叠场景的天然适配，是触控方案无论如何优化热区尺寸都无法达到的结构性突破。