一种基于多模态交互与动态任务分配的幼儿语言能力评估方法及系统

本发明涉及语言评测，特别是涉及一种基于多模态交互与动态任务分配的幼儿语言能力评估方法及系统。

背景技术：

1、幼儿语言能力评估通常包括语言理解、语言表达等测评内容，不同测评内容采用的刺激材料和应答方式有所区别。张显达等在《儿童语言发育词汇评估量表的信效度研究》（《中国听力语言康复科学杂志》，2024年第22卷第1期，第23-26页）中，采用《儿童汉语语言发育评估量表—词汇篇》对学龄前儿童进行测评，该词汇分量表分别设置词汇理解题和词汇表达题，用于评价儿童的词汇理解能力和词汇表达能力。该研究中的词汇分量表包括20个词汇理解题和25个词汇表达题，表明语言理解与语言表达可以作为儿童词汇能力评估中的不同测评内容。

2、在儿童语言能力自动评测方面，中国发明专利申请cn116595152a公开了一种基于大语言模型叠加适配器的儿童语言能力测试方法，将待测儿童的语音输入训练完成的儿童语言对话模型，根据待测儿童的语音和模型预测的语音对话确定语言能力检测结果，并公开了文本指令和图像指令形式的适配提示。在此基础上，中国发明专利申请cn119028594a公开了一种自闭症儿童语言评测方法，在互动过程中采集儿童的语言数据、视觉数据和行为数据，从语言数据中提取声学信息、词汇信息、句子结构和语义信息，从视觉数据和行为数据中提取视觉关注点、眼动轨迹、面部表情、肢体动作、头部运动和注视行为，并根据形成的多模态反应特征生成符合儿童当前语言能力的互动任务，再利用多轮互动获得的语言数据进行语言能力评测。

3、由此，儿童语言能力评测已经能够由单次语音测试进一步扩展至结合语言反应、视觉反应和行为反应调整互动任务的评测方式。

4、然而，现有的多模态互动式语言评测方法主要根据儿童的综合反应特征确定后续互动任务，cn119028594a公开的任务调整也主要依据儿童当前语言能力、情感状态和注意状态改变互动内容。

5、对于幼儿语言能力评估，当幼儿在表达型评估任务中未形成符合要求的语言表达响应时，现有技术尚缺少在保持被评估语言目标一致的条件下，根据幼儿的任务参与状态进一步切换至理解型评估任务，并结合不同应答方式下的响应结果确定对应语言目标掌握状态的评估方式。

技术实现思路

1、为了克服现有技术的不足，本发明的目的是提供一种基于多模态交互与动态任务分配的幼儿语言能力评估方法及系统，本发明解决了现有技术中存在的幼儿未完成语言表达时，难以在同一语言目标下进一步区分语言理解状态与语言表达状态的问题。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于多模态交互与动态任务分配的幼儿语言能力评估方法，包括：

4、确定待评估幼儿的当前语言目标及对应的表达型评估任务和理解型评估任务；

5、基于所述表达型评估任务，采集所述待评估幼儿的语言响应数据和参与行为数据，根据所述参与行为数据确定任务参与状态，并根据所述语言响应数据确定表达响应状态；

6、当所述任务参与状态为无效参与状态时，不确定所述当前语言目标的语言能力状态，并重新分配所述当前语言目标对应的评估任务；当所述任务参与状态为有效参与状态且所述表达响应状态为表达通过状态时，将所述当前语言目标的语言能力状态确定为表达掌握状态；当所述任务参与状态为有效参与状态且所述表达响应状态为表达未通过状态时，保持所述当前语言目标不变并分配所述理解型评估任务；

7、基于所述理解型评估任务，采集所述待评估幼儿的理解行为数据，根据所述理解行为数据确定理解响应状态，并根据所述理解响应状态将所述当前语言目标的语言能力状态确定为理解掌握状态或未掌握状态；

8、根据所述当前语言目标的语言能力状态确定后续语言目标及对应的评估任务；

9、将所述后续语言目标作为新的当前语言目标进行评估，依次确定多个语言目标的语言能力状态，并根据多个所述语言目标的语言能力状态确定所述待评估幼儿的语言能力评估结果。

10、一种基于多模态交互与动态任务分配的幼儿语言能力评估系统，包括：

11、任务确定模块，用于确定待评估幼儿的当前语言目标及对应的表达型评估任务和理解型评估任务；

12、表达响应处理模块，用于基于所述表达型评估任务，采集所述待评估幼儿的语言响应数据和参与行为数据，根据所述参与行为数据确定任务参与状态，并根据所述语言响应数据确定表达响应状态；

13、任务分配模块，用于当所述任务参与状态为无效参与状态时，不确定所述当前语言目标的语言能力状态，并重新分配所述当前语言目标对应的评估任务；当所述任务参与状态为有效参与状态且所述表达响应状态为表达通过状态时，将所述当前语言目标的语言能力状态确定为表达掌握状态；当所述任务参与状态为有效参与状态且所述表达响应状态为表达未通过状态时，保持所述当前语言目标不变并分配所述理解型评估任务；

14、理解响应处理模块，用于基于所述理解型评估任务，采集所述待评估幼儿的理解行为数据，根据所述理解行为数据确定理解响应状态，并根据所述理解响应状态将所述当前语言目标的语言能力状态确定为理解掌握状态或未掌握状态；

15、后续任务确定模块，用于根据所述当前语言目标的语言能力状态确定后续语言目标及对应的评估任务；

16、语言能力评估模块，用于将所述后续语言目标作为新的当前语言目标进行评估，依次确定多个语言目标的语言能力状态，并根据多个所述语言目标的语言能力状态确定所述待评估幼儿的语言能力评估结果。

17、本发明公开了以下技术效果：

18、本发明提供了一种基于多模态交互与动态任务分配的幼儿语言能力评估方法及系统，本发明基于表达型评估任务获取待评估幼儿的语言响应数据和参与行为数据，分别确定任务参与状态和表达响应状态，在无效参与状态下重新分配当前语言目标对应的评估任务，在有效参与且表达未通过时保持当前语言目标不变并分配理解型评估任务，再根据理解行为数据确定理解响应状态，使当前语言目标的语言能力状态能够区分为表达掌握状态、理解掌握状态或未掌握状态；进一步根据所述语言能力状态确定后续语言目标及对应的评估任务，并基于多个语言目标的语言能力状态确定语言能力评估结果，从而能够结合幼儿在不同评估任务中的实际响应状态动态调整后续评估任务，提高幼儿语言能力评估过程中对不同语言能力状态的区分程度。

1.一种基于多模态交互与动态任务分配的幼儿语言能力评估方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多模态交互与动态任务分配的幼儿语言能力评估方法，其特征在于，所述确定待评估幼儿的当前语言目标及对应的表达型评估任务和理解型评估任务，包括：

3.根据权利要求1所述的一种基于多模态交互与动态任务分配的幼儿语言能力评估方法，其特征在于，所述基于所述表达型评估任务，采集所述待评估幼儿的语言响应数据和参与行为数据，根据所述参与行为数据确定任务参与状态，并根据所述语言响应数据确定表达响应状态，包括：

4.根据权利要求1所述的一种基于多模态交互与动态任务分配的幼儿语言能力评估方法，其特征在于，所述根据所述参与行为数据确定任务参与状态，包括：

5.根据权利要求1所述的一种基于多模态交互与动态任务分配的幼儿语言能力评估方法，其特征在于，所述根据所述语言响应数据确定表达响应状态，包括：

6.根据权利要求1所述的一种基于多模态交互与动态任务分配的幼儿语言能力评估方法，其特征在于，所述表达型评估任务为针对所述当前语言目标的图片命名任务，所述理解型评估任务为针对所述当前语言目标的指令跟随任务。

7.根据权利要求6所述的一种基于多模态交互与动态任务分配的幼儿语言能力评估方法，其特征在于，所述基于所述理解型评估任务，采集所述待评估幼儿的理解行为数据，根据所述理解行为数据确定理解响应状态，并根据所述理解响应状态将所述当前语言目标的语言能力状态确定为理解掌握状态或未掌握状态，包括：

8.根据权利要求1所述的一种基于多模态交互与动态任务分配的幼儿语言能力评估方法，其特征在于，所述当所述任务参与状态为无效参与状态时，不确定所述当前语言目标的语言能力状态，并重新分配所述当前语言目标对应的评估任务，包括：

9.根据权利要求1所述的一种基于多模态交互与动态任务分配的幼儿语言能力评估方法，其特征在于，所述将所述后续语言目标作为新的当前语言目标进行评估，依次确定多个语言目标的语言能力状态，并根据多个所述语言目标的语言能力状态确定所述待评估幼儿的语言能力评估结果，包括：

10.一种基于多模态交互与动态任务分配的幼儿语言能力评估系统，其特征在于，包括：