一种基于沉浸式的幼儿双语语义关联系统

本技术涉及自然语言处理与语义分析，尤其涉及一种基于沉浸式的幼儿双语语义关联系统。

背景技术：

1、在自然语言处理与语义分析领域，跨语言语义理解用于在两种语言的词语之间建立语义上的对应关系，是双语信息处理的基础环节。在沉浸式双语场景中，幼儿一边使用母语、一边接触目标语，其自发话语常常呈现两种语言混合的形态：在一句母语话语中夹入个别目标语词，或在表达某一概念时由目标语临时改回母语。处理这类混合话语，需要同时识别其中的语言归属与语义指向，属于自然语言处理与语义分析的范畴。

2、为在两种语言之间建立语义对应，现有技术通常依赖预先构建的外部资源。cn118246461a公开了一种跨语言语义理解方案，借助双语词典将查询与标注中的词替换为其他语言中的对应词，并在混合语言语料上训练掩码语言模型，从而得到面向多语言的语义表示，其跨语言对应关系取自通用双语词典与大规模预训练语料。cn112101047a针对平行语料稀缺的语言对，采用回译扩充语料，并在翻译过程中以占位符匹配术语；cn110083840a则依据字母含义与词根词缀构词规则组织单词，帮助建立词义理解。上述方案的共同前提是：跨语言的语义对应取自通用词典、平行语料或固定构词规则，是面向群体、预先确定且相对静态的映射。

3、然而，面向具体幼儿个体时，这一前提并不总是成立。通用词典给出的对译是群体统计的结果，而同一个目标语词在某个幼儿处的所指往往是特定的，其“car”可能仅指某一辆玩具车，“rice”对应“米”还是“饭”取决于当时的场景。当预先确定的对译与该幼儿的实际所指不一致时，基于通用资源的处理无从纠正。更值得注意的是，为得到干净的单语输入，上述处理往往把幼儿混合话语中的语言切换当作噪声予以清除或归一。以一个具体场景为例：幼儿在一句母语话语中说出一个目标语词，该切换位置被当作噪声清除，进而系统无从记录该幼儿已能以目标语表达该概念这一事实；反之，幼儿在表达某一概念时改回母语，这一改换同样被抹去，这会导致系统无法得知该概念在目标语中尚属缺失；从而呈现内容只能依据外部预设的词表与固定次序推进，而非依据该幼儿当前真实的跨语言掌握状态。

4、上述方案共同忽略了如下技术问题：幼儿混合话语中母语与目标语相互切换的位置，本身是标注该幼儿跨语言语义掌握状态的离散、可检信号，而这一信号长期被当作需要清除的噪声对待。具体而言，切换位置以目标语说出的词，指向该幼儿已经能以目标语表达的概念；切换位置改回母语表达的概念，指向该幼儿在目标语中尚缺失的概念；同时，切换位置周围的母语话语，天然提供了消解该目标语词具体所指的语境。这些信息在既有处理中随切换一并流失，未被用于建立面向个体的跨语言语义关联。

5、除此之外，在沉浸式双语场景的持续呈现中还存在两个尚未解决的问题。其一，目标语词的遗忘起点因人、因词而异，依据固定复习次序安排再现，往往迟于或早于幼儿实际开始遗忘的时刻，缺少对遗忘的早期判据。其二，幼儿以听辨为主，容易把语音相近而语义无关的跨语言词相互错绑，而仅凭语音相近或仅凭语义无关都不足以将这类错绑与正常的对译区分开来。

6、由此，如何摆脱对通用词典与静态语料的依赖，从幼儿自身的实时话语中建立面向个体的跨语言语义关联，并据此驱动沉浸式呈现，成为该领域尚未解决的问题。

技术实现思路

1、本技术要解决的技术问题是提供一种基于沉浸式的幼儿双语语义关联系统，用于解决幼儿混合话语中的语码转换信号被当作噪声丢弃、难以据其建立并驱动个体化跨语言语义关联的问题。

2、为了达到上述目的，本技术采取以下技术方案：

3、一种基于沉浸式的幼儿双语语义关联系统，包括：采集模块，用于采集幼儿在沉浸式场景中的语音、所述沉浸式场景中的图像与实物、以及幼儿的指认或抓取动作；

4、语义关联网络构建模块，用于根据同一被指物在场时母语标签与目标语标签的共现次数，在个体化跨语言语义关联网络（以下简称语义关联网络）中，将共现次数达到设定阈值的母语标签与目标语标签建立为相互关联的一对节点；

5、语码转换检测模块，用于从幼儿的混合语言话语中确定母语与目标语之间的语码转换点；

6、双向语义信号模块，用于将所述语码转换点处以目标语说出的词在所述语义关联网络中对应的节点标注为已激活节点，并将幼儿在所述语码转换点改用母语表达的概念在目标语中对应的节点标注为缺口节点；

7、沉浸式呈现模块，用于依据所述语义关联网络中已激活节点与缺口节点的分布，选择与所述已激活节点相关联的目标语内容、或所述缺口节点对应的目标语内容，作为下一步在所述沉浸式场景中呈现的内容。

8、可选的，所述语义关联网络构建模块还用于：通过图像识别确定所述沉浸式场景中的实物、或读取所述实物上的电子标签，确定所述被指物在场；将母语标签与目标语标签在同一被指物在场期间先后出现、且先后出现的时间间隔不超过设定时间窗的一次共同出现，记为所述母语标签与所述目标语标签围绕所述被指物的一次共现；当所述母语标签与所述目标语标签的共现次数达到设定阈值时，在所述个体化跨语言语义关联网络中将二者建立为相互关联的一对节点；当所述共现次数确定的关联关系与预置双语词典给出的对译关系不一致时，以所述共现次数确定的关联关系更新所述语义关联网络。

9、可选的，所述语码转换检测模块还用于：用语种识别模型对幼儿的混合语言话语中的各个词分别标注所属语言；将相邻两个词所属语言由母语变为目标语、或由目标语变为母语的位置，确定为所述语码转换点；对所述语码转换点处以目标语说出的词，提取所述语码转换点前后母语话语中与所述目标语说出的词共同指向同一被指物的语境词，用所述语境词在所述语义关联网络中确定所述目标语说出的词对应的义项节点，所述义项节点由所述双向语义信号模块标注为已激活节点。

10、可选的，所述语种识别模型的训练过程包括：将样本词的声学特征作为所述语种识别模型的输入；将所述语种识别模型的输出确定为所述样本词的所属语言；以所述样本词的所属语言标签作为训练标签，对所述语种识别模型进行训练，直至所述输出与所述所属语言标签之间的差异收敛。

11、可选的，所述沉浸式呈现模块还用于：对标注为缺口节点的概念，选择所述缺口节点在目标语中对应的目标语内容，作为下一步在所述沉浸式场景中定向呈现的内容；对标注为已激活节点的概念，在所述语义关联网络中确定与所述已激活节点相关联的待呈现节点；将所述待呈现节点中既与母语标签关联又与目标语标签关联的节点，确定为共享关联节点，将所述待呈现节点中仅与目标语标签关联的节点确定为专有关联节点；先呈现所述共享关联节点对应的目标语内容，再呈现所述专有关联节点对应的目标语内容。

12、可选的，所述沉浸式呈现模块还用于：记录幼儿从目标语内容呈现结束到幼儿对所述目标语内容作出正确响应之间的响应时长；将幼儿在设定时段内的多次响应时长的滚动平均值，确定为幼儿的响应时长基线；将响应时长高于所述响应时长基线的目标语内容对应的节点，保留在所述沉浸式场景的呈现轮换中，并缩短所述节点的再现时间间隔；将响应时长不高于所述响应时长基线的目标语内容对应的节点，移出所述呈现轮换。

13、可选的，还包括母语回退监测模块，所述母语回退监测模块用于：对已标注为已激活节点的目标语概念，记录引出所述目标语概念的沉浸式场景；在引出所述目标语概念的沉浸式场景中，将检测到的幼儿改以母语说出所述目标语概念的表达，记为一次母语回退事件；将发生所述母语回退事件的已激活节点，即时插入所述沉浸式呈现模块的呈现队列的队首再现，而不等待所述已激活节点的预定再现时刻。

14、可选的，所述母语回退监测模块还用于：通过匹配沉浸式场景的图像特征、或通过确定相同被指物在场，判定当前沉浸式场景与引出所述目标语概念的沉浸式场景为同一场景；统计同一已激活节点发生所述母语回退事件的累计次数；当所述累计次数达到设定次数时，提高所述已激活节点在所述呈现队列中的再现频次；所述母语回退事件以所述目标语概念此前已被标注为已激活节点为记录前提，不记录此前未被标注为已激活节点的概念。

15、可选的，还包括假朋友消歧模块，所述假朋友消歧模块用于：确定目标语词的语音特征与母语词的语音特征之间的距离，将所述距离的倒数确定为所述目标语词与所述母语词的语音接近度；确定所述目标语词与所述母语词在所述语义关联网络中的共同关联节点数；当所述语音接近度高于设定接近度阈值、且所述共同关联节点数低于设定节点数阈值时，将所述目标语词与所述母语词判定为假朋友风险词对；在所述语义关联网络中确定与所述目标语词的关联节点数最少的场景，将所述目标语词与所述场景强制配对，在所述沉浸式场景中呈现。

16、可选的，所述假朋友消歧模块还用于：遍历幼儿已接触的目标语词与母语词，将其中语音接近度高于所述设定接近度阈值的词两两配对，构建跨语言音近词对表；对所述跨语言音近词对表中的词对持续监测所述共同关联节点数；当所述目标语词与所述母语词被判定为假朋友风险词对、且幼儿在设定次数内对所述强制配对的呈现连续作出正确响应时，解除所述目标语词与所述母语词的假朋友风险词对判定；当所述跨语言音近词对表中词对的共同关联节点数达到所述设定节点数阈值时，将所述词对从假朋友风险词对中移除。

17、本技术的有益效果在于：

18、本技术将幼儿在沉浸式场景中自发产生的语码转换，由需要清除的干扰转变为可直接利用的语义判据，使系统无须外部预设的进度信息即可获知幼儿对各概念的跨语言掌握状态。之所以能够如此，原因在于幼儿母语与目标语之间的切换位置是离散且可检测的事件，天然标注了幼儿已经能以目标语表达的概念与目标语中尚缺失的概念：在语码转换点以目标语说出的词，表明该概念已能以目标语表达，本技术据此将该目标语词在语义关联网络中对应的节点标注为已激活节点；在语码转换点改回母语表达的概念，表明该概念在目标语中尚缺失，本技术据此标注为缺口节点。由此，被既有处理丢弃的切换位置转化为驱动呈现的依据，系统依据已激活节点与缺口节点的分布，选择相关联的目标语内容或缺口节点对应的目标语内容予以呈现，呈现方向直接对应幼儿当前的真实状态。举例而言，幼儿在一句母语话语中说出一个目标语词时，该词对应的节点即被标注为已激活节点，随后优先补足与该节点关联而尚未呈现的目标语内容，呈现推进由幼儿自身的表达触发。

19、本技术在建立跨语言对应时不依赖通用双语词典，而是依据同一被指物在场时母语标签与目标语标签的共现次数来建立关联，从而纠正通用词典对具体幼儿的错配。这一效果之所以成立，是因为围绕同一个被指物、在设定时间窗内先后出现的双语标签，构成对译等价关系的天然锚点，即在同一实物在场时反复共同出现的两个标签在该幼儿处指向同一事物。本技术累计这种共现，当共现次数达到设定阈值时在语义关联网络中将二者建立为一对关联节点，并在共现给出的关联关系与预置双语词典不一致时以共现为准。因此，同一目标语词在不同幼儿处的特定所指得以被各自记录，通用统计带来的错配在个体层面得到修正。

20、在遗忘的应对上，本技术以幼儿自发的母语回退作为遗忘的早期判据，使再现的时机不再受制于固定复习次序。对已标注为已激活节点的目标语概念，若在引出该概念的同一场景中检测到幼儿改回母语表达，本技术即记为一次母语回退事件，并把对应的已激活节点即时插入呈现队列的队首再现，而不等待预定的再现时刻。这一处理的依据在于，幼儿在曾经掌握的概念上重新退回母语，往往先于系统按固定次序判定的复习时点出现，是遗忘早期的可观察表现。因此，再现被提前到遗忘的起始阶段，避免了固定复习次序迟于或早于实际遗忘时刻的问题。

21、本技术以语音接近与语义无关两个条件的交叉判定来识别音近义异的错绑风险，克服了单一信号无法区分此类错绑的困难。仅凭语音相近，无法把正常的对译与错绑区分开；仅凭语义无关，也无法定位到具体由发音相似引起的混淆。为此，本技术一方面将目标语词与母语词语音特征之间距离的倒数作为语音接近度，另一方面统计二者在语义关联网络中的共同关联节点数，仅当语音接近度高于设定接近度阈值、且共同关联节点数低于设定节点数阈值时，才判定为假朋友风险词对，并将该目标语词与关联节点数最少的场景强制配对呈现。由此，只有同时满足发音相近与语义关联稀薄的词对才被挑出，并在关联最弱的场景中呈现，以帮助幼儿把该目标语词与正确的语义重新建立关联。

22、上述各项设计共同作用，使系统始终依据幼儿自身实时话语所携带的信息推进：语码转换提供已掌握与缺失的方向，实物共现提供个体化的对译锚点，母语回退提供遗忘的早期时机，语音与语义的交叉判定提供错绑的识别依据；这些信息均取自沉浸式场景的多模态采集，无须额外的人工标注与外部预设。