一种成语语用透明度量化及语言模型认知评估方法及装置
本发明涉及自然语言处理,特别是指一种成语语用透明度量化及语言模型认知评估方法和装置。
背景技术:
1、成语作为汉语言中一种典型且复杂的熟语,其理解与运用不仅需要丰富的文化背景知识,更依赖于高级的语义与语用推理能力。随着大语言模型的爆发式发展,评估并探究其对这类非组合性语言符号的底层认知与建模机制,成为了大模型可解释性与文化认知对齐领域的核心课题。目前,针对语言模型理解成语能力的研究主要依赖于判别式基准测试。例如广泛使用的chid熟语完形填空数据集。现有研究通过在成语数据上进行微调或引入对比学习机制,使得模型在chid上的候选词选择准确率已经超过了人类基准线。然而,这类完形填空或多项选择任务属于典型的闭卷判别式任务,无法全面、真实地反映大语言模型在开放式生成场景下对成语的实际掌握情况。为了量化成语的组合性特征,计算语言学界常引入“语义透明度”概念,即成语的整体比喻义能否从其组成汉字的字面含义中推导出来的程度。现有的计算方法(如经典的cr-st方法等)多借助于预训练编码器,通过掩码机制分别获取成语的字面表征与整体语义表征,进而计算二者的相似度。
2、目前缺乏一种能显式量化成语在特定语境中的“语用透明度”,为探究模型的底层成语建模机制提供清晰的可解释性思路的成语语用透明度量化及语言模型认知评估方法。
技术实现思路
1、为了解决现有技术存在的无法显式量化成语在特定语境中的“语用透明度”,导致无法精准评估大模型在具体上下文中的动态推理瓶颈;缺乏一种基于生成式任务(如释义、近反义词生成)的、非侵入式的黑盒模型认知机制诊断方案;无法为探究模型的底层成语建模机制提供清晰的可解释性思路的技术问题,本发明实施例提供了一种成语语用透明度量化及语言模型认知评估方法及装置。所述技术方案如下:
2、一方面,提供了一种成语语用透明度量化及语言模型认知评估方法,该方法由成语语用透明度量化及语言模型认知评估设备实现,该方法包括:
3、s1:从大规模成语词典中提取各成语的释义、示例句子、标准同义词集和反义词集,得到成语知识库,并在大规模通用语料库中统计得到每个成语的出现总频次,根据所述出现总频次将全部成语划分至四个阶梯,所述四个阶梯包括高频阶梯、中频阶梯、低频阶梯和零频阶梯;
4、s2:将成语知识库中每个成语的字符输入预训练语言模型编码器并取均值,得到每个成语的字面表示,将每个成语的示例句子中的成语替换为掩码,得到包含掩码的示例句子,将所述包含掩码的示例句子输入所述预训练语言模型编码器并提取隐藏层表征,得到每个成语的比喻义表示,计算特定义项下所有成语的字面表示与比喻义表示的余弦相似度并取均值,得到义项级语义透明度;
5、s3:获取目标成语对应的原始示例句子集合,将原始示例句子集合中每个原始示例句子的目标成语替换为预设占位符得到对照句,采用预训练语言模型编码器分别对所述原始示例句子和对照句进行编码得到所述原始示例句子的特定位置特征向量和所述对照句的特定位置特征向量,并进行线性减法,得到所述目标成语置入语境后带来的纯粹语义增量向量;
6、s4:采用所述预训练语言模型编码器提取目标成语的字面表示,与所述纯粹语义增量向量计算空间余弦相似度并经均值归一化,得到动态语用透明度指标,再经分位数等频划分法对所述义项级语义透明度和所述动态语用透明度指标作离散化映射,得到所述义项级语义透明度的标准等级和所述动态语用透明度指标的标准等级;
7、s5:基于目标成语构建开放式生成测试集,输入待测语言模型得到释义生成结果、近义词生成结果和反义词生成结果,所述近义词生成结果是驱动所述待测语言模型执行近义词生成任务并引入大模型作为裁判的语义匹配范式与严格字符串匹配双范式联动得到的,根据所述释义任务评估结果、所述近义词生成结果和所述反义词生成结果进行任务评估,得到模型生成得分;
8、s6:根据所述模型生成得分、所述义项级语义透明度的标准等级和所述动态语用透明度指标的标准等级,针对同一阶梯内的成语建立分析矩阵,得到波动曲线,并识别得到语用透明度和语义透明度的线性趋势或模型对比喻特征的理解瓶颈;通过平行子实验得到语义匹配结果,基于所述语义匹配结果判断待测语言模型的认知决策划并将所述认知决策划分为四类模式。
9、优选地,所述s1的从大规模成语词典中提取各成语的释义、示例句子、标准同义词集和反义词集,得到成语知识库,并在大规模通用语料库中统计得到每个成语的出现总频次,根据所述出现总频次将全部成语划分至四个阶梯,所述四个阶梯包括高频阶梯、中频阶梯、低频阶梯和零频阶梯,包括:
10、s11:获取大规模成语词典,所述大规模成语词典包含多个成语及每个成语对应的释义、示例句子、标准同义词集和反义词集;
11、s12:对所述大规模成语词典中的每个成语,提取成语的释义、成语的示例句子、成语的标准同义词集和成语的反义词集,得到成语知识库;
12、s13:获取大规模通用语料库;
13、s14:对成语知识库中的每个成语,在所述大规模通用语料库中统计所述成语的出现次数,得到每个成语的出现总频次;
14、s15:根据所述出现总频次,将全部成语划分至四个阶梯,所述四个阶梯包括高频阶梯、中频阶梯、低频阶梯和零频阶梯。
15、优选地,所述s2的将成语知识库中每个成语的字符输入预训练语言模型编码器并取均值,得到每个成语的字面表示,将每个成语的示例句子中的成语替换为掩码,得到包含掩码的示例句子,将所述包含掩码的示例句子输入所述预训练语言模型编码器并提取隐藏层表征,得到每个成语的比喻义表示,计算特定义项下所有成语的字面表示与比喻义表示的余弦相似度并取均值,得到义项级语义透明度,包括:
16、s21:对成语知识库中的每个成语,将每个成语的字符输入预训练语言模型编码器,得到每个成语的字符向量;
17、s22:对每个成语的字符向量取均值,得到每个成语的字面表示;
18、s23:对每个成语的示例句子,将所述示例句子中的成语替换为掩码,得到包含掩码的示例句子和掩码位置;
19、s24:将所述包含掩码的示例句子输入所述预训练语言模型编码器,通过所述掩码位置提取隐藏层表征,得到每个成语的比喻义表示;
20、s25:根据每个成语的字面表示与所述成语的比喻义表示,计算余弦相似度,得到每个成语的余弦相似度;
21、s26:对特定语义项下的所有成语的所述余弦相似度取均值,得到义项级语义透明度。
22、优选地,所述s3的获取目标成语对应的原始示例句子集合,将原始示例句子集合中每个原始示例句子的目标成语替换为预设占位符得到对照句,采用预训练语言模型编码器分别对所述原始示例句子和对照句进行编码得到所述原始示例句子的特定位置特征向量和所述对照句的特定位置特征向量,并进行线性减法,得到所述目标成语置入语境后带来的纯粹语义增量向量,包括:
23、s31:获取目标成语,获取所述目标成语对应的全部示例句子作为原始示例句子集合;
24、s32:将原始示例句子集合中的每个原始示例句子中的所述目标成语替换为预设占位符,得到对照句;所述预设占位符包括与所述目标成语字符长度相同的未知文本标记、长度相同的掩码标记掩码、或单一数量的未知标记;
25、s33:采用所述预训练语言模型编码器,分别对所述原始示例句子和所述对照句进行编码,得到所述原始示例句子的特定位置特征向量和所述对照句的特定位置特征向量;
26、s34:在向量空间中,将所述原始示例句子的所述特定位置特征向量与所述对照句的所述特定位置特征向量作线性减法,得到所述目标成语置入语境后带来的纯粹语义增量向量。
27、优选地,所述s4的采用所述预训练语言模型编码器提取目标成语的字面表示,与所述纯粹语义增量向量计算空间余弦相似度并经均值归一化,得到动态语用透明度指标,再经分位数等频划分法对所述义项级语义透明度和所述动态语用透明度指标作离散化映射,得到所述义项级语义透明度的标准等级和所述动态语用透明度指标的标准等级,包括:
28、s41:采用所述预训练语言模型编码器提取目标成语的字面表示;
29、s42:采用所述纯粹语义增量向量和所述目标成语的字面表示,计算空间余弦相似度,得到相似度结果;
30、s43:将原始示例句子集合中的每个原始示例句子的相似度结果作均值归一化,得到特定具体义项下的动态语用透明度指标;
31、s44:采用分位数等频划分法,对所述义项级语义透明度和所述动态语用透明度指标作离散化映射,得到所述义项级语义透明度的标准等级和所述动态语用透明度指标的标准等级。
32、优选地,所述s5的基于目标成语构建开放式生成测试集,输入待测语言模型得到释义生成结果、近义词生成结果和反义词生成结果,所述近义词生成结果是驱动所述待测语言模型执行近义词生成任务并引入大模型作为裁判的语义匹配范式与严格字符串匹配双范式联动得到的,根据所述释义任务评估结果、所述近义词生成结果和所述反义词生成结果进行任务评估,得到模型生成得分,包括:
33、s51:基于目标成语,构建开放式生成测试集,将开放式生成测试集,输入待测语言模型,在无上下文条件下输出目标成语的所有可能释义,得到释义生成结果;
34、s52:根据所述释义生成结果,采用字面重合度指标与语义对齐度指标相结合的多对多相似度矩阵匹配算法进行评估,得到释义任务评估结果;所述字面重合度指标包括bleu和rouge,所述语义对齐度指标包括bertscore;
35、s53:将目标成语输入待测语言模型,驱动所述待测语言模型执行近义词生成任务,引入大模型作为裁判的语义匹配范式与严格字符串匹配双范式联动,得到近义词生成结果;
36、s54:将所述目标成语输入所述待测语言模型,驱动所述待测语言模型执行反义词生成任务,得到反义词生成结果;
37、s55:根据所述释义任务评估结果、所述近义词生成结果和所述反义词生成结果,进行任务评估,得到模型生成得分。
38、优选地,所述s6的根据所述模型生成得分、所述义项级语义透明度的标准等级和所述动态语用透明度指标的标准等级,针对同一阶梯内的成语建立分析矩阵,得到波动曲线,并识别得到语用透明度和语义透明度的线性趋势或模型对比喻特征的理解瓶颈;通过平行子实验得到语义匹配结果,基于所述语义匹配结果判断待测语言模型的认知决策划并将所述认知决策划分为四类模式,包括:
39、s61:根据模型生成得分、所述义项级语义透明度的标准等级和所述动态语用透明度指标的标准等级,针对同一阶梯内的成语建立分析矩阵,得到模型生成得分随所述义项级语义透明度的标准等级和所述动态语用透明度指标的标准等级的波动的曲线;
40、s62:根据所述波动曲线,识别相关性与线性趋势,得到模型生成得分与语用透明度的相关性、与语义透明度的线性趋势或模型对比喻特征的理解瓶颈;所述理解瓶颈对应在高语义和低语用特殊区间下的理解瓶颈;
41、s63:通过两个平行子实验,对待测语言模型分别执行生成任务,得到任务a生成结果和任务b生成结果;所述两个平行子实验包括无语境单义项生成的任务a和包含示例句子的语境感知生成的任务b;
42、s64:将所述任务a生成结果和所述任务b生成结果输入待测语言模型,得到锁定候选语义;
43、s65:将所述锁定制选语义与成语知识库进行语义匹配,得到语义匹配结果;
44、s66:基于所述语义匹配结果,判断待测语言模型的认知决策划,所述认知决策划包括是否发生语义转移与模型预测是否正确,将所述认知决策划分为四类模式,所述是否发生语义转移为义项一致或义项转移;所述四类模式包括义项一致且正确、义项一致但错误、义项转移且正确或义项转移但错误;
45、s67:采用所述四类模式,计算在字面义场景与比喻义场景下,所述四类模式的占比分布。
46、另一方面,提供了一种成语语用透明度量化及语言模型认知评估装置,该装置应用于成语语用透明度量化及语言模型认知评估方法,该装置包括:
47、成语知识库模块:用于从大规模成语词典中提取各成语的释义、示例句子、标准同义词集和反义词集,得到成语知识库,并在大规模通用语料库中统计得到每个成语的出现总频次,根据所述出现总频次将全部成语划分至四个阶梯,所述四个阶梯包括高频阶梯、中频阶梯、低频阶梯和零频阶梯;
48、义项级语义模块:用于将成语知识库中每个成语的字符输入预训练语言模型编码器并取均值,得到每个成语的字面表示,将每个成语的示例句子中的成语替换为掩码,得到包含掩码的示例句子,将所述包含掩码的示例句子输入所述预训练语言模型编码器并提取隐藏层表征,得到每个成语的比喻义表示,计算特定义项下所有成语的字面表示与比喻义表示的余弦相似度并取均值,得到义项级语义透明度;
49、语义增量向量模块:用于获取目标成语对应的原始示例句子集合,将原始示例句子集合中每个原始示例句子的目标成语替换为预设占位符得到对照句,采用预训练语言模型编码器分别对所述原始示例句子和对照句进行编码得到所述原始示例句子的特定位置特征向量和所述对照句的特定位置特征向量,并进行线性减法,得到所述目标成语置入语境后带来的纯粹语义增量向量;
50、标准等级模块:用于采用所述预训练语言模型编码器提取目标成语的字面表示,与所述纯粹语义增量向量计算空间余弦相似度并经均值归一化,得到动态语用透明度指标,再经分位数等频划分法对所述义项级语义透明度和所述动态语用透明度指标作离散化映射,得到所述义项级语义透明度的标准等级和所述动态语用透明度指标的标准等级;
51、生成得分模块:用于基于目标成语构建开放式生成测试集,输入待测语言模型得到释义生成结果、近义词生成结果和反义词生成结果,所述近义词生成结果是驱动所述待测语言模型执行近义词生成任务并引入大模型作为裁判的语义匹配范式与严格字符串匹配双范式联动得到的,根据所述释义任务评估结果、所述近义词生成结果和所述反义词生成结果进行任务评估,得到模型生成得分;
52、认知决策模块:用于根据所述模型生成得分、所述义项级语义透明度的标准等级和所述动态语用透明度指标的标准等级,针对同一阶梯内的成语建立分析矩阵,得到波动曲线,并识别得到语用透明度和语义透明度的线性趋势或模型对比喻特征的理解瓶颈;通过平行子实验得到语义匹配结果,基于所述语义匹配结果判断待测语言模型的认知决策划并将所述认知决策划分为四类模式。
53、另一方面,提供一种成语语用透明度量化及语言模型认知评估设备,所述成语语用透明度量化及语言模型认知评估设备包括:处理器;存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现如上述成语语用透明度量化及语言模型认知评估方法中的任一项所述的方法。
54、本发明实施例提供的技术方案带来的有益效果至少包括:
55、通过“整句-上下文”的向量空间线性差分,完美提取出 成语在句子中带来的“语义增量”,从而实现了对复杂的、非组合性的语用功能的高精度、自动化量化,首次通过向量空间差分操作,显式解耦并量化成语在具体语境中的“语用透明度”;构建基于开放式多任务生成的生成式评测基准,杜绝判别式任务对模型能力的假阳性高估,通过详尽的消融实验证明,该差分量化空间对占位符的形式具有极高的不敏感性,采用字符长度相同的掩码或单占位符进行替换计算,所得指标的斯皮尔曼相关系数(spearman's )均在0.965以上,组内相关系数(icc)在0.997以上;引入多变量控制(频次、上下文有无、先验偏置),打通从外部生成表现反推模型内部成语建模与记忆机制的可解释性分析路径,成功将大模型对熟语的认知缺陷剥离为“记忆缺陷(频次影响)”或“语用推理障碍”,为提升大模型的跨文化建模与可解释性提供了极具科学价值的量化诊断手段。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com