一种低资源语言分词效果的评估方法、系统、介质及产品与流程

本技术涉及数据处理，具体涉及一种低资源语言分词效果的评估方法、系统、介质及产品。

背景技术：

1、随着全球化和信息化的深入发展，自然语言处理技术在机器翻译、信息检索、文本分析等领域发挥着越来越重要的作用。分词作为自然语言处理的基础环节，其质量直接影响后续任务的效果。对于汉语、藏语、维吾尔语、蒙古语等无明显分隔符的语言，准确的分词尤为关键。为满足不同语言特点、不同应用场景以及不同性能要求的需求，分词器评估技术呈现出多样化的发展趋势，其在低资源语言环境中的准确性和可靠性对于推动相关语言信息化发展和提升分词器研发效率具有重要意义。

2、目前，分词效果评估方法主要采用基于标注测试集的对比评估技术，通过将待评估分词器的输出结果与人工标注的黄金标准进行比对来判断分词准确性。这种基于标注对比的方法通过计算分词结果与标准答案之间的准确率、召回率等指标来量化分词器性能，能够直接反映分词器的基本准确程度，在中文、英文等高资源语言的分词器评估领域得到了广泛应用。

3、然而，由于语言资源的差异性和标注规模的有限性，低资源语言的分词器评估场景愈发复杂多变。在实际应用中，基于标注测试集的评估方法难以抑制标注数据规模不足、标注一致性欠缺等因素对评估结果的干扰影响，且低资源语言分词效果评估的准确性难以保证。特别是对于藏语、维吾尔语、蒙古语等低资源语言，由于可获得的标注测试集规模有限且不同标注人员对分词边界的理解可能存在差异，现有方法采用小规模或一致性不足的标注数据进行评估，容易造成评估结果出现偏差甚至判断错误，从而降低了低资源语言分词效果评估的准确性。

技术实现思路

1、本技术提供了一种低资源语言分词效果的评估方法、系统、介质及产品，能够提高低资源语言分词效果评估的准确性。

2、在本技术的第一方面提供了一种低资源语言分词效果的评估方法，包括：

3、获取目标语言的无标注单语语料和双语平行语料；

4、基于所述无标注单语语料构建字符共现亲和度矩阵和强制分词边界位置集，并基于所述双语平行语料构建形态模式规则库和跨语言翻译概率参照表；

5、将测试语料输入待评估分词器，得到候选分词结果序列及候选边界位置集；

6、结合所述强制分词边界位置集和所述字符共现亲和度矩阵对所述候选边界位置集进行边界合规性检验，得到边界合规率及边界错误集；

7、通过所述形态模式规则库和所述跨语言翻译概率参照表对所述候选分词结果序列进行词语合规性检验，得到词语合规率及词语错误集；

8、基于所述边界合规率和所述词语合规率计算综合评估得分，并结合所述综合评估得分、所述边界错误集和词语错误集生成误差定位报告。

9、通过采用上述技术方案，通过获取目标语言的无标注单语语料和双语平行语料，基于无标注单语语料构建字符共现亲和度矩阵和强制分词边界位置集，并基于双语平行语料构建形态模式规则库和跨语言翻译概率参照表，从而建立了不依赖大规模人工标注测试集的评估参照体系。在此基础上，将测试语料输入待评估分词器得到候选分词结果序列及候选边界位置集后，结合强制分词边界位置集和字符共现亲和度矩阵对候选边界位置集进行边界合规性检验，能够从分词边界位置的角度识别出违反明确边界规则或不符合字符共现规律的错误，得到边界合规率及边界错误集；同时通过形态模式规则库和跨语言翻译概率参照表对候选分词结果序列进行词语合规性检验，能够从分出词语形态的角度识别出不符合构词规律或缺乏跨语言对应关系的错误，得到词语合规率及词语错误集。通过边界和词语两个维度的交叉验证，基于边界合规率和词语合规率计算综合评估得分，并结合综合评估得分、边界错误集和词语错误集生成误差定位报告，能够在标注数据规模有限的情况下利用从语料中自动提取的语言学规律对分词结果进行多维度验证，有效抑制了标注数据规模不足和标注一致性欠缺对评估结果的干扰影响，从而提高了低资源语言分词效果评估的准确性。

10、可选的，统计所述无标注单语语料中相邻字符对的共现概率和单字符出现概率；将所述共现概率除以构成所述相邻字符对的两个单字符出现概率的乘积并取对数，得到所述相邻字符对的互信息值，并将所有相邻字符对的互信息值组合为所述字符共现亲和度矩阵；提取所述字符共现亲和度矩阵中互信息值小于预设断点阈值的目标相邻字符对，获取所述目标相邻字符对在所述无标注单语语料中的间隔位置，构成所述强制分词边界位置集。

11、可选的，将所述强制分词边界位置集中未出现在所述候选边界位置集中的位置记为强制边界缺失错误，归入所述边界错误集，并计算强制边界遵从率；对所述候选边界位置集中排除强制边界后的非强制边界位置，查询相邻字符在所述字符共现亲和度矩阵中的互信息值，将互信息值大于预设亲和阈值的边界位置记为亲和度违背型错误，归入所述边界错误集，并计算亲和度合规率；将所述强制边界遵从率和所述亲和度合规率作为所述边界合规率。

12、可选的，提取所述双语平行语料中目标语言侧的目标词缀组合模式和出现频率大于预设频率阈值的目标字符串，构建所述形态模式规则库；将所述形态模式规则库作为词典对所述双语平行语料进行分词预处理，获取目标语言词语和参考语言词语；统计所述目标语言词语与所述参考语言词语在所述双语平行语料同一句对中的共现频次，以及所述目标语言词语在所述双语平行语料中的独立出现频次；将所述共现频次除以所述独立出现频次，得到所述目标语言词语与参考语言词语的翻译概率；筛选所述翻译概率大于预设语义验证阈值的目标语言词语与参考语言词语组合为词对并存入模板参照表，得到所述跨语言翻译概率参照表。

13、可选的，验证所述候选分词结果序列中各词语是否符合所述形态模式规则库中的目标词缀组合模式和目标字符串，将不符合的词语记为形态违规型错误，归入所述词语错误集，并计算形态合规率；查询所述候选分词结果序列中各词语在所述跨语言翻译概率参照表中是否存在满足所述预设语义验证阈值的对应翻译词，将不存在的词语记为语义破碎型错误，归入所述词语错误集，并计算语义完整率；将所述形态合规率和所述语义完整率作为所述词语合规率。

14、可选的，获取所述边界合规率和所述词语合规率的权重系数；基于所述权重系数对所述边界合规率和所述词语合规率进行加权计算，得到所述综合评估得分；将所述边界错误集和所述词语错误集中的错误位置还原至所述测试语料的原始文本中，并标注对应的误差类型；计算预设基准阈值与所述综合评估得分的乘积，将所述乘积作为误差分析阈值，并统计各误差类型的数量占比；将所述数量占比超出所述误差分析阈值的误差类型标记为目标缺陷，汇总所述目标缺陷、所述原始文本中的错误位置以及所述综合评估得分，生成所述误差定位报告。

15、可选的，提取所述误差定位报告中的目标缺陷及对应的目标错误位置；基于所述目标错误位置提取上下文片段，并结合所述目标缺陷生成用户校验任务；将所述用户校验任务发送至用户终端，并接收所述用户终端返回的修正文本；基于所述修正文本与所述上下文片段提取目标分词词条；将所述目标分词词条同步至所述待评估分词器的分词词典中，以对所述待评估分词器进行更新。

16、第二方面，本技术实施例提供了一种低资源语言分词效果的评估系统，该低资源语言分词效果的评估系统包括：一个或多个处理器和存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该低资源语言分词效果的评估系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

17、第三方面，本技术实施例提供一种计算机可读存储介质，包括指令，当上述指令在低资源语言分词效果的评估系统上运行时，使得上述低资源语言分词效果的评估系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

18、第四方面，本技术实施例提供一种包含指令的计算机程序产品，当上述计算机程序产品在低资源语言分词效果的评估系统上运行时，使得上述低资源语言分词效果的评估系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

19、综上，本技术提供的一个或多个技术方案，至少具有如下技术效果或优点：

20、通过采用上述技术方案，通过获取目标语言的无标注单语语料和双语平行语料，基于无标注单语语料构建字符共现亲和度矩阵和强制分词边界位置集，并基于双语平行语料构建形态模式规则库和跨语言翻译概率参照表，从而建立了不依赖大规模人工标注测试集的评估参照体系。在此基础上，将测试语料输入待评估分词器得到候选分词结果序列及候选边界位置集后，结合强制分词边界位置集和字符共现亲和度矩阵对候选边界位置集进行边界合规性检验，能够从分词边界位置的角度识别出违反明确边界规则或不符合字符共现规律的错误，得到边界合规率及边界错误集；同时通过形态模式规则库和跨语言翻译概率参照表对候选分词结果序列进行词语合规性检验，能够从分出词语形态的角度识别出不符合构词规律或缺乏跨语言对应关系的错误，得到词语合规率及词语错误集。通过边界和词语两个维度的交叉验证，基于边界合规率和词语合规率计算综合评估得分，并结合综合评估得分、边界错误集和词语错误集生成误差定位报告，能够在标注数据规模有限的情况下利用从语料中自动提取的语言学规律对分词结果进行多维度验证，有效抑制了标注数据规模不足和标注一致性欠缺对评估结果的干扰影响，从而提高了低资源语言分词效果评估的准确性。