多语言专利文本平行语料制作方法、装置、设备及介质与流程

本发明涉及数据处理，尤其涉及一种多语言专利文本平行语料制作方法、装置、设备及介质。

背景技术：

1、目前，平行语料库已经成为机器翻译、跨语言信息检索、文本分类等领域中不可或缺的资源，随着人工智能技术的不断发展，高质量的平行语料能够提高机器翻译的准确性和流畅性、帮助构建跨语言信息检索系统、促进多语言文本分类、推动多语言自然语言处理技术更加成熟和普及，为全球信息交流和跨文化交流提供更良好的支持。

2、跨语言信息检索研究最早可追溯到1973年，并随着互联网的兴起真正成为热点。基于机器翻译、词典、语料的跨语言信息检索方法是目前的主流方法，如何构建高质量的平行语料库和训练更好的机器学习模型是是当前热点问题。

3、当前的有效方法依然是基于机器翻译的跨语言信息检索方法，高度受制于机器翻译的准确性。目前也有利用知识图谱、关键词映射、概念图映射等方式进行跨语言信息检索的方法，但效果并不理想。在不同的垂直领域，构建大规模对应的平行语料库，以使得获取更加准确机器翻译结果是解决具体应用问题的重要手段。目前，一些研究将文本匹配算法引入到了语料对齐任务中，尝试进行半自动或自动化的平行语料库构建。

4、先进的跨语言信息检索技术，能够帮助各行业各系统提高工作效率。例如在知识产权领域，在进行产品侵权监控中，通过跨语言信息检索技术，能够快速识别不通过国家相似度高的专利，通过跨语言信息检索在专利数据库中快速识别符合相似特征的专利，能够有效缩小排查范围，节约各方资源。

5、然而，当前仍缺少面向专利文本的专用机器翻译模型，用于构建相关系统的大规模多语言专利文本的平行语料库资源匮乏。因此，亟需提供一种可高效构建大规模跨语言专利平行语料库，支撑跨语言专利检索的应用场景的方法。

技术实现思路

1、为克服相关技术中存在的问题，本公开提供一种多语言专利文本平行语料制作方法、装置、设备及介质，以解决相关技术中缺少面向专利文本的专用机器翻译模型的技术问题。

2、本说明书一个或多个实施例提供了一种多语言专利文本平行语料制作方法，包括以下步骤：

3、步骤s1、获取中外同族专利的第一文档对集；

4、步骤s2、根据预设的分级阈值对第一文档对集中的文档对进行相似度计算并进行相似度分级，并根据预设的筛选阈值进筛选出第一文档对集中的高度相似的第二文档对，构成第二文档对集；

5、步骤s3、将第二文档对集中的非中英专利文档对基于字典映射技术转化为对应的中英专利文档对，再对第二文档对集各文档对进行中英平行语料对齐处理，将对齐后的语料对构建记忆库数据；其中，所述记忆库中数据包含了对齐后的句子或段落，以及源中文文本和目标英文文本之间的对应关系；

6、步骤s4、通过批解析方式对记忆库中语料对进行数据清洗；

7、步骤s5、对清洗后的语料对进行规范化处理及筛选，获得精细对齐的语料对。

8、进一步的，所述步骤s2还包括以下步骤：

9、步骤s21、通过预设的筛选阈值范围及阈值步长，通过拒识方法对第二文档对集进行相似度计算遍历，根据roc曲线确定错误率最低时对应的筛选阈值即为最佳筛选阈值；

10、步骤s22、通过最佳筛选阈值对第二文档对集进行文档对的筛选，从而获得优化的第二文档对集。

11、进一步的，还包括步骤：

12、判断最佳筛选阈值是否大于预设的筛选阈值，若小于，则根据最佳筛选阈值对第一文档对集不满足预设的筛选阈值的文档对进行筛选，将筛选获得的文档对添加至第二文档对集，获得优化后的第二文档对集。

13、进一步的，所述步骤s2中，根据预设的分级阈值对第一文档对集中的文档对的说明书摘要内容和专利名称进行相似度计算并进行相似度分级。

14、进一步的，所述将第二文档对集中的非中英专利文档对基于字典映射技术转化为对应的中英专利文档对后还包括步骤：

15、基于获取的最佳筛选阈值，将转化获得的中英文语料与对应的源中文文本进行相似度评估，筛除不满足最佳筛选阈值条件的专利文档对。

16、进一步的，所述步骤s4中对记忆库做数据清洗的批解析方式包括以下步骤：

17、步骤s41、利用第一正则表达式对记忆库中语料对进行数据第一次清洗，用于清洗包括过滤非法字符，包括删除中英文方括号、多余的空格；

18、步骤s42、利用第二正则表达式对记忆库中语料对进行数据第二次清洗，用于清洗包括对专利规范性表达符号，包括涉及删除韩语隔写符、多余的分号以及补充缺失的分号等，获得粗对齐文档对。

19、进一步的，所述步骤s5中规范化处理及筛选包括以下步骤：

20、根据预设的字符数阈值，对记忆库中各语料对的原中文文本或目标英文文本进行逐行计算字符数，判断若行字符数超出字符数阈值，则同时删除或标记语料对中不符合规范规则的行；其中，字符数阈值包括预设的最小min值和最大max值。

21、本说明书一个或多个实施例提供了一种多语言专利文本平行语料制作装置，，包括：

22、数据获取模块，用于获取中外同族专利的第一文档对集；

23、第一筛选模块，用于根据预设的分级阈值对第一文档对集中的文档对进行相似度计算并进行相似度分级，并根据预设的筛选阈值进筛选出第一文档对集中的高度相似的第二文档对，构成第二文档对集；

24、第一处理模块，用于将第二文档对集中的非中英专利文档对基于字典映射技术转化为对应的中英专利文档对，再对第二文档对集各文档对进行中英平行语料对齐处理，将对齐后的语料对构建记忆库数据；其中，所述记忆库中数据包含了对齐后的句子或段落，以及源中文文本和目标英文文本之间的对应关系；

25、清洗模块，用于通过批解析方式对记忆库中语料对进行数据清洗；

26、第二处理模块，对清洗后的语料对进行规范化处理及筛选，获得精细对齐的语料对。

27、本说明书一个或多个实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述多语言专利文本平行语料制作方法。

28、本说明书一个或多个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述多语言专利文本平行语料制作方法的步骤。

29、本公开提供的一种多语言专利文本平行语料制作方法、装置、设备及介质，优点在于，对获取的中外同族专利文档对，经过相似度分级与计算，结合预设的高阈值过滤方法判断并筛选高度相似同族专利文档对，基于语种字典映射技术对非中英专利文档对进行映射转化为中英专利文档对，再将获取的中英平行语料相对齐，通过批解析方式清洗数据，基于语种字典逆映射技术进一步处理粗对齐语料对，最终经由规范化处理筛选形成精细对齐语料对作为结果呈现，以确保数据的规范性和质量，快速而准确地筛选出满足特定要求的数据，并为应用提供可靠的数据基础；本实施例方法生成的结构化可复用的大规模多语言专利文本平行语料库，支撑跨语言信息检索等应用场景，兼顾效率和准确性，运营维护成本低。