文本对齐方法、装置、设备及存储介质与流程

1.本技术涉及数据处理领域，尤其涉及一种文本对齐方法、装置、设备及存储介质。


背景技术：

2.由于古诗词、古韵文、佛经等古文经典著作讲究遣词造句上的简练性，后人在研究和学习古文时，需要借助名家的翻译及注释来辅助理解古文的思想精髓。但译文通常使用现代文学的表达习惯，与古文原文的句子数量、文字语言具有较大的差异性，往往难以实现将两者在句子级上准确地对齐，现有翻译系统一般会按段落或篇幅将古文、译文和注释一同展示。
3.采用段落或篇幅的片段式译文展示方法，使得用户在阅读时需自行查找和对齐句子级的古文、译文及注释，这导致古文的可读性和译文的对照性降低，不利于用户快速领会古文文意，用户体验度差。


技术实现要素：

4.本技术的主要目的在于提供一种文本对齐方法、装置、设备及存储介质，旨在将原文与译文在句子级上实现准确对齐，在辅助用户高效理解古文内涵的同时，提高用户体验度。
5.第一方面，本技术提供一种文本对齐方法，所述文本对齐方法包括以下步骤：
6.获取待对齐文本中的各第一语句；
7.基于预设翻译规则对原文进行翻译，得到第一译文，其中，所述原文为所述待对齐文本对应的古文；
8.根据预设模型将所述各第一语句分别与所述第一译文中各第二语句进行对齐，得到所述各第一语句与所述各第二语句的位置对应关系；
9.根据所述位置对应关系，确定所述各第一语句与所述原文中各第三语句的位置对应关系。
10.第二方面，本技术还提供一种文本对齐装置，所述文本对齐装置包括：
11.文本获取模块，用于获取待对齐文本中的各第一语句；
12.原文翻译模块，用于基于预设翻译规则对原文进行翻译，得到第一译文，其中，所述原文为所述待对齐文本对应的古文；
13.语句对齐模块，用于根据预设模型将所述各第一语句分别与所述第一译文中各第二语句进行对齐，得到所述各第一语句与所述各第二语句的位置对应关系；
14.位置确定模块，用于根据所述位置对应关系，确定所述各第一语句与所述原文中各第三语句的位置对应关系。
15.第三方面，本技术还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的文本对齐方法的步骤。
16.第四方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的文本对齐方法的步骤。
17.本技术提供一种文本对齐方法、装置、设备及可读存储介质，本技术通过获取待对齐文本中的各第一语句；基于预设翻译规则对原文进行翻译，得到第一译文，其中，所述原文为所述待对齐文本对应的古文；根据预设模型将所述各第一语句分别与所述第一译文中各第二语句进行对齐，得到所述各第一语句与所述各第二语句的位置对应关系；根据所述位置对应关系，确定所述各第一语句与所述原文中各第三语句的位置对应关系。利用语句之间的语义关系和顺序关系实现文本与原文在句子级上地对齐，在辅助用户快速且高效地理解古文内涵的同时，提高用户体验度。
附图说明
18.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本技术实施例提供的一种文本对齐方法的流程示意图；
20.图2是本技术一实施例提供的一种文本对齐装置的示意性框图；
21.图3是本技术一实施例提供的一种计算机设备的示意性框图。
具体实施方式
22.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
23.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，虽然在装置示意图中进行了功能模块的划分，但是在某些情况下，可以以不同于装置示意图中的模块划分。
24.在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
25.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
26.请参阅图1，图1是本技术实施例提供的一种文本对齐方法的示意流程图。其中，该文本对齐方法可以应用在服务器中，由此可以利用语句之间的语义关系和顺序关系实现原文与译文在句子级上准确对齐，在辅助用户高效理解古文内涵的同时，提高用户体验度。
27.如图1所示，该文本对齐方法包括步骤s101至步骤s104。
28.s101、获取待对齐文本中的各第一语句。
29.其中，待对齐文本可以是原文的意译文本、名家解读文本，应理解，待对齐文本与原文采用动态对等的翻译方法，只保持原文内容、不保持原文形式，是表达思想和语言功能
方面与原文相同的翻译文本。待对齐文本与原文的句子数量可能不相同，句子的语言修辞表达也可能具有较大的差异。
30.例如，当原文为“三月七日，沙湖道中遇雨。雨具先去，同行皆狼狈，余独不觉，已而遂晴，故作此词”时，待对齐文本为名家对原文进行的赏析性翻译，可以为：三月七日，在沙湖道上赶上了下雨。大家没有雨具，同行的人都觉得很狼狈，只有我不这么觉得。过了一会儿天晴了，就做了这首词。其中，原文句子数量为两句，待对齐文本的句子数量为三句。
31.具体地，为了便于在句子级上对齐原文，对待对齐文本做句子级拆分处理，获取待对齐文本中的多个第一语句。例如，当待对齐文本为“三月七日，在沙湖道上赶上了下雨。大家没有雨具，同行的人都觉得很狼狈，只有我不这么觉得。过了一会儿天晴了，就做了这首词”时，将待对齐文本拆分为第一语句“三月七日，在沙湖道上赶上了下雨”、“大家没有雨具，同行的人都觉得很狼狈，只有我不这么觉得”、“过了一会儿天晴了，就做了这首词”。
32.s102、基于预设翻译规则对原文进行翻译，得到第一译文，其中，所述原文为所述待对齐文本对应的古文。
33.其中，预设翻译规则是保持原文内容和原文形式的翻译方法生成的规则，可以是按原文逐字逐句一对一的直译，故第一译文与原文的句子数量相同。例如，当原文为“三月七日，沙湖道中遇雨。雨具先去，同行皆狼狈，余独不觉，已而遂晴，故作此词”时，第一译文可以为：三月七日，沙湖中途遇到下雨。雨准备先去，同行都狼狈，我只是不觉得，不久便晴，所以写这首词。
34.在一些实施例中，对所述第一译文进行句子级拆分处理，得到所述各第二语句，其中，各第二语句与所述原文中各第三语句具有位置对应关系。例如，当待对齐文本为“三月七日，沙湖中途遇到下雨。雨准备先去，同行都狼狈，我只是不觉得，不久便晴，所以写这首词”时，将待对齐文本拆分为第二语句“三月七日，沙湖中途遇到下雨”、“雨准备先去，同行都狼狈，我只是不觉得，不久便晴，所以写这首词”。应理解，由于第一译文是贴近原文的语言和形式进行翻译得到的，其句子数量与原文相同，故第一译文的各第二语句与原文的各第三语句具有位置对应关系。
35.s103、根据预设模型将所述各第一语句分别与所述第一译文中各第二语句进行对齐，得到所述各第一语句与所述各第二语句的位置对应关系。
36.在一些实施例中，根据所述预设模型计算所述各第一语句与所述各第二语句的相关度；基于所述相关度将所述各第一语句与所述各第二语句对齐，得到所述各第一语句与所述各第二语句的位置对应关系。
37.在一些实施例中，所述根据所述预设模型计算所述各第一语句与所述各第二语句的相关度，包括：计算所述各第一语句与所述各第二语句的语义距离和顺序距离；根据所述语义距离和所述顺序距离确定所述各第一语句与所述各第二语句的相关度。根据语句在文本中的位置、语句的语义两个角度计算相关度，有利于实现将原文与待对齐文本在句子级上准确地对齐。
38.在一些实施例中，所述计算所述各第一语句与所述各第二语句的语义距离和顺序距离，包括：分析所述各第一语句和所述各第二语句，获取所述各第一语句和所述各第二语句的语义信息；计算所述各第一语句与所述各第二语句的语义信息的相似度，得到所述语义距离。
39.其中，语义信息可以是语句中所表达的基本含义。
40.因为古文更简练，更注重音律工整、骈骊对仗和历史典故，和现代白话文的浅显通俗、富有生活气息和表现力有较大的差异，故待对齐文本与古文原文的文字语言等具有较大的差异性，往往难以通过预设模型直接计算两者的语义距离，因此，借助第一译文的各第二语句的语义信息来确定与之对应的待对齐文本的第一语句，进而实现根据语义判断与原文第三语句对应的第一语句。
41.具体地，为了借助语义信息准确实现句子级对齐，对待对齐文本中的各第一语句进行语义分析，获取各第一语句的语义信息；对第一译文中的各第二语句进行语义分析，获取各第二语句的语义信息；以各第一语句为基准，将各第一语句的语义信息与各第二语句的语义信息进行对比，得到语义距离。
42.应理解，由于待对齐文本的句子数量与原文及第一译文的句子数量不一定相同，故以第一语句为基准分别计算各第一语句的语义信息与各第二语句的语义信息的差异。
43.在一些实施例中，根据语义信息的对比得到语义距离可以是按照预设的语义对照标准计算语义距离。其中，预设的语义对照标准是预先计算完成的对照表，根据语义信息的差距对应不同的语义距离，其中，语义信息的差距越小，语义距离越近。
44.在一些实施例中，所述计算所述各第一语句与所述各第二语句的语义距离和顺序距离，还包括：识别所述各第一语句在所述待对齐文本中的语句位置，获取所述各第一语句的顺序数据；识别所述各第二语句在所述第一译文中的语句位置，获取所述各第二语句的顺序数据；计算所述各第一语句与所述各第二语句的顺序数据的差值，得到所述顺序距离。
45.其中，顺序数据是语句在所属文本中句子前后排列的位置。
46.具体地，识别各第一语句在待对齐文本在的语句位置，根据语句位置确定各第一语句的顺序数据；识别各第二语句在待对齐文本在的语句位置，根据语句位置确定各第二语句的顺序数据；以各第一语句为基准，将各第一语句的顺序数据与各第二语句的顺序数据进行对比，取两者的差值绝对值，得到顺序距离。
47.应理解，由于待对齐文本的句子数量与原文及第一译文的句子数量不一定相同，故以第一语句为基准分别计算各第一语句的顺序数据与各第二语句的顺序数据的差值绝对值。
48.在一些实施例中，可以按照预设的差值对照表计算得到顺序距离。其中，预设的差值对照表是预先计算完成的对照表，不同的差值绝对值对应不同的顺序距离，其中，差值绝对值越小，顺序距离越近。
49.例如，第一语句“大家没有雨具，同行的人都觉得很狼狈，只有我不这么觉得”在待对齐文本中的语句位置为第二句，则其的顺序数据为“2”；第二语句“雨准备先去，同行都狼狈，我只是不觉得，不久便晴，所以写这首词”在第一译文中的语句位置为第二句，则其的顺序数据为“2”；根据顺序数字计算上述第一语句和第二语句的差值绝对值为0。
50.又例如，第一语句“三月七日，在沙湖道上赶上了下雨”在待对齐文本中的语句位置为第一句，则其的顺序数据为“1”；第二语句“雨准备先去，同行都狼狈，我只是不觉得，不久便晴，所以写这首词”在第一译文中的语句位置为第二句，则其的顺序数据为“2”；根据顺序数字计算上述第一语句和第二语句的差值绝对值为1。
51.在一些实施例中，根据顺序数据的差值绝对值得到顺序距离可以是按照预设的差
值对照表计算顺序距离。其中，预设的差值对照表是预先计算完成的对照表，不同的差值绝对值对应不同的顺序距离，其中，差值绝对值越小，顺序距离越近。
52.在一些实施例中，所述基于所述相关度将所述各第一语句与所述各第二语句对齐，还包括：基于各第一语句筛选与所述各第一语句相关度最高的所述第二语句；将所述相关度最高的所述第一语句与所述第二语句进行对齐。
53.具体地，以第一语句为基准，比较第一语句与各第二语句的相关度，将相关度最高的第二语句与当前第一语句对齐，因为相关度是基于各第一语句与各第二语句的语义距离和顺序距离确定的，故相关度反映了第一语句与第二语句间在位置顺序和语义信息上的相似度，有利于实现准确地句子级对齐。
54.例如，第一语句“大家没有雨具，同行的人都觉得很狼狈，只有我不这么觉得”与第二语句“雨准备先去，同行都狼狈，我只是不觉得，不久便晴，所以写这首词”，两者的语义信息接近，故语义距离近；差值绝对值为0，故顺序距离近，因此，两者的相关度高。两者的相关度大于该第一语句与其他第二语句的相关度。因此，将第一语句“大家没有雨具，同行的人都觉得很狼狈，只有我不这么觉得”与第二语句“雨准备先去，同行都狼狈，我只是不觉得，不久便晴，所以写这首词”对齐。
55.例如，第一语句“过了一会儿天晴了，就做了这首词”与第二语句“雨准备先去，同行都狼狈，我只是不觉得，不久便晴，所以写这首词”，两者的相关度大于该第一语句与其他第二语句的相关度。因此，将第一语句“过了一会儿天晴了，就做了这首词”与第二语句“雨准备先去，同行都狼狈，我只是不觉得，不久便晴，所以写这首词”对齐。
56.在一些实施例中，待对齐文本与原文句子数量不同时，多个第一语句将对齐到同一第二语句，根据所述多句第一语句的顺序数据将所述多句第一语句进行排序，再对齐到所述同一第二语句。
57.例如，第一语句“大家没有雨具，同行的人都觉得很狼狈，只有我不这么觉得”、“过了一会儿天晴了，就做了这首词”都对齐到第二语句“雨准备先去，同行都狼狈，我只是不觉得，不久便晴，所以写这首词”，根据两个第一语句的顺序数据，将所述两句第一语句进行排序为“大家没有雨具，同行的人都觉得很狼狈，只有我不这么觉得。过了一会儿天晴了，就做了这首词。”，再与第二语句“雨准备先去，同行都狼狈，我只是不觉得，不久便晴，所以写这首词”对齐。
58.s104、根据所述位置对应关系，确定所述各第一语句与所述原文中各第三语句的位置对应关系。
59.具体地，由于第一译文由预设翻译规则贴近原文的语言和形式进行翻译，故第一译文的各第二语句与原文的各第三语句具有位置对应关系，再根据各第一语句与各第二语句对齐的位置对应关系，将各第一语句与各第三语句对齐，进而在句子级上将实现待对齐文本和原文的对齐。
60.例如，第一语句“大家没有雨具，同行的人都觉得很狼狈，只有我不这么觉得”与第二语句“雨准备先去，同行都狼狈，我只是不觉得，不久便晴，所以写这首词”对齐后具有位置对应关系；第二语句“雨准备先去，同行都狼狈，我只是不觉得，不久便晴，所以写这首词”与第三语句“雨具先去，同行皆狼狈，余独不觉，已而遂晴，故作此词”具有位置对应关系；故将第一语句“大家没有雨具，同行的人都觉得很狼狈，只有我不这么觉得”与第三语句“雨具
先去，同行皆狼狈，余独不觉，已而遂晴，故作此词”对齐。
61.请参阅图2，图2是本技术一实施例提供的一种数据脱敏装置的示意性框图，该数据脱敏装置可以配置于服务器中，用于执行前述的数据脱敏方法。
62.如图2所示，该文本对齐装置200包括：文本获取模块201、原文翻译模块202、语句对齐模块203、位置确定模块204。
63.文本获取模块201，用于获取待对齐文本中的各第一语句；
64.原文翻译模块202，用于基于预设翻译规则对原文进行翻译，得到第一译文，其中，所述原文为所述待对齐文本对应的古文；
65.语句对齐模块203，用于根据预设模型将所述各第一语句分别与所述第一译文中各第二语句进行对齐，得到所述各第一语句与所述各第二语句的位置对应关系；
66.位置确定模块204，用于根据所述位置对应关系，确定所述各第一语句与所述原文中各第三语句的位置对应关系。
67.示例性的，文本对齐装置200还包括句子拆分模块，用于对所述第一译文进行句子级拆分处理，得到所述各第二语句，其中，各第二语句与所述原文中各第三语句具有位置对应关系。
68.示例性的，语句对齐模块203还包括相关度计算子模块、位置对应子模块。
69.相关度计算子模块，用于根据所述预设模型计算所述各第一语句与所述各第二语句的相关度。
70.位置对应子模块，用于基于所述相关度将所述各第一语句与所述各第二语句对齐，得到所述各第一语句与所述各第二语句的位置对应关系。
71.示例性的，语句对齐模块203还包括距离计算子模块、相关度确定子模块。
72.距离计算子模块，用于计算所述各第一语句与所述各第二语句的语义距离和顺序距离。
73.相关度确定子模块，用于根据所述语义距离和所述顺序距离确定所述各第一语句与所述各第二语句的相关度。
74.示例性的，距离计算子模块还包括语义分析子模块、相似度计算子模块。
75.语义分析子模块，用于分析所述各第一语句和所述各第二语句，获取所述各第一语句和所述各第二语句的语义信息。
76.相似度计算子模块，用于计算所述各第一语句与所述各第二语句的语义信息的相似度，得到所述语义距离。
77.示例性的，距离计算子模块还包括第一位置识别子模块、第二位置识别子模块、差值计算子模块。
78.第一位置识别子模块，用于识别所述各第一语句在所述待对齐文本中的语句位置，获取所述各第一语句的顺序数据。
79.第二位置识别子模块，用于识别所述各第二语句在所述第一译文中的语句位置，获取所述各第二语句的顺序数据。
80.差值计算子模块，用于计算所述各第一语句与所述各第二语句的顺序数据的差值，得到所述顺序距离。
81.示例性的，位置对应子模块还包括筛选子模块、对齐子模块。
82.筛选子模块，用于基于各第一语句筛选与所述各第一语句相关度最高的所述第二语句。
83.对齐子模块，用于将所述相关度最高的所述第一语句与所述第二语句进行对齐。
84.需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
85.本技术的方法、装置可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费终端设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
86.示例性的，上述的方法、装置可以实现为一种计算机程序的形式，该计算机程序可以在如图3所示的计算机设备上运行。
87.请参阅图3，图3是本技术实施例提供的一种计算机设备的示意图。该计算机设备可以是服务器。
88.如图3所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括易失性存储介质、非易失性存储介质和内存储器。
89.非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种文本对齐方法。
90.处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
91.内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种数据脱敏方法。
92.该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，该计算机设备的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
93.应当理解的是，处理器可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
94.其中，在一些实施方式中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：获取待对齐文本中的各第一语句；基于预设翻译规则对原文进行翻译，得到第一译文，其中，所述原文为所述待对齐文本对应的古文；根据预设模型将所述各第一语句分别与所述第一译文中各第二语句进行对齐，得到所述各第一语句与所述各第二语句的位置对应关系；根据所述位置对应关系，确定所述各第一语句与所述原文中各第三语句的位置对应关系。
95.在一些实施例中，所述处理器还用于：对所述第一译文进行句子级拆分处理，得到所述各第二语句，其中，各第二语句与所述原文中各第三语句具有位置对应关系。
96.在一些实施例中，所述处理器还用于：根据所述预设模型计算所述各第一语句与所述各第二语句的相关度；基于所述相关度将所述各第一语句与所述各第二语句对齐，得到所述各第一语句与所述各第二语句的位置对应关系。
97.在一些实施例中，所述处理器还用于：计算所述各第一语句与所述各第二语句的语义距离和顺序距离；根据所述语义距离和所述顺序距离确定所述各第一语句与所述各第二语句的相关度。
98.在一些实施例中，所述处理器还用于：分析所述各第一语句和所述各第二语句，获取所述各第一语句和所述各第二语句的语义信息；计算所述各第一语句与所述各第二语句的语义信息的相似度，得到所述语义距离。
99.在一些实施例中，所述处理器还用于：识别所述各第一语句在所述待对齐文本中的语句位置，获取所述各第一语句的顺序数据；识别所述各第二语句在所述第一译文中的语句位置，获取所述各第二语句的顺序数据；计算所述各第一语句与所述各第二语句的顺序数据的差值，得到所述顺序距离。
100.在一些实施例中，所述处理器还用于：基于各第一语句筛选与所述各第一语句相关度最高的所述第二语句；将所述相关度最高的所述第一语句与所述第二语句进行对齐。
101.本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时实现本技术实施例提供的任一种文本对齐方法。
102.其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
103.进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
104.本发明所指区块链语言模型的存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
105.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。