一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种多文本差异识别方法、装置以及电子设备与流程

2022-02-21 06:43:18 来源:中国专利 TAG:


1.本公开涉及计算机技术领域,尤其涉及文本识别技术领域,具体涉及一种多文本差异识别方法、装置以及电子设备。


背景技术:

2.在字幕识别等场景中,通常需要对语音转字幕工具的功能进行分析。
3.相关技术中,采用diff算法,将待识别的文本,即通过语音转字幕工具对音频进行处理所得的字幕文本,与音频的标准文本进行差异识别,得到待识别的文本相对于标准文本的差异元素,并对差异元素进行颜色标注,从而体现出待识别的文本与标准文本之间的差异。


技术实现要素:

4.本公开提供了一种多文本差异识别方法、装置、设备以及存储介质。
5.根据本公开的一方面,提供了一种多文本差异识别方法,包括:
6.确定针对音频的标准文本,以及待识别差异的多个目标文本;其中,每一目标文本为所述音频的字幕文本;
7.针对每一目标文本,识别该目标文本相对于所述标准文本的差异,得到差异元素;
8.从该目标文本中,确定所述差异元素所包括的第一元素的上下文信息;其中,所述第一元素为属于更改类型的元素;
9.基于所述第一元素的上下文信息,从所述标准文本和其他文本中,分别确定与所述第一元素位置匹配的目标元素;其中,所述其他文本为多个目标文本中除该目标文本以外的一文本;
10.若所确定的目标元素相同,则在所述其他文本中,对所确定的目标元素进行第一预定标注。
11.根据本公开的另一方面,提供了一种多文本差异识别装置,包括:
12.第一确定模块,用于确定针对音频的标准文本,以及待识别差异的多个目标文本;其中,每一目标文本为所述音频的字幕文本;
13.第一识别模块,用于针对每一目标文本,识别该目标文本相对于所述标准文本的差异,得到差异元素;
14.第二确定模块,用于从该目标文本中,确定所述差异元素所包括的第一元素的上下文信息;其中,所述第一元素为属于更改类型的元素;
15.第一匹配模块,用于基于所述第一元素的上下文信息,从所述标准文本和其他文本中,分别确定与所述第一元素位置匹配的目标元素;其中,所述其他文本为多个目标文本中除该目标文本以外的一文本;
16.第一标注模块,用于若所确定的目标元素相同,则在所述其他文本中,对所确定的目标元素进行第一预定标注。
17.根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的多文本差异识别方法的步骤。
18.根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述的多文本差异识别方法的步骤。
19.根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现上述的多文本差异识别方法的步骤。
20.通过本方案,可以直观体现出多文本之间相对于标准文本的错误差异,从而为分析语音转字幕工具之间的功能差异提供分析基础。
21.应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.附图用于更好地理解本方案,不构成对本公开的限定。其中:
23.图1是根据本公开一种多文本差异识别方法的流程图;
24.图2是根据本公开一种多文本差异识别方法的另一流程图;
25.图3是根据本公开一种多文本差异识别方法的又一流程图;
26.图4是根据本公开多文本差异识别方法的一个应用流程图;
27.图5是根据本公开多文本差异识别方法的一个具体示例的流程图;
28.图6是根据本公开一种多文本差异识别装置的一种结构示意图;
29.图7是用来实现本公开实施例的多文本差异识别方法的电子设备的框图。
具体实施方式
30.以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
31.在字幕识别等场景中,通常需要对语音转字幕工具的功能进行分析。例如,通过语音转字幕工具a和语音转字幕工具b识别出针对同一音频的文本a和文本b,然后,比较文本a和文本b之间相对于标准文本的错误差异,即,哪些内容在文本a中识别正确(即与标准文本内容相同)而在文本b中识别错误(即与标准文本内容不同),或者,在文本b中识别正确而在文本a中识别错误。通过比较文本a和文本b之间相对于标准文本的错误差异,可以分析两个语音转字幕工具的功能差距。其中,通常通过人工听取音频内容的方式来得到标准文本。
32.相关技术中,采用diff(different,差异)算法比较两文本之间的差异。由于diff算法只可以比较两文本之间的差异,因此,当存在不止一个语音转字幕工具分别针对同一音频识别出的多个目标文本时,通过diff算法只能标注出任一目标文本与标准文本之间的差异,或者,任一目标文本与其他目标文本之间的差异,而并不能标注出任一目标文本中与标准文本内容相同而与其他目标文本内容不同的元素。从而,不能直观体现出多个目标文
本之间相对于标准文本的错误差异。继而,不能实现各个语音转字幕工具之间的功能分析。
33.基于上述内容,为了直观体现出多个目标文本之间相对于标准文本的错误差异,本公开实施例提供了多文本差异识别方法、装置、设备以及存储介质。
34.下面首先对本公开实施例所提供的一种多文本差异识别方法进行介绍。
35.本公开实施例所提供的一种多文本差异识别方法可以应用于电子设备。在具体应用中,该电子设备可以为服务器,也可以为终端设备,这都是合理的。在实际应用中,该终端设备可以是:智能手机、平板电脑、台式电脑等等。
36.具体而言,该多文本差异识别方法的执行主体可以是多文本差异识别装置。示例性的,当该多文本差异识别方法应用于终端设备时,该多文本差异识别装置可以为运行于终端设备中的功能软件,例如:存在识别多个文本之间的差异功能的app(application,应用程序)或网页客户端;当然,该多文本差异识别装置也可以为现有功能软件中的插件。示例性的,当该多文本差异识别方法应用于服务器时,该多文本差异识别装置可以为运行于服务器中的计算机程序,该计算机程序可以用于实现识别多个文本之间的差异。
37.其中,本公开实施例所提供的一种多文本差异识别方法,可以包括如下步骤:
38.确定针对音频的标准文本,以及待识别差异的多个目标文本;其中,每一目标文本为所述音频的字幕文本;
39.针对每一目标文本,识别该目标文本相对于所述标准文本的差异,得到差异元素;
40.从该目标文本中,确定所述差异元素所包括的第一元素的上下文信息;其中,所述第一元素为属于更改类型的元素;
41.基于所述第一元素的上下文信息,从所述标准文本和其他文本中,分别确定与所述第一元素位置匹配的目标元素;其中,所述其他文本为多个目标文本中除该目标文本以外的一文本;
42.若所确定的目标元素相同,则在所述其他文本中,对所确定的目标元素进行第一预定标注。
43.本公开提供方案中,通过识别每一目标文本相对于所述标准文本的差异,得到差异元素;从每一目标文本中,确定所述差异元素所包括的属于更改类型的第一元素的上下文信息;基于所述第一元素的上下文信息,从所述标准文本和其他文本中,分别确定与所述第一元素位置匹配的目标元素;若所确定的目标元素相同,说明标准文本中与第一元素为位置匹配的目标元素,等同于其他文本中与第一元素位置匹配的目标元素,此时,对其他文本中,所确定的目标元素进行第一预定标注。这样,针对每一目标文本而言,可以直观的展示出其他文本中识别正确而该目标文本中识别错误的元素。可见,通过本方案,可以直观体现出多个目标文本之间相对于标准文本的错误差异,从而为语音转字幕工具之间的功能差异提供分析基础。
44.下面结合附图,对本公开实施例所提供的多文本差异识别方法进行介绍。
45.如图1所示,本公开实施例所提供的一种多文本差异识别方法,可以包括如下步骤:
46.s101,确定针对音频的标准文本,以及待识别差异的多个目标文本;其中,每一目标文本为所述音频的字幕文本;
47.本实施例中,所述音频可以是属于音频格式且包含语音内容的任意文件,所述音
频所包括的语音内容,本实施例并不做限定。另外,音频的获取方式可以存在多种,示例性的,所述音频可以为从电子设备本地存储的文件中选取的文件,或者从网络端下载的文件;当然,所述音频也可以是通过预定音频提取装置从目标视频中所提取到的,其中,所述目标视频可以是预先通过视频播放软件下载的视频。示例性的,所述预定音频提取装置可以是ffmpeg工具(fast forward mpeg,快进mpeg),ffmpeg工具是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序,通过ffmpeg工具可以从视频中提取音频流。
48.其中,所述待识别差异的多个目标文本可以是通过多个不同的语音转字幕工具,针对所述音频进行识别得到的字幕文本;而所述标准文本可以是所述多个目标文本中的任一文本的人工校验结果,也就是,所述标准文本可以通过人工听取音频,然后对任一目标文本进行校对得到,从而可以大大提升标准文本的生成效率。
49.s102,针对每一目标文本,识别该目标文本相对于所述标准文本的差异,得到差异元素;
50.针对每一目标文本,在与标准文本进行比较时,可以将文本内容进行按字符切割,然后采用文本比较算法,例如diff算法,识别每一目标文本相对于所述标准文本的差异,得到差异元素,也就是差异字符。其中,所述差异元素可以包括一个或多个元素,并且,差异元素所包括的元素的类型可以是文字字符元素也可以是标点元素。
51.并且,在识别出差异元素后,可以记录差异元素所包括的元素在目标文本中的索引位置和差异类型,所述差异类型可以是增加、删除、更改等。其中,所述差异类型为增加时,代表该差异元素为目标文本中相对于标准文本增加的元素;所述差异类型为删除时,代表该差异元素为目标文本中相对于标准文本删除的元素;所述差异类型为更改时,代表该差异元素为目标文本中相对于标准文本更改的元素。
52.s103,从该目标文本中,确定所述差异元素所包括的第一元素的上下文信息;其中,所述第一元素为属于更改类型的元素;
53.在通过步骤s102识别出目标文本相对于所述标准文本的差异元素后,针对第一元素,也就是目标文本中的差异类型为更改类型的元素,确定该第一元素的上下文信息。在一种实现方式中,可以通过第一元素在该目标文本中的索引位置,查找该索引位置之前、之后多个位置上的元素,作为该第一元素的上下文信息。示例性的,若第一元素在目标文本中索引位置为8,可以查找该索引位置之前、之后3个位置上的元素作为上下文信息,那么该第一元素的上文信息是目标文本中第5-7位上的元素,下文信息是目标文本中第9-11位上的元素。例如:若目标文本为“最近市场不太理想一直有人问有没有推荐的基金”,第一元素为“一”,上文信息为“太理想”,下文信息为“直有人”。
54.可选地,在一种实现方式中,所述从该目标文本中,确定所述差异元素所包括的第一元素的上下文信息之前,还包括:
55.对所述差异元素所包括的各元素进行合并处理;其中,所述合并处理包括将位置连续的元素进行合并。
56.在通过步骤s102得到差异元素后,将目标文本中位置连续的各个差异元素进行合并,合并后的连续差异元素的索引位置为一个区间范围。此时,若差异元素中包括索引位置连续的第一元素,那么对索引位置连续的第一元素进行合并处理,后续在查找上下文信息
时,不用针对每个第一元素进行查找上下文的流程,而只需要针对合并后的第一元素所在索引区间,查找该索引区间的前、后几个位置上的元素作为合并后的第一元素的上下文信息即可,从而提升查找效率。
57.s104,基于所述第一元素的上下文信息,从所述标准文本和其他文本中,分别确定与所述第一元素位置匹配的目标元素;其中,所述其他文本为多个目标文本中除该目标文本以外的一文本;
58.在通过步骤s103确定了所述第一元素的上下文信息后,从所述标准文本和其他文本中,查找到所述上下文信息,从而,通过该上下文信息在标准文本和其他文本中的索引位置信息,查找到标准文本和其他文本中与所述第一元素位置匹配的目标元素。另外,为了更好的理解所谓的其他文本,以多个目标文本为2个文本为例进行说明,该2个文本包括文本a和文本b,针对文本a而言,文本b为其他文本;类似的,以多个目标文本为3个文本为例进行说明:该3个文本包括文本a、文本b和文本c,针对文本a而言,文本b可以为其他文本,或者,文本c也可以为其他文本。
59.可以理解的是,由于目标文本中存在增加和删除的元素,会导致目标文本和标准文本中相同索引位置的元素不同,从而无法判断前述的相同索引位置的元素是否为识别错误的元素,因此,本实施例方案中,针对更改类型的第一元素,查找上下文信息,从而确定标准文本和其他文本中与第一元素位置匹配的目标元素,即,上文信息所在的索引区间和下文信息所在的索引区间之间的位置上的元素,从而可以判断其他文本中与第一元素位置匹配的目标元素是否识别正确。
60.可选地,在一种实现方式中,所述基于所述第一元素的上下文信息,从所述标准文本和其他文本中,分别确定与所述第一元素位置匹配的目标元素,包括步骤a1-a2:
61.a1,从所述标准文本中,检测与所述第一元素的上文信息匹配的元素的第一位置,以及与所述第一元素的下文信息相匹配的元素的第二位置;并确定所述第一位置和第二位置之间的位置上的元素,作为所述标准文本中,与所述第一元素位置匹配的目标元素;
62.可以理解的是,在确定了目标文本中第一元素的上下文信息后,从标准文本中可以查找到该上下文信息。标准文本中与所述第一元素的上文信息匹配的元素的第一位置,为该标准文本中上文信息所在的索引区间;标准文本中与所述第一元素的下文信息匹配的元素的第二位置,为该标准文本中下文信息所在的索引区间。从而,第一位置和第二位置之间的位置上的元素即为标准文本中与第一元素位置匹配的目标元素。
63.示例性的,若第一元素的上文信息在标准文本中的索引区间为[5-7],下文信息在标准文本中的索引区间为[9-11],则标准文本中与第一元素位置匹配的目标元素为索引位置为8的元素。
[0064]
a2,从所述其他文本中,检测与所述第一元素的上文信息匹配的元素的第三位置,以及与所述第一元素的下文信息相匹配的元素的第四位置;确定所述第三位置和所述第四位置之间的位置上的元素,作为所述其他文本中,与所述第一元素位置匹配的目标元素。
[0065]
可以理解的是,在确定了该目标文本中第一元素的上下文信息后,从除该目标文本以外的其他目标文本(即其他文本)中,可以查找到该上下文信息。其他文本中与所述第一元素的上文信息匹配的元素的第三位置,为该其他文本中上文信息所在的索引区间;其他文本中与所述第一元素的下文信息匹配的元素的第四位置,为该其他文本中下文信息所
在的索引区间。从而,第三位置和第四位置之间的位置上的元素即为其他文本中与第一元素位置匹配的目标元素。
[0066]
s105,若所确定的目标元素相同,则在所述其他文本中,对所确定的目标元素进行第一预定标注。
[0067]
可以理解的是,若所确定的目标元素相同,则所述其他文本中对应于第一元素位置的目标元素与标准文本中该位置的目标元素相同,说明其他文本在该位置的内容识别正确,而该目标文本在该位置的内容识别错误。此时,在所述其他文本中,对所确定的目标元素进行第一预定标注,从而,可以通过分析其他文本中识别正确而目标文本中识别错误的元素,比较目标文本所利用的语音转字幕工具与其他文本所利用的语音转字幕工具。
[0068]
示例性的,该第一预定标注可以是颜色标注、字体加粗标注、高亮标注等直观的标注方式,以便于用户查看与分析。
[0069]
可见,通过本方案,可以直观体现出多个目标文本之间相对于标准文本的错误差异,从而为语音转字幕工具之间的功能差异提供分析基础。
[0070]
可选地,在本公开的另一实施例中,如图2所示,所述多文本差异识别方法,可以包括步骤s201-s206:
[0071]
s201,确定针对音频的标准文本,以及待识别差异的多个目标文本;其中,每一目标文本为所述音频的字幕文本;
[0072]
s202,针对每一目标文本,识别该目标文本相对于所述标准文本的差异,得到差异元素;
[0073]
s203,从该目标文本中,确定所述差异元素所包括的第一元素的上下文信息;其中,所述第一元素为属于更改类型的元素;
[0074]
s204,基于所述第一元素的上下文信息,从所述标准文本和其他文本中,分别确定与所述第一元素位置匹配的目标元素;其中,所述其他文本为多个目标文本中除该目标文本以外的一文本;
[0075]
s205,若所确定的目标元素相同,则在所述其他文本中,对所确定的目标元素进行第一预定标注;
[0076]
s206,在该目标文本中,对所述差异元素所包括的各元素进行第二预定标注;其中,所述第二预定标注不同于所述第一预定标注。
[0077]
其中,所述步骤s201-s205的内容与上述步骤s101-s105的内容相同,这里不再赘述。
[0078]
本实施例中,在该目标文本中,还可以针对差异元素所包括的各元素进行第二预定标注。其中,所述差异元素所包括的各元素可以是增加、删除或更改类型的元素,所述第二预定标注可以是颜色标注或者字体加粗标注等等。可以理解的是,针对所述差异元素进行第二预定标注,可以直观体现语音转字幕工具识别错误的情况,即该目标文本相对于标准文本的差异。可以理解的是,若一目标文本中既存在第二预定标注的元素,也存在第一预定标注的元素,那么,通过第二预定标注的元素,可以直观体现出与标准文本之间的差异,即相对于标准文本而言所识别错误的内容,而通过第一预定标注的元素,可以直观体现出目标文本以外的另一文本识别错误,而该目标文本识别正确的内容。从而,可以将多个目标文本进行识别准确度的比较。
[0079]
可见,通过本方案将目标文本中与标准文本不同的元素进行第二预定标注,可以直观的展示目标文本中识别错误的情况,并且,通过对其他文本中识别正确而目标文本识别错误的元素进行第一预定标注,可以直观的体现出不同的目标文本识别相对于标准文本的错误差异。
[0080]
可选地,在本公开的另一实施例中,所述针对每一目标文本,识别该目标文本相对于所述标准文本的差异,得到差异元素之前,所述方法还包括:
[0081]
检测当前的标注模式;其中,所述标注模式为字符标注模式或标点标注模式;
[0082]
在本实施例中,在识别目标文本与所述标准文本的差异之前,还可以检测当前的标注模式。若所述标注模式为字符标注模式,则在识别差异时,只识别目标文本与标准文本中文字字符的差异,而不识别标点的差异;若所述标注模式为标点标注模式,则在识别差异时,只识别目标文本与标准文本中的标点的差异,而不识别文字字符的差异。
[0083]
示例性的,可以通过参数控制选择标注模式,所述参数控制可以通过按钮来实现。例如,通过设置“标点对比”按钮,在点击“标点对比”按钮时,进入标点标注模式。
[0084]
相应的,所述针对每一目标文本,识别该目标文本相对于所述标准文本的差异,得到差异元素,包括:
[0085]
针对每一目标文本,若检测到标注模式为字符标注模式,则识别该目标文本相对于所述标准文本的、关于字符的差异,得到差异元素;若检测到标注模式为标点标注模式,则识别该目标文本相对于所述标准文本的、关于标点的差异,得到差异元素。
[0086]
可以理解的是,通过设置字符标注模式和标点标注模式,在检测到当前的标注模式为字符标注模式时,只展示文字字符的差异,从而避免标点的差异带来的干扰,在该种模式下,更利于分析文字内容识别的差异;在检测到当前的标注模式为标点标注模式时,只展示标点的差异,从而可以更清楚的分析断句识别的准确性。
[0087]
相关技术中,diff算法可以识别出目标文本与标准文本在文字字符以及标点上的差异,并且,这两类差异是统一体现的,看上去比较混乱,不利于单独分析。而本实施例的方案,通过利用不同的标注模式,分开显示文字字符的差异和标点的差异,更利于单独分析。
[0088]
可选地,在本公开的另一实施例中,在图1实施例的基础上,如图3所示,所述多文本差异识别方法,还可以包括步骤s301-s304:
[0089]
s301,识别所述标准文本中的各个专有名词,以及相对应的索引位置;
[0090]
本实施例中,专有名词为各行业的专业术语,可通过专有名词识别工具从标准文本中识别出各个专有名词。该专有名词识别工具可以是针对各个类别的识别工具,例如,针对医学类专有名词的识别工具和针对化学类专有名词识别工具。可以理解的是,通过识别标准文本中的各个专有名词和其相对应的位置,并从目标文本中查找与该专有名词相匹配位置的元素是否有识别有误的元素,即,第二预定标注的元素,即可分析出目标文本中专有名词的错误,从而,可以分析相关的语音转字幕工具在哪类专有名词的分析上更具有优势。
[0091]
s302,利用所述各个专有名词相对应的索引位置,查找针对所述各个专有名词的上下文信息;
[0092]
在通过步骤s301查找到各个专有名词在标准文本中相对应的索引位置后,查找该各个专有名词相对应的索引位置的前、后几个索引位置上的元素,作为各个专有名词的上下文信息。
[0093]
s303,基于所述各个专有名词的上下文信息,从所述每一目标文本中,分别确定与所述各个专有名词位置匹配的目标专有名词;
[0094]
在通过步骤s302查找到标准文本中各个专有名词的上下文信息后,根据所述上下文信息,在目标文本中进行查找,以查找到与所述上下文信息位置匹配的元素。该目标文本中查找到的与所述上下文信息位置匹配的元素即为目标专有名词的上下文信息,从而,可以确定与所述各个专有名词位置匹配的目标专有名词。
[0095]
s304,若所确定的目标专有名词中包括第二预定标注的元素,则判定该目标专有名词属于识别有误的目标专有名词。
[0096]
由于第二预定标注用于标注目标文本和标准文本之间的差异元素,若所确定的目标专有名词中包括第二预定标注的元素,则说明该目标专有名词中有识别错误的元素,从而可以判定该目标专有名词属于识别有误的目标专有名词。
[0097]
其中,确定目标专有名词中是否包括第二预定标注的元素的方式可以是:根据目标专有名词在其所在的目标文本中的索引区间,查找该索引区间上的各个元素,是否有第二预定标注的元素,若有,则该目标专有名词中包括第二预定标注的元素。
[0098]
值得一提的是,本公开的方案还可以用于对各个目标文本所利用的语音转字幕工具的准确性进行评估。示例性的,评估的方式可以是:计算目标文本中第二预定标注的元素的个数与总元素个数的比值,作为错误率,错误率小的目标文本对应的语音转字幕工具的准确性更高;或者,计算目标文本中第二预定标注的元素的个数与总元素个数的比值,和含有第二预定标注元素的专有名词的个数与总专有名词的个数的比值的加权值,作为错误率,错误率小的目标文本对应的语音转字幕工具的准确性更高。
[0099]
可见,通过本方案,可以进一步分析出目标文本中专有名词的错误,从而,可以分析相关的语音转字幕工具在哪类专有名词的分析上更具有优势。
[0100]
如图4所示,对不同的语音转字幕工具的功能进行评估,可以包括如下步骤:
[0101]
(1)通过上传的视频链接获取到视频内容;
[0102]
(2)采用ffmpeg工具提取视频内容的音频;
[0103]
(3)通过不同的语音转字幕工具识别音频,获得对应于不同的语音转字幕工具的识别文本(对应于上文中的目标文本);
[0104]
(4)对任一识别文本进行人工简单校对,将人工校对后的结果作为标准文本;
[0105]
(5)将标准文本和多个识别文本进行存储;
[0106]
(6)使用上述多文本差异识别方法对各个识别文本和标准文本进行比较,将识别文本中相对于标准文本的差异元素用红色标注(相应于上文中的第二预定标注),将识别文本中与标准文本内容相同但与其他识别文本内容不同的元素,用蓝色标注(相应于上文中的第一预定标注);
[0107]
(7)对不同的语音转字幕工具进行打分;其中,打分的方式可以是通过计算识别文本中的差异元素的个数与文本中总元素的个数的比值,比值越小分数越高;
[0108]
(8)生成不同的语音转字幕工具的评估结果。
[0109]
为了更好的理解本方案,下面结合一个具体的示例的流程图来介绍本方案。
[0110]
如图5所示,(1)获取标准文本、识别文本a和识别文本b。例如:
[0111]
标准文本:“最近市场不太理想一直有人问有没有推荐的基金或者买什么合适所
以我整理了一下买基金之前应该要注意的事情”。
[0112]
识别文本a:“最近市场不太理想呀一直有人问有没有推荐的基金或者买什么合所以我整理了一下买基金之前应该要主意的事情”。
[0113]
识别文本b:“最近市场不太理想一直有人问有没有推荐的鸡金或者买什么合适所以我整理了一下买基金之前应该要主意的事情”。
[0114]
(2)将标准文本、识别文本a和识别文本b中的内容按照字符进行切割,并分别存储到列表o、列表a和列表b中。
[0115]
例如,列表o:[

最’,’近’,’市’,’场’,’不
’…
]
[0116]
(3)使用diff算法分别计算列表o与列表a、列表b之间的差异,并将列表a和列表b中与列表o的差异元素、差异元素的类型(增加、删除、更改)和差异元素的索引,进行记录,即记录差异元素所包括的各个元素以及各个元素的差异类型。
[0117]
例如:识别文本a相比于标准文本增加了”呀”,程序遍历列表a时会记录”呀”的索引位置和类型,具体记录如下:{“location”:8,“type”:”add”,”add_chars”:”呀”};
[0118]
识别文本a相比于标准文本删除了“适”,程序遍历列表a时会记录”适”的前一个元素的索引位置和类型,具体记录如下:{“location”:27,“type”:”del”,”del_chars”:”适”};
[0119]
识别文本a相比于标准文本更改了“主”,程序遍历列表a时会记录”主”的索引位置和类型。具体记录如下:{“location”:44,“type”:”change”,”change_chars”:”主”};
[0120]
识别文本b相对于识别文本a更改了“鸡”,程序遍历列表b时会记录”鸡”的索引位置和类型。具体记录如下:{“location”:19,“type”:”change”,”change_chars”:”鸡”}。
[0121]
(4)对列表a和列表b进行预处理,得到列表a-o和列表b-o。其中,所述预处理包括:对差异元素所包括的连续的元素进行合并,对于类型为更改“更改”的差异元素添加上下文信息。
[0122]
例如:对于列表b中记录的{“location”:19,“type”:”change”,”change_chars”:”鸡”},添加上下文信息后得到列表b-o:{“location”:19,“type”:”change”,”change_chars”:”鸡”,“before”:”没有推荐的”,“after”:“金或者买什么”}。
[0123]
(5)通过列表a-o列表b-o中的上下文信息,分别对识别文本a和识别文本b进行标注,得到带颜色标注的识别结果。
[0124]
例如,根据列表b-o中的“鸡”元素的上下文信息,即上文信息为“没有推荐的”,下文信息为“金或者买什么”,查找列表a和列表o中对应的上下文信息,从而可以查找到列表a和列表o中与该“鸡”元素位置匹配的目标元素。列表a中相同位置切割出的目标元素为:”基”,列表o中相同位置切割出的目标元素为:“基”,从而可以判断识别文本b中识别错误的元素“鸡”,识别文本a中正确识别为“基”,从而,对识别文本a中“基”的位置标注为蓝色(对应于上文的第一预定标注),识别文本b中“鸡”标注为红色(对应于上文的第二预定标注)。
[0125]
可见,通过本方案,可以直观标注出针对标准文本而言,待识别的多个文本之间关于错误识别的差异,从而为语音转字幕工具之间的功能差异提供分析基础。
[0126]
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
[0127]
基于上述方法的实施例,本公开实施例还提供了一种多文本差异识别装置,如图6
所示,所述装置包括:
[0128]
第一确定模块610,用于确定针对音频的标准文本,以及待识别差异的多个目标文本;其中,每一目标文本为所述音频的字幕文本;
[0129]
第一识别模块620,用于针对每一目标文本,识别该目标文本相对于所述标准文本的差异,得到差异元素;
[0130]
第二确定模块630,用于从该目标文本中,确定所述差异元素所包括的第一元素的上下文信息;其中,所述第一元素为属于更改类型的元素;第一匹配模块640,用于基于所述第一元素的上下文信息,从所述标准文本和其他文本中,分别确定与所述第一元素位置匹配的目标元素;其中,所述其他文本为多个目标文本中除该目标文本以外的一文本;
[0131]
第一标注模块650,用于若所确定的目标元素相同,则在所述其他文本中,对所确定的目标元素进行第一预定标注。
[0132]
可选地,所述装置还包括:
[0133]
第二标注模块,用于在该目标文本中,对所述差异元素所包括的各元素进行第二预定标注;其中,所述第二预定标注不同于所述第一预定标注。可选地,所述第一匹配模块,包括:
[0134]
第一匹配单元,用于从所述标准文本中,检测与所述第一元素的上文信息匹配的元素的第一位置,以及与所述第一元素的下文信息相匹配的元素的第二位置;并确定所述第一位置和第二位置之间的位置上的元素,作为所述标准文本中,与所述第一元素位置匹配的目标元素;
[0135]
第二匹配单元,用于从所述其他文本中,检测与所述第一元素的上文信息匹配的元素的第三位置,以及与所述第一元素的下文信息相匹配的元素的第四位置;确定所述第三位置和所述第四位置之间的位置上的元素,作为所述其他文本中,与所述第一元素位置匹配的目标元素。
[0136]
可选地,所述装置还包括:合并模块,用于在所述第二确定模块执行从该目标文本中,确定所述差异元素所包括的第一元素的上下文信息之前,执行对所述差异元素所包括的各元素进行合并处理;其中,所述合并处理包括将位置连续的元素进行合并。
[0137]
可选地,所述装置还包括:检测模块,用于在所述第一识别模块执行针对每一目标文本,识别该目标文本相对于所述标准文本的差异,得到差异元素之前,执行检测当前的标注模式;其中,所述标注模式为字符标注模式或标点标注模式;
[0138]
所述第一识别模块,具体用于:
[0139]
针对每一目标文本,若检测到标注模式为字符标注模式,则识别该目标文本相对于所述标准文本的、关于字符的差异,得到差异元素;若检测到标注模式为标点标注模式,则识别该目标文本相对于所述标准文本的、关于标点的差异,得到差异元素。
[0140]
可选地,所述装置还包括:
[0141]
第二识别模块,用于识别所述标准文本中的各个专有名词,以及相对应的索引位置;
[0142]
查找模块,用于利用所述各个专有名词相对应的索引位置,查找针对所述各个专有名词的上下文信息;
[0143]
第二匹配模块,用于基于所述各个专有名词的上下文信息,从所述每一目标文本
中,分别确定与所述各个专有名词位置匹配的目标专有名词;
[0144]
判定模块,用于若所确定的目标专有名词中包括第二预定标注的元素,则判定该目标专有名词属于识别有误的目标专有名词。
[0145]
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0146]
本公开所提供的一种电子设备,可以包括:
[0147]
至少一个处理器;以及
[0148]
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的多文本差异识别方法的步骤。
[0149]
本公开所提供的一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一多文本差异识别方法的步骤。
[0150]
在本公开提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一多文本差异识别方法的步骤。
[0151]
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0152]
如图7所示,设备700包括计算单元701,其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序,来执行各种适当的动作和处理。在ram 703中,还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
[0153]
设备700中的多个部件连接至i/o接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0154]
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如多文本差异识别方法。例如,在一些实施例中,多文本差异识别方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时,可以执行上文描述的多文本差异识别方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行多文本差异识别方法。
[0155]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0156]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0157]
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0158]
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0159]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
[0160]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
[0161]
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例
如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
[0162]
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献