基于统一多模态解析的文件处理方法、装置及介质与流程

摘要: 本发明涉及文档智能处理,尤其涉及基于统一多模态解析的文件处理方法、装置及介质。背景技术:1、随着知识库构建、检索增强生成、智能问答、文档归档、数据治理和业务信息...
基于统一多模态解析的文件处理方法、装置及介质与流程

本发明涉及文档智能处理,尤其涉及基于统一多模态解析的文件处理方法、装置及介质。

背景技术:

1、随着知识库构建、检索增强生成、智能问答、文档归档、数据治理和业务信息抽取需求的增加,越来越多的业务系统需要从word文件、pdf文件、图片文件、音频文件、视频文件、电子表格文件以及其他文本类文件中提取文字内容,并将提取结果供后续检索、分析、索引、问答和训练使用。

2、现有技术中,不同模态文件通常采用彼此独立的处理方式,比如:对于word文件和pdf文件,往往采用文档解析技术抽取文本层内容;对于图片文件,通常采用光学字符识别技术抽取图片中的文字;对于音频文件和视频文件,则通常采用语音转文本技术提取语音内容;对于电子表格文件和其他文本类文件,则一般通过表格读取或通用文档解析方式提取内容。虽然这些方案分别能够处理某一类输入对象,但在实际业务系统中,常常需要把不同模态文件统一纳入同一内容处理链路中,而现有技术在统一解析、统一输出和统一后处理方面仍存在明显不足,导致实际业务系统在处理各种不同类型的文档的效率低下。

技术实现思路

1、为了克服现有技术的不足,本发明的目的之一在于提供一种基于统一多模态解析的文件处理方法,其能够解决现有的业务系统无法同时处理多种不同类型的文档的文字识别及提取导致文档的处理低下的问题。

2、本发明的目的之二在于提供一种基于统一多模态解析的文件处理装置,其能够解决现有的业务系统无法同时处理多种不同类型的文档的文字识别及提取导致文档的处理低下的问题。

3、本发明的目的之三在于提供一种计算机可读存储介质,其能够解决现有的业务系统无法同时处理多种不同类型的文档的文字识别及提取导致文档的处理低下的问题。

4、本发明的目的之一采用如下技术方案实现:

5、基于统一多模态解析的文件处理方法,所述文件处理方法包括:

6、文件类型识别步骤:获取待处理文件并确定所述待处理文件的文件类型;所述文件类型至少为word文件类型、pdf文件类型、图片文件类型、音频文件类型、视频文件类型、电子表格文件类型和其他文本类文件类型中的任意一种;

7、解析步骤:根据所述待处理文件的文件类型匹配对应的文件解析分支,并通过对应文件解析分支对所述待处理文件进行解析处理同时结合预设字段映射规则,将解析结果封装为标准文本块输出;每个标准文本块的数据均包括类型标识和文本内容,其中,所述类型标识,用于区分标准文本块所承载的解析结果类型,所述文本内容为待处理文件的对应解析结果。

8、进一步地,所述解析分支步骤具体包括:

9、word文件解析步骤:当所述待处理文件的文件类型为word文件类型时,通过word解析分支获取所述待处理文件的多个底层对象并根据多个底层对象在所述待处理文件中出现的顺序依次遍历每个底层对象,以得出段落对象的文本内容和/或表格对象的表格文本内容,进而根据段落对象的文本内容和/或表格对象的表格文本内容;在遍历底层对象的过程中,通过创建当前内容集合,并将依次遍历到的段落对象的段落文本内容和/或表格对象的表格文本内容按照阅读顺序依次加入所述待处理文件的当前内容集合中,并且在所述待处理文件的当前内容集合的文本内容达到预设阈值时,将当前内容集合生成word文件的标准文本块,并创建新的内容集合继续遍历,直到所述待处理文件遍历完成后得到所有的标准文本块;所述word文件的标准文本块的类型标识为word文本结果类型、文本内容为当前内容集合中的段落对象的段落文本内容和/或表格文本内容;所述底层对象为段落对象或表格对象;每个待处理文件包括若干个段落对象和/或若干个表格对象;

10、pdf文件解析步骤:当所述待处理文件的文件类型为pdf文件类型时,通过pdf解析分支根据预设输出目标确定pdf解析模式,进而根据pdf解析模式和对应版面解析方法解析得出所述待处理文件的每页文本结果,进而将每页文本结果作为pdf标准文本块输出;所述pdf标准文本块的类型标识为pdf文件结果类型、文本内容为每页文本结果;

11、图片文件解析步骤:当所述待处理文件的文件类型为图片文件类型时,通过图片解析分支采用光学字符识别法对所述待处理文件进行文字识别以得到图片文字识别结果,进而根据图片文字识别结果得出图片标准文本块;所述图片标准文本块的类型标识为图片文字识别结果类型、文本内容为图片文字识别结果;

12、音频文件解析步骤:当所述待处理文件的文件类型为音频文件类型时,通过音频解析分支将所述待处理文件的每个音频片段转写为音频转写文本内容,并根据每个音频转写文本内容生成对应音频标准文本块;所述音频标准文本块的类型标识为音频转写结果类型、文本内容为对应音频片段的音频转写文本内容;

13、视频文件解析步骤:当待处理文件的文件类型为视频文件类型时:

14、通过视频解析分支提取视频文件的文件级属性以形成视频元数据信息,并将视频元数据信息转换为视频元数据标准文本块;所述视频元数据标准文本块的类型标识为视频元数据结果类型、视频元数据标准文本块的文本内容为视频元数据信息;

15、对视频音轨执行语音转文本处理得到多个视频音轨转写结果,并将每个视频音轨转写结果作为视频音轨转写标准文本块的文本内容,每个视频音轨转写标准文本块的类型标识为视频音轨转写结果类型;每个视频音轨转写结果包括起止时间和视频音轨转写文本内容;

16、基于场景变化提取多张关键帧并对每张关键帧进行光学字符识别得到每张关键帧的识别结果,并将每张关键帧的识别结果作为每个视频关键帧标准文本块的文本内容,每个视频关键帧标准文本块的类型标识为视频关键帧标准文字识别结果类型;所述,每张关键帧的识别结果均包括关键帧提取时间、帧号和文本识别内容;其中,每个视频音轨转写结果和关键帧文字识别结果均保留自身的时间信息;

17、电子表格文件解析步骤:当所述待处理文件的文件类型为电子表格文件类型时,通过电子表格解析分支根据电子表格的每个工作表和行粒度提取每个工作表的每一行的数据内容,并将每一行的数据内容转换为电子表格标准文本块;所述电子表格标准文本块的类型标识为电子表格结果类型、文本内容为表格每行的数据内容;

18、预设文本类文件解析步骤:当所述待处理文件的文件类型为预设文本类文件类型时,通过预设文本类文件解析分支根据通用文档解析方式提取所述待处理文件的文本内容并将其作为预设文本标准文本块;所述预设文本标准块的类型标识为预设文本类结果类型、文本内容为所述待处理文件的文本内容。

19、进一步地,所述word文件解析步骤中:在遍历底层对象的过程中,通过创建当前内容集合,并将依次遍历到的段落对象的段落文本内容和/或表格对象的表格文本内容按照阅读顺序依次加入所述待处理文件的当前内容集合中,并且在所述待处理文件的当前内容集合的文本内容达到预设阈值时,将当前内容集合生成一个文本块,并创建新的内容集合继续遍历,直到所述待处理文件遍历完成后得到所有的word标准文本块;

20、所述按照底层对象在所述待处理文件中出现的顺序进行依次遍历时还包括:通过遍历待处理文件的文件主体中的底层段落节点和底层表格节点,并按照每个底层段落节点和底层表格节点在所述待处理文件的文件主体中的排列顺序依次提取每个底层段落节点和底层表格节点的段落对象和表格对象;

21、所述提取每个段落对象的段落文本内容和/或每个表格对象的表格文本内容时,还判断:对应段落对象或表格对象中是否存在嵌入图片对象,若是,提取所述嵌入图片对象并采用光学字符识别法提取所述嵌入图片对象的图片文字内容,以及根据所述嵌入图片对象在对应段落对象或表格对象中的位置,将图片引用标识和图片文字内容加入所述待处理文件的当前内容集合中;其中,所述将段落对象中的嵌入图片对象对应的图片引用标识和图片文字内容加入当前内容集合具体包括:在当前内容集合中加入嵌入图片对象的图片引用标识,并将图片文字内容作为与对应图片引用标识关联的补充文字紧接写入,以保持对应嵌入图片对象的图片文字内容与相邻段落文本内容的上下文关系;

22、所述在提取每个段落对象的段落文本内容之后还包括:基于段落对象的段落样式名称和段落文本规则识别具有标题属性的段落对象;具体地,当对应段落对象的段落样式名称包含表示标题的预设样式标识时,将该段落对象识别为具有标题属性;当对应段落对象的段落样式名称未包含表示标题的预设样式标识时,仅对文本长度小于预设数量字符的段落对象执行标题格式匹配,其中,标题格式包括以一位或两位阿拉伯数字和句点开头、以中文数字和顿号或句点开头,以及以括号包围的中文数字开头中的至少一种;当对应段落对象识别为具有标题属性时,将该段落对象的文本内容更新为当前章节归属信息,并且在之后检索到的不具有标题属性的段落对象和/或表格对象,以及段落对象和/或表格对象内的嵌入图片对象均沿用当前章节归属信息;其中,当前章节归属信息在封装为标准文本块时,将当章节归属信息作为标准文本块的逻辑位置;当遍历开始之后,未识别出具有标题属性的段落对象时,采用预设的文档起始信息;

23、所述提取每个表格对象的表格文本内容具体包括:逐行读取每个表格对象的每个单元格的文本数据,并按照每个单元格所在对应表格对象的行列关系将每个单元格的文本数据进行排列后以得出每个表格对象的表格文本内容。

24、进一步地,所述pdf文件解析步骤具体包括:当所述pdf解析模式为纯文本模式时,按页提取所述待处理文件的每个pdf页面的文本内容以得出所述待处理文件的多页文本结果,进而根据所述待处理文件的多页文本结果分别生成所述待处理文件的每个pdf标准文本块;

25、当所述pdf解析模式为块坐标模式时,根据所述待处理文件的每个pdf页面中的文字区域提取文本内容,并记录每个文字区域在对应pdf页面中的边界框坐标信息,根据每个文字区域的文本内容和边界框坐标信息得出所述待处理文件的多页文本结果,进而根据所述待处理文件的多页文本结果分别生成所述待处理文件的每个pdf标准文本块;

26、当所述pdf解析模式为结构化文本模式时,采用markdown格式按页生成对应解析结果,进而根据对应解析结果提取得出pdf页面中的标题、正文、列表和表格将其作为pdf标准文本块的文本内容以生成pdf标准文本块;同时将对应pdf页面的编号作为pdf标准文本块的页码位置、将关联图片的保存路径作为pdf标准文本块的图片关联。

27、进一步地,所述视频文件解析步骤中通过视频解析分支提取所述待处理文件的元数据信息具体包括:提取所述待处理文件的帧率、总帧数、分辨率、时长或编码信息中的一种或多种,并将所提取的视频元数据信息作为视频元数据标准文本块的文本内容;

28、对视频音轨执行语音转文本处理得到多个视频音轨转写结果具体包括:通过基于视频音轨的语音活动和语音转文本模型对视频音轨执行语音转文本处理得出多个语音转写片段及对应视频音轨转写文本内容,并将每个语音转写片段的视频音轨转写文本内容转换为一个视频标准文本块,并将视频音轨转写文本块的数量作为视频音轨转写标准文本块的音轨转写片段数量;每个语音转写片段包括开始时间、结束时间和视频音轨转写文本内容。

29、进一步地,所述电子表格文件解析步骤具体包括:当电子表格的预设输出格式为markdown格式时,根据字段名、字段值及二者之间的列对应关系将每个工作表的当前非空行数据和对应表头组合为单行表格,并转换为markdown文本后将其作为电子表格标准文本块的文本内容;当电子表格的预设输出格式不是markdown格式时,将当前非空行转换为字段名与字段值对应的纯文本内容并作为电子表格标准文本块的文本内容。

30、进一步地,所述标准文本块的数据还包括:页码位置、边界框坐标、图片关联、起始时间、结束时间、语言和关键帧标识中的一项或多项;所述解析结果类型包括word文本结果类型、电子表格结果类型、图片文字识别结果类型、pdf文件结果类型、音频转写结果类型、视频元数据结果类型、视频音轨转写结果类型、视频关键帧文字识别结果类型、视频统计摘要结果类型和预设文本类结果类型。

31、进一步地,所述解析步骤还包括:根据每个标准文本块的类型标识得出预设分隔符或预设文本长度阈值,将多个标准文本块的文本内容进行过滤、拆分或合并后形成供信息抽取的文本内容。

32、本发明的目的之二采用如下技术方案实现:

33、基于统一多模态解析的文件处理装置,所述存储器上存储有在处理器上运行的文件处理程序,所述文件处理程序为计算机程序,所述处理器执行所述文件处理程序时实现如本发明的目的之一采用的基于统一多模态解析的文件处理方法步骤。

34、本发明的目的之三采用如下技术方案实现:

35、一种计算机可读存储介质,其上存储有文件处理程序,所述文件处理程序为计算机程序,所述文件处理程序被处理器执行时实现如本发明的目的之一采用的基于统一多模态解析的文件处理方法的步骤。

36、相比现有技术,本发明的有益效果在于:

37、本发明通过设置统一入口,以实现对文本类型的识别,从而根据文本类型不同调用不同的解析分支对其进行独立识别与路由处理,大大减少了不同模态文件在处理时带来的接口碎片化的问题,大大提高文件处理的效率。