页面结构化抽取与自动切分方法、系统、介质及程序产品与流程

本技术属于图像数据处理领域，尤其涉及一种页面结构化抽取与自动切分方法、系统、介质及程序产品。

背景技术：

1、随着教育出版资源数字化转型的推进，将实体纸质页面图像转换为可供计算机检索和处理的结构化数字数据成为一项重要工作。传统的文档图像处理方法通常依赖于基础的光学字符识别技术来提取纯文本内容，这种方式在处理过程中会丢失原始页面中丰富的空间排版布局以及文本块之间的语义层级关系，导致输出的数据呈扁平化分布，降低了下游数字题库构建或智能教学系统对数据的高级调用与分析能力。

2、相关技术通常采用版面分析与光学字符识别相串联的流水线，并引入多模态预训练模型，将页面中的文本序列、二维空间坐标以及图像视觉特征进行联合编码，进而执行实体分类与关系链接。通过这种视觉与文本联合建模的方式，该相关技术能够识别页面中的标题、正文、插图等同质化区域，并抽取出特定的键值对或预定义实体，从而提升了对表单、票据等视觉丰富文档的结构化解析能力。

3、然而，教材词书页面的内容通常呈现出弱模板化特征，且一个完整的词书条目通常包含词头、注音、词性、释义和例句等多个从属字段，这些字段往往存在跨行排版、紧密并排以及多语种字符混排的情况。相关技术在实施时，主要以光学字符识别输出的物理文本行或检测框为基础粒度，依赖于文本块之间的二维空间距离或全局阅读顺序来进行实体归并。当面对词书页面中密集的嵌套排版或不规则的换行时，物理文本块的边界往往与实际的语义字段边界不重合，基于空间邻接关系的归并逻辑容易受到相邻条目内容的视觉干扰，会导致不同条目之间的字段发生错配，或者使属于同一条目的内容被错误截断与合并，进而增加条目切分漂移的概率，降低了所提取条目对象的结构化准确率与直接入库的可用性。

技术实现思路

1、本技术提供了一种页面结构化抽取与自动切分方法、系统、介质及程序产品，用于提高所提取条目对象的结构化准确率与直接入库的可用性。

2、第一方面，本技术提供了一种页面结构化抽取与自动切分方法，对待处理的页面图像进行版面分析，得到多个版面区域以及各个版面区域之间的阅读顺序；

3、提取版面区域内的字符序列和字符序列对应的位置序列，并确定字符序列中每个字符的词边界标签；

4、融合版面区域、阅读顺序、字符序列以及位置序列构建多模态特征；

5、基于多模态特征识别字符序列对应的字段类型，并抽取不同字段类型之间的从属关系；

6、根据词边界标签生成候选切分点集合；

7、基于候选切分点集合，结合字段类型、从属关系以及位置序列，分别从几何一致性、语义连贯性以及结构完整性维度计算分段代价，并通过最小化分段代价确定目标切分边界；

8、根据目标切分边界，对字符序列及其对应的字段类型与从属关系进行归并，生成结构化的条目对象。

9、通过采用上述技术方案，通过对页面图像进行版面分析获取版面区域与阅读顺序，并提取字符序列及位置序列，进而融合这些信息构建多模态特征，使得系统在处理页面时能够同时感知文本的语义内容与物理排版结构。基于这种多模态特征识别字段类型并抽取从属关系，相较于单一文本特征，能够更精准地捕捉复杂版面下的逻辑关联。结合词边界标签生成候选切分点集合，缩小了切分边界的搜索空间。在此基础上，结合字段类型、从属关系以及位置序列，分别从几何一致性、语义连贯性以及结构完整性三个维度计算分段代价，将视觉排版的连续性、上下文语义的顺畅度以及条目结构的完备性共同作为评估标准。通过最小化这一综合分段代价来确定目标切分边界，实现了全局最优的切分决策，减少了因单一特征误判造成的切分截断或粘连，进而提高了最终生成的结构化条目对象的准确度与信息抽取质量，提高了直接入库的可用性。

10、结合第一方面的一些实施方式，在一些实施方式中，提取版面区域内的字符序列和字符序列对应的位置序列，并确定字符序列中每个字符的词边界标签，具体包括：

11、对版面区域进行文本行检测，得到版面区域内的多个初始文本框；

12、将初始文本框输入至预先训练的光学字符识别网络，输出初始文本框内的初始文本内容以及初始文本内容对应的几何坐标；

13、按照预设单字符切分规则对初始文本内容进行字符级切分，得到字符序列，并将几何坐标映射至字符序列，得到字符序列对应的位置序列；

14、提取初始文本框对应的局部图像特征，并将局部图像特征与字符序列进行特征拼接，得到字符视觉融合特征，局部图像特征表征字符序列在页面图像中的字号与字体粗细视觉信息；

15、将字符视觉融合特征输入至预设序列标注模型，输出字符序列中每个字符属于词头、词内、词尾或独立词的分类概率；

16、基于分类概率确定字符序列中每个字符的词边界标签。

17、通过采用上述技术方案，通过对版面区域进行文本行检测并利用光学字符识别网络获取初始文本内容及其几何坐标，实现了文本信息与空间位置的初步对齐。按照预设规则进行字符级切分并将几何坐标映射至字符序列，获取了细粒度的字符位置序列。进一步地，提取初始文本框对应的局部图像特征，该特征显式表征了字符在页面中的字号与字体粗细等视觉信息。将局部图像特征与字符序列进行拼接得到字符视觉融合特征，使得后续模型在处理文本时不仅具备语义感知能力，还融入了直观的视觉排版属性。将这种融合特征输入至预设序列标注模型，模型在预测字符属于词头、词内、词尾或独立词的分类概率时，能够充分参考字体加粗或字号放大等排版变化规律，从而降低了在复杂多变排版页面中词边界识别的误判率，提高了字符序列词边界标签确定的精确度。

18、结合第一方面的一些实施方式，在一些实施方式中，基于候选切分点集合，结合字段类型、从属关系以及位置序列，分别从几何一致性、语义连贯性以及结构完整性维度计算分段代价，并通过最小化分段代价确定目标切分边界，具体包括：

19、根据候选切分点集合，将字符序列划分为多个候选分段；

20、针对每个候选分段，提取候选分段内字符序列的位置序列；

21、计算候选分段内相邻字符之间的行高变化值与缩进跳变值，并将行高变化值与缩进跳变值的加权惩罚和作为几何一致性代价；

22、提取候选分段内字符序列对应的字段类型；

23、在候选分段内的预设字段类型突变检测结果指示存在预设字段类型跳转的情况下，将预设第一惩罚分值作为语义连贯性代价；

24、基于从属关系，校验候选分段内的字符序列是否包含预设必要词头字段与释义字段，得到指示字段缺失状态的核心字段集合校验结果，并在核心字段集合校验结果指示字段缺失的情况下，将预设第二惩罚分值作为结构完整性代价；

25、对几何一致性代价、语义连贯性代价以及结构完整性代价进行加权求和，得到候选分段的分段代价；

26、构建以候选切分点为节点、以分段代价为边权重的有向无环图；

27、在有向无环图中搜索总代价最小的最优切分路径，并将最优切分路径上的候选切分点确定为目标切分边界。

28、通过采用上述技术方案，通过将字符序列划分为多个候选分段并提取其位置序列，计算相邻字符间的行高变化值与缩进跳变值的加权惩罚和作为几何一致性代价，客观量化了文本在视觉排版上的物理连续性。同时，提取候选分段的字段类型，在检测到字段类型突变时施加第一惩罚分值作为语义连贯性代价，并基于从属关系校验核心字段集合，在字段缺失时施加第二惩罚分值作为结构完整性代价，从而将深层的语义逻辑与内容完备性约束引入评估体系。对这三个维度的代价进行加权求和得到综合分段代价，并以此构建以候选切分点为节点、分段代价为边权重的有向无环图，将切分边界的确定转化为图结构中的最优路径搜索过程，减少了违背排版规律或破坏逻辑完整性的断句现象，提高了目标切分边界定位的合理性。

29、结合第一方面的一些实施方式，在一些实施方式中，根据目标切分边界，对字符序列及其对应的字段类型与从属关系进行归并，生成结构化的条目对象，具体包括：

30、根据目标切分边界，对字符序列及其对应的字段类型与从属关系进行初步归并，得到初始条目对象；

31、遍历结构化的初始条目对象，检测初始条目对象中目标字段类型对应的字符序列包含的预设指代缩略符；

32、响应于检测到预设指代缩略符，提取预设指代缩略符在字符序列中的相邻上下文特征；

33、从包含预设指代缩略符的同一个初始条目对象中，提取词头字段对应的基准字符序列；

34、基于相邻上下文特征确定针对基准字符序列的词法变形规则；

35、将基准字符序列输入至词法变形规则进行转换，生成与相邻上下文特征相匹配的完整指代词汇；

36、将目标字段类型对应的字符序列中的预设指代缩略符及相邻字符替换为完整指代词汇，以消除初始条目对象内部的跨字段指代歧义，生成语义对齐结构化的条目对象。

37、通过采用上述技术方案，通过遍历初步归并得到的初始条目对象，检测其中目标字段类型包含的预设指代缩略符，并提取该缩略符在字符序列中的相邻上下文特征，能够精准捕捉缩略表达所处的具体语言环境。从同一个初始条目对象中提取词头字段对应的基准字符序列，并基于上述相邻上下文特征确定针对该基准字符序列的词法变形规则，使得系统能够根据特定的语境动态调整词汇形态。将基准字符序列输入该规则进行转换，生成与相邻上下文特征完全匹配的完整指代词汇。最后，将目标字段类型中的预设指代缩略符及相邻字符替换为该完整指代词汇，消除了初始条目对象内部因使用缩略语而引发的跨字段指代歧义，降低了文本阅读与机器理解过程中的语义断层风险，进而提高了最终生成的结构化条目对象的语义对齐程度与整体内容的逻辑连贯性。

38、结合第一方面的一些实施方式，在一些实施方式中，将基准字符序列输入至词法变形规则进行转换，生成与相邻上下文特征相匹配的完整指代词汇，具体包括：

39、提取词法变形规则中包含的尾端截断长度以及目标拼接后缀；

40、按照尾端截断长度，对基准字符序列的末尾字符执行剔除操作，得到初始截断序列；

41、在依据词法变形规则中的音节变化标识，确定初始截断序列与目标拼接后缀的结合处满足预设辅音双写条件的情况下，复制初始截断序列的末位字符对初始截断序列进行双写补偿；

42、将目标拼接后缀拼接至补偿后的初始截断序列末尾，生成与相邻上下文特征相匹配的完整指代词汇。

43、通过采用上述技术方案，通过提取词法变形规则中的尾端截断长度与目标拼接后缀，按照该长度对基准字符序列执行末尾字符剔除以获取初始截断序列，进而依据音节变化标识判断结合处是否满足辅音双写条件，并在满足条件时通过复制末位字符进行双写补偿，最终将目标拼接后缀拼接至补偿后的序列末尾。将宏观的词法变形规则细化为精确到字符级别的截断、条件补偿与拼接动作，使得指代词汇的还原过程能够严格遵循自然语言的形态学变化规律。这种基于具体上下文语境和音节特征的动态形态转换机制，减少了机械拼接导致的语法错误或拼写生硬现象，从而提高了生成的完整指代词汇在具体语境中的语法准确性与表达自然度，降低了因形态转换生硬而引发的语义理解偏差风险。

44、结合第一方面的一些实施方式，在一些实施方式中，在将目标字段类型对应的字符序列中的预设指代缩略符及相邻字符替换为完整指代词汇，以消除条目对象内部的跨字段指代歧义，生成语义对齐的条目对象之后，方法还包括：

45、从多模态特征中，分别回溯提取基准字符序列在页面图像中对应的第一视觉排版特征，以及预设指代缩略符及相邻字符在页面图像中对应的第二视觉排版特征；

46、基于词法变形规则，将完整指代词汇划分为词根片段与衍生后缀片段；

47、将第一视觉排版特征映射至条目对象中的词根片段，并将第二视觉排版特征映射至条目对象中的衍生后缀片段；

48、基于映射后的第一视觉排版特征与第二视觉排版特征，将完整指代词汇渲染为富文本对象；

49、将富文本对象更新至条目对象中。

50、通过采用上述技术方案，通过从多模态特征中回溯提取基准字符序列的第一视觉排版特征以及预设指代缩略符及相邻字符的第二视觉排版特征，并基于词法变形规则将生成的完整指代词汇精准划分为词根片段与衍生后缀片段，进而将第一视觉排版特征映射至词根片段，将第二视觉排版特征映射至衍生后缀片段。该过程将原始页面图像中不同文本部分的字体、字号等视觉排版属性与形态还原后的词汇片段进行了细粒度的精细对齐，并据此将完整指代词汇渲染为富文本对象更新至条目对象中，使得还原后的指代词汇能够继承原始文档中复杂的排版强调意图，从而提高了结构化条目对象的视觉保真度与排版信息丰富度，降低了在文本规范化过程中原始排版语义丢失的概率。

51、结合第一方面的一些实施方式，在一些实施方式中，基于词法变形规则，将完整指代词汇划分为词根片段与衍生后缀片段，具体包括：

52、基于词法变形规则，确定基准字符序列在形态转换过程中未发生字符替换与字符删减的未变异字符数量；

53、基于未变异字符数量，在完整指代词汇的字符序列中，确定用于分割词根片段与衍生后缀片段的形态截断索引；

54、按照形态截断索引，从完整指代词汇中截取自起始位置至形态截断索引之间的字符序列，得到词根片段；

55、将完整指代词汇中自形态截断索引至末尾位置之间的字符序列进行提取，得到衍生后缀片段。

56、通过采用上述技术方案，通过基于词法变形规则确定基准字符序列在形态转换过程中未发生字符替换与删减的未变异字符数量，并以此数量为依据在完整指代词汇的字符序列中精准定位用于分割词根片段与衍生后缀片段的形态截断索引，进而按照该索引将完整指代词汇准确截取为词根片段与衍生后缀片段。该方案利用形态转换过程中字符的守恒特性，建立了一种无需依赖外部复杂分词工具即可实现词素级别精准切割的量化计算模型，将复杂的形态学边界识别转化为明确的字符索引定位过程，减少了因词汇形态不规则或拼写变异导致的边界判定模糊现象，从而提高了完整指代词汇内部词根与衍生后缀片段划分的精确度，降低了视觉特征映射过程中的错位风险。

57、第二方面，本技术实施方式提供了一种页面结构化抽取与自动切分系统，该页面结构化抽取与自动切分系统包括：一个或多个处理器和存储器；存储器与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器调用计算机指令以使得系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

58、第三方面，本技术实施方式提供一种计算机可读存储介质，包括指令，当上述指令在系统上运行时，使得上述系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

59、第四方面，本技术实施方式提供一种计算机程序产品，当计算机程序产品在系统上运行时，使得系统执行如第一方面中任一可能的实现方式描述的方法。

60、本技术实施方式中提供的一个或多个技术方案，至少具有如下技术效果或优点：

61、1、本技术提供了一种页面结构化抽取与自动切分方法，通过对页面图像进行版面分析获取版面区域与阅读顺序，并提取字符序列及位置序列，进而融合这些信息构建多模态特征，使得系统在处理页面时能够同时感知文本的语义内容与物理排版结构。基于这种多模态特征识别字段类型并抽取从属关系，相较于单一文本特征，能够更精准地捕捉复杂版面下的逻辑关联。结合词边界标签生成候选切分点集合，缩小了切分边界的搜索空间。在此基础上，结合字段类型、从属关系以及位置序列，分别从几何一致性、语义连贯性以及结构完整性三个维度计算分段代价，将视觉排版的连续性、上下文语义的顺畅度以及条目结构的完备性共同作为评估标准。通过最小化这一综合分段代价来确定目标切分边界，实现了全局最优的切分决策，减少了因单一特征误判造成的切分截断或粘连，进而提高了最终生成的结构化条目对象的准确度与信息抽取质量，提高了直接入库的可用性。

62、2、本技术提供了一种页面结构化抽取与自动切分方法，通过遍历初步归并得到的初始条目对象，检测其中目标字段类型包含的预设指代缩略符，并提取该缩略符在字符序列中的相邻上下文特征，能够精准捕捉缩略表达所处的具体语言环境。从同一个初始条目对象中提取词头字段对应的基准字符序列，并基于上述相邻上下文特征确定针对该基准字符序列的词法变形规则，使得系统能够根据特定的语境动态调整词汇形态。将基准字符序列输入该规则进行转换，生成与相邻上下文特征完全匹配的完整指代词汇。最后，将目标字段类型中的预设指代缩略符及相邻字符替换为该完整指代词汇，消除了初始条目对象内部因使用缩略语而引发的跨字段指代歧义，降低了文本阅读与机器理解过程中的语义断层风险，进而提高了最终生成的结构化条目对象的语义对齐程度与整体内容的逻辑连贯性。

63、3、本技术提供了一种页面结构化抽取与自动切分方法，通过从多模态特征中回溯提取基准字符序列的第一视觉排版特征以及预设指代缩略符及相邻字符的第二视觉排版特征，并基于词法变形规则将生成的完整指代词汇精准划分为词根片段与衍生后缀片段，进而将第一视觉排版特征映射至词根片段，将第二视觉排版特征映射至衍生后缀片段。该过程将原始页面图像中不同文本部分的字体、字号等视觉排版属性与形态还原后的词汇片段进行了细粒度的精细对齐，并据此将完整指代词汇渲染为富文本对象更新至条目对象中，使得还原后的指代词汇能够继承原始文档中复杂的排版强调意图，从而提高了结构化条目对象的视觉保真度与排版信息丰富度，降低了在文本规范化过程中原始排版语义丢失的概率。