一种融合阅读顺序与多模态的海运单信息抽取方法和装置

本发明涉及多模态信息抽取，特别是涉及一种融合阅读顺序与多模态的海运单信息抽取方法和装置。

背景技术：

1、信息抽取是nlp（英文全称为natural language processing；中文全称为自然语言处理）领域的重要任务，旨在从结构化或半结构化的文档图像中识别并提取出用户所需的关键信息，以实现对文档内容的自动理解和利用。传统的信息抽取方法多基于序列标注，如bio（begin inside outside；起始内部外部）标注或直接分类策略。这些方法往往延续自然语言处理中的命名实体识别（英文全称是named entity recognition；英文简称为ner）技术，即先通过ocr（英文全称是optical character recognition；中文全称是光学字符识别）工具提取图像中的文本内容及其对应的空间位置信息，再进行实体类型预测。虽然现有ocr技术已能较为准确地识别文本内容，但其在文本排列顺序建模方面存在明显不足。实际应用中，文档的阅读顺序（reading order）对信息抽取结果有重要影响。阅读顺序通常遵循从左至右、从上至下的自然阅读逻辑；若模型忽略这一顺序，容易导致抽取结果偏差甚至错误。

2、为此，已有部分研究尝试将文本的空间位置信息、图像的版面布局等以编码方式融入模型，以增强其对视觉富文档中版面变化的适应能力。然而，这些方法大多仍采用直接分类策略，未能充分利用文档布局中隐含的结构信息，同时忽视了阅读顺序对抽取效果的影响。此外，纯分类方法在面对数值型实体或语义歧义实体时，识别效果不佳。例如，不同类别可能对应相同的人名，或同一段文本因所在位置不同而应归属不同类别，这些情况都容易导致分错误。

技术实现思路

1、本发明的目的在于提供一种融合阅读顺序与多模态的海运单信息抽取方法，其能够提升视觉富文档信息抽取方法，同时考虑了ocr的文本识别顺序对模型效果的影响，对于一些层次化的嵌套结构信息的抽取和对不同版式的文档采取的抽取方法具有非常大的作用。

2、为实现上述目的，本发明提供一种融合阅读顺序与多模态的海运单信息抽取方法，其包括：

3、步骤1，对海运单文档图像进行光学字符识别ocr处理，获得各文本段及其对应的边界框坐标；依据边界框坐标，按照预设阅读顺序对所有文本段进行排序，获得排序后的文本序列；

4、步骤2，利用layoutlm模型对步骤1输出的文本序列进行多模态特征提取，获得每个文本段中词元级别的特征表示，其中，多模态特征包括文本语义特征、二维位置嵌入特征以及对齐后的视觉特征；

5、步骤3，针对每一个文本段的边界框内部的所有词元，构建全连接图结构，并引入图注意力网络gat，以促进边界框内部的词元之间的信息交互与特征增强；

6、步骤4，采用两层双向长短期记忆网络bilstm进行多层次序列建模：第一层双向长短期记忆网络bilstm用于捕获同一边界框的内部词元之间的序列依赖关系；第二层双向长短期记忆网络bilstm用于捕获不同边界框之间的序列依赖关系，以建模全局阅读顺序；

7、步骤5，将步骤4的第二层bilstm输出的特征序列输入条件随机场crf层，进行命名实体标签的序列预测，得到每个词元对应的b-i-o标签，进而抽取出结构化的键值对信息。

8、进一步地，步骤2中的二维位置嵌入特征的获取方式包括：

9、根据文本边界框坐标，将其归一化为虚拟坐标；

10、分别计算该虚拟坐标在x轴起始位置、y轴起始位置、宽度w及高度h四个维度上的嵌入表示；

11、将四个维度的嵌入表示求和，得到最终的二维位置嵌入特征。

12、进一步地，步骤2中的视觉特征的提取方式包括：

13、使用在大规模视觉识别数据集imagenet上预训练的残差网络resnet对文档图像进行特征提取，得到全局视觉特征图；

14、根据各文本段的边界框坐标，通过感兴趣区域对齐roialign操作从全局视觉特征图中提取对应区域的局部视觉特征；

15、将局部视觉特征与layoutlm模型提取的文本及位置特征进行对齐与融合，获得对齐后的视觉特征。

16、进一步地，步骤3中的图注意力网络采用多头自注意力机制，计算边界框内每个词元节点与其所有邻接节点的注意力权重，进而聚合邻域信息更新节点特征。

17、进一步地，步骤5中的crf层在训练过程中自动学习b-i-o标签之间的约束规则，所述约束规则包括：句子开头标签设置为“b-”或“o”；“b-label1”后接的“i-label2”中label2设置为与label1相同；“o”后能接“i-”之外的标签。

18、进一步地，步骤5之后还包括键值关联步骤：将预测为同一实体名称的连续词元合并为实体值，并根据预定义的实体类别列表，通过计算语义相似度，将所述实体值关联到对应的键类别，形成完整的键值对。

19、进一步地，预定义的实体类别包括发货人、收货人、目的港和卸货港，其中每个键类别对应一个值类别，值类别以“-value”为后缀标识。

20、进一步地，步骤1中的预设阅读顺序排序的具体实现为：优先比较文本段边界框的左上角纵坐标，纵坐标小者排前；纵坐标相同者，比较横坐标，横坐标小者排前。

21、进一步地，步骤2中使用的layoutlm模型在训练阶段融合了遮盖语言模型任务和句子顺序预测任务，以学习文档文本的语义与布局信息。

22、本发明还提供一种融合阅读顺序与多模态的海运单信息抽取装置，其包括：

23、文档处理模块，用于对海运单文档图像进行光学字符识别ocr处理，获得各文本段及其对应的边界框坐标；依据边界框坐标，按照预设阅读顺序对所有文本段进行排序，获得排序后的文本序列；

24、多模态特征提取模块，用于利用layoutlm模型对文档处理模块输出的文本序列进行多模态特征提取，获得每个文本段中词元级别的特征表示，其中，多模态特征包括文本语义特征、二维位置嵌入特征以及对齐后的视觉特征；

25、图结构建模模块，用于针对每一个文本段的边界框内部的所有词元，构建全连接图结构，并引入图注意力网络gat，以促进边界框内部的词元之间的信息交互与特征增强；

26、序列建模模块，用于采用两层双向长短期记忆网络bilstm进行多层次序列建模：第一层双向长短期记忆网络bilstm用于捕获同一边界框的内部词元之间的序列依赖关系；第二层双向长短期记忆网络bilstm用于捕获不同边界框之间的序列依赖关系，以建模全局阅读顺序；

27、信息解码模块，用于将第二层bilstm输出的特征序列输入条件随机场crf层，进行命名实体标签的序列预测，得到每个词元对应的b-i-o标签，进而抽取出结构化的键值对信息。

28、本发明由于采取以上技术方案，具有以下优点：

29、1、本发明提出多模态融合的特征表示，有效抽取出子表里面的嵌套键值关系。

30、2、本发明使用的layoutlm模型融合了文本和位置信息，视觉信息是在layoutlm融合的文本和位置信息基础上再融合。使用两层bilstm网络和crf模型解决ocr识别的文本顺序对模型识别效果的影响。

31、3、本发明对于一些键值关系缺失的半结构化文档有比较好的抽取效果，比如一些只有键或者只有值的文档抽取效果同样显著。