面向药品说明书领域的视觉富文档信息抽取方法和装置

本发明涉及计算机科学与下的nlp（英文全称为natural languageprocessing，中文全称为自然语言处理）和计算机视觉交叉融合的多模态信息抽取，特别是涉及一种面向药品说明书领域的视觉富文档信息抽取方法和装置。

背景技术：

1、信息抽取作为nlp领域的重要任务，旨在从结构化或半结构化的文档图像中提取特定信息。在数字化时代，这类文档往往蕴含丰富的多模态信息，涵盖文本、布局及图像信息等多个方面。多模态技术的本质是借助多模态联合建模，使计算机能够从多个领域获取信息，并对有效信息进行交互融合，进而依据特征参数得出最终决策结果。实践证明，通过多模态融合得出的结论，相较于单一模态更为准确，模型性能也更优。

2、目前，常见的多模态信息抽取方法主要基于几大类方式。然而，这些方法大多只是笼统地考虑文本位置对应的图像信息。具体而言，通常是利用ocr（，英文全称为opticalcharacter recognition，中文全称为光学字符识别）引擎，获取文档图像中的文本内容及其空间位置，然后按照从左到右、从上到下的顺序组织文本内容。

3、尽管部分方法尝试通过对文本的空间位置、图像的布局信息等进行编码构建，以增强模型对版面信息复杂多变的视觉富文档的适应能力，但仍普遍忽略了文档字体的粗细、大小等关键信息。实际上，这些字体信息具有较高的利用价值，若能合理运用，有望进一步提升信息抽取的准确性与效率。

技术实现思路

1、本发明的目的在于提供一种面向药品说明书领域的视觉富文档信息抽取方法和装置，以构建一种集药品说明书特定领域数据构建与多模态信息抽取于一体的一站式框架，该框架一方面有效缓解了多模态领域开源数据集匮乏的困境，另一方面成功解决了因关键特征利用缺失所引发的识别错误问题。

2、为实现上述目的，本发明提供一种面向药品说明书领域的视觉富文档信息抽取方法，其包括以下步骤：

3、步骤一：采用半自动化方法构建药品说明书领域的数据集，具体包括：

4、s1，获取药品说明书图片：收集和整理网上公布的药品说明书文档，检查每一页文档的格式是否满足要求，若满足，则将文档转为图片，存放在指定文件夹中；

5、s2，使用目标检测模型检测粗斜体并抠图：人工创建标注类别，标注出粗斜体数据集，对粗斜体数据集进行训练，根据识别结果在原始图像中进行抠图，获得抠图数据集；

6、s3，训练paddleocr模型在抠图数据集上进行文本检测，得到词表；

7、s4，标注药品说明书并生成最终数据集：通过ppocrlabel对药品说明书图片进行标注，并保存文本及标注框的四点坐标，对漏标、文本出错、标注框位置不合理情况进行手动调整，调整后标注结果保存在txt文件中，对于过长或没有明显图像特征的问类别文本，在问类别文本内容前打特定符号；后续搭建数据集时，优先判断是否有标签，若有，则划分到问类别，并去除特定符号，基于词表生成最终数据集，该数据集包含图像文件和与图像对应的包含图像文本检测标注框和类别标注的json文件；

8、步骤二：在多模态预训练语言模型layoutlm上使用步骤一的最终数据集进行微调，实现信息抽取任务，具体为：

9、s5，通过layoutlm模型融合json文件所包含的文本特征和位置编码特征，以及由卷积神经网络提取到的图像特征、粗斜体图片特征，得到layoutlm多模态融合模型；

10、s6，根据词嵌入模型和文档图的视觉特征，获得具有问类别、答类别的文本匹配关系的实体匹配结果，基于问类别和答类别的文本语义特征与所有待抽取的类别计算语义相似性，选取语义相似性最高的类别作为键值对的实体分类结果，以获得药品说明书中的关键信息。

11、进一步地，步骤s2中，人工使用labelimg软件创建标注类别，标注出粗斜体数据集，标注时，通过“创建区块”选择目标位置，设置目标类别标签，将标注好的每张步骤s1的图片保存为xml文件，通过标注框表示标注框的大小和位置。

12、进一步地，步骤s3中，对目标多类别标注时，优先标注规则包括：括号brackets的标注为第一优先级，加粗字体bold的标注为第二优先级，斜体italic的标注为第三优先级，下划线underline的标注为第四优先级。

13、进一步地，步骤s6中，关键信息包括如药品名称、成份、不良反应、适应症和服用方法。

14、进一步地，步骤s6中，视觉特征包含字体及括号样式的信息。

15、本发明还提供一种面向药品说明书领域的视觉富文档信息抽取装置，其包括：

16、数据集构建模块，其用于采用半自动化方法构建药品说明书领域的数据集，具体包括：

17、药品说明书图片获取单元，其用于收集和整理网上公布的药品说明书文档，检查每一页文档的格式是否满足要求，若满足，则将文档转为图片，存放在指定文件夹中；

18、检测与抠图单元，其用于人工创建标注类别，标注出粗斜体数据集，对粗斜体数据集进行训练，根据识别结果在原始图像中进行抠图，获得抠图数据集；

19、词表获取单元，其用于训练paddleocr模型在抠图数据集上进行文本检测，得到词表；

20、药品说明书数据集标注单元，其用于通过ppocrlabel对药品说明书图片进行标注，并保存文本及标注框的四点坐标，对漏标、文本出错、标注框位置不合理情况进行手动调整，调整后标注结果保存在txt文件中，对于过长或没有明显图像特征的问类别文本，在问类别文本内容前打特定符号；后续搭建数据集时，优先判断是否有标签，若有，则划分到问类别，并去除特定符号，基于词表生成最终数据集，该数据集包含图像文件和与图像对应的包含图像文本检测标注框和类别标注的json文件；

21、关键信息抽取模块，其用于在多模态预训练语言模型layoutlm上使用步骤一的最终数据集进行微调，实现信息抽取任务，具体包括：

22、视觉特征提取单元，其用于通过layoutlm模型融合json文件所包含的文本特征和位置编码特征，以及由卷积神经网络提取到的图像特征、粗斜体图片特征，得到layoutlm多模态融合模型；

23、药品说明书关键信息获取单元，其用于根据词嵌入模型和文档图的视觉特征，获得具有问类别、答类别的文本匹配关系的实体匹配结果，基于问类别和答类别的文本语义特征与所有待抽取的类别计算语义相似性，选取语义相似性最高的类别作为键值对的实体分类结果，以获得药品说明书中的关键信息。

24、进一步地，检测与抠图单元中，人工使用labelimg软件创建标注类别，标注出粗斜体数据集，标注时，通过“创建区块”选择目标位置，设置目标类别标签，将标注好的每张步骤s1的图片保存为xml文件，通过标注框表示标注框的大小和位置。

25、进一步地，词表获取单元中，对目标多类别标注时，优先标注规则包括：括号brackets的标注为第一优先级，加粗字体bold的标注为第二优先级，斜体italic的标注为第三优先级，下划线underline的标注为第四优先级。

26、进一步地，药品说明书关键信息获取单元中，关键信息包括如药品名称、成份、不良反应、适应症和服用方法。

27、进一步地，药品说明书关键信息获取单元中，视觉特征包含字体及括号样式的信息。

28、本发明由于采取以上技术方案，具有以下优点：

29、1、由于本发明针对药物说明书领域数据集提出了一种半自动化构建方法，数据集融合字体大小及括号样式特征，这不仅满足了药品说明书领域信息抽取对优质数据的需求，还为其他领域视觉富文本实施例档的信息抽取工作提供了极具价值的参考范例，有助于推动多领域信息抽取技术的共同发展。

30、2、本发明所运用的 layoutlm 模型，将文本与位置信息有机融合，并在此基础上进一步融合视觉信息，随后无缝应用于下游任务。这种信息融合方式整合了多模态信息，显著增强了模型对复杂信息的理解与处理能力，从而提升了整体信息抽取的准确性与可靠性。

31、3、本发明针对药品说明书领域，对于常见的诸如药品名称、成份、不良反应、适应症、服用方法等以加粗带括号形式呈现的特殊半结构化文档内容的特点，通过充分利用字体样式和括号等关键特征，精准识别并抽取这些重要信息，有力解决了传统方法因未利用此类关键特征而导致的识别错误问题，为药品说明书信息的准确提取提供了坚实保障。