面向图像形式的海运提单解析方法、装置及设备

1.本技术涉及物流信息处理技术领域，特别是涉及一种面向图像形式的海运提单解析方法、装置及终端设备。


背景技术：

2.在国际物流领域，海运服务平台为进出口企业、跨境电商企业等提供中介服务，包括向海运公司询价、订舱，以及报关、拖车等。海运提单是海运公司受理物流业务形成的最终合同，上面记载了详细的物流信息，包括：发件人、收件人、船号、航线号、出发港、到达港等。海运服务平台收到海运公司发来的提单后，需要将此提单与本平台的内部信息进行核对。
3.众所周知的，海运提单的存在形式分为两种：一种为电子化生成的pdf文档格式，可以从中提取出线段、字符等元素用于内容解析；另一种为经过截屏或扫描形成的图像文件，各种信息仅以视觉方式展示在图像上。
4.pdf格式海运提单中的各种元素可以辅助信息提取过程，但是图像形式海运提单仅存在视觉信息。并且由于海运提单一般具有表格结构，格式多样且复杂，不同的海运公司均有自己的提单格式，并且格式非常复杂，包含大量的单元格合并、单元格位错等。因此，极大的降低了图像形式海运提单有效内容提取的准确性同时也使海运提单有效内容提取难度大大增加。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够解决现有图像形式海运提单解析过程中面对表格格式复杂、表格线部分缺失、曲线表格线、背景水印、文字内容偏移时，海运提单有效内容提取难度大及准确性低这一难题的面向图像形式的海运提单解析方法、装置、存储介质及终端设备。
6.本发明实施例提供了一种面向图像形式的海运提单解析方法，所述方法包括以下步骤：
7.获取待解析的海运提单，并对所述海运提单进行图像预处理，得到预处理海运提单；
8.对所述预处理海运提单的表格信息区域进行裁剪与样本标注，得到目标检测海运提单数据集；
9.通过所述海运提单数据集对目标检测模型进行训练，并对训练完成后的目标检测模型进行测试。
10.进一步地，对所述海运提单进行图像预处理，得到预处理海运提单的方法包括：
11.将待解析的海运提单转化为图像文件；
12.获取图像文件中的海运提单，并对所述海运提单进行方向矫正；
13.对进行方向矫正后的所述海运提单进行灰度处理，并去除灰度值小于阈值的部
分，得到预处理海运提单。
14.进一步地，对所述预处理海运提单的表格信息区域进行裁剪与样本标注，得到目标检测海运提单数据集的方法包括：
15.获取所述预处理海运提单中除货物详情外的所有物流信息，并对该物流信息所对应的表格信息区域进行裁剪；
16.判断表格信息区域中的“键值-内容”对是否处于同一单元格；
17.若所述“键值-内容”对处于同一单元格，则用一个矩形框标出；
18.若所述“键值-内容”对处于不同单元格，则分别用矩形框标出；
19.根据标注的矩形框得到所述目标检测海运提单数据集。
20.进一步地，通过所述海运提单数据集对目标检测模型进行训练的方法包括：
21.将所述目标检测海运提单数据集划分为训练集及测试集；
22.将所述训练集输入所述目标检测模型进行训练，并在训练的过程中不断调节超参数batch_size、epochs，直至通过测试集测试得到的模型精度大于预设值时，结束模型训练。
23.进一步地，所述方法还包括：
24.将表格信息区域图片输入目标检测模型，得到模型给出的边框预测；
25.根据所述边框预测将所有矩形框裁剪下来，形成文字区域图片集；
26.对每个文字区域图片分别进行ocr识别，得到该文字区域图片对应的文本内容；
27.在每个文字区域图片对应的文本内容中检索预定义键值，找到预定义键值所对应的文字区域后，如果该文字区域仅包含键值文本并且文字区域下方紧邻表格线，则内容文本在该文字区域下方相邻文字区域中，否则内容文本与键值文本处于相同文字区域，或者内容文本不存在；
28.根据检索的所有预定义键值，得到所有预定义键值的数据字典。
29.本发明的另一实施例提出一种面向图像形式的海运提单解析装置，所述装置包括：
30.图像处理模块，用于获取待解析的海运提单，并对所述海运提单进行图像预处理，得到预处理海运提单；
31.样本处理模块，用于对所述预处理海运提单的表格信息区域进行裁剪与样本标注，得到目标检测海运提单数据集；
32.模型训练模块，用于通过所述海运提单数据集对目标检测模型进行训练，并对训练完成后的目标检测模型进行测试。
33.进一步地，对所述海运提单进行图像预处理，得到预处理海运提单中，图像处理模块具体用于，
34.将待解析的海运提单转化为图像文件；
35.获取图像文件中的海运提单，并对所述海运提单进行方向矫正；
36.对进行方向矫正后的所述海运提单进行灰度处理，并去除灰度值小于阈值的部分，得到预处理海运提单；
37.进一步地，对所述预处理海运提单的表格信息区域进行裁剪与样本标注，得到目标检测海运提单数据集中，所述样本处理模块具体用于，
38.获取所述预处理海运提单中除货物详情外的所有物流信息，并对该物流信息所对应的表格信息区域进行裁剪；
39.判断表格信息区域中的“键值-内容”对是否处于同一单元格；
40.若所述“键值-内容”对处于同一单元格，则用一个矩形框标出；
41.若所述“键值-内容”对处于不同单元格，则分别用矩形框标出；
42.根据标注的矩形框得到所述目标检测海运提单数据集。
43.进一步地，通过所述海运提单数据集对目标检测模型进行训练中，模型训练模块具体用于，
44.将所述目标检测海运提单数据集划分为训练集及测试集；
45.将所述训练集输入所述目标检测模型进行训练，并在训练的过程中不断调节超参数batch_size、epochs，直至通过测试集测试得到的模型精度大于预设值时，结束模型训练。
46.本发明的另一个实施例还提出一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上所述的面向图像形式的海运提单解析方法。
47.本发明的另一个实施例还提出一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的面向图像形式的海运提单解析方法。
48.上述面向图像形式的海运提单解析方法，获取待解析的海运提单，并对所述海运提单进行图像预处理，得到预处理海运提单；对所述预处理海运提单的表格信息区域进行裁剪与样本标注，得到目标检测海运提单数据集；通过所述海运提单数据集对目标检测模型进行训练，并对训练完成后的目标检测模型进行测试。相比现有技术，本发明能够解决现有图像形式海运提单解析过程中面对表格格式复杂、表格线部分缺失、曲线表格线、背景水印、文字内容偏移时，海运提单有效内容提取难度大及准确性低的问题，满足了实际应用需求。
附图说明
49.图1为本发明实施例提供的面向图像形式的海运提单解析方法的一种流程示意图；
50.图2为本发明实施例提供的面向图像形式的海运提单解析方法中样本标注的效果图；
51.图3为本发明实施例提供的面向图像形式的海运提单解析装置的结构框图；
52.图4为本发明实施例提供的设备终端的结构图。
具体实施方式
53.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的服务器执行，且下文均以服务器作为执行主体为例进行说明。
55.如图1至图2所示，本发明实施例提供的面向图像形式的海运提单解析方法，应用于海运提单解析系统，所述方法包括步骤s11至步骤s13：
56.步骤s11，获取待解析的海运提单，并对所述海运提单进行图像预处理，得到预处理海运提单。
57.具体的，将待解析的海运提单转化为图像文件；获取图像文件中的海运提单，并对所述海运提单进行方向矫正；对进行方向矫正后的所述海运提单进行灰度处理，并去除灰度值小于阈值的部分，得到预处理海运提单。
58.进一步地，海运提单经多种方式由电子化pdf文件转换为图像文件，在转换过程(比如扫描)中，单页内容可能发生旋转，造成文本行倾斜，给后续ocr识别造成困难，所以首先对图像进行方向矫正。矫正方法为识别图像中的水平线，计算此线和水平线的夹角，将整个图像逆向旋转此夹角实现文本内容的水平矫正。然后将图像转换成灰度图，去除灰度值低于某个阈值的水印部分，完成图像预处理。
59.步骤s12，对所述预处理海运提单的表格信息区域进行裁剪与样本标注，得到目标检测海运提单数据集。
60.具体的，获取所述预处理海运提单中除货物详情外的所有物流信息，并对该物流信息所对应的表格信息区域进行裁剪；判断表格信息区域中的“键值-内容”对是否处于同一单元格；若所述“键值-内容”对处于同一单元格，则用一个矩形框标出；若所述“键值-内容”对处于不同单元格，则分别用矩形框标出；根据标注的矩形框得到所述目标检测海运提单数据集。
61.进一步地，表格信息区域包括除货品详情外物流服务所有信息，如收发货人、出发港、到达港、货运方式等。表格信息区域位于提单首页上半部分，通过裁剪出表格信息区域，可以减少冗余信息对目标检测模型的干扰。
62.进一步地，样本标注采用开源软件labelme进行可视化和标注；具体标注方式如下：
63.如果“键值-内容”对处于同一个单元格(“键值-内容”对即key、value或key-value pair，例如发件人shipper是键值，具体的地址是内容)，则用一个矩形框标出，如图2左上、右上、左下子图所示；
64.如果“键值-内容”对处于不同单元格(通常为上下相邻单元格)，则分别用矩形框标出，如图2右下子图所示；
65.标注过程中矩形框不可接触任何表格线。
66.本实施例中，本发明标注一千张图像样本，涵盖32家海运公司的45种海运提单格式，形成目标检测海运提单数据集。其中，每一个矩形框都是一个“键值”或“内容”或“键值-内容”对，也就是一个待检测目标。
67.步骤s13，通过所述海运提单数据集对目标检测模型进行训练，并对训练完成后的目标检测模型进行测试。
68.具体的，将所述目标检测海运提单数据集划分为训练集及测试集；将所述训练集
输入所述目标检测模型进行训练，并在训练的过程中不断调节超参数batch_size、epochs等，直至通过测试集测试得到的模型精度大于预设值时，结束模型训练。
69.进一步地，将全部样本随机划分为训练集和测试集，两个集合样本数目划分比例为8:2；本发明采用开源目标检测模型yolov5(其他目标检测模型如retinanet，faster r-cnn等也可以在此处应用)，在英伟达gpu上进行训练；通过调节batch_size，epochs等超参数直至通过测试集测试得到的模型精度大于95％时，结束模型训练。
70.在此还需要说明的是，所述方法还包括：
71.将表格信息区域图片输入目标检测模型，得到模型给出的边框预测；根据所述边框预测将所有矩形框裁剪下来，形成文字区域图片集；对每个文字区域图片分别进行ocr识别，得到该文字区域图片对应的文本内容；在每个文字区域图片对应的文本内容中检索预定义键值(如shipper)，找到预定义键值(如shipper)所对应的文字区域后，如果该文字区域仅包含键值文本并且文字区域下方紧邻表格线，则内容文本在该文字区域下方相邻文字区域中，否则内容文本与键值文本处于相同文字区域，或者内容文本不存在；根据检索的所有预定义键值，得到所有预定义键值的数据字典。
72.本发明通过目标检测模型在不接触表格线的情况下，直接检测“键值-内容”对，如果“键值”、“内容”被表格线分开，则分别检测；此方式更加贴近人眼视觉与阅读习惯，先寻找“键值”，然后在“键值”周围寻找内容；不关心整体表格结构，更加注重“键值-内容”对的微观排版格式；解决了表格形式复杂，表格结构难以复现的问题。通过“键值-内容”对的目标检测方式也弱化了处理流程对表格线的依赖，解决了表格线缺失、半缺失、曲线表格线等问题。
73.上述面向图像形式的海运提单解析方法，获取待解析的海运提单，并对所述海运提单进行图像预处理，得到预处理海运提单；对所述预处理海运提单的表格信息区域进行裁剪与样本标注，得到目标检测海运提单数据集；通过所述海运提单数据集对目标检测模型进行训练，并对训练完成后的目标检测模型进行测试。相比现有技术，本发明能够解决现有图像形式海运提单解析过程中面对表格格式复杂、表格线部分缺失、曲线表格线、背景水印、文字内容偏移时，海运提单有效内容提取难度大及准确性低的问题，满足了实际应用需求。
74.应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
75.请参阅图3，本发明还提供了一种面向图像形式的海运提单解析装置，所述装置包括：
76.图像处理模块21，用于获取待解析的海运提单，并对所述海运提单进行图像预处理，得到预处理海运提单。
77.具体的，将待解析的海运提单转化为图像文件；获取图像文件中的海运提单，并对
所述海运提单进行方向矫正；对进行方向矫正后的所述海运提单进行灰度处理，并去除灰度值小于阈值的部分，得到预处理海运提单。
78.进一步地，海运提单经多种方式由电子化pdf文件转换为图像文件，在转换过程(比如扫描)中，单页内容可能发生旋转，造成文本行倾斜，给后续ocr识别造成困难，所以首先对图像进行方向矫正。矫正方法为识别图像中的水平线，计算此线和水平线的夹角，将整个图像逆向旋转此夹角实现文本内容的水平矫正。然后将图像转换成灰度图，去除灰度值低于某个阈值的水印部分，完成图像预处理。
79.样本处理模块22，用于对所述预处理海运提单的表格信息区域进行裁剪与样本标注，得到目标检测海运提单数据集。
80.具体的，获取所述预处理海运提单中除货物详情外的所有物流信息，并对该物流信息所对应的表格信息区域进行裁剪；判断表格信息区域中的“键值-内容”对是否处于同一单元格；若所述“键值-内容”对处于同一单元格，则用一个矩形框标出；若所述“键值”、“内容”处于不同单元格，则分别用矩形框标出；根据标注的矩形框得到所述目标检测海运提单数据集。
81.进一步地，表格信息区域包括除货品详情外物流服务所有信息，如收发货人、出发港、到达港、货运方式等。表格信息区域位于提单首页上半部分，通过裁剪出表格信息区，可以减少冗余信息对目标检测模型的干扰。
82.进一步地，样本标注采用开源软件labelme进行可视化和标注；具体标注方式如下：
83.如果“键值-内容”对处于同一个单元格(“键值-内容”对即key、value或key-value pair，发件人shipper是“键值”，具体的地址是“内容”)，则用一个矩形框标出，如图2左上、右上、左下子图所示；
84.如果“键值-内容”对处于不同单元格(通常为上下相邻单元格)，则分别用矩形框标出，如图2右下子图所示；
85.其中，样本标注过程中矩形框不可接触任何表格线。
86.本实施例中，本发明标注一千张图像样本，涵盖32家海运公司的45种海运提单格式，形成目标检测海运提单数据集。其中，每一个矩形框都是一个“键值”或“内容”或“键值-内容”对，也就是一个待检测目标。
87.模型训练模块23，用于通过所述海运提单数据集对目标检测模型进行训练，并对训练完成后的目标检测模型进行测试。
88.具体的，将所述目标检测海运提单数据集划分为训练集及测试集；将所述训练集输入所述目标检测模型进行训练，并在训练的过程中不断调节超参数batch_size、epochs等，直至通过测试集测试得到的模型精度大于预设值时，结束模型训练。
89.进一步地，将全部样本随机划分为训练集和测试集，两个集合样本数目划分比例为8:2；本发明采用开源目标检测模型yolov5(其他目标检测模型如retinanet，faster r-cnn等也可以在此处应用)，在英伟达gpu上进行训练；通过调节batch_size，epochs等超参数直至通过测试集测试得到的模型精度大于95％时，结束模型训练。
90.在此还需要说明的是，所述海运提单解析装置还用于，
91.将表格信息区域图片输入目标检测模型，得到模型给出的边框预测；根据所述边
框预测将所有矩形框裁剪下来，形成文字区域图片集；对每个文字区域图片分别进行ocr识别，得到该文字区域图片对应的文本内容；在每个文字区域图片对应的文本内容中检索预定义键值(如shipper)，找到预定义键值(如shipper)所对应的文字区域后，如果该文字区域仅包含键值文本并且文字区域下方紧邻表格线，则内容文本在该文字区域下方相邻文字区域中，否则内容文本与键值文本处于相同文字区域，或者内容文本不存在；根据检索的所有预定义键值，得到所有预定义键值的数据字典。
92.本发明通过目标检测模型在不接触表格线的情况下，直接检测“键值-内容”对，如果“键值-内容”被表格线分开，则分别检测；此方式更加贴近人眼视觉与阅读习惯，先寻找“键值”，然后在“键值”周围寻找内容；不关心整体表格结构，更加注重“键值-内容”对的微观排版格式；解决了表格形式复杂，表格结构难以复现的问题。通过“键值-内容”对的目标检测方式也弱化了处理流程对表格线的依赖，解决了表格线缺失、半缺失、曲线表格线等问题。
93.本发明实施例所提供的面向图像形式的海运提单解析装置，获取待解析的海运提单，并对所述海运提单进行图像预处理，得到预处理海运提单；对所述预处理海运提单的表格信息区域进行裁剪与样本标注，得到目标检测海运提单数据集；通过所述海运提单数据集对目标检测模型进行训练，并对训练完成后的目标检测模型进行测试。相比现有技术，本发明能够解决现有图像形式海运提单解析过程中面对表格格式复杂、表格线部分缺失、曲线表格线、背景水印、文字内容偏移时，海运提单有效内容提取难度大及准确性低的问题，满足了实际应用需求。
94.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上所述的面向图像形式的海运提单解析方法。
95.本发明实施例还提供了一种终端设备，参见图4所示，是本发明提供的一种终端设备的一个优选实施例的结构框图，所述终端设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现如上所述的面向图像形式的海运提单解析方法。
96.优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、
······
)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
97.所述处理器10可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。
98.所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作
系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡和闪存卡(flash card)等，或所述存储器20也可以是其他易失性固态存储器件。
99.需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图4结构框图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
100.综上，本发明提供的面向图像形式的海运提单解析方法、装置、存储介质及终端设备，首先获取待解析的海运提单，并对所述海运提单进行图像预处理，得到预处理海运提单；对所述预处理海运提单的表格信息区域进行裁剪与样本标注，得到目标检测海运提单数据集；通过所述海运提单数据集对目标检测模型进行训练，并对训练完成后的目标检测模型进行测试。相比现有技术，本发明能够解决现有图像形式海运提单解析过程中面对表格格式复杂、表格线部分缺失、曲线表格线、背景水印、文字内容偏移时，海运提单有效内容提取难度大及准确性低的问题，满足了实际应用需求。
101.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。