一种表格重建方法及装置与流程

1.本说明书实施例涉及计算机技术领域，尤其涉及一种表格重建方法及装置。


背景技术：

2.原有的表格重建方法采用分割神经网络，通过对大量表格的学习，得到表格中的横线和竖线坐标，再根据坐标画出来，从而实现表格的重建。这种表格重建方法对于普通环境下有着很好的效果，但是对于复杂场景下模型的分割效果不是很好的，例如褶皱，局部遮挡，局部印刷不清等，是无法分割出完整线段的。因为局部表格图像特征被损坏，或者局部表格图像特征不存在，模型提取不到特征，导致无法分割，表格重建的还原效果较差。


技术实现要素：

3.本说明书实施例提供及一种表格重建方法及装置，以解决现有技术的技术问题。
4.第一方面，本说明书实施例提供一种表格重建方法，包括：
5.步骤1,对表格图像进行灰度化处理；
6.步骤2，将灰度图像作为unet分割网络的输入，unet分割网络通过下采样提取图像特征，通过上采样还原表格线，从而得到横线坐标集合与竖线坐标集合；
7.步骤3，在步骤2得到的横线坐标集合中，按照预定顺序选择两条横线；
8.步骤4，对当前两条横线进行判断，若一条横线的左端点与右端点到另一条横线的距离均小于第一预设值，执行步骤9，否则执行步骤5；
9.步骤5，判断所述横线坐标集合中任意两条横线是否均完成判断，若是，执行步骤11，否则，返回步骤2；
10.步骤6，在步骤2得到的竖线坐标集合中，按照预定顺序选择两条竖线；
11.步骤7，对当前两条竖线进行判断，若一条竖线的上端点与下端点到另一条竖线的距离均小于第二预设值，执行步骤10，否则执行步骤8；
12.步骤8，判断所述竖线坐标集合中任意两条竖线是否均完成判断，若是，执行步骤11，否则，返回步骤2；
13.步骤9，将当前两条横线中一条横线的左端点与另一条横线的右端点连接，形成新的横线，利用新的横线坐标替换横线坐标集合中的当前两条横线坐标，返回步骤3；
14.步骤10，将当前两条中一条竖线的下端点与另一条竖线的上端点连接，形成新的竖线，利用新的竖线坐标替换竖线坐标集合中的当前两条竖线坐标，返回步骤6；
15.步骤11，得到新的横线坐标集合与竖线坐标集合；
16.步骤12，根据步骤11得到的横线坐标集合和竖线坐标集合，画出所有的横线与竖线，得到重建后的表格。
17.第二方面，本说明书实施例提供一种表格重建装置，包括存储器和处理器；
18.存储器用于存储计算机程序；
19.处理器用于执行该计算机程序实现第一方面的方法。
20.本说明书实施例有益效果如下：
21.本发明在复杂的应用场景下，例如被遮挡、局部印刷不清等情况下，通过分割神经网络(例如unet分割网络)分割出的横线与竖线基础上，对未分割出的线段进行判断补充，完成表格的重建。
附图说明
22.图1为本说明书实施例第一方面的方法流程图。
23.图2a为未补充修复的表格重建结果。
24.图2b为采用本发明方法补充修复后的表格重建结果。
具体实施方式
25.为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。
26.下面首先对本说明书中的名次做出解释：
27.分割神经网络：一种深度学习模型，用于目标分割。
28.表格重建：重新建立表格，还原成原始的表格结构。
29.本说明书实施例提供的表格重建方法如图1所示，包括如下操作：
30.步骤1，对表格图像进行灰度化处理，利于网络的训练。
31.步骤2，将灰度图像作为unet分割网络的输入，unet分割网络通过下采样提取图像特征，通过上采样还原表格线，从而得到横线坐标集合与竖线坐标集合。
32.步骤3，在步骤2得到的横线坐标集合中，按照预定顺序选择两条横线。
33.本发明实施例不对预定顺序进行限定，实际应用中根据需求确定。
34.步骤4，对当前两条横线进行判断，若一条横线的左端点与右端点到另一条横线的距离均小于第一预设值，执行步骤9，否则，执行步骤5。
35.例如，判断a横线的左端点与右端点到b横线的距离是否都小于5个像素点，如果是，进入步骤9，如果不是，执行步骤5。
36.实际应用中，根据表格实际情况确定第一预设值，以保证不会将不同行的两条横线连线。
37.优选的，第一预设值为5个像素点。
38.步骤5，判断所述横线坐标集合中任意两条横线是否均完成判断，若是，执行步骤11，否则，返回步骤2。
39.也就是说，是否遍历了横线坐标集合中所有横线对。
40.步骤6，在步骤2得到的竖线坐标集合中，按照预定顺序选择两条竖线。
41.步骤7，对当前两条竖线进行判断，若一条竖线的上端点与下端点到另一条竖线的距离均小于第二预设值，执行步骤10，否则执行步骤8。
42.实际应用中，根据表格实际情况确定第二预设值，以保证不会将不同列的两条竖线连线。
43.优选的，第二预设值为5个像素点。
44.步骤8，判断所述竖线坐标集合中任意两条竖线是否均完成判断，若是，执行步骤11，否则，返回步骤2。
45.也就是说，是否遍历了竖线坐标集合中所有竖线对。
46.步骤9，将当前两条横线中一条横线的左端点与另一条横线的右端点连接，形成新的横线，利用新的横线坐标替换横线坐标集合中的当前两条横线坐标，返回步骤3。
47.其中，在灰度图中进行两条横线之间的端点连接，在横线坐标集合中进行坐标替换。
48.本发明实施例中，对于当前两条横线，既可以将左侧横线的左端点与右侧横线的右端点连接，也可以将左侧横线的右端点与右侧横线的左端点连接，其结果相同。优选的，将右侧横线的左端点与左侧横线的右端点进行连接。
49.步骤10，将当前两条中一条竖线的下端点与另一条竖线的上端点连接，形成新的竖线，利用新的竖线坐标替换竖线坐标集合中的当前两条竖线坐标，返回步骤6。
50.其中，在灰度图中进行两条竖线之间的端点连接，在竖线坐标集合中进行坐标替换。
51.本发明实施例中，对于当前两条竖线，既可以将下侧竖线的下端点与上侧竖线的上端点连接，也可以将下侧竖线的上端点与上侧竖线的下端点连接，其结果相同。优选的，将下侧竖线的上端点与上侧竖线的下端点连接。
52.步骤11，得到新的横线坐标集合与竖线坐标集合。
53.步骤12，根据步骤11得到的横线坐标集合和竖线坐标集合，画出所有的横线与竖线，得到重建后的表格。
54.本发明在复杂的应用场景下，例如被遮挡、局部印刷不清等情况下，通过分割神经网络(例如unet分割网络)分割出的横线与竖线基础上，对未分割出的线段进行判断补充，完成表格的重建。
55.其中，一条横线的左端点与右端点到另一条横线的距离计算方法包括：
56.根据另一条横线的两端点坐标计算另一条横线的斜率；
57.根据另一条横线的斜率和其中一个端点的坐标确定另一条横线的直线方程；
58.利用一条横线的左端点坐标和右端点坐标，以及另一条横线的直线方程，计算一条横线的左端点与右端点到另一条横线的距离。
59.其中，一条竖线的上端点与下端点到另一条竖线的距离计算方法包括：
60.根据另一条竖线的两端点坐标计算另一条竖线的斜率；
61.根据另一条竖线的斜率和其中一个端点的坐标确定另一条竖线的直线方程；
62.利用一条竖线的两端点坐标，以及另一条竖线的直线方程，计算一条竖线的上端点与下端点到另一条竖线的距离。
63.下面结合具体应用场景对本发明实施例提供的方法进行说明。
64.对于局部遮挡、局部印刷不清的表格，unet神经网络识别不出完整的表格线，本技术对未识别出的表格线进行补充。具体方法为，在横线坐标集合中，判断任意两条横线，例如横线q的左端点坐标为(x1,y1),右端点坐标为(x2,y2),求斜率：k＝(y2
‑
y1)/(x2
‑
x1)，直线方程为y
‑
y1＝k(x
‑
x1)，变形后
‑
kx y kx1
‑
y1＝0为横线q的直线方程。
65.点(x0,y0)到线ax by c＝0的距离公式为：
[0066][0067]
在直线
‑
kx y kx1
‑
y1＝0中，a＝
‑
k,b＝1,c＝kx1
‑
y1，横线p的左端点为(x3,y3),右端点为(x4,y4),所以左端点到直线的距离右端点到直线的距离k＝(y2
‑
y1)/(x2
‑
x1)，当d1<5个像素点，并且d2<5个像素点，认为横线q和横线p是表格中一条断连的横线，所以将横线q的左端点与横线p的右端点进行连接，形成新的横线，用新的横线坐标替换横线坐标集合中的横线q和横线p的坐标，直到所有横线都经过判断，得到新的横线坐标集合。竖线也是同样的规则，最后得到新的横线坐标集合与竖线坐标集合，根据集合画出表格，完成表格的重建。
[0068]
图2a为未补充修复的表格重建结果，图2b为补充修复后的表格重建结果。
[0069]
基于同一发明构思，本说明书实施例提供一种表格重建装置，包括存储器和处理器；
[0070]
存储器用于存储计算机程序；
[0071]
处理器用于执行该计算机程序实现上述的方法。
[0072]
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
[0073]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0074]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0075]
尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。
[0076]
显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技
术的范围之内，则本说明书也意图包含这些改动和变型在内。