表格还原方法、装置、电子设备及存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种表格还原方法、装置、电子设备及存储介质。


背景技术：

2.随着办公软件的不断发展，人们对办公软件处理的要求也越来越高，希望在满足正常办公要求的情况下，还能提高工作内容的质量。
3.目前，对于表格图像的处理技术虽然已经能够满足人们的工作要求，但是，还存在一定的不足，如现有技术中基于全卷积(fcn)网络技术在图像表格线的还原处理，只能对表格图像中的全部内容进行还原处理，不能识别出哪些是表格中的线条，哪些不是，导致还原处理过程中对图像中的非表格线条难以识别，容易将非表格线条还原成表格线，导致还原效果差、线条不完整，影响用户体验。


技术实现要素：

4.基于现有技术中存在的问题，本发明提出一种表格线分割、表格还原方法、装置、电子设备及存储介质，能够满足表格图像存在非表格线的情况，实现对表格线的准确识别，具有提高表格图像分割处理效果和提升用户体验的优点。
5.第一方面，本发明提供一种表格还原方法，包括：
6.获取包含有目标表格的目标表格图像；
7.将所述目标表格图像输入预先训练的线条分割模型，得到带有注意力权重的特征向量，基于所述带有注意力权重的特征向量得到所述目标表格中的表格线。
8.进一步，所述方法还包括：
9.所述线条分割模型包括注意力模块，所述注意力模块用于对目标表格图像的特征向量进行注意力学习，得到注意力权重向量，基于所述特征向量与所述注意力权重向量，得到带有注意力权重的特征向量。
10.进一步，根据本发明提供的一种表格还原方法，所述注意力模块包括：特征向量压缩层、注意力学习层、采样层、特征向量融合层；其中，
11.所述特征向量压缩层用于对目标表格图像的第一特征向量进行压缩，得到目标表格图像的第二特征向量；
12.所述注意力学习层用于对所述目标表格图像的第二特征向量做用于学习注意力权重的全连接操作，得到注意力权重向量；
13.所述采样层对所述注意力权重向量做上采样操作，得到上采样后的注意力权重向量；
14.所述特征向量融合层用于对所述目标表格图像的第一特征向量与所述上采样后的注意力权重向量进行融合，得到带有注意力权重的特征向量。
15.进一步，根据本发明提供的一种表格还原方法，所述注意力模块还包括：卷积层；
16.所述卷积层用于对目标表格图像的第三特征向量进行卷积操作，得到目标表格图像的第一特征向量；其中，所述目标表格图像的第三特征向量是通过对目标表格图像进行特征提取得到的。
17.进一步，根据本发明提供的一种表格还原方法，所述将所述目标表格图像输入预先训练的线条分割模型，得到所述目标表格中的表格线，包括：
18.将目标表格图像经过特征提取后所得到的第一特征向量输入至所述特征向量压缩层，得到经过压缩后的目标表格图像的第二特征向量；
19.将所述目标表格图像的第二特征向量输入至所述注意力学习层，得到注意力权重向量；
20.将所述注意力权重向量输入至所述采样层，得到经过上采样后的注意力权重向量；其中，所述经过上采样后的注意力权重向量与所述目标表格图像的第一特征向量具有相同的维度；
21.将所述经过上采样后的注意力权重向量与所述目标表格图像的第一特征向量输入至所述特征向量融合层，得到带有注意力权重的特征向量；
22.基于所述带有注意力权重的特征向量，得到所述目标表格中的表格线。
23.进一步，根据本发明提供的表格还原方法，所述基于所述带有注意力权重的特征向量得到所述目标表格中的表格线，包括：
24.基于所述带有注意力权重的特征向量确定出所述目标表格图像中的线条；
25.对所述目标表格图像中的线条进行识别；
26.在识别出所述目标表格图像中的线条为表格线的情况下，确认对所述目标表格图像进行分割处理，得到所述目标表格中的表格线；
27.在识别出所述目标表格图像中的线条为背景线条的情况下，确认对所述目标表格图像不进行分割处理。
28.进一步，根据本发明提供的表格还原方法，所述方法还包括：
29.根据所述目标表格的表格线重新构建目标表格；
30.对所述目标表格图像进行文本识别，并将所述文本识别结果填充到重新构建的目标表格中。
31.进一步，根据本发明提供的表格还原方法，所述线条分割模型包括下采样层和上采样层，其中，
32.所述下采样层包括第一卷积层、第二卷积层、第三卷积层和最大池化层；所述第一卷积层、所述第二卷积层、所述第三卷积层以及所述最大池化层均含有所述注意力模块；
33.所述上采样层包括第一反卷积层、第二反卷积层、第三反卷积层和第四反卷积层；所述第一反卷积层、所述第二反卷积层、所述第三反卷积层以及所述第四反卷积层均含有所述注意力模块。
34.第二方面，本发明还提供一种表格还原装置，包括：
35.获取模块，用于获取包含有目标表格的目标表格图像；
36.输入模块，用于将所述目标表格图像输入预先训练的线条分割模型，得到带有注意力权重的特征向量，基于所述带有注意力权重的特征向量得到所述目标表格中的表格线。
37.第三方面，本发明还提供一种电子设备，包括：处理器、存储器和总线，其中，
38.所述处理器和所述存储器通过所述总线完成相互间的通信；
39.所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上任一项所述表格还原方法的步骤。
40.第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上述中任一项所述表格还原方法的步骤。
41.本发明提供一种表格还原方法、装置、电子设备及存储介质，通过获取包含有目标表格的目标表格图像，将所述目标表格图像输入预先训练的线条分割模型，得到带有注意力权重的特征向量，基于所述带有注意力权重的特征向量得到所述目标表格中的表格线。本发明提供的表还原方法通过带有注意力模块的模型进行识别分割，能够提高非表格线识别的准确性，提高表格还原效果，提升用户体验。
附图说明
42.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1是本发明提供的表格还原方法的流程示意图；
44.图2是本发明提供的一种目标表格图像的范例图；
45.图3是现有技术中对目标表格图像的处理结果的范例图；
46.图4是本发明提供的带注意力模块的图像处理结果的范例图；
47.图5是本发明提供的注意力模块的结构示意图；
48.图6是本发明提供的完整的注意力模块的结构示意图；
49.图7是本发明提供的一种表格线分割方法的整体流程图；
50.图8是本发明提供的线条分割模型的结构示意图；
51.图9是本发明提供的一种带有背景的目标表格图像的范例图；
52.图10是本发明提供的带注意力模块的背景线处理结果的范例图；
53.图11是现有技术对带有背景的目标表格图像处理结果图；
54.图12是本发明提供的一种单元格带有阴影的目标表格图像的范例图；
55.图13是本发明提供的带注意力模块的阴影处理结果的范例图；
56.图14是本发明提供的带有注意力模块对三线表的处理结果范例图；
57.图15是本发明提供的表格还原装置的结构示意图；
58.图16是本发明提供的电子设备的结构示意图。
具体实施方式
59.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳
动前提下所获得的所有其他实施例，都属于本发明保护的范围。
60.图1为本发明实施例提供的表格还原方法的流程示意图，如图1所示，本发明提供的表格还原方法，包括以下步骤：
61.步骤101：获取包含有目标表格的目标表格图像。
62.在本实施例中，需要获取包含有目标表格的目标表格图像。目标表格可以是既包含表格线，又包含非表格线的表格，也可以是只包含表格线的表格，还可以是包含背景图片的表格，其中，非表格线是指不构成单元格的线条，如图2中左上角展示的“客户签名“所对应的横线，该线条为非表格线。需要说明的是，目标表格可以根据用户的实际需要进行设定，在此不作具体限定。
63.在本实施例中，目标表格图像是指本发明的方法所要处理的表格图像。顾名思义，表格图像是具有图像格式的表格，例如，表格是以jpg、png等图像格式保存的。需要说明的是，目标表格图像可以是单独的表格图像，也可以是pdf中的表格通过转换处理形成的表格图像，在此不作具体限定。
64.步骤102：将目标表格图像输入预先训练的线条分割模型，得到带有注意力权重的特征向量，基于带有注意力权重的特征向量得到目标表格中的表格线。
65.在本实施例中，需要将步骤101中获取到的带有目标表格的目标表格图像输入预先训练好的线条分割模型中，线条分割模型对该目标表格图像进行处理，得到带有注意力权重的特征向量，然后基于带有注意力权重的特征向量得到目标表格中的表格线，其中，目标表格中可以包含非表格线，线条分割模型可以将其中的非表格线识别出来，不对其进行分割处理。
66.需要说明的是，线条分割模型是预先基于卷积神经网络(cnn)算法以及样本表格的样本表格图像、样本表格的表格线训练得到的，该线条分割模型主要是由卷积层、采样层和激活层组成。
67.举例说明，如图2所示的目标表格图像，在该目标表格图像中左上角和右上角均存在非表格线(如图2中箭头所示)，若是通过现有技术中的线条分割模型对该目标表格图像进行处理，得到图3所示的处理结果，该处理结果中将左上角和右上角的非表格线进行了分割处理；若是采用本发明提供的带有注意力模块的线条分割模型对该目标表格图像进行分割处理时，得到图4所示的分割处理结果，带有注意力模块的线条分割模型将非表格线条识别出，未对非表格线条进行分割处理，保证了表格线条分割处理的准确性。
68.本发明提供一种表格还原方法，通过获取包含有目标表格的目标表格图像，将目标表格图像输入预先训练的线条分割模型，得到带有注意力权重的特征向量，基于带有注意力权重的特征向量得到目标表格中的表格线。本发明提供的表格还原方法通过带有注意力模块的模型进行识别分割，能够提高非表格线识别的准确性，提高表格还原效果，提升用户体验。
69.基于上述任一实施例，在本实施例中，方法还包括：线条分割模型包括注意力模块，注意力模块用于对目标表格图像的特征向量进行注意力学习，得到注意力权重向量，基于特征向量与注意力权重向量，得到带有注意力权重的特征向量。
70.在本实施例中，主要实现对线条分割模型的改进，在该线条分割模型中添加注意力模块，识别出非表格线条，该注意力模块用于对目标表格图像的特征向量进行注意力学
习，得到注意力权重向量，然后基于特征向量和注意力权重向量，得到带有注意力权重的特征向量，根据带有注意力权重的特征向量能够实现对表格线的准确分割。
71.根据本发明提供的表格还原方法，通过在线条分割模型中添加注意力模块，能够提高对表格线或非表格线的准确识别与分割，提高表格还原处理的准确性。
72.基于上述任一实施例，在本实施例中，注意力模块包括：特征向量压缩层、注意力学习层、采样层、特征向量融合层；其中，
73.特征向量压缩层用于对目标表格图像的第一特征向量进行压缩，得到目标表格图像的第二特征向量；
74.注意力学习层用于对目标表格图像的第二特征向量做用于学习注意力权重的全连接操作，得到注意力权重向量；
75.采样层对注意力权重向量做上采样操作，得到上采样后的注意力权重向量；
76.特征向量融合层用于对目标表格图像的第一特征向量与采样层做上采样操作后的注意力权重向量进行融合，得到带有注意力权重的特征向量。
77.在本实施例中，线条分割模型中添加了注意力模块，且该注意力模块包括特征向量压缩层、注意力学习层、采样层和特征向量融合层，其中，特征向量压缩层用于对目标表格图像的第一特征向量进行压缩，得到目标表格图像的第二特征向量，其中，第一特征向量是指未进行压缩处理的特征向量，第二特征向量是指压缩处理后的特征向量，第一特征向量的维度高于第二特征向量。
78.如图5所示，假如得到的第一特征向量为u，u∈rh×w×c,其中，h、w和c分别表示目标表格图像的特征图的高度、宽度和通道数，f
sq
(
·
)表示对第一特征向量进行压缩处理，得到压缩处理后的第二特征向量，即将h
×w×
c维度的第一特征向量压缩成1
×1×
c的第二特征向量，其中，ci表示第i个特征图的特征向量，其值越大，表示该表格线条更可能为表格线。需要说明的是，压缩处理实现的是对第一特征向量的降低维度处理，使原来高维度的第一特征向量压缩成1
×1×
c格式的第二特征向量。
79.在本实施例中，注意力学习层用于对目标表格图像的第二特征向量做用于学习注意力权重的全连接操作，得到注意力权重向量。其中，图5中f
ex
(；w)表示对低维度的第二特征向量进行全连接处理，处理后得到注意力权重向量，全连接是指每一个结点都与上一层的所有结点相连，将前边提取到的特征综合起来。
80.在本实施例中，采样层需要对得到的低维度的注意力权重向量做上采样操作，得到上采样后的注意力权重向量，上采样后的注意力权重向量为高维度的特征向量。如图5中f
scale
(
·
,
·
)表示采样层对得到的注意力权重向量进行上采样操作，即将1
×1×
c注意权重向量转换成h
×w×
c维度的注意力权重向量，目的是使保持注意力权重的维度与特征向量的维度一致，其中，上采样(upsampling)是指将特征图的分辨率还原到原始图片的分辨率大小。
81.在本实施例中，特征向量融合层用于对目标表格图像的第一特征向量与采样层做上采样操作后的注意力权重向量进行融合，得到带有注意力权重的特征向量。如图5中所示的将第一特征向量u与上采样处理后的注意力权重向量c进行融合处理，融合方式为u
ici
，融合处理后得到带有注意力权重的特征向量需要说明的是，注意力权重代表对目标表格图像的特征的注意程度，权重值越大，则表示目标表格中存在表格线的可能性越大，权重值
越小，表示目标表格中的线条为非表格线的可能性较大。
82.举例说明，假如获取到目标表格图像的第一特征向量u为以下特征向量，第一特征向量u∈r4×4×3，具体包含以下内容：
83.10101010101010101010101010101010
84.8888888888888888
[0085][0086][0087]
然后，特征向量压缩层用于对目标表格图像的第一特征向量进行压缩，得到目标表格图像的第二特征向量，其中，第二特征向量表示为：
[0088]
10
[0089]8[0090]6[0091]
进一步，注意力学习层用于对目标表格图像的第二特征向量做用于学习注意力权重的全连接操作，得到注意力权重向量，该注意力权重向量为：
[0092]
0.2
[0093]
0.3
[0094]
0.5
[0095]
利用采样层，对得到的低维度的注意力权重向量做上采样操作，得到上采样后的高维度的注意力权重向量c，该高维度的注意力权重向量c如下：
[0096]
0.20.20.20.20.20.20.20.20.20.20.20.20.20.20.20.2
[0097]
0.30.30.30.30.30.30.30.30.30.30.30.30.30.30.30.3
[0098]
0.50.50.50.50.50.50.50.50.50.50.50.50.50.50.50.5
[0099]
最后特征向量融合层用于对目标表格图像的第一特征向量u与采样层做上采样操作后的注意力权重向量c进行融合，得到带有注意力权重的特征向量，即带有注意力权重的特征向量为：
[0100]
2222222222222222
[0101]
2.42.42.42.42.42.42.42.42.42.42.42.42.42.42.42.4
[0102]
3333333333333333
[0103]
根据本发明提供的表格还原方法，通过设定注意力模块包括特征向量压缩层、注意力学习层、采样层、特征向量融合层，然后各个层对获取的目标表格图像的特征向量进行相应的处理，最后得到带有注意力权重的特征向量，能够用于非表格线的识别确认中，提高非表格线识别的准确性，提高表格线分割处理的效率。
[0104]
基于上述任一实施例，在本实施例中，注意力模块还包括：卷积层；
[0105]
卷积层用于对目标表格图像的第三特征向量进行卷积操作，得到目标表格图像的第一特征向量；其中，目标表格图像的第三特征向量是通过对目标表格图像进行特征提取得到的。
[0106]
在本实施例中，本发明提供的注意力模块还包括卷积层，该卷积层用于对目标表格图像的第三特征向量进行卷积操作，得到目标表格图像的第一特征向量，其中，如图6所示，第三特征向量为x，且x∈rh×w×c，第三特征向量x是通过对目标表格图像进行特征提取得到的，然后卷积层对第三特征向量x进行卷积操作，得到第一特征向量u，特征向量压缩层对第一特征向量u进行压缩处理，得到目标表格图像的第二特征向量，注意力学习层对第二特征向量做用于学习注意力权重的全连接操作，得到注意力权重向量，采样层对注意力权重向量做上采样操作，得到上采样后的注意力权重向量c，特征向量融合层用于对第一特征向量u与上采样后的注意力权重向量c进行融合，得到带有注意力权重的特征向量。
[0107]
根据本发明提供的表格还原方法，通过设定的卷积层对提取目标表格图像的第三特征向量进行卷积操作，得到第一特征向量，用于后续的操作处理中，识别出目标表格中的表格线，提高目标表格中的表格线识别的准确性。
[0108]
基于上述任一实施例，在本实施例中，将目标表格图像输入预先训练的线条分割模型，得到带有注意力权重的特征向量，基于带有注意力权重的特征向量得到目标表格中的表格线，包括：
[0109]
将目标表格图像经过特征提取后所得到的第一特征向量输入至特征向量压缩层，得到经过压缩后的目标表格图像的第二特征向量；
[0110]
将目标表格图像的第二特征向量输入至注意力学习层，得到注意力权重向量；
[0111]
将注意力权重向量输入至采样层，得到经过上采样后的注意力权重向量；其中，经过上采样后的注意力权重向量与目标表格图像的第一特征向量具有相同的维度；
[0112]
将经过上采样后的注意力权重向量与目标表格图像的第一特征向量输入至特征向量融合层，得到带有注意力权重的特征向量；
[0113]
基于带有注意力权重的特征向量，得到目标表格中的表格线。
[0114]
在本实施例中，需要根据注意力模块中的各个层处理后得到的带有注意力权重的特征向量，得到目标表格中的表格线，需要说明的是，线条分割模型的输出存在两个通道，一个通道用于输出目标表格中的横线，另一个通道用于输出目标表格中的纵线，具体可以根据用户的实际需要进行设定，在此不对通道作具体限定。
[0115]
需要说明的是，本实施例中，需要将提取到的目标表格图像的第一特征向量输入至注意力模块中的特征向量压缩层，然后将得到的第二特征向量输入至注意力学习层，然后将低维度的注意力权重向量输入至注意力模块中的采样层，得到与第一特征向量维度相同的注意力权重向量，并将上采样后的注意力权重向量与该目标表格图像的第一特征向量输入到特征向量融合层，最终得到带有注意力权重的特征向量，本实施例中基于带有注意力权重的特征向量得到目标表格中的表格线，当特征向量进入预设的通道后，得到该通道对应的横向或纵线。需要说明的是，上述处理操作是在注意力模块中实现的。
[0116]
根据本发明提供的表格还原方法，通过注意力模块中的各个层对目标表格图像中提取到的特征向量进行相应的处理，最后得到带有注意力权重的特征向量，根据带有注意力权重的特征向量确定出目标表格中的表格线，提高了目标表格中的表格线分割的准确性，提升了用户体验。
[0117]
基于上述任一实施例，在本实施例中，基于带有注意力权重的特征向量得到目标表格中的表格线，包括：
[0118]
基于带有注意力权重的特征向量确定出目标表格图像中的线条；
[0119]
对目标表格图像中的线条进行识别；
[0120]
在识别出目标表格图像中的线条为表格线的情况下，确认对目标表格图像进行分割处理，得到目标表格中的表格线；
[0121]
在识别出目标表格图像中的线条为背景线条的情况下，确认对目标表格图像不进行分割处理。
[0122]
在本实施例中，在对目标表格图像进行分割之前，需要对其进行判断，确定是否需要对目标表格图像进行分割处理，通过线条分割模型对目标表格图像中的线条进行识别确认，当识别出目标表格图像中的线条为表格线时，确定对目标表格图像进行分割处理，得到目标表格中的表格线；当识别出目标表格图像中的线条为背景线条时，即该目标表格图像中不存在表格线，不对该目标表格图像进行分割处理。
[0123]
需要说明的是，本实施例中是通过注意力权重的大小确定出表格线与非表格线的，如线条的注意力权重较大，超过预设的阈值，则将该线条确定为表格线，若线条的注意力权重较小，低于预设的阈值，则将该线条确定为非表格线。
[0124]
需要说明的是，在其他实施例中，还可以通过其他的识别确认方式确定表格线与非表格线，具体可以根据用户的实际需要进行设定，在此不作具体限定。
[0125]
根据本发明提供的表格还原方法，通过对目标表格图像中的线条的识别确认，能够实现对表格线与非表格线的区分，提高图像分割还原的准确性。
[0126]
基于上述任一实施例，在本实施例中，表格还原方法还包括：
[0127]
根据目标表格的表格线重新构建目标表格；
[0128]
对目标表格图像进行文本识别，并将文本识别结果填充到重新构建的目标表格中。
[0129]
在本实施例中，提供的表格还原方法，主要用于实现目标表格图像中的目标表格的还原，重建新的目标表格。目前，目标表格图像中的目标表格处于不可编辑的状态，为了实现目标表格中的数据编辑操作处理，需要对目标表格进行还原处理。表格还原是指将目标表格图像中的目标表格还原成可以编辑的表格。根据上述得到的目标表格的表格线构建新的目标表格，并将目标表格图像中的文本内容填充到重新构建的目标表格中，得到新的目标表格。
[0130]
需要说明的是，在本实施例中，在重新构建目标表格的情况下，还需要对目标表格图像中的文本进行识别，将文本识别结果填充到重新构建的目标表格中，其中，本实施例中对目标表格图像的文本识别以及将文本识别结果填充到重新构建的目标表格中均采用现有技术中较成熟的处理技术，在此不作详细介绍。
[0131]
根据本发明提供的表格还原方法，通过根据分割后的目标表格的表格线重新构建目标表格，并将目标表格图像的文本识别结果填充到构建的新的目标表格中，能够实现目标表格的精准还原，提高目标表格的处理速度。
[0132]
基于上述任一实施例，在本实施例中，线条分割模型包括下采样层和上采样层，其中，
[0133]
下采样层包括第一卷积层、第二卷积层、第三卷积层和最大池化层；第一卷积层、第二卷积层、第三卷积层以及最大池化层均含有注意力模块；
[0134]
上采样层包括第一反卷积层、第二反卷积层、第三反卷积层和第四反卷积层；第一反卷积层、第二反卷积层、第三反卷积层以及第四反卷积层均含有注意力模块。
[0135]
在本实施例中，线条分割模型包括上采样层和下采样层，具体如图7所示，由于线条分割模型为unet模型，主要为卷积模型，下采样层中包括第一卷积层、第二卷积层、第三卷积层和最大池化层，上采样层包括第一反卷积层、第二反卷积层、第三反卷积层和第四反卷积层，而且本实施例中，在第一卷积层、第二卷积层、第三卷积层和最大池化层、第一反卷积层、第二反卷积层、第三反卷积层以及第四反卷积层均设有注意力模块，用于区分目标表格图像中的表格线和非表格线。
[0136]
根据本发明提供的表格还原方法，通过在上采样层和下采样层中的每个层设有注意力模块，能够准确识别出目标表格图像中线条的类型，提高表格还原的准确性。
[0137]
基于上述任一实施例，在本实施例中，首先获取包含目标表格的目标表格图像，将
该目标表格图像输入预先训练好的线条分割模型中，该线条分割模型为带有注意力的线条分割unet模型，然后输出目标表格的横线和纵线。
[0138]
在本实施例中，实现的是对基于卷积神经网络算法构建的线条分割模型进行改进，在unet模型的内部增加注意力模块。其作用是提取目标表格图像的特征，特征提取越完备，对表格线条的分割处理越有利，让线条分割模型自动识别出非表格线条，不对非表格线条进行分割处理。
[0139]
在本实施例中，注意力模块包括卷积层、特征向量压缩层、注意力学习层、采样层和特征融合层。其中，提取目标表格图像的第三特征向量为x，且x∈rh×w×c，对x进行卷积操作，得到第一特征向量u，u∈rh×w×c,其中、w和c、分别目标表格图像的高度、宽度和通道数，其中，f
tr
表示x
→
u的卷积映射，然后需要将卷积得到的特征向量u进行压缩处理，f
sq
(
·
)表示特征向量的压缩处理，得到1
×1×
c维度的第二特征向量，即将h
×w×
c维度的第一特征向量压缩成1
×1×
c维度的第二特征向量，其中，ci表示第i个特征图的注意权重。并对第二特征向量进行全连接处理，得到注意力权重向量，然后通过f
scale
(
·
,
·
)对注意力权重向量进行上采样处理，得到与第一特征向量具有相同维度的注意力权重向量c，然后将第一特征向量u与注意力权重向量c进行融合处理，得到带有注意力权重的特征向量。
[0140]
需要说明的是，x表示提取目标表格图像的第三特征向量，第一特征向量u是第三特征向量经过一次卷积操作得到的，而第一特征向量u也可以不通过第三特征向量进行卷积操作得到，也可以是直接根据目标表格图像进行特征提取得到的，具体可以根据用户的实际需要进行设定，在此不作具体限定。
[0141]
在本实施例中，如图7示，注意力模块存在于线条分割模型中箭头所指的位置。需要说明的是，注意力模块在整个线条分割模型中都有应用，每一次卷积神经网络操作中都会含有一个独立的注意力模块。
[0142]
在本实施例中，还可以用带有注意力权重的线条分割模型降低表格背景对表格线分割的影响。如图8所示的目标表格图像，该目标表格图像的单元格中含有图像，若采用现有技术中的线条分割模型进行处理，得到如图9所示的处理结果，通过本发明提供的带有注意力权重的线条分割模型对该目标表格图像进行处理，得到图10所示的处理结果。在背景图像的影响下，现有技术中并没有对非表格线进行准确的识别，导致图9中的处理结果中对非表格线进行了分割处理，分割效果不明显且不准确。如图10所示，本发明的方法能够克服表格中的背景图像对表格线分割的影响。
[0143]
在本实施例中，还可以用于消除单元格中的底色阴影，获取到如图11所示的目标表格图像，通过本发明提供的带有注意力权重的线条分割模型对该目标表格图像进行处理，得到图12所示的处理结果，该处理结果表格线分割清楚。
[0144]
在本实施例中，还可以处理三线表形式的目标表格图像，如图13所示的目标表格图像，通过本发明提供的带有注意力权重的线条分割模型对该目标表格图像进行处理，得到图14所示的处理结果，该处理结果表格线分割清楚。
[0145]
图15为本发明提供的一种表格还原装置，如图15所示，本发明提供的表格还原装置，包括：
[0146]
获取模块1501，用于获取包含有目标表格的目标表格图像；
[0147]
输入模块1502，用于将目标表格图像输入预先训练的线条分割模型，得到带有注
意力权重的特征向量，基于带有注意力权重的特征向量得到目标表格中的表格线。
[0148]
本发明提供一种表格还原装置，通过获取包含有目标表格的目标表格图像，将目标表格图像输入预先训练的线条分割模型，得到带有注意力权重的特征向量，基于带有注意力权重的特征向量得到目标表格中的表格线。本发明提供的表格还原方法通过带有注意力模块的模型进行识别分割，能够提高非表格线识别的准确性，提高表格分割效果，提升用户体验。
[0149]
进一步，表格还原装置还包括：线条分割模型包括注意力模块，注意力模块用于对目标表格图像的特征向量进行注意力学习，得到注意力权重向量，基于特征向量与注意力权重向量，得到带有注意力权重的特征向量。
[0150]
根据本发明提供的表格还原装置，通过在线条分割模型中添加注意力模块，能够准确识别出目标表格图像的表格线与非表格线，提高表格还原处理的准确性。
[0151]
进一步，注意力模块包括：特征向量压缩层、注意力学习层、采样层、特征向量融合层；其中，
[0152]
特征向量压缩层用于对目标表格图像的第一特征向量进行压缩，得到目标表格图像的第二特征向量；
[0153]
注意力学习层用于对目标表格图像的第二特征向量做用于学习注意力权重的全连接操作，得到注意力权重向量；
[0154]
采样层对注意力权重向量做上采样操作，得到上采样后的注意力权重向量；
[0155]
特征向量融合层用于对目标表格图像的第一特征向量与采样层做上采样操作后的注意力权重向量进行融合，得到带有注意力权重的特征向量。
[0156]
根据本发明提供的表格还原装置，通过设定注意力模块包括特征向量压缩层、注意力学习层、采样层、特征向量融合层，然后各个层对获取的目标表格图像的特征向量进行相应的处理，最后得到带有注意力权重的特征向量，能够用于非表格线的识别确认中，提高非表格线识别的准确性，提高表格还原处理的效率。
[0157]
进一步，注意力模块还包括：卷积层；
[0158]
卷积层用于对目标表格图像的第三特征向量进行卷积操作，得到目标表格图像的第一特征向量；其中，目标表格图像的第三特征向量是通过对目标表格图像进行特征提取得到的。
[0159]
根据本发明提供的表格还原装置，通过设定的卷积层对提取目标表格图像的第三特征向量进行卷积操作，得到第一特征向量，用于后续的操作处理中，识别出目标表格中的表格线，提高目标表格中的表格线识别的准确性。
[0160]
进一步，输入模块1502还用于：
[0161]
将目标表格图像经过特征提取后所得到的第一特征向量输入至特征向量压缩层，得到经过压缩后的目标表格图像的第二特征向量；
[0162]
将目标表格图像的第二特征向量输入至注意力学习层，得到注意力权重向量；
[0163]
将注意力权重向量输入至采样层，得到经过上采样后的注意力权重向量；其中，经过上采样后的注意力权重向量与目标表格图像的第一特征向量具有相同的维度；
[0164]
将经过上采样后的注意力权重向量与目标表格图像的第一特征向量输入至特征向量融合层，得到带有注意力权重的特征向量；
[0165]
基于带有注意力权重的特征向量，得到目标表格中的表格线。
[0166]
根据本发明提供的表格还原装置，通过注意力模块中的各个层对目标表格图像中提取到的特征向量进行相应的处理，最后得到带有注意力权重的特征向量，根据带有注意力权重的特征向量确定出目标表格中的表格线，提高了目标表格中的表格线分割的准确性，提升用户体验。
[0167]
进一步，输入模块1502还用于：
[0168]
基于带有注意力权重的特征向量确定出目标表格图像中的线条；
[0169]
对目标表格图像中的线条进行识别；
[0170]
在识别出目标表格图像中的线条为表格线的情况下，确认对目标表格图像进行分割处理，得到目标表格中的表格线；
[0171]
在识别出目标表格图像中的线条为背景线条的情况下，确认对目标表格图像不进行分割处理。
[0172]
根据本发明提供的表格还原方法，通过对目标表格图像中的线条进行识别确认，能够准确识别出目标表格图像中线条的类型，提高表格还原的准确性，提升用户体验。
[0173]
进一步，表格还原装置还用于：
[0174]
根据目标表格的表格线重新构建目标表格；
[0175]
对目标表格图像进行文本识别，并将文本识别结果填充到重新构建的目标表格中。
[0176]
根据本发明提供的表格还原装置，通过根据上述的表格线分割方法，根据分割后的目标表格的表格线重新构建目标表格，并将目标表格图像的文本识别结果填充到构建的新的目标表格中，能够实现目标表格的还原，提高目标表格的处理速度。
[0177]
进一步，线条分割模型包括下采样层和上采样层，其中，
[0178]
下采样层包括第一卷积层、第二卷积层、第三卷积层和最大池化层；第一卷积层、第二卷积层、第三卷积层以及最大池化层均含有注意力模块；
[0179]
上采样层包括第一反卷积层、第二反卷积层、第三反卷积层和第四反卷积层；第一反卷积层、第二反卷积层、第三反卷积层以及第四反卷积层均含有注意力模块。
[0180]
根据本发明提供的表格还原装置，线条分割模型分为上采样层和下采样层，通过在上采样层和下采样层中所对应的各个层中设有注意力模块，能够准确识别出目标表格图像中线条的类型，提高表格还原的准确性。
[0181]
由于本发明实施例装置与上述实施例方法的原理相同，对于更加详细的解释内容在此不再赘述。
[0182]
图16为本发明实施例中提供的电子设备实体结构示意图，如图16所示，本发明提供一种电子设备，包括：处理器(processor)1601、存储器(memory)1602和总线1603；
[0183]
其中，处理器1601、存储器1602通过总线1603完成相互间的通信；
[0184]
处理器1601用于调用存储器1602中的程序指令，以执行上述各方法实施例中所提供的方法，例如包括：获取包含有目标表格的目标表格图像；将目标表格图像输入预先训练的线条分割模型，得到带有注意力权重的特征向量，基于带有注意力权重的特征向量得到目标表格中的表格线。
[0185]
本发明实施例中提供一种计算机可读存储介质，计算机可读存储介质存储计算机
指令，计算机指令使计算机执行上述各方法实施例中所提供的方法，例如包括：获取包含有目标表格的目标表格图像；将目标表格图像输入预先训练的线条分割模型，得到带有注意力权重的特征向量，基于带有注意力权重的特征向量得到目标表格中的表格线。
[0186]
本发明还提供一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的方法，该方法包括：获取包含有目标表格的目标表格图像；将目标表格图像输入预先训练的线条分割模型，得到带有注意力权重的特征向量，基于带有注意力权重的特征向量得到目标表格中的表格线。
[0187]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0188]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例中所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。