图像表格的结构化方法及图像表格结构化模型的训练方法与流程

1.本说明书涉及图像识别技术领域，尤其涉及一种图像表格的结构化方法及图像表格结构化模型的训练方法。


背景技术：

2.表格是信息表达的一种重要形式，其可以将数据组织成标准的结构，便于信息检索和比较。而当表格以图片的形式存在时，因为无法直接对图片中的表格内容进行信息检索和比较，所以需要对该图片进行图像识别，从而可以提取表格中的数据与结构信息，得到行列线条的分布和单元格之间的逻辑结构，最终实现表格文档的重建，从而使用户可以基于该电子化的表格实现高效、精准的数据分析。
3.在相关技术中，对于图像中的表格线识别不够准确，存在较大的误差。


技术实现要素：

4.为克服相关技术中存在的问题，本说明书提供了一种图像表格的结构化方法及图像表格结构化模型的训练方法。
5.根据本说明书实施例的第一方面，提供一种图像表格的结构化方法，所述图像包含有待识别的表格，所述方法包括：
6.在所述图像中设置多条虚拟锚线，所述虚拟锚线由一组沿所述虚拟锚线排列的虚拟锚点在所述图像上对应的原始坐标所定义；
7.对所述图像进行特征提取，以得到所述图像对应的特征图；
8.针对每条虚拟锚线生成对应的特征向量；其中，任一虚拟锚线对应的特征向量通过下述方式生成：基于所述图像与所述特征图之间的映射关系，确定所述任一虚拟锚线对应的虚拟锚点在所述特征图上对应的映射坐标，并基于所述特征图中位于该映射坐标处的像素特征生成特征向量；
9.对所述多条虚拟锚线对应的特征向量进行回归处理，以确定出匹配于所述待识别表格的表格线的目标虚拟锚线，以及根据所述目标虚拟锚线对应的特征向量生成对应的回归坐标，所述回归坐标为所述待识别表格的表格线在所述图像中的坐标。
10.根据生成的回归坐标，生成所述待识别表格对应的结构化表格。
11.根据本说明书实施例的第二方面，提供了一种图像表格结构化模型的训练方法，所述方法包括：
12.获取训练样本图像集，所述训练样本图像集中的任一样本图像包括已知真实坐标的表格线，且所述样本图像中设置有多条虚拟锚线，所述虚拟锚线由一组沿所述虚拟锚线排列的虚拟锚点在所述样本图像上对应的原始坐标所定义；
13.将所述训练样本图像集输入至待训练的结构化模型中，所述结构化模型包括：特征提取层、特征向量确定层和回归层；其中：
14.所述特征提取层用于对所述图像进行特征提取，以得到所述图像对应的特征图；
15.所述特征向量确定层用于针对每条虚拟锚线生成对应的特征向量，其中，任一虚拟锚线对应的特征向量通过下述方式生成：基于所述图像与所述特征图之间的映射关系，确定所述任一虚拟锚线对应的虚拟锚点在所述特征图上对应的映射坐标，并基于所述特征图中位于该映射坐标处的像素特征生成特征向量；
16.所述回归层用于对所述多条虚拟锚线对应的特征向量进行回归处理，以确定出匹配于所述待识别表格的表格线的目标虚拟锚线，以及根据所述目标虚拟锚线对应的特征向量生成对应的回归坐标，所述回归坐标为所述待识别表格的表格线在所述图像中的坐标；
17.根据生成的所述回归坐标与所述样本图像对应的真实坐标之间的差值，优化所述结构化模型。
18.根据本说明书实施例的第三方面，提供一种图像表格的结构化装置，所述图像包含有待识别的表格，所述装置包括：
19.设置单元，用于在所述图像中设置多条虚拟锚线，所述虚拟锚线由一组沿所述虚拟锚线排列的虚拟锚点在所述图像上对应的原始坐标所定义；
20.特征提取单元，用于对所述图像进行特征提取，以得到所述图像对应的特征图；
21.特征向量生成单元，用于针对每条虚拟锚线生成对应的特征向量；其中，任一虚拟锚线对应的特征向量通过下述方式生成：基于所述图像与所述特征图之间的映射关系，确定所述任一虚拟锚线对应的虚拟锚点在所述特征图上对应的映射坐标，并基于所述特征图中位于该映射坐标处的像素特征生成特征向量；
22.回归单元，用于对所述多条虚拟锚线对应的特征向量进行回归处理，以确定出匹配于所述待识别表格的表格线的目标虚拟锚线，以及根据所述目标虚拟锚线对应的特征向量生成对应的回归坐标，所述回归坐标为所述待识别表格的表格线在所述图像中的坐标；
23.结构化单元，用于根据生成的回归坐标，生成所述待识别表格对应的结构化表格。
24.根据本说明书实施例的第四方面，提供了一种图像表格结构化模型的训练装置，所述装置包括：
25.获取单元，用于获取训练样本图像集，所述训练样本图像集中的任一样本图像包括已知真实坐标的表格线，且所述样本图像中设置有多条虚拟锚线，所述虚拟锚线由一组沿所述虚拟锚线排列的虚拟锚点在所述样本图像上对应的原始坐标所定义；
26.输入单元，用于将所述训练样本图像集输入至待训练的结构化模型中，所述结构化模型包括：特征提取层、特征向量确定层和回归层；其中：
27.所述特征提取层用于对所述图像进行特征提取，以得到所述图像对应的特征图；
28.所述特征向量确定层用于针对每条虚拟锚线生成对应的特征向量，其中，任一虚拟锚线对应的特征向量通过下述方式生成：基于所述图像与所述特征图之间的映射关系，确定所述任一虚拟锚线对应的虚拟锚点在所述特征图上对应的映射坐标，并基于所述特征图中位于该映射坐标处的像素特征生成特征向量；
29.所述回归层用于对所述多条虚拟锚线对应的特征向量进行回归处理，以确定出匹配于所述待识别表格的表格线的目标虚拟锚线，以及根据所述目标虚拟锚线对应的特征向量生成对应的回归坐标，所述回归坐标为所述待识别表格的表格线在所述图像中的坐标；
30.优化单元，用于根据生成的所述回归坐标与所述样本图像对应的真实坐标之间的差值，优化所述结构化模型。
31.根据本说明书实施例的第五方面，提供一种电子设备，包括：
32.处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为实现上述第一方面或第二方面所述方法的步骤。
33.根据本说明书实施例的第六方面，提供一种计算机可读存储介质，其上储存有可执行指令；其中，该指令被处理器执行时，实现上述第一方面或第二方面所述方法的步骤。
34.通过本说明书所提供的技术方案，可以实现以下有益效果：
35.本说明书针对表格线这一类具有较大长宽比性质的物体，提出了虚拟锚线的概念，通过在图像中设置多条虚拟锚线，从而基于图像与对应特征图之间的映射关系，可以生成针对每条虚拟锚线对应的特征向量，最终对该特征向量进行回归处理，以得到表格线的坐标，并实现表格的结构化，而虚拟锚线是基于表格线这一类较大长宽比性质的物体而专门设置的，所以可以确保最终的识别结果具有较高的精度，且不受图像旋转、倾斜等问题的影响；同时因为只需对特征向量进行分类、回归，不再需要逐像素的分类、赋予标签，有效减少了运算量，提高了表格线识别的效率。
36.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
37.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
38.图1是本说明书一示例性实施例提供的一种图像表格的结构化方法的流程图；
39.图2是本说明书一示例性实施例提供的一组虚拟锚线的示意图；
40.图3是本说明书一示例性实施例提供的一种输入图像的示意图；
41.图4是本说明书一示例性实施例提供的一种虚拟锚点位置的示意图；
42.图5是本说明书一示例性实施例提供的一种特征提取的示意图；
43.图6是本说明书一示例性实施例提供的一种输入图像与特征图之间的映射关系的示意图；
44.图7是本说明书一示例性实施例提供的一种特征图上映射坐标的计算示意图；
45.图8是本说明书一示例性实施例提供的另一种特征图上映射坐标的计算示意图；
46.图9是本说明书一示例性实施例提供的一种结构化模型的结构示意图；
47.图10是本说明书一示例性实施例提供的一种特征提取层的结构示意图；
48.图11是本说明书一示例性实施例提供的一种特征提取层的结构示意图；
49.图12是本说明书一示例性实施例提供的一种输入图像与特征图的示意图；
50.图13是本说明书一示例性实施例提供的一种基于结构化模型的图像表格的结构化方法的流程图；
51.图14是本说明书一示例性实施例提供的一种后处理的流程图；
52.图15是本说明书一示例性实施例提供的一种图像表格结构化模型的训练方法的流程图；
53.图16是本说明书一示例性实施例提供的一种电子设备的示意结构图；
54.图17是本说明书一示例性实施例提供的一种图像表格的结构化装置的框图；
55.图18是本说明书一示例性实施例提供的一种图像表格结构化模型的训练装置的框图。
具体实施方式
56.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
57.需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”58.在相关技术中，基于深度学习领域的图像表格的结构化方法主要有基于语义分割的结构化方式和基于目标检测的结构化方式。其中，基于语义分割的结构化方式是通过对输入的图像逐像素的赋予标签来完成，然而当输入的图像较大时，其不可避免的存在运算量大的问题，且假设某一像素的识别错误，就会造成表格线的断线，影响了最终表格线识别的结果，存在较大的误差；基于目标检测的结构化方式是通过特定算法针对输入的图像生成一系列的四边形候选框，然后通过深度神经网络对每一个四边形候选框中的内容进行特征提取和分类，最后在进行候选框位置回归和去冗余得到目标检测结果，然而因为表格线是一种具有较大长宽比的特殊形状，上述四边形候选框往往无法精准地完全覆盖表格线，使得识别结果不理想。
59.有鉴于此，本说明书提出了一种图像表格的结构化方案以对相关技术中基于目标检测的结构化方式予以改进，以解决相关技术中存在的上述技术问题。下面结合图1-图9对本说明所述的一种图像表格的结构化方法及图像表格结构化模型的训练方法进行详细说明。
60.图1是本说明书一示例性实施例提供的一种图像表格的结构化方法的流程图，可以包括以下步骤：
61.步骤102、在所述图像中设置多条虚拟锚线，所述虚拟锚线由一组沿所述虚拟锚线排列的虚拟锚点在所述图像上对应的原始坐标所定义。
62.如前所述，与目标检测中使用的四边形候选框不同，本说明书针对表格线这一具有较大长宽比的形状，提出了虚拟锚线的概念，以用于精准的匹配表格线。在一实施例中，多条虚拟锚线的设置方式可以为：在图像边界处选取起始虚拟锚点；针对每个起始虚拟锚点生成一组虚拟锚线；其中，任一起始虚拟锚点对应的一组虚拟锚线通过下述方式生成：以任一起始虚拟锚线为端点、在所述图像所处的平面内确定一组射线，其中相邻射线之间具
有预设夹角间隔；在各条射线上分别确定一组剩余虚拟锚点，并将任一起始虚拟锚点和各组剩余虚拟锚点分别组合为多组虚拟锚点，以用于定义所述任一起始虚拟锚点对应的一组虚拟锚线。如图2所示，图2是本说明书一实例性实施例提供的一组虚拟锚线的示意图。如图2所示，假设输入图像的尺寸为400
×
400
×
3(如图3所示)，可以认为该输入图像的h高为400，w宽为400，通道数为3，通道数的含义是指每个像素点可以存放多少个数值，以rgb彩色图像为例，其每个像素点可以存放3个值，对应的，该rgb彩色图像的通道数为3，所以上述400
×
400
×
3的输入图像也可以认为是400
×
400的rgb彩色图像。该输入图像中包括待识别表格201。此时可以在图像的边界处(如图2所示的图像的下边界)选取起始虚拟锚点a，当然为了尽可能的可以命中表格线，起始虚拟锚点可以根据图像尺寸的大小在图像边界处等间距密集排列，仍以如图2所示的图像为例，因为该图像的尺寸为400
×
400，那么可以每隔2个像素点设置一个起始虚拟锚点，从而使虚拟锚线密集的分布于该图像所处的平面内，提高命中表格线的几率。同时因为表格线的起始点可能位于图像的边界的任意一边，故可以在图像的各条边界处均设置起始虚拟锚点，例如，在图2所示的图像的四条边每隔2个像素均选取对应的起始虚拟锚点，那么最终该图像起始虚拟锚点的个数可以为800个(即每条边界上选取200个起始虚拟锚点)。当然，起始虚拟锚点也可以设置于图像内，而并非一定位于图像的边界处，可以根据输入图像进行适当调整。此时通过该起始虚拟锚点a可以得到一组射线，其中，相邻射线之间具有预设夹角间隔。例如，在0到180度的夹角范围内，确定预设夹角间隔为10度，则该起始虚拟锚点a对应的可以得到17条对应的射线，对应的该图像中可以一共有13600条射线(即200
×4×
17)，此时在各条射线上分别确定一组剩余虚拟锚点，即可与起始虚拟锚点组合为多组虚拟锚线。
63.在一实施例中，在以所述起始虚拟锚点所处的边界作为横轴、垂直于所述边界的直线作为纵轴建立有原始坐标系的情况下，可以在各条射线上根据预先设定的一组固定的纵轴坐标值分别确定位于该射线上的一组对应的定位点，以将所述一组对应的定位点作为该条射线的所述一组剩余虚拟锚点。如图4所示，输入图像的尺寸为400
×
400，可以固定一组y轴坐标值，例如固定一组y轴坐标值分别为40、80、120、160、200、240、280、320、360以及400。在固定了一组y轴坐标值后，因为各条射线已经确定，那么在此基础上，也就可以在任一条射线上确定出对应于该组固定的y轴坐标值的定位点。基于上述定位点以及起始虚拟锚点，即可连接成一条虚拟锚线，即起始虚拟锚点a和剩余虚拟锚点(如图4所示中的b、c、d、e、f、g、h、i、j和k)即可组合为一条虚拟锚线，其中，为了更清楚的标注上述剩余虚拟锚点，在图4中并未示出如前所述的待识别表格201。需要说明的是，虽然在图4所示的实施例中，这一组y轴坐标是等间距分布的，但在一些实施例中，这一组固定的y轴坐标也可以非等间距分布，例如，可以为40、80、130、190等，当然这一组y轴坐标值的具体数量也可以根据实际需求进行调整，并非如图4所示的10个固定的y轴坐标值，本说明书对此不进行限制。
64.实际上，在固定了一组y轴坐标后，那么一条虚拟锚线用对应的一组横轴坐标和夹角即可表示，换言之，以所述起始虚拟锚点所处的边界作为横轴、垂直于所述边界的直线作为纵轴建立原始坐标系的情况下，在各条射线上根据预设纵轴间隔选取一组剩余虚拟锚点，那么一组虚拟锚点对应的横轴坐标就可以用于表示所述一组虚拟锚点对应的一组虚拟锚线。举例而言：假设固定的纵轴坐标的取值分别为40、80、120、160、200、240、280、320、360、400。即在纵轴上固定了10组定值作为虚拟锚线在纵轴上的坐标。而若该起始虚拟锚点
a对应的夹角为90度即垂直于该图像下边界，且坐标为(100，0)，那么该条锚线就可以仅由横轴坐标和角度唯一表示，即(100，100，100，100，100，100，100，100，100，100)和夹角90度，即可表示该条起始虚拟锚点为a点的垂直图像边界的虚拟锚线，可以不再包括对应的纵轴坐标。再例如，若该角度的正切值为3/4(即tanθ＝3/4)，则对应的起始虚拟锚点为a点的虚拟锚线可以用一组横轴坐标唯一表示(130，160，190，220，250，280，310，340，370，400)。
65.步骤104、对所述图像进行特征提取，以得到所述图像对应的特征图。
66.在完成虚拟锚线的设置后，即可对输入图像进行特征提取，而特征提取可以是指将输入的数字图像映射到计算机处理的矩阵中，每个矩阵的数值就对应了一个特征点。在一实施例中，可以基于对输入图像的卷积操作实现特征的提取，从而得到图像对应的特征。如图5所示，图5是本说明书一示例性实施例提供的一种特征提取的示意图。如图5所示，卷积操作实际上就是利用像素点和其相邻像素之间的关系，以得到加权求和值。卷积核是一个固定大小的权重数组，如图5所示是一个3
×
3的卷积核。而特征图上的值
“‑
8”的具体运算为：4
×
0 0
×
0 0
×
0 0
×
0 0
×
1 0
×
1 0
×
0 0
×
1 (-4)
×
2＝-8。经过卷积加权求和操作得到的特征图的尺寸由卷积核的大小、步长(stride)、以及填充的圈数(padding)有关，下采样倍数即指特征图相比于输入图像对应的缩小的倍数。而特征图的通道数与卷积核的个数有关，即假设有n个卷积核，则得到对应的n个通道的特征图，从而实现升维或降维，例如，假设输入图像是三通道的rgb彩色图像，在经过32个卷积核进行卷积操作后，可以得到32通道的特征图，也就实现了升维。
67.步骤106、针对每条虚拟锚线生成对应的特征向量；其中，任一虚拟锚线对应的特征向量通过下述方式生成：基于所述图像与所述特征图之间的映射关系，确定所述任一虚拟锚线对应的虚拟锚点在所述特征图上对应的映射坐标，并基于所述特征图中位于该映射坐标处的像素特征生成特征向量。
68.在得到输入图像的特征图之后，可以针对输入图像上的每条虚拟锚线生成对应的特征向量，仍以图4所示的10个虚拟锚点(b、c、d、e、f、g、h、i、j和k)为例，根据输入图像与特征图之间的映射关系，可以在特征图上确定该10个虚拟锚点对应的映射虚拟锚点，从而根据映射虚拟锚点在特征图上的像素特征，得到对应的特征向量。假设特征图的通道数为n，虚拟锚点的个数为10，即可以得到10
×
n的特征向量。当然如图2所示实施例所述，因为可以在输入图像中设置13600条虚拟锚线，那么对应的可以得到13600个10
×
n的特征向量。
69.在一实施例中，可以将在所述图像边界处选取的起始虚拟锚点所处的边界作为横轴、垂直于所述边界的直线作为纵轴、所述起始虚拟锚点所处的边界的顶点为原点建立原始坐标系，以确定所述虚拟锚线对应的虚拟锚点在所述原始坐标系中对应的一组原始坐标；根据所述图像与所述特征图之间的下采样倍数，将所述原始坐标中的纵轴坐标值等倍数缩小，以将缩小后的数值作为所述虚拟锚点对应的映射坐标中的纵轴坐标值；根据映射坐标中的纵轴坐标值和所述虚拟锚线与所述坐标系横轴之间的夹角，确定所述虚拟锚点在特征图上的横轴映射值，并计算所述横轴映射值和将所述原始坐标中的横轴坐标值按照下采样倍数缩小后的数值之和，以作为所述虚拟锚点对应的映射坐标中的横轴坐标值。
70.因为得到的特征图与输入图像之间存在映射关系(如图6所示)，那么可以基于该映射关系，可以得到任一虚拟锚线对应的虚拟锚点在该特征图上对应的映射坐标，假设定义虚拟锚线对应的起始虚拟锚点a在输入图像上对应的原始坐标为(x
orig
,y
orig
),而输入图
像上的虚拟锚点b对应的映射锚点b’的映射坐标为(xj，yj),那么对应的转换公式可以如下所示：
[0071][0072]
为了更好的理解上述转换公式，可以参见图7，其中，δ
back
即如前所述的下采样倍数，且因为虚拟锚点在输入图像中的纵轴坐标可以为一组固定值，那么根据下采样倍数进行缩小后可以直接得到映射坐标对应的纵轴坐标的值，也就是说yj是已知的，那么根据三角函数可以得到横轴映射值a’p的值，从而确定虚拟锚点b’对应的映射坐标(xj，yj)。
[0073]
因为虚拟锚线的起始虚拟锚点可以位于坐标系的横轴处，那么对应的y
orig
的值可以为零，那么，上述转换公式就可以简化为：
[0074][0075]
虽然，在图7所示的实施例中，坐标系的原点位于输入图像的边界顶点处，即图7所示的0点，但在一些实施例中，也可以将起始虚拟锚点作为坐标系的原点，如图8所示，图8是本说明书一示例性实施例提供的另一种特征图上映射坐标的计算示意图，以其实虚拟锚点为坐标系的原点。对应的转换公式又可以表示为：
[0076][0077]
由此可知，本说明书所述的转换公式是基于虚拟锚线的夹角和固定的纵轴坐标来计算映射坐标中的横轴坐标值。而在不同的坐标原点下或者不同的起始虚拟锚点的位置，就可以将转换公式进行适应性调整，从而实现转换公式的简化，继而减少计算量。当然，具体的坐标原点的设置或起始虚拟锚点的位置可以根据实际需求确定，本说明书对此不进行限制，甚至可以是将输入图像中的坐标系的原点设置为输入图像的边界顶点，而特征图上的坐标原点设置为对应的起始虚拟锚点在特征图上的映射起始虚拟锚点。
[0078]
在得到虚拟锚点对应的映射坐标后，即可基于该映射坐标确定对应的像素特征，以单通道数特征图为例，映射坐标为(2，3)、(3，4)、(3，5)，而对应该坐标的像素特征值分别为5、3、4。那么得到的特征向量以矩阵的形式可以表示为[5，3，4]。而因为特征图往往是多个通道的，那么对应的特征向量也可以是对应通道数的多维向量。
[0079]
步骤108、对所述多条虚拟锚线对应的特征向量进行回归处理，以确定出匹配于所述待识别表格的表格线的目标虚拟锚线，以及根据所述目标虚拟锚线对应的特征向量生成对应的回归坐标，所述回归坐标为所述待识别表格的表格线在所述图像中的坐标。
[0080]
可以将得到的多条虚拟锚线对应的特征向量进行回归处理，从而确定该特征向量对应的虚拟锚线是否存在对应的表格线，若存在表格线，则该虚拟锚线可以称为目标虚拟锚线，并得到对应的回归坐标。在统计学中，回归可以是指利用一组已知的样本数据来预测输入数据对应的输出值，其可以通过预测函数来建模，从而基于已知的样本数据来确定该预测模型中的具体参数，而参数的确定可以使用数学解析法(即解析解)或者梯度下降法，而因为当样本数量庞大时，使用数学解析法的计算量会倍增，造成效率的低下。所以相比于数学解析法，通过梯度下降法来迭代确定参数具有更高的计算效率，且适用范围更广。通过该预测函数即可得到对应的回归坐标，从而将回归坐标作为待识别表格的表格线在所述图
像中的坐标，且基于梯度下降法确定参数相比于数学解析法具有更快的确定速度、更少的计算量，提高表格线的识别效率。
[0081]
在一实施例中，也可以对上述特征向量进行平均后再进行回归处理，以特征向量[5，3，4]为例，在对其取平均后，得到平均特征向量[4]。
[0082]
如前所述，在进行坐标回归时，可以利用预测函数建立的数学模型实现，那么实际上，也可以为步骤102、步骤104和步骤106设置对应的模型，从而基于模型来快速得到该回归坐标。但是多模型的使用难免存在着配合问题，即每个模型的任务不同，在这基础上可能会导致最终回归坐标存在着较大误差，且初始模型的误差会累加至最后一个模型，进一步影响结果的准确性。所以，可以仅使用一个模型，将该模型划分为多个不同的网络层，这样就可以直接将图像输入该模型，输出即为对应的回归坐标，即端到端的网络模型，不需要由一个个的独立子模型来配合求解，本说明书将该端到端的网络模型称为结构化模型，该结构化模型可以包括：特征提取层、特征向量确定层和回归层。对该模型的介绍可以参见图9所示的实施例，本说明书在此先不展开描述。
[0083]
步骤110、根据生成的回归坐标，生成所述待识别表格对应的结构化表格。
[0084]
可以根据回归坐标的相对位置关系，确定识别出的表格线的对应顺序并构建对应的单元格；在待识别的表格中包括文本内容的情况下，将所述图像基于光学字符识别得到的文本内容填充至与文本框匹配的对应单元格，以生成所述待识别表格对应的结构化表格。在得到该回归坐标后，可以根据回归坐标的相对位置关系，对行、列进行排序。而行、列的相交可以得到待识别表格对应的每一个单元格，并根据单元格所属的行、列、即单元格的边框坐标进行单元格排序。最后基于光学字符识别技术(ocr)以及iou(交并比)匹配方法，将文本框与对应的单元格一一对应，并将得到的文本内容填充至对应单元格，完成表格结构化过程。
[0085]
在一实施例中，可以将图像输入至预先训练完成的如前所述的结构化模型中，如图9所示，图9是本说明书一示例性实施例提供的一种结构化模型的结构示意图；该结构化模型可以包括：特征提取层901、特征向量确定层902和回归层903；其中：
[0086]
所述特征提取层901，用于对所述图像进行特征提取，以得到所述图像对应的n个通道的特征图；
[0087]
所述特征向量确定层902，用于针对每条虚拟锚线的m个虚拟锚点在所述n个通道的特征图上的像素特征，生成对应m
×
n的特征向量，并将生成的m
×
n的特征向量进行全局平均池化，以得到以单个平均像素特征构成的1
×
n的特征向量；
[0088]
所述回归层903，用于对所述多条虚拟锚线对应的由单个平均像素特征构成的1
×
n的特征向量进行回归处理,以确定出匹配于所述待识别表格的表格线的目标虚拟锚线，并得到目标虚拟锚线对应的1
×
m的回归坐标向量，其中所述回归坐标向量中的每一元素用于表示所述虚拟锚线回归出的表格线对应的横轴坐标值。
[0089]
本说明书所述的结构化模型可以是以cnn模型作为基准模型，并在cnn模型的基础上进行调整。cnn模型可以包括输入层、卷积层、池化层、全连接层以及输出层，从而通过卷积(convolutions)和池化(pooling)操作将特征从输入图像中提取出来并得到多个通道的特征图。cnn模型的种类繁多，例如，resnet、vgg、densenet等，本说明书并不限制具体的cnn模型，例如可以将resnet作为基准模型，将vgg作为基准模型等。下面以resnet-50作为基准
模型，对本说明书所述的结构化模型的每一网络层进行详细介绍。
[0090]
特征提取层901可以对图像进行特征提取，以得到该图像对应的特征图。如图10所示，resnet-50可以分为5个阶段，分别是阶段0、阶段1、阶段2、阶段3和阶段4。其中，阶段0的结构比较简单，可以视为输入的预处理，而阶段1、阶段2、阶段3和阶段4实际上均由瓶颈层a和瓶颈层b构成(bottleneck)(如图11所示)，只是瓶颈层的数量存在差异。其中，阶段1包含3个瓶颈层，阶段2包含4个瓶颈层，阶段3包含6个瓶颈层，阶段4包含3个瓶颈层。实际上，resnet-50最大的特点就是配置了如图11所示的瓶颈层，通过该瓶颈层中1
×
1卷积核的作用，大幅度减少了计算量，且基于瓶颈层中的残差结构(即在输入上直接引入短连接到relu层，使得该relu层存在2个输入)，即便如resnet-50网络深度达到50层，也可以有效的避免退化问题。实际上，该resnet-50可以视为将输入图像不断的进行卷积、池化从而得到最终的特征图。图10中标注的输入(224
×
224
×
3)，可以认为输入的图像高为224，宽为224，其通道数为3。图10所示的阶段0中，输入图像经过卷积后还需要经过bn层以及relu层的处理，bn层的作用，就是将输入的分布，拉回到均值为0，方差为1的正态分布上，从而使输入激活函数的值，在反向传播时能够产生更明显的梯度，更容易收敛，避免了梯度消失的问题。而relu即为resnet-50所使用的激活函数，激活函数最终决定了是否传递信号以及要发射给下一个神经元的内容。之所以要引入激活函数，是因为利用激活函数的非线性性质，从而可以给神经元引入非线性元素，使得神经网络可以逼近其他的任何非线性函数，且因为relu激活函数是分段非线性函数，相比于一般的激活函数，例如sigmoid和tanh具有更快的计算速度。仍以图10中的输入为例(224
×
224
×
3)，该图像经过阶段0中所示的卷积层的处理后，可以得到输出为112
×
112
×
64的64通道的特征图，具体的输入与输出的图像的变化可以参见图12。如图12所示，实际上输出特征图的个数等于卷积层中卷积核的个数也即为该输出图像的通道数。所以该输入图像(224
×
224
×
3)经过阶段0、阶段1、阶段2、阶段3和阶段4的处理后，输出为(7
×7×
2048)的三维特征图，即特征图的尺寸大小为7
×
7，最终特征图的个数，或者说，通道数为2048，对应的下采样倍数为32。当然如前所述，通过调整该resnet-50模型中卷积核的步长(stride)等参数最终也就可以得到不同尺寸的特征图，以及调整该模型中卷积核的个数也就可以得到不同通道数的特征图，换言之，图10所示的输出的特征图的参数(h高、w宽和c通道数)仅是示例性的，其可以根据实际需求通过改变该模型的参数而进行调整。
[0091]
特征向量确定层902用于针对每条虚拟锚线的m个虚拟锚点在所述n个通道的特征图上的像素特征，生成对应m
×
n的特征向量，并将生成的m
×
n的特征向量进行全局平均池化，以得到以单个平均像素特征构成的1
×
n的特征向量；以图4所示的10个虚拟锚点(b、c、d、e、f、g、h、i、j和k)、输入图像为400
×
400
×
3、特征图为50
×
50
×
1024为例(即下采样倍数为8)，可以分别确定该10个虚拟锚点在每一通道对应的特征图上的像素特征，从而得到10
×
1024的特征向量，经过全局平均池化，降低参数量后，即可得到1
×
1024的特征向量。
[0092]
回归层903用于对多条虚拟锚线对应的由单个平均像素特征构成的1
×
n的特征向量进行回归处理,以确定出匹配于所述待识别表格的表格线的目标虚拟锚线，并得到目标虚拟锚线对应的1
×
m的回归坐标向量，其中所述回归坐标向量中的每一元素用于表示所述虚拟锚线回归出的表格线对应的横轴坐标值。以上述1
×
1024的特征向量为例，可以将1
×
1024的特征向量输入至1024
×
10的全连接回归层，该全连接回归层输出即是对应的表格线
的坐标点，即输出为1
×
10的回归坐标向量，其中该回归坐标向量的每一个元素都代表了回归的表格线的横轴坐标值。因为固定了一组y轴坐标值，所以仅用一组横轴坐标值即可表示一条对应的表格线。
[0093]
基于上述结构化模型的结构，可以将图像直接输入至该结构化模型，其输出即为对应的表格线的坐标，通过这种端到端的结构化模型，在保证了表格线坐标的准确性的同时，也加快了表格线识别的效率。
[0094]
图13是本说明书一示例性实施例提供的一种基于结构化模型的图像表格的结构化方法的流程图，如图13所示，可以包括以下步骤：
[0095]
步骤1302、将图像输入至特征提取层。
[0096]
如前所述，特征提取层可以是以resnet-50为基准，从而得到对应的特征图。
[0097]
步骤1304、基于虚拟锚点的特征池化(anchor-based feature pooling)。
[0098]
特征池化可以是指，例如在选取映射坐标在映射图上的像素特征后，虚拟锚点的个数为10个的情况下，可以拼接成对应的10
×
1024特征向量，之后再将拼接后的特征向量进行全局平均池化，得到1
×
1024平均后的特征向量。
[0099]
步骤1306、将特征向量输入至全连接回归层(regression fully connected layer)。
[0100]1×
1024的特征向量在输入至1024
×
10的全连接回归层后，可以得到对应的1
×
10的回归坐标向量，而该回归坐标向量中的每一个元素可以表示对应的表格线的横轴坐标。
[0101]
在得到对应的表格线的横轴坐标后，还可以进一步执行后处理，从而完成表格的结构化，如图14所示，图14是本说明书一示例性实施例提供的一种后处理的流程图，可以包括以下步骤：
[0102]
步骤1402、得到表格线坐标。
[0103]
表格线坐标即为如前所述的回归坐标，例如，在得到1
×
10的回归坐标向量后，可以得到10个对应的横轴坐标值，该横轴坐标值即为回归的表格线对应的横轴坐标值。在该横轴坐标值的基础上，根据预先固定的一组纵轴坐标值，即可表示出一条识别出的表格线。
[0104]
步骤1404、行、列进行排序。
[0105]
根据回归坐标的相对位置关系，可以得到对应的表格行、列，从而进一步将行、列线进行排序，实际上，排序的过程中也可以同时对重合的行、列进行过滤，因为起始虚拟锚点可以设置于图像的上边界和下边界，那么可能存在位于上边界的起始虚拟锚点匹配出的表格线与位于下边界的起始虚拟锚点匹配出的表格线，实际为同一条表格线的情况，那么，此时在排序的过程中，可以同时对重合的表格线进行过滤处理，从而将两条重合的表格线过滤为一条，提高表格线识别的精确度。
[0106]
步骤1406、单元格的生成及排序。
[0107]
行、列线的相交可以得到对应的单元格以及确定该单元格对应的边框坐标，并根据边框坐标的相对位置关系，对单元格进行排序，得到规整的电子化表格。
[0108]
步骤1408、ocr文本框匹配。
[0109]
基于ocr技术，可以得到对应的文本框，且文本框中包含了文本内容，在此基础上，利用iou匹配方法，可以将文本框和对应的单元格进行一一对应，从而将文本内容填充至对应的单元格中。当然，假设该输入图像只有表格，而表格内容为空白，那么也就可以不用进
行文本内容的填充，直接将电子化得到的表格作为最终的结果。
[0110]
在一实施例中，也可以利用ocr技术对表格线进行微调，从而提高最终的表格的识别准确性。例如，若最终得到的表格线为连续的线段，但是，输入图像中对应的该表格线为不连续的线段，那么此时也可以基于ocr技术识别出的文本框对回归出的表格线进行微调，使其成为对应的不连续的线段，从而保证了识别的准确性。再例如，假设表格中的多个单元格包含多个中文字符，而多个中文字符具有较长的笔画，以致在视觉上形成类似表格线的形状，此时也可以利用ocr技术进行微调，确保最终识别的准确性，减少误差。
[0111]
步骤1410、得到结构化表格。
[0112]
基于上述回归坐标的后处理过程，可以实现完整的结构化过程，从而使用户可以利用得到的结构化表格进行数据的分析。
[0113]
因为结构化模型在提前进行训练后可以保证得到理想的输出结果，确保识别结果的准确率。有鉴于此，本说明书还提供一种图像表格结构化模型的训练方法，如图15所示，图15是本说明书一示例性实施例提供的一种图像表格结构化模型的训练方法的流程图，该方法可以包括以下步骤：
[0114]
步骤1502、获取训练样本图像集，所述训练样本图像集中的任一样本图像包括已知真实坐标的表格线，且所述样本图像中设置有多条虚拟锚线，所述虚拟锚线由一组沿所述虚拟锚线排列的虚拟锚点在所述样本图像上对应的原始坐标所定义。
[0115]
步骤1504、将所述训练样本图像集输入至待训练的结构化模型中，所述结构化模型包括：特征提取层、特征向量确定层和回归层；其中：所述特征提取层用于对所述图像进行特征提取，以得到所述图像对应的特征图；所述特征向量确定层用于针对每条虚拟锚线生成对应的特征向量，其中，任一虚拟锚线对应的特征向量通过下述方式生成：基于所述图像与所述特征图之间的映射关系，确定所述任一虚拟锚线对应的虚拟锚点在所述特征图上对应的映射坐标，并基于所述特征图中位于该映射坐标处的像素特征生成特征向量；所述回归层用于对所述多条虚拟锚线对应的特征向量进行回归处理，以确定出匹配于所述待识别表格的表格线的目标虚拟锚线，以及根据所述目标虚拟锚线对应的特征向量生成对应的回归坐标，所述回归坐标为所述待识别表格的表格线在所述图像中的坐标。
[0116]
步骤1506、根据生成的所述回归坐标与所述样本图像对应的真实坐标之间的差值，优化所述结构化模型。
[0117]
结构化模型的训练实际上是优化结构化模型中的各类参数的过程，以回归出精确地坐标。如前所述，确定模型参数可以基于梯度下降算法来确定，而在神经网络模型中，梯度下降算法的具体形式可以是反向传播算法，反向传播是指先计算回归出的坐标值与真实值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至误差达到预设阈值或最小化误差。而误差的计算可以由损失函数来实现。在对该结构化模型进行训练的过程中，可以采用smooth l1 loss的损失函数，具体的smooth l1 loss损失函数可以如下表示：
[0118][0119]
由上述公式可知，smooth l1 loss是一个分段函数，它综合了l1 loss和l2 loss两个损失函数的优点，即在x较小时采用平滑地l2 loss，在x较大时采用稳定的l1 loss即
完美地避开了l1 loss和l2 loss损失的缺陷。其中的x的值即为回归坐标与对应的ground truth真实坐标中横轴坐标之间的差值。在误差达到或小于预设阈值的情况下，即可停止训练，并视为训练完成。需要说明的是，实际上基于l1损失函数和l2损失函数也可以实现结构化模型参数的优化，故本说明书对具体的损失函数不进行限制。
[0120]
上述说明书实施例详细地说明了一种图像表格的结构化方法，针对表格线这一类具有较大长宽比性质的物体，提出了虚拟锚线的概念，通过在图像中设置多条虚拟锚线，从而基于图像与对应特征图之间的映射关系，可以生成针对每条虚拟锚线对应的特征向量，最终对该特征向量进行回归处理，以得到表格线的坐标，并实现表格的结构化，而虚拟锚线是基于表格线这一类较大长宽比性质的物体而专门设置的，所以可以确保最终的识别结果具有较高的精度，且不受图像旋转、倾斜等问题的影响；同时因为只需对特征向量进行分类、回归，不再需要逐像素的分类、赋予标签，有效减少了运算量，提高了表格线识别的效率。
[0121]
与前述方法的实施例相对应，本说明书还提供了装置、电子设备以及存储介质的实施例。
[0122]
图16是一示例性实施例提供的一种电子设备的示意结构图。请参考图16，在硬件层面，该设备包括处理器1601、网络接口1602、内存1603、非易失性存储器1604以及内部总线1605，当然还可能包括其他业务所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现，比如由处理器1601从非易失性存储器1604中读取对应的计算机程序到内存1603中然后运行。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
[0123]
图17是一示例性实施例提供的一种图像表格的结构化装置的框图。请参考图17，该装置包括：
[0124]
设置单元1702，用于在所述图像中设置多条虚拟锚线，所述虚拟锚线由一组沿所述虚拟锚线排列的虚拟锚点在所述图像上对应的原始坐标所定义；
[0125]
特征提取单元1704，用于对所述图像进行特征提取，以得到所述图像对应的特征图；
[0126]
特征向量生成单元1706，用于针对每条虚拟锚线生成对应的特征向量；其中，任一虚拟锚线对应的特征向量通过下述方式生成：基于所述图像与所述特征图之间的映射关系，确定所述任一虚拟锚线对应的虚拟锚点在所述特征图上对应的映射坐标，并基于所述特征图中位于该映射坐标处的像素特征生成特征向量；
[0127]
回归单元1708，用于对所述多条虚拟锚线对应的特征向量进行回归处理，以确定出匹配于所述待识别表格的表格线的目标虚拟锚线，以及根据所述目标虚拟锚线对应的特征向量生成对应的回归坐标，所述回归坐标为所述待识别表格的表格线在所述图像中的坐标；
[0128]
生成单元1710，用于根据生成的回归坐标，生成所述待识别表格对应的结构化表格。
[0129]
可选地，所述设置单元1702具体用于：
[0130]
在所述图像边界处选取起始虚拟锚点；
[0131]
针对每个起始虚拟锚点生成一组虚拟锚线；其中，任一起始虚拟锚点对应的一组虚拟锚线通过下述方式生成：以所述任一起始虚拟锚线为端点、在所述图像所处的平面内确定一组射线，其中相邻射线之间具有预设夹角间隔；在各条射线上分别确定一组剩余虚拟锚点，并将所述任一起始虚拟锚点和各组剩余虚拟锚点分别组合为多组虚拟锚点，以用于定义所述任一起始虚拟锚点对应的一组虚拟锚线。
[0132]
可选地，所述设置单元1702具体用于：
[0133]
在各条射线上根据预先设定的一组固定的纵轴坐标值分别确定位于所述射线上的一组对应的定位点，以将所述一组对应的定位点作为该条射线的所述一组剩余虚拟锚点。
[0134]
可选地，所述特征向量生成单元1706具体用于：
[0135]
将在所述图像边界处选取的起始虚拟锚点所处的边界作为横轴、垂直于所述边界的直线作为纵轴、所述起始虚拟锚点所处的边界的顶点为原点建立原始坐标系，以确定所述虚拟锚线对应的虚拟锚点在所述原始坐标系中对应的一组原始坐标；
[0136]
根据所述图像与所述特征图之间的下采样倍数，将所述原始坐标中的纵轴坐标值等倍数缩小，以将缩小后的数值作为所述虚拟锚点对应的映射坐标中的纵轴坐标值；
[0137]
根据映射坐标中的纵轴坐标值和所述虚拟锚线与所述坐标系横轴之间的夹角，确定所述虚拟锚点在特征图上的横轴映射值，并计算所述横轴映射值和将所述原始坐标中的横轴坐标值按照下采样倍数缩小后的数值之和，以作为所述虚拟锚点对应的映射坐标中的横轴坐标值。
[0138]
可选地，所述特征向量生成单元1706具体用于：
[0139]
将在所述图像边界处选取的起始虚拟锚点所处的边界作为横轴、垂直于所述边界的直线作为纵轴、所述起始虚拟锚点为原点建立原始坐标系，以确定所述虚拟锚线对应的虚拟锚点在所述原始坐标系中对应的一组原始坐标；
[0140]
根据所述图像与所述特征图之间的下采样倍数，将所述原始坐标中的纵轴坐标值等倍数缩小，以将缩小后的数值作为所述虚拟锚点对应的映射坐标中的纵轴坐标值；
[0141]
根据映射坐标中的纵轴坐标值和所述虚拟锚线与所述坐标系横轴之间的夹角，确定所述虚拟锚点在特征图上的横轴映射值，以作为所述虚拟锚点对应的映射坐标中的横轴坐标值。
[0142]
可选地，所述装置还包括：
[0143]
输入单元1712，用于将所述图像输入至预先训练完成的结构化模型中；所述结构化模型包括：特征提取层、特征向量确定层和回归层；其中：
[0144]
所述特征提取层用于对所述图像进行特征提取，以得到所述图像对应的n个通道的特征图；
[0145]
所述特征向量确定层用于针对每条虚拟锚线的m个虚拟锚点在所述n个通道的特征图上的像素特征，生成对应m
×
n的特征向量，并将生成的m
×
n的特征向量进行全局平均池化，以得到以单个平均像素特征构成的1
×
n的特征向量；
[0146]
所述回归层用于对所述多条虚拟锚线对应的由单个平均像素特征构成的1
×
n的特征向量进行回归处理,以确定出匹配于所述待识别表格的表格线的目标虚拟锚线，并得到目标虚拟锚线对应的1
×
m的回归坐标向量，其中所述回归坐标向量中的每一元素用于表
示所述虚拟锚线回归出的表格线对应的横轴坐标值。
[0147]
可选地，所述生成单元1710具体用于：
[0148]
根据所述回归坐标的相对位置关系，确定识别出的表格线的对应顺序并构建对应的单元格；
[0149]
在所述待识别的表格中包括文本内容的情况下，将所述图像基于光学字符识别得到的文本内容填充至与文本框匹配的对应单元格，以生成所述待识别表格对应的结构化表格。
[0150]
图18是一示例性实施例提供的一种图像表格结构化模型的训练装置的框图。请参考图18，该装置包括：
[0151]
获取单元1802，用于获取训练样本图像集，所述训练样本图像集中的任一样本图像包括已知真实坐标的表格线，且所述样本图像中设置有多条虚拟锚线，所述虚拟锚线由一组沿所述虚拟锚线排列的虚拟锚点在所述样本图像上对应的原始坐标所定义；
[0152]
样本图像输入单元1804，用于将所述训练样本图像集输入至待训练的结构化模型中，所述结构化模型包括：特征提取层、特征向量确定层和回归层；其中：
[0153]
所述特征提取层用于对所述图像进行特征提取，以得到所述图像对应的特征图；
[0154]
所述特征向量确定层用于针对每条虚拟锚线生成对应的特征向量，其中，任一虚拟锚线对应的特征向量通过下述方式生成：基于所述图像与所述特征图之间的映射关系，确定所述任一虚拟锚线对应的虚拟锚点在所述特征图上对应的映射坐标，并基于所述特征图中位于该映射坐标处的像素特征生成特征向量；
[0155]
所述回归层用于对所述多条虚拟锚线对应的特征向量进行回归处理，以确定出匹配于所述待识别表格的表格线的目标虚拟锚线，以及根据所述目标虚拟锚线对应的特征向量生成对应的回归坐标，所述回归坐标为所述待识别表格的表格线在所述图像中的坐标；
[0156]
优化单元1806，用于根据生成的所述回归坐标与所述样本图像对应的真实坐标之间的差值，优化所述结构化模型。
[0157]
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0158]
在一个典型的配置中，计算机设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0159]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0160]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除
可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0161]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0162]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
[0163]
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0164]
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0165]
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。