公式识别方法及相关装置、设备和存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种公式识别方法及相关装置、设备和存储介质。


背景技术：

2.教学学科是教育领域下非常重要的一门学科，随着人工智能技术的发展，教学公式识别成为当下人工智能技术应用于教育领域下必不可少的技术之一。
3.现有的教学公式识别一般采用以下两种方案。其一是根据二维上下文无关文法的教学公式识别方案，另一种是基于序列的数学公式识别。对于前者来说，其所根据的二维上下文关联性弱，在复杂场景下泛化能力比较弱；而对于后者来说，能够拥有良好的语言模型建模能力，但语言模型在简单结构上会出现严重的过拟合现象，在应对具有复杂结构的公式时，识别效果比较差。有鉴于此，如何提升在复杂场景和复杂结构下的公式识别能力成为亟待解决的问题。


技术实现要素：

4.本技术主要解决的技术问题是提供一种公式识别方法及相关装置、设备和存储介质，能够同时提高对复杂场景和复杂结构下的公式识别能力。
5.为了解决上述技术问题，本技术第一方面提供了一种公式识别方法，包括：对待识别公式图像进行特征提取，得到第一特征图；基于第一特征图和当前解码阶段的参考信息，获取当前解码阶段的第二特征图；其中，参考信息来自于参考解码阶段中解码到占位符的解码时刻的解码信息；基于当前解码阶段的第二特征图进行解码，得到当前解码阶段的各解码时刻的解码符号，并基于当前解码阶段的各解码时刻的解码符号，得到当前解码阶段的符号序列；基于各解码阶段的参考解码阶段的符号序列中占位符，以及各解码阶段的符号序列进行嵌套组合，得到待识别公式图像中的目标公式。
6.为了解决上述技术问题，本技术第二方面提供了一种公式识别装置，包括：特征提取模块、特征分割模块、序列解码模块和嵌套组合模块，特征提取模块用于对待识别公式图像进行特征提取，得到第一特征图；特征分割模块用于基于第一特征图和当前解码阶段的参考信息，获取当前解码阶段的第二特征图；其中，参考信息来自于参考解码阶段中解码到占位符的解码时刻的解码信息；序列解码模块用于基于当前解码阶段的第二特征图进行解码，得到当前解码阶段的各解码时刻的解码符号，并基于当前解码阶段的各解码时刻的解码符号，得到当前解码阶段的符号序列；嵌套组合模块用于基于各解码阶段的参考解码阶段的符号序列中占位符，以及各解码阶段的符号序列进行嵌套组合，得到待识别公式图像中的目标公式。
7.为了解决上述技术问题，本技术第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的公式识别方法。
8.为了解决上述技术问题，本技术第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的公式识别方法。
9.上述方案，通过第一特征图和当前解码阶段的参考信息获取第二特征图，且参考信息来自于参考解码阶段中解码到占位符的解码时刻的解码信息，故通过参考信息有助于确定在当前解码阶段需要关注的特征图区域，从而第二特征图可以基于第一特征图和用于确定当前解码阶段需要在第一特征图关注的占位符表示区域生成，使得基于当前解码阶段的第二特征图进行解码时，能够更加关注当前解码阶段对应需要关注的区域，尽可能地降低与当前解码阶段无关的特征区域对当前解码阶段的影响，也就是说，每个解码阶段仅关注其需要关注的区域，能够提高面对复杂结构时的解码准确性，且由于当前解码阶段的各个解码符号都是基于当前解码阶段需要关注的区域解码得到的，即在解码时能够充分参考上下文信息，故即使存在诸如模糊、潦草等复杂场景，也能依赖上下文信息尽可能地提升解码准确性，故此能够提高对复杂场景和复杂结构下的待识别公式的识别。另外，通过解码阶段的参考解码阶段的符号序列中占位符以及各解码阶段的符号序列进行嵌套组合，得到目标公式，能够根据各个解码阶段之间所建模的嵌套结构来恢复出目标公式，有利于提高公式识别的泛化能力。
附图说明
10.图1是本技术提供的公式识别方法一实施例的流程示意图；
11.图2是本技术提供的公式识别网络的一实施例的结构示意图；
12.图3是本技术提供的待识别公式图像一实施例的示意图；
13.图4是图1所示步骤s12一实施例的流程示意图；
14.图5是图1所示步骤s13一实施例的流程示意图；
15.图6是图5所示步骤s133一实施例的流程示意图；
16.图7是本技术提供的通过嵌套组合得到目标公式之前一实施例的流程示意图；
17.图8是图1所示步骤s14一实施例的流程示意图；
18.图9是本技术提供的通过嵌套组合得到目标公式一实施例的结构示意图；
19.图10是本技术提供的获取样本公式序列一实施例的流程示意图；
20.图11是本技术提供的原始标签序列一实施例的示意图；
21.图12是本技术提供的公式图一实施例的示意图；
22.图13是本技术提供的样本公式序列一实施例的示意图；
23.图14是本技术提供的训练公式识别网络一实施例的流程示意图；
24.图15是本技术提供的公式识别装置一实施例的框架示意图；
25.图16是本技术提供的电子设备一实施例的框架示意图；
26.图17是本技术提供的计算机可读存储介质一实施例的框架示意图。
具体实施方式
27.下面结合说明书附图，对本技术实施例的方案进行详细说明。
28.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
29.本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
30.请参阅图1，图1是本技术提供的公式识别方法一实施例的流程示意图。需要注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：
31.步骤s11：对待识别公式图像进行特征提取，得到第一特征图。
32.本实施方式中，对待识别公式图像进行特征提取，以得到第一特征图。其中，对待识别公式图像进行特征提取的网络结构不做限定，可根据实际使用需要具体设置。例如，利用卷积神经网络对待识别公式图像进行特征提取，以得到第一特征图。
33.在一具体实施方式中，如图2所示，图2是本技术提供的公式识别网络的一实施例的结构示意图，公式识别网络包括特征提取子网络，特征提取子网络具体为卷积神经网络，利用特征提取子网络对待识别公式图像进行特征提取。具体地，结合图3，图3是本技术提供的待识别公式图像一实施例的示意图，将图3所示的待识别公式图像输入至公式识别网络中的特征提取子网络中，特征提取子网络对待识别公式图像进行特征提取，以得到第一特征图，即图2中所示的visual memory图。其中，第一特征图的函数表示具体如下：
34.x＝e(i)
35.其中，x表示第一特征图、h表示第一特征图的高度、w表示第一特征图的宽度、d
x
表示第一特征图上每一个像素点的特征维度；i表示待识别公式图像。
36.在一实施方式中，该待识别公式图像可以为包括任意公式的图像或者说任意场景下的公式图像(例如，手写体公式图像、印刷体公式图像、扫描体公式图像等)，具体可以从本地存储或云端存储中获取得到。可以理解地，在其他实施方式中，也可通过图像采集设备实时采集得到待识别公式图像，在此不做具体限定。
37.步骤s12：基于第一特征图和当前解码阶段的参考信息，获取当前解码阶段的第二特征图。
38.其中，参考信息来自于参考解码阶段中解码到占位符的解码时刻的解码信息。需要说明的是，参考解码阶段为当前解码阶段之前的解码阶段，且参考信息用于确定当前解码阶段需要在第一特征图关注的占位符表示区域。由于不同解码阶段对应解码待识别公式图像中待识别公式的不同位置，所以为了提高当前解码阶段的解码准确性，本实施方式中，根据第一特征图和当前解码阶段的参考信息，能够获取得到当前解码阶段的第二特征图，第二特征图是基于第一特征图和用于确定当前解码阶段需要在第一特征图关注的占位符表示区域生成的，以使得后续基于当前解码阶段的第二特征图进行解码时能够关注当前解码阶段对应需要关注的区域，进而提高后续基于当前解码阶段的第二特征图进行解码的准确性。
39.在一具体实施方式中，如图2所示，公式识别网络还包括特征分割(structure segmentation)子网络，具体可利用特征分割子网络对第一特征图和当前解码阶段的参考信息进行处理，以获取得到当前解码阶段的第二特征图。其中，不对特征分割子网络的网络结构进行限定，可根据实际使用需要具体设置。
40.在一实施方式中，参考信息来自于参考解码阶段中解码到占位符的解码时刻的第二权重和解码状态，即基于第一特征图和当前解码阶段对应的解码到占位符的解码时刻的第二权重和解码状态，能够获取得到当前解码阶段的第二特征图。可以理解地，在其他实施方式中，也可根据除第二权重和解码状态以外的其他参考信息，如，参考解码阶段的上下文特征等，获取得到当前解码阶段的第二特征图，在此不做具体限定。
41.在一实施方式中，如图4所示，图4是图1所示步骤s12一实施例的流程示意图，当前解码阶段的第二特征图的获取具体包括如下子步骤：
42.s121：基于当前解码阶段的参考信息，第一特征图中各个第一像素点的第一特征表示进行预测，得到各个第一像素点的第一权重。
43.本实施方式中，根据当前解码阶段的参考信息，第一特征图中各个第一像素点的第一特征表示进行预测，得到各个第一像素点的第一权重。其中，第一权重表示在当前解码阶段的重要程度。也就是说，根据当前解码阶段的参考信息，能够得到对于当前解码阶段来说，第一特征图中各个第一像素点的重要程度。
44.在一具体实施方式中，参考信息来自于参考解码阶段中解码到占位符的解码时刻的第二权重和解码状态，即参考信息为当前解码阶段对应的解码到占位符的解码时刻的第二权重和解码状态。所以，根据参考解码阶段中解码到占位符的解码时刻的第二权重和解码状态以及第一特征图中各个第一像素点的第一特征表示，能够得到各个第一像素点的第一权重，具体公式如下：
[0045][0046]
其中，s
pi
∈r
h*w
表示当前解码时刻需要在第一特征图关注的占位符p的表示区域，即占位符为p时第一特征图中各个第一像素点的第一权重；xi表示第一特征图中各个第一像素点的第一特征表示；h
p
表示当前解码阶段对应的解码到占位符p的解码时刻的解码状态；α
pi
表示当前解码阶段对应的解码到占位符p的解码时刻的第二权重；w
sx
、和表示投影参数。具体地，s
pi
∈r
h*w
表示第一特征图中各个第一像素点的第一权重，即当前解码时刻需要在第一特征图关注的占位符p的表示区域；将第一特征图中各个第一像素点的第一特征表示xi、当前解码阶段对应的解码到占位符p的解码时刻的解码状态h
p
和当前解码阶段对应的解码到占位符p的解码时刻的第二权重α
pi
输入至上述公式，从而得到当前解码时刻需要在第一特征图关注的占位符p的表示区域s
pi
。
[0047]
在一实施方式中，在当前解码阶段为首个解码阶段的情况下，根据参考信息确定当前解码阶段需要关注第一特征图整体，第一特征图整体为占位符表示区域。由于后续解码过程是先整体后局部的解码过程，所以在首个解码阶段，关注的占位符表示区域为第一特征图整体。具体地，由于是首次的解码阶段，不存在来自于参考解码阶段中解码到的解码状态，所以在首次解码阶段中，当前解码阶段的解码状态全为0向量，即其中，dh为特征维度；由于首次解码阶段需要关注第一特征图整体，所以第一特征图中各个第一像素点的第二权重相同，设置各个第一像素点的第二权重向量均为1，即α0＝1
t
∈r
h*w
。
[0048]
s122：基于各个第一像素点的第一特征表示和第一权重，得到当前解码阶段的第二特征图。
[0049]
本实施方式中，根据各个第一像素点的第一特征表示和第一权重，得到当前解码阶段的第二特征图。由于第一权重表示当前解码阶段的重要程度，第二特征图是根据各个第一像素点的第一特征表示和第一权重得到的，所以能够得到第二特征图中各个第二像素点的重要程度，从而使得后续在基于第二特征图进行解码时，能够更加关注重要程度高的第二像素点并抑制重要程度低的第二像素点，即使得后续解码时能够关注第二特征图中的占位符的表示区域，更有针对性地进行解码，进而提高解码准确性。
[0050]
在一实施方式中，可直接将各个第一像素点的第一特征表示和第一权重相乘，以得到第二特征图中对应位置的第二像素点的第二特征表示，各个第二像素点构成了第二特征图。具体公式如下：
[0051]
x
ti
＝s
pi
*xi[0052]
其中，x
ti
表示第二特征图中各个第二像素点的第二特征表示；t表示解码时刻；s
pi
表示第一权重；xi表示第一特征图中各个第一像素点的第一特征表示。具体地，s
pi
表示第一特征图中在第一像素点i的重要程度，重要程度越大，s
pi
即第一权重越大，重要程度越小，s
pi
即第一权重越小，所以在第一像素点i的重要程度s
pi
与第一像素点i的第一特征表示xi相乘后即可得到第二特征图中对应第一像素点i位置处的第二像素点的重要程度，即得到第二特征图中占位符的表示区域。
[0053]
需要说明的是，一个解码阶段会包括多个解码时刻，即一个解码阶段至少会解码出一个解码符号，一个解码时刻对应解码出一个解码符号，所以对于在解码同一解码阶段的各个解码符号时，需要关注的第二特征图的区域相同。其中，设置当前解码阶段的首次解码时刻t＝0，待解码序列在第t个解码符号为y
t
，所以在t≠0且y
t-1
不表示预设结束字符时，例如，预设结束字符为“eol”或者“eos”等，当前解码阶段中待解码序列中各个解码符号y
t
对应的第二特征图的具体公式如下：
[0054]
x
ti
＝x
(t-1)i
[0055]
举例来说，后续在首次解码过程中，首先需要解码出待识别公式的主体结构，则需要关注的是第一特征图整体，所以后续解码之前，会根据各个第一像素点的第一特征表示和第一权重得到第二特征图，基于对第二特征图的解码以得到第一个解码符号；由于在解码第二个解码符号时，还是对待识别公式的主体结构进行解码，所以需要关注的仍是第一特征图整体，所以可以直接基于对第二特征图的解码以得到第二个解码符号；以此类推，直到解码出首次解码阶段的预设结束字符“eol”，表示当前解码阶段结束。
[0056]
可以理解地，在其他实施方式中，也可对第一特征图中各个第一像素点的第一特征表示和第一权重进行其他处理，以得到第二特征图中对应位置的第二像素点的第二特征表示，在此不做具体限定。
[0057]
步骤s13：基于当前解码阶段的第二特征图进行解码，得到当前解码阶段的各解码时刻的解码符号，并基于当前解码阶段的各解码时刻的解码符号，得到当前解码阶段的符号序列。
[0058]
本实施方式中，根据当前解码阶段的第二特征图进行解码，得到当前解码阶段的各解码时刻的解码符号。例如，根据当前解码阶段的第二特征图进行解码，得到待识别公式的主体结构的各解码时刻的解码符号，各解码时刻的解码符号分别为：“1”、“≤”、
“‑”
、“{}”、“{}”、“≤”和“2”。
[0059]
其中，如图5所示，图5是图1所示步骤s13一实施例的流程示意图，当前解码阶段的各解码时刻的解码符号的获取具体包括如下子步骤：
[0060]
步骤s131：基于参考信息、参考解码时刻的解码状态和解码符号，以及第二特征图中各个第二像素点的第二特征表示进行预测，得到各个第二像素点在当前解码时刻的第二权重。
[0061]
本实施方式中，根据参考信息、参考解码时刻的解码状态和解码符号，以及第二特征图中各个第二像素点的第二特征表示进行预测，得到各个第二像素点在当前解码时刻的第二权重。需要说明的是，参考解码时刻为当前解码时刻的前一解码时刻，且第二权重表示在当前解码阶段的当前解码时刻的重要程度。也就是说，会根据来自于参考解码阶段中解码到占位符的解码时刻的解码信息、当前解码时刻的前一解码时刻的解码状态、当前解码时刻的前一解码时刻的解码符号以及第二特征图中各个第二像素点的第二特征表示，得到各个第二像素点在当前解码时刻的第二权重。
[0062]
在一实施方式中，如图2所示，公式识别网络包括注意力机制(character attention)模块，各个第二像素点在当前解码时刻的第二权重是基于注意力机制预测得到的。具体地，将参考信息、参考解码时刻的解码状态和解码符号，以及第二特征图中各个第二像素点的第二特征表示输入至注意力机制模块，以得到各个第二像素点在当前解码时刻的第二权重。
[0063]
在一具体实施方式中，参考信息来自于参考解码阶段中解码到占位符的解码时刻的第二权重和解码状态，即参考信息为当前解码阶段对应的解码到占位符的解码时刻的第二权重和解码状态。各个第二像素点在当前解码时刻的初始权重的具体公式如下：
[0064][0065]
其中，e
ti
表示各个第二像素点在当前解码时刻的初始权重；t表示解码时刻；x
ti
表示第二特征图中各个第二像素点的第二特征表示；h
t-1
表示参考解码时刻的解码状态；y
t-1
表示参考解码时刻的解码符号的one-hot向量；h
p
表示当前解码阶段对应的解码到占位符p的解码时刻的解码状态；α
pi
表示当前解码阶段对应的解码到占位符p的解码时刻的第二权重；w
t
、w
x
、wh、wy、w
p
和表示投影参数；ew表示参考解码时刻的解码符号的的嵌入编码。
[0066]
由于各个第二像素点在当前解码时刻的初始权重大小可能会相差较大，即直接将其作为各个第二像素点在当前解码时刻的第二权重值，会使得各个第二像素点在当前解码时刻的第二权重值相差较大。所以，本实施方式中，将各个第二像素点在当前解码时刻的初始权重值大小进行归一化处理，以得到各个第二像素点在当前解码时刻的第二权重值，使得各个第二像素点在当前解码时刻的第二权重值处于同一数量级。具体公式如下：
[0067][0068]
其中，α
ti
表示各个第二像素点在当前解码时刻的第二权重；e
tj
表示各个第二像素点在当前解码时刻的初始权重。
[0069]
步骤s132：基于各个第二像素点的第二特征表示和第二权重，得到当前解码时刻的上下文特征。
[0070]
本实施方式中，根据各个第二像素点的第二特征表示和各个第二像素点在当前解码时刻的第二权重，能够得到当前解码时刻的上下文特征。由于根据上述方式能够得知第二特征图中各个第二像素点的重要程度，第二像素点的重要程度大，其对应的第二特征表示值越大，所以根据各个第二像素点的第二特征表示得到的当前解码时刻的上下文特征中，重要程度大的第二像素点所占比重较大，从而使得后续在基于当前解码时刻的上下文特征进行解码时，能够更加关注重要程度高的第二像素点并抑制重要程度低的第二像素点，从而提高当前解码时刻的解码准确性。在一实施方式中，上下文特征由各个像素点的特征表示和权重进行加权处理得到，具体公式如下：
[0071][0072]
其中，c
t
表示当前解码时刻的上下文特征；α
ti
表示各个第二像素点在当前解码时刻的第二权重；x
ti
表示第二特征图中各个第二像素点的第二特征表示。
[0073]
步骤s133：基于参考解码时刻的解码状态和解码符号，以及当前解码时刻的上下文特征进行解码，得到当前解码时刻的解码符号。
[0074]
本实施方式中，根据参考解码时刻的解码状态和解码符号，以及当前解码时刻的上下文特征进行解码，能够得到当前解码时刻的解码符号。在一实施方式中，如图6所示，图6是图5所示步骤s133一实施例的流程示意图，先获取得到当前解码时刻的解码状态，再根据当前解码时刻的解码状态得到当前解码时刻的解码符号，具体包括如下子步骤：
[0075]
步骤s61：基于参考解码时刻的解码状态和解码符号，以及当前解码时刻的上下文特征，得到当前解码时刻的解码状态。
[0076]
本实施方式中，根据参考解码时刻的解码状态和解码符号，以及当前解码时刻的上下文特征，能够得到当前解码时刻的解码状态。具体公式如下：
[0077]ht
＝gru(h
t-1
,c
t
,e
wyt-1
)
[0078]
其中，h
t
表示当前解码时刻的解码状态；h
t-1
表示参考解码时刻的解码状态；c
t
表示当前解码时刻的上下文特征；y
t-1
表示参考解码时刻的解码符号的one-hot向量；ew表示参考解码时刻的解码符号的嵌入编码。
[0079]
步骤s62：基于当前解码时刻的解码状态进行符号预测，得到当前解码时刻的解码符号。
[0080]
本实施方式中，根据当前解码时刻的解码状态进行符号预测，能够得到当前解码时刻的解码符号。具体公式如下：
[0081]
y'
t
＝soft max(wch
t
)
[0082]
其中，y
′
t
表示当前解码时刻的预设解码符号的预测概率值；wc表示投影参数。
[0083]
进一步地，会设置有解码符号词典(例如，包括 、&、/等解码符号)；根据当前解码时刻的解码状态进行符号预测得到预测概率值，预测概率值包括对应解码符号词典中各个预设解码符号的预测概率值；将解码符号词典中最大预测概率值对应的预设解码符号作为当前解码时刻的解码符号y
t
。
[0084]
在一实施方式中，当得到的当前解码时刻的解码符号y
t
为预设结束符时，例如，预设结束符为“eol”，则认为当前解码阶段解码结束，否则认为当前解码阶段解码未结束，继续执行步骤s131及其后续的步骤。
[0085]
在一实施方式中，响应于当前解码时刻的解码符号y
t
为占位符，将各个第二像素点在当前解码时刻的第二权重以及当前解码时刻的解码状态，作为参考信息进行保存，以供后续选择使用。具体地，构建存储占位符的栈，并在栈中第一个位置中放入h0和α0；在后续解码到当前解码时刻的解码符号y
t
为占位符时，将各个第二像素点在当前解码时刻的第二权重以及当前解码时刻的解码状态作为参考信息保存在占位符的栈中，后续可直接从占位符的栈中取出使用。
[0086]
另外，本实施方式中，还能够根据当前解码阶段的各解码时刻的解码符号，得到当前解码阶段的符号序列。
[0087]
由于需要在所有参考信息均已被选择使用即确定解码结束后再执行步骤s14，所以在一实施方式中，如图7所示，图7是本技术提供的通过嵌套组合得到目标公式之前一实施例的流程示意图。在根据当前解码阶段的各解码时刻的解码符号得到当前解码阶段的符号序列之后，以及在基于各解码阶段的参考解码阶段的符号序列中占位符，以及各解码阶段的符号序列进行嵌套组合，得到待识别公式图像中的目标公式之前，还包括如下子步骤：
[0088]
步骤s71：获取各参考信息的选择使用情况。
[0089]
在各解码阶段解码到占位符时保存参考信息，以供后续选择使用。在一具体实施方式中，构建有存储占位符的栈，可将在各解码阶段解码到占位符时的参考信息保存在栈中，以供后续选择使用。
[0090]
本实施方式中，为了确定是否已经解码结束即是否可以执行步骤s14，首先需要获取各参考信息的选择使用情况，以确定是否尚有未被选择使用的参考信息。
[0091]
步骤s72：判断是否有未选择使用的参考信息。
[0092]
本实施方式中，在获取各参考信息的选择使用情况后，会判断是否尚有未选择使用的参考信息。如果尚有未选择使用的参考信息，则表明对待识别公式图像的解码还未结束，此时执行步骤s73；如果所有参考信息均已被选择使用，则表明对待识别公式图像的解码已经结束，此时执行步骤s74。
[0093]
步骤s73：响应于尚有未选择使用的参考信息，开启新的解码阶段，作为新的当前解码阶段，并重新执行基于第一特征图和当前解码阶段的参考信息，获取当前解码阶段的第二特征图的步骤以及后续步骤。
[0094]
本实施方式中，响应于尚有未选择使用的参考信息，开启新的解码阶段，作为新的当前解码阶段，并重新执行根据第一特征图和当前解码阶段的参考信息，获取当前解码阶段的第二特征图的步骤以及后续步骤。也就是说，在还有未选择使用的参考信息的情况下，会重新开启新的解码阶段以作为新的当前解码阶段，并重新执行基于第一特征图和当前解码阶段的参考信息，以获取当前解码阶段的第二特征图的步骤以及后续步骤，直至所有参考信息均已被选择使用，表明解码结束。
[0095]
在一实施方式中，选择最先保存且之前未被选择使用的参考信息，作为新的当前解码阶段的参考信息。也就是说，该实施方式中，参考信息的出入原则为先进先出(fifo)，即在剩余未被选择使用的参考信息中，选择最先保存的参考信息作为新的当前解码阶段的参考信息。可以理解地，在其他实施方式中，参考信息的出入原则也可以是先进后出，或者也可以是随机选择未被选择使用的参考作为新的当前解码阶段的参考信息等，在此不做具体限定。
[0096]
步骤s74：响应于所有参考信息均已选择使用，确定解码结束，并执行基于各解码阶段的参考解码阶段的符号序列中占位符，以及各解码阶段的符号序列进行嵌套组合，得到待识别公式图像中的目标公式的步骤。
[0097]
本实施方式中，响应于所有参考信息均已选择使用，确定解码结束，并执行基于各解码阶段的参考解码阶段的符号序列中占位符，以及各解码阶段的符号序列进行嵌套组合，得到待识别公式图像中的目标公式的步骤。也就是说，在当前解码阶段解码到预设结束符(例如，预设结束符为“eol”)且所有参考信息均已选择使用后，表明解码结束；另外，执行基于各解码阶段的参考解码阶段的符号序列中占位符，以及各解码阶段的符号序列进行嵌套组合，得到待识别公式图像中的目标公式的步骤。
[0098]
步骤s14：基于各解码阶段的参考解码阶段的符号序列中占位符，以及各解码阶段的符号序列进行嵌套组合，得到待识别公式图像中的目标公式。
[0099]
本实施方式中，根据各解码阶段的参考解码阶段的符号序列中占位符，以及各解码阶段的符号序列进行嵌套组合，能够得到待识别公式图像中的目标公式。也就是说，将占位符对应的解码阶段的符号序列嵌套组合至解码阶段的参考解码阶段的符号序列中占位符的位置，从而能够得到待识别公式图像中的目标公式。
[0100]
上述实施方式，通过第一特征图和当前解码阶段的参考信息获取第二特征图，且参考信息来自于参考解码阶段中解码到占位符的解码时刻的解码信息，故通过参考信息有助于确定在当前解码阶段需要关注的特征图区域，从而第二特征图可以基于第一特征图和用于确定当前解码阶段需要在第一特征图关注的占位符表示区域生成，使得基于当前解码阶段的第二特征图进行解码时，能够更加关注当前解码阶段对应需要关注的区域，尽可能地降低与当前解码阶段无关的特征区域对当前解码阶段的影响，也就是说，每个解码阶段仅关注其需要关注的区域，能够提高面对复杂结构时的解码准确性，且由于当前解码阶段的各个解码符号都是基于当前解码阶段需要关注的区域解码得到的，即在解码时能够充分参考上下文信息，故即使存在诸如模糊、潦草等复杂场景，也能依赖上下文信息尽可能地提升解码准确性，故此能够提高对复杂场景和复杂结构下的待识别公式的识别。另外，通过解码阶段的参考解码阶段的符号序列中占位符以及各解码阶段的符号序列进行嵌套组合，得到目标公式，能够根据各个解码阶段之间所建模的嵌套结构来恢复出目标公式，有利于提高公式识别的泛化能力。
[0101]
在一实施方式中，如图8所示，图8是图1所示步骤s14一实施例的流程示意图，通过嵌套组合得到目标公式具体包括如下子步骤：
[0102]
步骤s141：将首个解码阶段的符号序列，作为第一序列。
[0103]
本实施方式中，将首个解码阶段的符号序列，作为第一序列。具体地，如图2和图9所示，图9是本技术提供的通过嵌套组合得到目标公式一实施例的结构示意图，待识别公式图像如图2所示，本实施方式采用先整体后局部的解码方式，所以首个解码阶段得到的是待识别公式的主体结构，并将待识别公式的主体结构的符号序列作为第一序列。
[0104]
步骤s142：选择第一序列中占位符，作为目标符，并基于目标符，选择一个未被选择的解码阶段的序号序列，作为第二序列。
[0105]
本实施方式中，选择第一序列中占位符作为目标符，并根据目标符，选择一个未被选择的解码阶段的序号序列作为第二序列。其中，选择的解码阶段的参考信息来自于目标
符对应的解码信息。也就是说，目标符的选择，会使得后续能够根据来自于目标符对应的解码信息对目标符进行解码，从而得到目标符对应的子结构。举例来说，如图5所示，待识别公式的主体结构为第一序列即“1\le\frac{}(占位符1){}(占位符2)\le 2eol”；可将待识别序列中的“{}(占位符1)”和“{}(占位符2)”中任意一个占位符作为目标符，例如，以“{}(占位符1)”为目标符，所以，基于选择的目标符，选择的未被选择的解码阶段的第二序列为“a \sqrt{}(占位符3)eol”；又例如，以“{}(占位符1)”为目标符，所以，基于选择的目标符，选择的未被选择的解码阶段的第二序列为“4eol”。
[0106]
可选地，在一实施方式中，占位符的栈的出入原则为先进先出(fifo)，也就是说，在实际解码过程中，在每一个解码阶段即待识别公式中每一个子结构解码完成后，选择一个新的解码阶段作为新的当前解码阶段，即选取当前占位符的栈中最先入栈的占位符作为目标符，将目标符对应的解码信息作为新的当前解码阶段的参考信息，进行新的当前解码阶段的解码。举例来说，以占位符的栈的出入原则设置为先进先出为例，待识别公式的主体结构为第一序列即“1\le\frac{}(占位符1){}(占位符2)\le 2eol”，“{}(占位符1)”为先解码得到的占位符，所以基于目标符，选择的未被选择的解码阶段的第二序列为“a \sqrt{}(占位符3)eol”。
[0107]
可以理解地，在其他实施方式中，占位符的栈的出入原则也可为先进后出等，可根据实际使用需要具体设置，在此不做具体限定。
[0108]
步骤s143：将第二序列嵌套至目标符，得到新的第一序列，并重新执行选择第一序列中占位符，作为目标符的步骤以及后续步骤，直至所有解码阶段均被选择为止。
[0109]
本实施方式中，将第二序列嵌套值目标符，得到新的第一序列，并重新执行步骤s142及其后续步骤，直至所有解码阶段均被选择为止。举例来说，如图9所示，第二序列为“a \sqrt{}(占位符3)eol”，将其嵌入至目标符的位置，得到新的第一序列为“1\le\fraca \sqrt{}(占位符3){}(占位符2)\le 2eol”，此时新的第一序列中包括有两个占位符。在一实施方式中，可将“{}(占位符3)”和“{}(占位符2)”中的任意一个作为目标符，重新执行步骤s142。在其他实施方式中，占位符的栈的出入原则为先进先出时，将{}(占位符2)作为目标符，重新执行步骤s142。
[0110]
步骤s143：基于最新的第一序列，恢复得到目标公式。
[0111]
本实施方式中，根据最新的第一序列，恢复得到目标公式。也就是说，按照上述方式，直至所有解码阶段均被选择为止，能够得到最新的第一序列，从而恢复得到目标公式。举例来说，如图9所示，按照上述方式得到的最新的第一序列为“1\le\frac{}{}\le 2eol a \sqrt{}eol 4eola^{} 8eol 2eol”，根据最新的第一序列恢复得到目标公式为
[0112][0113]
在一实施方式中，目标公式是利用公式识别网络得到的，公式识别网络是根据样本公式图像训练得到的，样本公式图像中含有样本公式，且样本公式图像标注有样本公式对应的样本公式序列。也就是说，公式识别网络是根据含有样本公式且标注有样本公式对应的样本公式序列的样本公式图像训练得到的；另外，通过训练完成的公式识别网络能够对待识别公式图像进行处理，以得到目标公式。
[0114]
其中，样本公式序列包括顺序连接的若干样本符号序列，各样本符号序列包括若
干样本公式符号，且第二样本符号序列为第一样本符号序列中占位符的表示内容，第一样本符号序列和第二样本符号序列为样本公式序列中不同样本符号序列，且第一样本符号序列位于第二样本符号序列之前。举例来说，样本公式序列包括第一样本符号序列“a^{} 8”和第二样本符号序列“2”，所以样本符号序列“2”是样本符号序列“a^{} 8”中占位符的表示内容。在一实施方式中，若干样本符号序列的末位符号为预设结束符，例如，预设结束符为“elo”等。
[0115]
在一实施方式中，如图10所示，图10是本技术提供的获取样本公式序列一实施例的流程示意图，样本公式序列的获取具备包括如下子步骤：
[0116]
步骤s1001：基于原始标签序列，得到样本公式的公式图。
[0117]
本实施方式中，样本公式预先以预设公式标记语言标注为原始标签序列。其中，样本公式的公式图包含第一节点和第二节点，第一节点表示样本公式中的符号，第二节点表示样本公式中的子结构，且在预设方向上相连的节点分别表示的内容在样本公式中相邻，从第二节点引申的第一节点所表示的符号包含于第二节点所表示的子结构中。其中，不对预设公式标记语言进行限定，可根据实际使用需要具体设置。例如，预设公式标记语言为latex等。
[0118]
在一具体实施方式中，如图11所示，图11是本技术提供的原始标签序列一实施例的示意图，预设公式标记语言为latex。以图3中的公式为样本公式，利用latex对样本公式进行标注，得到如图11所示的原始标签序列ys。因此，如图12所示，图12是本技术提供的公式图一实施例的示意图，根据原始标签序列ys得到如图12所示的样本公式的公式图。需要说明的是，“{”和“}”是latex中的虚体括号，配对的大括号中涵盖的内容表示相应结构的内容。相反地，对图12所示的样本公式的公式图按照深度优先策略进行遍历，并对公式图中的空节点(圈中无文字)所包含内容的前后分别插入“{”和“}”，从而可以根据公式图得到原始标签序列ys。
[0119]
步骤s1002：遍历公式图，得到表示样本公式主干结构的样本符号序列。
[0120]
本实施方式中，具体可以按照广度优先策略遍历公式图，能够得到表示样本公式主干结构的样本符号序列。具体地，以图12所示的公式图为例，首先利用广度优先策略对公式图进行遍历，此时得到样本公式主干结构的样本符号序列为“1\le\frac{}{}\le 2”。其中，用“{}”表示占位符。
[0121]
步骤s1003：分别遍历各个第二节点，得到表示样本公式分支结构的样本符号序列。
[0122]
本实施方式中，分别遍历各个第二节点，得到表示样本公式分支结构的样本符号序列。具体地，以图12所示的公式图为例，利用广度优先策略遍历各个第二节点，得到的样本公式分支结构的样本符号序列分别为：“a \sqrt{}”、“4”和“a^{} 8”和“2”。其中，样本符号序列“a \sqrt{}”和“4”可以分别看作是样本公式主干结构的样本符号序列中占位符的表示内容；样本符号序列“a^{} 8”可以看作是样本符号序列“a \sqrt{}”中占位符的表示内容；样本符号序列“2”可以看作是样本符号序列“a^{} 8”中占位符的表示内容。
[0123]
步骤s1004：基于各次分别遍历得到的样本符号序列，得到样本公式序列。
[0124]
本实施方式中，根据各次分别遍历得到的样本符号序列，能够得到样本公式序列。在一具体实施方式中，将各次遍历得到的样本符号序列的最后加入预设结束符，例如，预设
结束符为“eol”，并按顺序串联起来，从而得到样本公式序列。
[0125]
具体地，如图13所示，图13是本技术提供的样本公式序列一实施例的示意图，分号“\frac”后面紧跟的是“{}”，这个符号是表示样本公式中分母的占位符号(placeholder)，第二个“{}”则表示样本公式中分子的占位符，第一个预设结束符“eol”表示样本公式主体结构解码结束符号，第一个预设结束符“eol”符号后面所接的内容为第一个占位符“{}”所表示的内容，第二个预设结束符“eol”符号后面所接的内容是第二个占位符“{}”所表示的内容，以此类推，直至所有的占位符都被表示结束为止，得到最终的样本公式序列。
[0126]
在一实施方式中，如图2所示，公式识别网络包括特征提取子网络、特征分割子网络和符号解码子网络。其中，如图14所示，图14是本技术提供的训练公式识别网络一实施例的流程示意图，公式识别网络的训练具体包括如下子步骤：
[0127]
步骤s1401：利用特征提取子网络对样本公式图像进行特征提取，得到样本第一特征图。
[0128]
本实施方式中，利用特征提取子网络对样本公式图像进行特征提取，得到样本第一特征图。具体地，将图3所示的内容作为样本公式图像，利用图2中特征提取子网络对样本公式图像进行特征提取，以得到样本第一特征图。
[0129]
步骤s1402：将样本第一特征图和样本当前解码阶段的样本参考信息输入特征分割子网络，得到样本当前解码阶段的样本第二特征图。
[0130]
本实施方式中，将样本第一特征图和样本当前解码阶段的样本参考信息输入图2中的特征分割子网络中，以得到样本当前解码阶段的样本第二特征图。其中，样本参考信息来自于样本参考解码阶段中解码到占位符的解码时刻的样本解码信息，样本参考解码阶段为样本当前解码阶段之前的样本解码阶段，且样本参考信息用于确定样本当前解码阶段需要在样本第一特征图关注的占位符表示区域。由于不同样本解码阶段对应解码样本公式的不同位置，所以为了提高公式识别网络对样本当前解码阶段的解码识别准确性，根据样本第一特征图和样本当前解码阶段的样本参考信息，能够获取得到样本当前解码阶段的样本第二特征图，样本第二特征图是基于样本第一特征图和用于确定样本当前解码阶段需要在样本第一特征图关注的占位符表示区域生成的，以使得后续基于样本当前解码阶段的样本第二特征图进行解码时能够关注样本当前解码阶段对应需要关注的区域，进而提高后续基于样本当前解码阶段的样本第二特征图进行解码的准确性。
[0131]
步骤s1403：将样本当前解码阶段的样本第二特征图输入符号解码子网络，得到样本当前解码阶段的各解码时刻的样本解码符号。
[0132]
本实施方式中，将样本当前解码阶段的样本第二特征图输入图2中的符号解码子网络，从而得到样本当前解码阶段的各解码时刻的样本解码符号。
[0133]
步骤s1404：响应于所有样本参考信息均已选择使用，基于各解码时刻的样本解码符号分别与样本公式序列中各样本公式符号之间的差异，调整公式识别网络的网络参数。
[0134]
本实施方式中，响应于所有样本参考信息均已被选择使用，根据各解码时刻的样本解码符号分别与样本公式序列中各样本公式符号之间的差异，调整公式识别网络的网络参数，使得公式识别网络趋于收敛。
[0135]
在一实施方式中，通过诸如交叉熵等损失函数计算得到各解码时刻的样本解码符号分别与样本公式序列中各样本公式符号之间的子预测损失值，再统计各个子预测损失值
以得到总损失值，从而可以通过诸如梯度下降等优化方式，基于总损失值调整公式识别网络的网络参数，并重复上述过程，直至利用样本公式将公式识别网络训练至收敛为止。其中，通过交叉熵损失函数计算各解码时刻的样本解码符号分别与样本公式序列中各样本公式符号之间的总损失值的具体公式如下：
[0136][0137]
其中，l表示各解码时刻的样本解码符号分别与样本公式序列中各样本公式符号之间的总损失值；y
sstv
表示样本公式序列中各样本公式符号；y
′
tv
表示各解码时刻的样本解码符号。
[0138]
上述实施方式，将序列进行结构化，并通过解码策略对结构嵌套进行了显示地数学公式建模，一方面能够提高公式识别网络在公式架构比较复杂等复杂结构下的泛化能力；另一方面能够提高公式识别网络在公式潦草、形近或者模糊等复杂场景下的泛化能力；同时依然能够保留序列解码所带来的语音模型特性。
[0139]
请参阅图15，图15是本技术提供的公式识别装置一实施例的框架示意图。公式识别装置150包括特征提取模块151、特征分割模块152、序列解码模块153和嵌套组合模块154。特征提取模块151用于对待识别公式图像进行特征提取，得到第一特征图；特征分割模块152用于基于第一特征图和当前解码阶段的参考信息，获取当前解码阶段的第二特征图；其中，参考信息来自于参考解码阶段中解码到占位符的解码时刻的解码信息；序列解码模块153用于基于当前解码阶段的第二特征图进行解码，得到当前解码阶段的各解码时刻的解码符号，并基于当前解码阶段的各解码时刻的解码符号，得到当前解码阶段的符号序列；嵌套组合模块154用于基于各解码阶段的参考解码阶段的符号序列中占位符，以及各解码阶段的符号序列进行嵌套组合，得到待识别公式图像中的目标公式。
[0140]
其中，上述在各解码阶段解码到占位符时保存参考信息，以供后续选择使用；公式识别装置150还包括处理模块155，在基于当前解码阶段的各解码时刻的解码符号，得到当前解码阶段的符号序列之后，以及在基于各解码阶段的参考解码阶段的符号序列中占位符，以及各解码阶段的符号序列进行嵌套组合，得到待识别公式图像中的目标公式之前，处理模块155用于：获取各参考信息的选择使用情况；响应于尚有未选择使用的参考信息，开启新的解码阶段，作为新的当前解码阶段，并重新执行基于第一特征图和当前解码阶段的参考信息，获取当前解码阶段的第二特征图的步骤以及后续步骤；响应于所有参考信息均已选择使用，确定解码结束，并执行基于各解码阶段的参考解码阶段的符号序列中占位符，以及各解码阶段的符号序列进行嵌套组合，得到待识别公式图像中的目标公式的步骤。
[0141]
其中，在开启新的解码阶段，作为新的当前解码阶段之后，处理模块155还用于：选择最先保存且之前未被选择使用的参考信息，作为新的当前解码阶段的参考信息。
[0142]
其中，特征分割模块152用于基于第一特征图和当前解码阶段的参考信息，获取当前解码阶段的第二特征图，具体包括：基于当前解码阶段的参考信息，第一特征图中各个第一像素点的第一特征表示进行预测，得到各个第一像素点的第一权重；其中，第一权重表示在当前解码阶段的重要程度；基于各个第一像素点的第一特征表示和第一权重，得到当前解码阶段的第二特征图。
[0143]
其中，序列解码模块153用于基于当前解码阶段的第二特征图进行解码，得到当前
解码阶段的各解码时刻的解码符号，具体包括：基于参考信息、参考解码时刻的解码状态和解码符号，以及第二特征图中各个第二像素点的第二特征表示进行预测，得到各个第二像素点在当前解码时刻的第二权重；基于各个第二像素点的第二特征表示和第二权重，得到当前解码时刻的上下文特征；基于参考解码时刻的解码状态和解码符号，以及当前解码时刻的上下文特征进行解码，得到当前解码时刻的解码符号。
[0144]
其中，上述第二权重基于注意力机制预测得到；和/或，上述上下文特征由各个第二像素点的第二特征表示和第二权重进行加权处理得到。
[0145]
其中，序列解码模块153用于基于参考解码时刻的解码状态和解码符号，以及当前解码时刻的上下文特征进行解码，得到当前解码时刻的解码符号，具体包括：基于参考解码时刻的解码状态和解码符号，以及当前解码时刻的上下文特征，得到当前解码时刻的解码状态；基于当前时刻的解码状态进行符号预测，得到当前解码时刻的解码符号。
[0146]
其中，序列解码模块153还用于响应于当前解码时刻的解码符号为占位符，将各个第二像素点在当前解码时刻的第二权重，以及当前解码时刻的解码状态，作为参考信息进行保存，以供后续选择使用。
[0147]
其中，嵌套组合模块154用于基于各解码阶段的参考解码阶段的符号序列中占位符，以及各解码阶段的符号序列进行嵌套组合，得到待识别公式图像中的目标公式，具体包括：将首个解码阶段的符号序列，作为第一序列；选择第一序列中占位符，作为目标符，并基于目标符，选择一个未被选择的解码阶段的序号序列，作为第二序列；其中，选择的解码阶段的参考信息来自于目标符对应的解码信息；将第二序列嵌套至目标符，得到新的第一序列，并重新执行选择第一序列中占位符，作为目标符的步骤以及后续步骤，直至所有解码阶段均被选择为止；基于最新的第一序列，恢复得到目标公式。
[0148]
其中，在当前解码阶段为首个解码阶段的情况下，参考信息用于确定当前解码阶段需要关注第一特征图整体为占位符表示区域。
[0149]
其中，目标公式利用公式识别网络识别得到，公式识别网络基于样本公式图像训练得到，样本公式图像中含有样本公式，且样本公式图像标注有样本公式对应的样本公式序列；其中，样本公式序列包括顺序连接的若干样本符号序列，各样本符号序列包括若干样本公式符号，且第二样本符号序列为第一样本符号序列中占位符的表示内容，第一样本符号序列和第二样本符号序列为样本公式序列中不同样本符号序列，且第一样本符号序列位于第二样本符号序列之前。
[0150]
其中，样本公式预先以预设公式标记语言标注为原始标签序列，嵌套组合模块154用于样本公式序列的获取步骤包括：基于原始标签序列，得到样本公式的公式图；其中，公式图包含第一节点和第二节点，第一节点表示样本公式中的符号，第二节点表示样本公式中的子结构，且在预设方向上相连的节点分别表示的内容在样本公式中相邻，从第二节点引申的第一节点所表示的符号包含于第二节点所表示的子结构中；遍历公式图，得到表示样本公式主干结构的样本符号序列；分别遍历各个第二节点，得到表示样本公式分支结构的样本符号序列；基于各次分别遍历得到的样本符号序列，得到样本公式序列。
[0151]
其中，上述公式识别网络包括特征提取子网络、特征分割子网络和符号解码子网络；上述公式识别网络的训练步骤包括：利用特征提取子网络对样本公式图像进行特征提取，得到样本第一特征图；将样本第一特征图和样本当前解码阶段的样本参考信息输入特
征分割子网络，得到样本当前解码阶段的样本第二特征图；其中，样本参考信息来自于样本参考解码阶段中解码到占位符的解码时刻的样本解码信息，样本参考解码阶段为样本当前解码阶段之前的样本解码阶段，且样本参考信息用于确定样本当前解码阶段需要在样本第一特征图关注的占位符表示区域；将样本当前解码阶段的样本第二特征图输入符号解码子网络，得到样本当前解码阶段的各解码时刻的样本解码符号；响应于所有样本参考信息均已选择使用，基于各解码时刻的样本解码符号分别与样本公式序列中各样本公式符号之间的差异，调整公式识别网络的网络参数。
[0152]
请参阅图16，图16是本技术提供的电子设备一实施例的框架示意图。电子设备160包括相互耦接的存储器161和处理器162，存储器161中存储有程序指令，处理器162用于执行程序指令以实现上述任一公式识别方法实施例中的步骤。具体地，电子设备160可以包括但不限于：台式计算机、笔记本电脑、服务器、手机、平板电脑等等，在此不做限定。
[0153]
具体而言，处理器162用于控制其自身以及存储器161以实现上述任一公式识别方法实施例中的步骤。处理器162还可以称为cpu(central processing unit，中央处理单元)。处理器162可能是一种集成电路芯片，具有信号的处理能力。处理器162还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器162可以由集成电路芯片共同实现。
[0154]
请参阅图17，图17是本技术提供的计算机可读存储介质一实施例的框架示意图。计算机可读存储介质170存储有能够被处理器运行的程序指令171，程序指令171用于实现上述任一公式识别方法实施例中的步骤。
[0155]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0156]
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
[0157]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
[0158]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0159]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单
元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0160]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0161]
以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。