关节置换术前规划方法、装置、设备及存储介质与流程

1.本发明属于医学技术领域，尤其涉及一种关节置换术前规划方法及装置、计算设备及计算机存储介质。


背景技术：

2.人工膝关节置换术作为治疗严重的膝关节损伤及病变的方法，现在已经得到广泛的使用，置换手术使用人工材料制造的关节假体代替人体自身的受损膝关节，达到治疗的目的。
3.全膝关节假体置换术前需要一套完备详尽的术前规划方案。有很多的cad软件可以辅助医生制定方案，特征点的生成是其中必要的一步。一般来说，这些特征点需要医生利用cad软件提供的工具先对骨骼区域进行分割，借助分割后的骨骼区域手动标记特征点，之后cad软件根据标记的点的空间位置自动计算假体的初始放置位姿，然后经过医生调整后确定假体的最终放置位姿完成关节置换的术前规划。


技术实现要素：

4.本发明提供一种关节置换术前规划方法及装置、计算设备及计算机存储介质，实现关键置换术前规划的自动执行，减少人工干预，提高了术前规划的一致性和可靠性，降低了对医生经验的要求以及人为因素对结果的影响。
5.第一方面，本发明提供一种关节置换术前规划方法，包括：获取患者待置换关节的骨骼图像；对所述骨骼图像进行处理，将所述骨骼图像裁剪为预定数量的区域图像；使用经训练的特征点检测模型检测所述区域图像得到每个区域的特征点；根据特征点确定关节置换假体的初始位姿；根据确定的关节置换假体的初始位姿确定关节置换假体置换的最终位姿。
6.作为优选，所述待置换关节为膝关节，所述预定数量的区域图像包括包含股骨头部分的股骨上侧的图像、膝关节部分的图像和包含踝关节部分的胫骨下侧的图像。
7.进一步地，所述对所述骨骼图像进行处理，将所述骨骼图像裁剪为预定数量的区域图像，包括：使用模糊位置裁剪得到预定数量的粗定位区域；对每个粗定位区域进行处理得到所述预定数量的区域图像。
8.进一步地，每个所述区域图像使用对应的特征点检测模型进行检测，所述区域图像对应的特征点检测模型采用相同的结构。
9.进一步地，所述特征点检测模型包括u
‑
net网络和dsnt模块。
10.进一步地，所述使用经训练的特征点检测模型检测所述区域图像得到每个区域的特征点，包括：通过u
‑
net网络提取特征，得到特征点的概率图；通过dsnt模块对特征点的概率图进行处理得到特征点的坐标。
11.进一步地，所述特征点包括参考点和截骨测量点，所述参考点用于建立坐标系，所
述截骨测量点用于确定截骨深度；所述参考点包括股骨膝关节中心、股骨头中心、股骨内上髁、股骨外上髁、胫骨膝关节中心、胫骨内侧踝、胫骨外侧踝、pcl中心、胫骨结节前内侧1/3；所述截骨测量点包括股骨内侧后方截骨深度测量点、股骨外侧后方截骨深度测量点、股骨内侧远端截骨深度测量点、股骨外侧远端截骨深度测量点、胫骨内侧近端截骨深度测量、胫骨外侧近端截骨深度测量点。
12.进一步地，所述根据特征点确定关节置换假体的初始位姿，包括：根据特征点中的参考点建立坐标系；根据特征点中的截骨测量点确定截骨深度；根据坐标系和截骨深度确定假体初始位姿。
13.第二方面，本发明还提供了一种关节置换术前规划装置，包括：获取模块，用于获取患者待置换关节的骨骼图像；裁剪模块，用于对所述骨骼图像进行处理，将所述骨骼图像裁剪为预定数量的区域图像；特征点检测模块，用于使用经训练的特征点检测模型检测所述区域图像得到每个区域的特征点；位姿确定模块，用于根据特征点确定关节置换假体的初始位姿，以及根据确定的关节置换假体的初始位姿确定关节置换假体置换的最终位姿。
14.第三方面，本发明还提供了一种计算设备，该设备包括：处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现第一方面所述关节置换术前规划方法。
15.第四方面，本发明还提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现第一方面所述的关节置换术前规划方法。
16.与现有技术相比，本发明的关节置换术前规划方法及装置、计算设备及计算机存储介质，针对目前关节置换术前规划各环节均需人工直接操作完成，费时费力，重复劳动，且难以保证分割效果的问题，使用智能算法将特征点自动检出，且每一步自动完成后，均可由医生确认结果后再进行下一步，既节省了医生时间，又可以保证最终结果的准确性和可信度。
附图说明
17.为了更清楚地说明本公开实施例的技术方案，下面将对本公开实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1示出了本公开一实施例提供的关节置换术前规划方法的流程示意图；图2示出了本公开一实施例提供的特征点自动检测方法的流程示意图；图3是本公开一实施例所使用u
‑
net网络的结构示意图；图4至图5示出了本公开一实施例股骨特征点示意图；图6至图7示出了本公开一实施例胫骨特征点示意图；
图8是本公开实施例提供的用于确定关节置换假体的初始位姿的方法的流程示意图；图9是本公开实施例提供的股骨机械轴和胫骨机械轴的示意图；图10是本公开实施例提供的用于确定关节假体放置位置的装置的结构示意图；图11是本公开实施例提供的一种计算设备的结构示意图。
具体实施方式
19.下面将详细描述本公开的各个方面的特征和示例性实施例，为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本公开进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本公开，而不是限定本公开。对于本领域技术人员来说，本公开可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本公开的示例来提供对本公开更好的理解。
20.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
21.图1示出了本公开一个实施例提供的关节置换术前规划方法的流程示意图。
22.本公开实施例提供一种关节置换术前规划方法100，如图1所示，该方法100可以包括以下步骤：s101，获取患者待置换关节的骨骼图像。
23.示例性地，在本实施例中，待置换关节为膝关节，因此获取的骨骼图像为包括膝关节的骨骼图像，其可以包括完整的股骨和胫骨。
24.s102，对所述骨骼图像进行处理，将所述骨骼图像裁剪为预定数量的区域图像。
25.由于在s101中输入的完整图像是3d影像， 尺寸相对较大，为减少计算量且对不同部位的特征点分别检出，需自动检测出相关骨区域后裁剪，方便进行下一步计算。示例性，在本实施例中，将包含完整股骨和胫骨的影像自动裁剪成三个区域：股骨上侧包含股骨头的部分、膝关节部分和胫骨下侧包含踝关节的部分。即，在本实施例中，所述预定数量为3，所述预定数量的区域图像包括包含股骨头部分的股骨上侧的图像、膝关节部分的图像和包含踝关节部分的胫骨下侧的图像。
26.示例性地，在本实施例中，对所述骨骼图像进行处理，将骨骼图像裁剪为预定数量的区域图像可以通过下述步骤实现：首先，使用模糊位置裁剪得到预定数量的粗定位区域；然后，对每个粗定位区域进行处理得到所述预定数量的区域图像。
27.即采用先粗定位后精细定位的方法。这是因为考虑到三个待检测区域在原图像上空间位置相对固定，故为进一步减少计算量，首先使用模糊位置裁剪出预定数量的区域（在本公开实施例中例如为3个）。该操作可以保证待检区域正确地被包含在粗定位区域。然后
分别对三个粗定位区域做以下处理：首先，使用高斯滤波器对图像进行平滑处理，之后使用拉普拉斯算子分别沿着图像x、y、z方向进行卷积后得到图像对应三个方向的二阶偏导特征图，并得到对应的梯度幅值特征图及方位角特征图。然后，为了进一步检测边缘，利用方位角特征图，非极大值抑制方法可保留局部梯度最大的点。接着对特征图进行滞后阈值法处理，以连接边缘，经过一定的处理后，提取连通区域作为最终边缘。最后，利用边缘信息，后处理可得到感兴趣的骨骼区。
28.s103，使用经训练的特征点检测模型检测所述区域图像得到每个区域的特征点。
29.在本实施例中，每个区域图像使用对应的特征点检测模型进行检测，所述区域图像对应的特征点检测模型采用相同的结构。即，每个区域都有一个对应的特征点检测模型，这是由于不同骨骼区域对应不同数量的特征点，因此，虽然检测模型可以使用相同的结构，但是需要针对不同区域进行单独训练，这样便可以分别对应三个骨骼区域的特征点进行自动检测。
30.特征点的自动检测过程将在后文详细描述。
31.s104，根据特征点确定关节置换假体的初始位姿。
32.当确定特征点之后，则可以根据特征点确定关节置换假体的初始位姿，关节置换假体的初始位姿的确定过程在下文详细描述。
33.s105，根据确定的关节置换假体的初始位姿确定关节置换假体置换的最终位姿。
34.当在s104中根据特征点确定关节置换假体的初始位姿之后，则可以根据实际情况进行微调，从而确定关节置换假体置换的最终位姿。
35.图2示出了本公开一实施例提供的特征点自动检测方法的流程示意图。
36.示例性地，在本公开实施例中，特征点自动检测方法使用的特征点检测模型包括u
‑
net网络和dsnt（differentiable spatial to numerical transform）模块。
37.如图2所示，本公开实施例提供的特征点自动检测方法200可以包括以下步骤：s201，获取待检测骨骼图像。具体地，将在s102中获取的区域图像输入至对应的特征点检测模型中。例如，将含股骨头部分的股骨上侧的图像输入至股骨特征点检测模型，将膝关节部分的图像输入至膝关节特征点检测模型，将包含踝关节部分的胫骨下侧的图像输入胫骨特征点检测模型。这些模型可以使用相同的结构分别训练得到。
38.s202，通过u
‑
net网络提取特征，得到特征点的概率图。
39.在s201中，获取到待检测骨骼图像后，首先使用已训练的u
‑
net网络模型提取特征，对于n个特征点，可以得到n个概率图。
40.u
‑
net网络可以使用各种合适的结构，图3示出了本公开实施例所使用u
‑
net网络的结构示意图。图中，conv( bn) relu对应的箭头表示依次进行三维卷积、批归一化（batch normalization）和线性整流（relu）激活函数操作。为了保证在卷积操作进行前后，图像的大小不会发生变化，我们对图像做了边缘填充。图中的max pool对应的箭头表示最大池化操作；concat对应的箭头表示拼接操作；upsample对应的箭头表示重采样操作。在重采样时，我们对当前层的特征图进行上采样, 以便与来自解码器对应的上一层的特征图进行拼接。最后的conv对应的箭头是卷积操作，使得网络最终输出图像的通道数和特征点的个数一致。这就是网络输出的热力图。网络输入是单一通道的医学影像，因此左上角的图像的通
道数为1。
41.本公开实施例所使用的u
‑
net网络的处理过程为：首先，如图3中左半部分所示，输入的图像经过两次卷积操作后进行一次最大池化，使得网络下一层接收到的图像的尺寸在上一层的基础上成倍减小。这样的操作在网络中共进行三次，分别形成三个中间结果。如图3中右半部分所示，最下层的图像在经过卷积后，通过一次上采样，使得尺寸成倍增大。与先前尺寸匹配的中间结果进行拼接后，再度进行卷积和上采样操作。如此进行三轮，直到图像的大小与网络输入的大小一致。经过最终的卷积层得到n 张热力图，n为特征点的个数。
42.应当理解，图3所示u
‑
net仅是一个示例，在本公开其它实施例中可以使用各种类似结构的u
‑
net，而不限于图3中所示示例。
43.s203，通过dsnt模块对特征点的概率图进行处理得到特征点的坐标。
44.dsnt 模块将网络输出的热力图（也即概率图）进行归一化后，乘以一无可训练参数的权重矩阵，对结果求和后得到特征点坐标。
45.应当理解，本公开实施例涉及的特征点检测模型，以及u
‑
net网络和dsnt模块可以采用本领域常用的已有或将来开发的训练方法进行训练，其训练过程在此不再赘述。示例性地，在本公开实施例中特征点包括参考点和截骨测量点，所述参考点用于建立坐标系，所述截骨测量点用于确定截骨深度。
46.示例性地，在本实施例中，待置换关节为膝关节，因此所述参考点包括股骨膝关节中心（图4
‑
图5中的特征点4）、股骨头中心（图4
‑
图5中的特征点1）、股骨内上髁（图5中的特征点8）、股骨外上髁（图4
‑
图5中的特征点6）、胫骨膝关节中心（图6
‑
图7中的特征点10）、胫骨内侧踝（图6
‑
图7中的特征点14）、胫骨外侧踝（图6
‑
图7中的特征点13）、pcl中心（图7中的特征点15）、胫骨结节前内侧1/3（图6中的特征点12）；所述截骨测量点包括股骨内侧后方截骨深度测量点（图4
‑
图5中的特征点2）、股骨外侧后方截骨深度测量点（图4
‑
图5中的特征点7）、股骨内侧远端截骨深度测量点（图4
‑
图5中的特征点3）、股骨外侧远端截骨深度测量点（图4
‑
图5中的特征点5）、胫骨内侧近端截骨深度测量（图6
‑
图7中的特征点9）、胫骨外侧近端截骨深度测量点（图6
‑
图7中的特征点11）。
47.股骨特征点和胫骨特征点的示例如图4
‑
图7所示。
48.图8示出了本公开一个实施例提供的用于确定关节置换假体的初始位姿的方法的流程示意图。
49.如图8所示，本公开实施例提供的用于确定关节置换假体的初始位姿的方法300，包括：s301，根据特征点中的参考点建立坐标系。
50.s302，根据特征点中的截骨测量点确定截骨深度。
51.s303，根据坐标系和截骨深度确定假体初始位姿。
52.在本实施例中，以全膝关节假体置换为例说明确定关节置换假体的初始位姿的方法。全膝关节假体置换涉及股骨假体和胫骨假体，其中胫骨假体由胫骨平台垫和胫骨平台托组成。假体置换的目的是使用假体替代病变的膝关节部位，其基本流程是根据假体的长度和厚度等一些几何参数在膝关节股骨和胫骨正确的位置进行截骨，将相关假体放置在这些区域。截骨的长度和厚度以及正确的位置均可由检测出来的特征点计算得到。根据不同的作用，将这些特征点分为两大类：参考点和截骨测量点。参考点用于相关坐标系的建立以
及空间位置的计算，截骨测量点用于确定截骨深度。
53.在股骨和胫骨假体初始位姿确定过程涉及的参考线定义如下：股骨参考线股骨机械轴：股骨头中心 与 股骨膝关节中心的连线（如图9中a图所示）。
54.股骨外科通髁线：股骨外上髁与股骨内上髁的连线。
55.胫骨参考线胫骨机械轴：胫骨膝关节中心与踝关节中心的连线（如图9中b图所示）。
56.胫骨前后轴：pcl中心与胫骨结节前内侧1/3处的连线。
57.股骨机械轴和胫骨机械轴的示例如图9所示。
58.下面首先以股骨假体初始位姿为例进行说明。
59.首先，根据特征点中的参考点建立坐标系，股骨坐标系以 股骨膝关节中心为原点，股骨机械轴向上为z轴，股骨外科通髁线为x轴，y轴方向可由z轴与x轴的叉乘获得。获得y轴方向后在利用叉乘修正x轴，以此作为股骨坐标系。具体来说，记股骨头中心为h，股骨膝关节中心为k，股骨内上髁为m，股骨外上髁为l，计算过程如下：关节中心为k，股骨内上髁为m，股骨外上髁为l，计算过程如下：关节中心为k，股骨内上髁为m，股骨外上髁为l，计算过程如下：关节中心为k，股骨内上髁为m，股骨外上髁为l，计算过程如下：关节中心为k，股骨内上髁为m，股骨外上髁为l，计算过程如下：然后，根据特征点中的截骨测量点确定截骨深度。具体包括：（1）确定假体远端深度：假体远端截面平行于股骨坐标系xoy平面，且满足：假体远端截骨面到股骨远端截骨测量点距离最大值 软骨厚度=假体远端厚度。
60.（2）确定假体后方深度：股骨后方截骨面平行于股骨坐标系xoz平面，且满足：截骨面到后方截骨测量点距离最大值 软骨厚度=假体后方厚度。
61.最后，根据坐标系和截骨深度确定假体初始位姿。具体包括：（1）假体坐标系中心与股骨膝关节中心对齐。
62.（2）假体沿着股骨坐标系z轴方向平移以满足远端截骨深度需求。
63.（3）再沿着股骨坐标系y轴方向平移使得假体坐标系z轴穿过股骨坐标系z轴，然后绕股骨坐标系z轴旋转，使得 假体后方截骨面与股骨外科通髁线平行，再沿股骨坐标系y轴平移使后方截骨面满足后方截骨深度的要求。
64.（4） 最终的股骨假体的初始摆位的变换矩阵为：其中，为绕股骨坐标系z轴的角度，为股骨内外侧远端截骨深度测量点中z坐标较小值，为假体远端厚度，为假体固有参数。为软骨厚度。为沿股骨坐标系y轴
的平移量。
65.接下来说明胫骨假体初始位姿的确定过程。
66.首先，根据特征点中的参考点建立坐标系，胫骨坐标系以胫骨膝关节中心 为原点，胫骨机械轴向上为z轴，胫骨前后轴向前为y轴，x轴方向可由z轴与y轴的叉乘获得。获得x轴方向后在利用叉乘修正y轴，以此作为胫骨坐标系。
67.具体来说，记然后胫骨前后轴两点按照前后顺序以此为p、a，胫骨膝关节中心为k，胫骨远端内侧踝为m，胫骨远端外侧踝为l，踝关节中心为c，其中踝关节中心在胫骨内外侧踝连线上，距离内踝44%，外踝56%。计算过程如下：踝连线上，距离内踝44%，外踝56%。计算过程如下：踝连线上，距离内踝44%，外踝56%。计算过程如下：踝连线上，距离内踝44%，外踝56%。计算过程如下：踝连线上，距离内踝44%，外踝56%。计算过程如下：踝连线上，距离内踝44%，外踝56%。计算过程如下：然后确定胫骨假体初始位姿。具体包括：第一，胫骨平台垫相对于胫骨平台托的变换a.基于假体坐标系，平台垫与平台托在x和z方向已经对齐，还需要一个平移变换将胫骨平台垫变换到平台托的坐标系下，且保持该变换不变，后续对胫骨假体位姿的变换作用与装配好的平台垫与平台托整体。
68.第二，胫骨假体初始摆位采用先前后左右中心对齐，然后按照假体指定后倾角旋转，最后沿胫骨坐标系z轴平移满足截骨深度的方式。
69.为了完成中心对齐，进行平移变换为了完成中心对齐，进行平移变换 其中，平台托前后边界为和。
70.然后沿后倾角θ旋转变换为然后沿后倾角θ旋转变换为然后计算得到z轴上的平移量记为,进行平移变换,进行平移变换最终的胫骨假体的初始摆位的变换矩阵为图10是本公开实施例提供的关节假体置换术前规划装置的结构示意图。
71.如图10所示，本公开实施例提供的关节假体置换术前规划装置400包括图片获取模块110、裁剪模块120、特征点检测模块130和位姿确定模块140。
72.获取模块110用于获取患者待置换关节的骨骼图。图片获取模块110用于执行图1所示的关节假体置换术前规划方法中的s101。
73.裁剪模块120用于对所述骨骼图像进行处理，将所述骨骼图像裁剪为预定数量的
区域图像。裁剪模块120用于执行图1所示的关节假体置换术前规划方法中的s102。
74.特征点检测模块130用于使用经训练的特征点检测模型检测所述区域图像得到每个区域的特征点。特征点检测模块330用于执行图1所示的关节假体置换术前规划方法中的s103，以及图2所示的特征点自动检测方法中的s201
‑
s203。
75.位姿确定模块140用于根据特征点确定关节置换假体的初始位姿，以及根据确定的关节置换假体的初始位姿确定关节置换假体置换的最终位姿。位姿确定模块140用于执行图1所示的关节假体置换术前规划方法中的s104
‑
s105，以及图8所示的用于确定假体初始位姿的方法中的s301
‑
s303。
76.图10示装置中400的各个模块/单元具有实现图1、图2和图8中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。
77.图11示出了本公开实施例提供的计算设备700的硬件结构示意图。
78.计算设备700可以包括处理器701以及存储有计算机程序指令的存储器702。
79.具体地，上述处理器701可以包括中央处理器（central processing unit，cpu），或者特定集成电路（application specific integrated circuit，asic），或者可以被配置成实施本公开实施例的一个或多个集成电路。
80.存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器702可包括硬盘驱动器（hard disk drive，hdd）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（universal serial bus，usb）驱动器或者两个或更多个这些的组合。在一个实例中，存储器702可以包括可移除或不可移除(或固定)的介质，或者存储器302是非易失性固态存储器。存储器702可在综合网关容灾设备的内部或外部。
81.在一个实例中，存储器702可以是只读存储器（read only memory，rom）。在一个实例中，该rom可以是掩模编程的rom、可编程rom（prom）、可擦除prom（eprom）、电可擦除prom（eeprom）、电可改写rom（earom）或闪存或者两个或更多个以上这些的组合。
82.存储器702可以包括只读存储器（rom），随机存取存储器（ram），磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形（非暂态）计算机可读存储介质（例如，存储器设备），并且当该软件被执行（例如，由一个或多个处理器）时，其可操作来执行参考根据本公开的一方面的方法所描述的操作。
83.处理器701通过读取并执行存储器702中存储的计算机程序指令，以实现图2所示实施例中的方法/步骤s101至s104，并达到图1和图2所示实例执行其方法/步骤达到的相应技术效果，为简洁描述在此不再赘述。
84.在一个示例中，计算设备700还可包括通信接口703和总线710。其中，如图11所示，处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。
85.通信接口703，主要用于实现本公开实施例中各模块、装置、单元和/或设备之间的通信。
86.总线710包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口（accelerated graphics port，agp）或其他图形总线、增强工业标准架构（extended industry standard architecture，eisa）总线、前端总线（front side bus，fsb）、超传输（hyper transport，ht）互连、工业标准架构
（industry standard architecture，isa）总线、无限带宽互连、低引脚数（lpc）总线、存储器总线、微信道架构（mca）总线、外围组件互连（pci）总线、pci
‑
express（pci
‑
e）总线、串行高级技术附件（sata）总线、视频电子标准协会局部（vlb）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线710可包括一个或多个总线。尽管本公开实施例描述和示出了特定的总线，但本公开考虑任何合适的总线或互连。
87.另外，结合上述实施例中的关节置换术前规划方法，本公开实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种关节置换术前规划方法。
88.需要明确的是，本公开并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本公开的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本公开的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
89.以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（application specific integrated circuit，asic）、适当的固件、插件、功能卡等等。当以软件方式实现时，本公开的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom（erom）、软盘、cd
‑
rom、光盘、硬盘、光纤介质、射频（radio frequency，rf）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
90.还需要说明的是，本公开中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本公开不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
91.上面参考根据本公开的实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
92.以上所述，仅为本公开的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本公开的保护范围之内。