血管数据集扩增方法及装置、电子设备和存储介质与流程

1.本公开涉及图像处理领域，尤其涉及一种血管数据集扩增方法及装置、电子设备和存储介质。


背景技术：

2.头颈血管是人体血液循环系统的重要组成部分，其解剖位置大致为颅底以下、主动脉弓以上的大血管部位。头颈血管主要包括起源于主动脉弓的头臂干(brachiocephalic trunk，bct)、左颈总动脉(common carotid artery，cca)及左锁骨下动脉(subclavian artery，sa)；起源于bct的右侧cca和sa；分别起源于左右cca的对应侧颈外与颈内动脉；以及分别起源于左右sa的对应侧椎动脉(vertebral artery，va)。
3.颈部动脉是承担颅脑及头部其他器官供血的重要血管。当血脂过高时，多余的脂肪会沉积于血管壁，引起颈部动脉的狭窄或闭塞。此时脑部供血会减少，从而提升脑组织的缺血与卒中的风险。因此对于颈动脉疾病的早期诊断就尤为重要。而将头颈血管从dicom影像序列中进行分割识别，并且按照解剖学部位准确地分段，是诊断的第一步，也是重要的一步。其分段准确率会影响最终的诊断结果。
4.目前，对于头颈血管的分割与分段过程，已经有成熟的深度神经网络比如u-net及其改进网络能够胜任。神经网络一般需要经过模型训练和模型预测的过程。在训练阶段，分段模型需要一批血管区域的标注数据及其解剖区域标注数据。然而，头颈各个血管的起源并不总是唯一的，有几种常见的变异型，如左侧cca与bct共干，左侧va起源于主动脉弓等等。图1展示了左侧va起源于左侧sa的常见型和左侧va起源于主动脉弓的变异型。由于这些变异型在临床数据中的占比较小，训练集无法搜集到充足的变异型数据，最终训练出来的模型泛化性不高。在类似的场景中，如血管存在变异可能且变异型数据量很小，训练得到的模型在预测阶段的表现不理想。


技术实现要素：

5.有鉴于此，本公开提出了一种血管数据集扩增方法及装置、电子设备和存储介质，可以实现血管数据集的扩增，提高训练后模型的性能。
6.一方面，本公开实施例所述血管数据集扩增方法，包括以下步骤：
7.获取医学图像以及医学图像中血管的分割与分段结果的第一标注数据集，所述医学图像包括目标血管；
8.从所述第一标注数据集中确定并移除所述目标血管的标注数据；
9.确定与所述目标血管对应的生成血管的起点和终点的空间坐标，以及起点和终点的方向向量；
10.根据所述空间坐标以及所述方向向量，基于预设的曲线类型，构建连接所述起点和所述终点的至少一条生成血管的血管中心线；
11.根据所述血管中心线、以及所述起点和所述终点处的轮廓点集，构建所述至少一
条生成血管的轮廓；
12.根据所述血管中心线和所述轮廓，得到所述至少一条生成血管的标注数据；
13.根据所述至少一条生成血管的标注数据，以及移除所述目标血管的标注数据后的第一标注数据集，得到第二标注数据集，所述第二标注数据集用于对血管识别模型进行训练，使训练后的血管识别模型能够对血管进行识别。
14.在一种可能的实现方式中，所述生成血管的起点的位置和方向向量分别与所述目标血管的起点的位置和方向向量相同，所述生成血管的终点的方向向量根据所设置的终点的位置确定。
15.在一种可能的实现方式中，所述预设的曲线类型包括贝塞尔曲线或抛物线中的任意一种。
16.在一种可能的实现方式中，所述构建所述至少一条生成血管的轮廓包括：
17.根据所述起点和所述终点处的轮廓点集，计算所述血管中心线上每一个插值点所对应的轮廓；
18.根据所述血管中心线上每一个插值点所对应的轮廓构成所述生成血管的轮廓。
19.在一种可能的实现方式中，所述根据所述血管中心线和所述轮廓，得到所述至少一条生成血管的标注数据，包括：
20.将所述血管中心线上每一个插值点所对应的轮廓填充成插值平面；
21.将每一个所述插值平面转换到所述医学图像的像素空间中，得到每一个所述插值平面的标注数据；
22.根据所述每一个所述插值平面的标注数据构成所述生成血管的标注数据。
23.另一方面，本公开实施例所述血管数据集扩增装置，包括：
24.获取模块，用于获取医学图像以及医学图像中血管的分割与分段结果的第一标注数据集，所述医学图像包括目标血管；
25.移除模块，用于从所述第一标注数据集中确定并移除所述目标血管的标注数据；
26.确定模块，用于确定与所述目标血管对应的生成血管的起点和终点的空间坐标，以及起点和终点的方向向量；
27.中心线构建模块，用于根据所述空间坐标以及所述方向向量，基于预设的曲线类型，构建连接所述起点和所述终点的至少一条生成血管的血管中心线；
28.轮廓构建模块，用于根据所述血管中心线、以及所述起点和所述终点处的轮廓点集，构建所述至少一条生成血管的轮廓；
29.标注数据确定模块，用于根据所述血管中心线和所述轮廓，得到所述至少一条生成血管的标注数据；
30.标注数据集确定模块，用于根据所述至少一条生成血管的标注数据，以及移除所述目标血管的标注数据后的第一标注数据集，得到第二标注数据集，所述第二标注数据集用于对血管识别模型进行训练，使训练后的血管识别模型能够对血管进行识别。
31.在一种可能的实现方式中，所述生成血管的起点的位置和方向向量分别与所述目标血管的起点的位置和方向向量相同，所述生成血管的终点的方向向量根据所设置的终点的位置确定。
32.在一种可能的实现方式中，所述预设的曲线类型包括贝塞尔曲线或抛物线中的任
意一种。
33.在一种可能的实现方式中，所述构建所述至少一条生成血管的轮廓包括：
34.根据所述起点和所述终点处的轮廓点集，计算所述血管中心线上每一个插值点所对应的轮廓；
35.根据所述血管中心线上每一个插值点所对应的轮廓构成所述生成血管的轮廓。
36.在一种可能的实现方式中，所述根据所述血管中心线和所述轮廓，得到所述至少一条生成血管的标注数据，包括：
37.将所述血管中心线上每一个插值点所对应的轮廓填充成插值平面；
38.将每一个所述插值平面转换到所述医学图像的像素空间中，得到每一个所述插值平面的标注数据；
39.根据所述每一个所述插值平面的标注数据构成所述生成血管的标注数据。
40.另一方面，本公开实施例所述电子装置，包括：
41.处理器；
42.用于存储处理器可执行指令的存储器；
43.其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。
44.另一方面，本公开实施例所述非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
45.本公开通过移除标注数据集中目标血管的标注数据，以构建的生成血管的标注数据代替，来实现血管数据集的扩增。本公开可以由一例目标血管的标注数据生成多例不同形态的生成血管的标注数据。同时，这一流程可以批量进行，使得本公开可以实现由一批目标血管的标注数据生成一批等量甚至更为庞大的生成血管的标注数据，从而实现扩增数据集的目标。并且，在这一过程中，只有在指定每一例数据的生成血管的最终连接位置时需要耗费几秒钟的人工交互时间，其余过程全自动完成，节约了大量人工干预的时间。
46.根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
47.包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
48.图1示出了左侧va起源于左侧sa的常见型血管和左侧va起源于主动脉弓的变异型血管。
49.图2示出了根据本公开一实施例的血管数据集扩增方法的流程图。
50.图3示出了根据本公开一实施例在第一标注数据集中对左侧va进行移除的示意图。
51.图4示出了本公开一实施例的生成血管的起点、终点及起点和终点处的方向向量。
52.图5示出了根据本公开一实施例基于贝塞尔曲线方程在选取不同控制点的情况下生成的血管中心线。
53.图6示出了根据本公开一实施例基于抛物线方程生成的血管中心线。
54.图7示出了根据本公开一实施例基于贝塞尔曲线方程和抛物线方程生成的血管。
55.图8示出了根据一示例性实施例示出的一种电子装置1900的框图。
具体实施方式
56.以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。
57.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
58.另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
59.图2示出根据本公开一实施例的血管数据集扩增方法的流程图。如图2所示，该方法具体包括以下步骤：
60.s1、获取医学图像以及医学图像中血管的分割与分段结果的第一标注数据集，所述医学图像包括目标血管。
61.示例性的，目标血管为头颈血管等需要模型进行识别的、任意类型的血管。医学图像例如是医学dicom影像等任意类型的医学图像。以头颈血管为例，可将头颈血管从医学dicom影像中进行分割识别，并且按照解剖学部位分段，得到一批常见型头颈血管的分割与分段结果的标注数据，作为第一标注数据集。可按照检查时间将第一标注数据集分为不同的样本，每个样本中包含相应的分割和分段标注结果。
62.在一个实施例中，可选的，目标血管包括但不限于左侧va、左侧cca、右侧sa、右侧cca。
63.在本实施例中，以目标血管为左侧va起源于左侧sa的常见型血管为例进行解释说明。
64.s2、从所述第一标注数据集中确定并移除所述目标血管的标注数据。
65.头颈血管的分段标注结果，是在分割标注的基础上，依照解剖学结构进行分区标注的。因此根据分段标注数据的标签，可以在分割标注数据上定位到目标血管，例如左侧va，的具体位置，然后同时删除分割与分段标注数据中左侧va的具体区段。在第一标注数据集中对左侧va进行移除的过程如图3所示。
66.s3、确定与所述目标血管对应的生成血管的起点和终点的空间坐标，以及起点和终点的方向向量。
67.在一种可能的实现方式中，所述生成血管的起点的位置和方向向量分别与所述目标血管的起点的位置和方向向量相同。可以借助于一些医学dicom影像查看软件确定目标血管的起点的空间坐标。软件自身具有展示图像的meta信息以及每一个空间像素点的像素坐标的功能。在具备一定的解剖学基础的情况下，可以在影像上找到目标血管的起点，然后依据dicom影像自身的meta信息计算出基于dicom标准定义的患者坐标系(patient coordinate)下的空间三维点坐标。患者坐标系(以下称为oxyz坐标系)的原点坐标和三个轴的方向均可以通过dicom影像的meta信息获取。在确定目标血管的起点的空间坐标后，可以在oxyz坐标系中计算起点处的方向向量。生成血管的起点及起点处的方向向量分别与目标血管的起点及起点处的方向向量一致，可以保证构造出来的生成血管段与现有血管段光滑过渡，更加接近真实血管情况。
68.在一种可能的实现方式中，所述生成血管的终点的方向向量根据所设置的终点的位置确定。生成血管的终点可以由人工指定，生成血管终点处的方向向量是终点处的血管外表面的曲面法向量。
69.在本实施例中，以生成血管为左侧va起源于主动脉弓的变异型血管为例进行解释说明。生成血管的起点、终点及起点和终点处的方向向量如图4所示。其中，生成血管的起点及起点处的方向向量分别与图3中被移除的左侧va的起点及起点处的方向向量一致；生成血管的终点位于主动脉弓上，由于主动脉弓的外表面是一个曲面，生成血管终点处的方向向量是终点处的曲面法向量。
70.s4、根据所述空间坐标以及所述方向向量，基于预设的曲线类型，构建连接所述起点和所述终点的至少一条生成血管的血管中心线。
71.在一种可能的实现方式中，所述预设的曲线类型包括贝塞尔曲线。贝塞尔曲线参数方程可表示成如下形式：
[0072][0073]
其中，pi为控制点，p0为生成血管的起点，pn为生成血管的终点，n为控制点的个数，参数u为分割线段p0pn的比例，设a为线段p0pn上的一点，则u＝p0a/p0pn。b
i,n
为加权项，其表达式如下：
[0074][0075]
基于贝塞尔曲线方程构造血管中心线的示例性步骤如下：
[0076]
(1)根据之前确定的生成血管的起点和终点的空间坐标以及起点和终点处的方向向量，构造两条射线，所述射线的端点分别为生成血管的起点和终点，所述射线的方向分别与生成血管的起点和终点处的方向向量一致，在这两条射线上除两个端点以外的其他位置，随机选取至少一个点作为控制点；
[0077]
(2)在参数u的取值区间[0,1]内以一定的步长均匀取值，所述步长可以由本领域技术人员根据实际需要进行选择，针对每一个参数u的取值计算加权项b
i,n
(u)，进而计算相应的插值点坐标p(u)；即，u的取值步长越大，插值点密度越低，每个u值可对应求出一个插值点坐标；
[0078]
(3)将整个计算过程向量化，将所有计算得到的插值点顺次连接构成一条贝塞尔曲线，作为生成血管的血管中心线。其中计算过程向量化可基于相关技术实现。
[0079]
基于贝塞尔曲线方程在选取不同控制点的情况下生成的血管中心线如图5所示。由于控制点个数和位置的随机性，最后生成的血管中心线也具有一定的随机效果。基于贝塞尔曲线方程构造血管中心线可以保证连接位置在视觉上过渡自然，生成的血管段平滑，更加逼近真实情况。同时，将整个计算过程向量化使实现过程简单方便，执行效率更高。
[0080]
在一种可能的实现方式中，所述预设的曲线类型包括抛物线。
[0081]
基于抛物线方程构造血管中心线的示例性步骤如下：
[0082]
(1)以之前确定的生成血管的起点为原点o’，以起点处的方向向量为x’轴，用x’轴与生成血管的起点和终点的连线做向量外积得到z’轴，用得到的x’轴与z’轴再一次做向量外积得到y’轴，由此构建一个新的三维坐标系o’x’y’z’；
[0083]
(2)在x’o’y’平面上，构建过原点且焦点位于纵轴上的抛物线，所述抛物线的参数方程可如下表示：
[0084][0085]
其中，u0,u1,
…
,un为参数u的取值，u
n1
、u
n2
分别表示un的1次方、2次方。a以抛物线经过生成血管的起点和终点的坐标作为限定条件解出，k为抛物线的长度，k可以根据抛物线方程及生成血管的起点和终点的坐标，利用弧微分公式的积分计算得到；
[0086]
(3)在参数u的取值区间[0,k]内以一定的步长均匀取值，得到u0,u1,
…
,un，所述步长可以由本领域技术人员根据实际需要进行选择，针对每一个参数u的取值计算相应的插值点坐标p(u)，将所有计算得到的插值点顺次连接构成一条抛物线；即，u的取值步长越大，插值点密度越低，每个u值可对应求出一个插值点坐标；
[0087]
(4)利用空间坐标变换原理，将在o’x’y’z’坐标系中生成的抛物线转换到oxyz坐标系中，得到生成血管的血管中心线。
[0088]
基于抛物线方程生成的血管中心线如图6所示。构造过原点且焦点位于纵轴上的抛物线可以保证抛物线起点处的切向量与生成血管起点处的方向向量一致，从而保证构造出来的生成血管段与现有血管段光滑过渡。
[0089]
s5、根据所述血管中心线、以及所述起点和所述终点处的轮廓点集，构建所述至少一条生成血管的轮廓。
[0090]
在一种可能的实现方式中，所述构建所述至少一条生成血管的轮廓包括：
[0091]
根据所述起点和所述终点处的轮廓点集，计算所述血管中心线上每一个插值点所对应的轮廓；
[0092]
根据所述血管中心线上每一个插值点所对应的轮廓构成所述生成血管的轮廓。
[0093]
计算所述血管中心线上每一个插值点所对应的轮廓的示例性步骤如下：
[0094]
(1)在生成血管的起点处，以之前确定的起点处的方向向量作为法向量构造一个平面，根据所述平面与现有血管段相交的截面，计算出现有血管段与所述平面相交处的血管的平均半径r，以一定的采样间隔对所述截面的轮廓进行采样，得到所述截面的插值轮廓点，所述截面的轮廓为所述截面上以所述起点为圆心、以r为半径的圆形，所述采样间隔可以由本领域技术人员根据实际需要进行选择，所述截面的插值轮廓点构成起点处的截面轮廓点集；
[0095]
(2)在生成血管的终点处，以之前确定的终点处的方向向量作为法向量，以r为半径构造圆面，以一定的采样间隔对所述圆面的轮廓进行采样，得到所述圆面的插值轮廓点，所述采样间隔与生成血管的起点处的截面轮廓的采样间隔相同，所述圆面的插值轮廓点构成终点处的截面轮廓点集；
[0096]
(3)根据所述起点和所述终点处的截面轮廓点集，可以确定起点与终点处的每一个插值轮廓点的坐标的对应关系，所述对应关系为每一个起点处的插值轮廓点坐标对应一个终点处的插值轮廓点坐标；
[0097]
(4)对于血管中心线上的每一个插值点，根据它是第几个插值点与总的插值点数之比，可以确定一个比例λ，根据所述对应关系确定的每一对插值轮廓点坐标(x1,y1,z1)和(x2,y2,z2)，可以利用定比分点坐标公式计算出所述插值点对应的轮廓点坐标(x,y,z)，计算公式如下：
[0098][0099]
(5)计算得到的所有所述插值点对应的轮廓点坐标构成所述插值点对应的轮廓。
[0100]
根据计算得到的血管中心线上每一个插值点所对应的轮廓，构成生成血管的轮廓。
[0101]
s6、根据所述血管中心线和所述轮廓，得到所述至少一条生成血管的标注数据。
[0102]
在一种可能的实现方式中，所述根据所述血管中心线和所述轮廓，得到所述至少一条生成血管的标注数据，包括：
[0103]
将所述血管中心线上每一个插值点所对应的轮廓填充成插值平面；
[0104]
将每一个所述插值平面转换到所述医学图像的像素空间中，得到每一个所述插值平面的标注数据；
[0105]
根据所述每一个所述插值平面的标注数据构成所述生成血管的标注数据。
[0106]
其中，所述生成血管的标注数据可包括：生成血管的分割与分段结果的标注数据，其可与第一标注数据集中的标注数据内容和数据格式相同，以便于与第一标注数据集进行融合。
[0107]
轮廓填充成插值平面可通过相关技术中的填充技术实现。所述将每一个所述插值平面转换到所述医学图像的像素空间中，可以利用空间坐标变换原理实现。
[0108]
基于贝塞尔曲线方程和抛物线方程生成的血管如图7所示。所述生成的血管为左侧va起源于主动脉弓的变异型血管。利用定比分点坐标公式计算血管中心线上每个插值点对应的轮廓，可以使每个插值点处生成的轮廓的形状从起点到终点是均匀演化的，从而使构造出来的生成血管段的走势和外形都平滑过渡，更加逼近真实情形。
[0109]
s7、根据所述至少一条生成血管的标注数据，以及移除所述目标血管的标注数据后的第一标注数据集，得到第二标注数据集。
[0110]
将所述至少一条生成血管的标注数据补充进移除所述目标血管的标注数据后的第一标注数据集中，得到第二标注数据集。所述第二标注数据集用于对血管识别模型进行训练，使训练后的血管识别模型能够对血管进行识别。
[0111]
需要说明的是，尽管以生成血管为左侧va起源于主动脉弓的变异型作为示例介绍了血管数据集扩增方法如上，但本领域技术人员能够理解，本公开应不限于此。实际操作中，对于其他变异型如左侧cca与bct共干、右侧sa和右侧cca都起源于主动脉弓等情形，利用本公开所述方法亦能起到类似的效果。本公开所述血管数据集扩增方法包括但不限于已提及的头颈血管的其他变异型数据。
[0112]
这样，通过移除标注数据集中目标血管的标注数据，以构建的生成血管的标注数据代替，本公开实施例可以由一例常见型头颈血管标注数据生成多例不同形态的变异型头颈血管标注数据。同时，这一流程可以批量进行，由一批常见型头颈血管标注数据，生成一
批等量甚至更为庞大的变异型头颈血管标注数据，实现扩增数据集的目标。另外在这个过程中，只有在指定每一例数据的生成血管段最终连接位置的时候，需要耗费几秒钟的人工交互时间，其余过程全自动完成，节约了大量人工干预的时间。
[0113]
另一方面，本公开实施例所述血管数据集扩增装置，包括：
[0114]
获取模块，用于获取医学图像以及医学图像中血管的分割与分段结果的第一标注数据集，所述医学图像包括目标血管；
[0115]
移除模块，用于从所述第一标注数据集中确定并移除所述目标血管的标注数据；
[0116]
确定模块，用于确定与所述目标血管对应的生成血管的起点和终点的空间坐标，以及起点和终点的方向向量；
[0117]
中心线构建模块，用于根据所述空间坐标以及所述方向向量，基于预设的曲线类型，构建连接所述起点和所述终点的至少一条生成血管的血管中心线；
[0118]
轮廓构建模块，用于根据所述血管中心线、以及所述起点和所述终点处的轮廓点集，构建所述至少一条生成血管的轮廓；
[0119]
标注数据确定模块，用于根据所述血管中心线和所述轮廓，得到所述至少一条生成血管的标注数据；
[0120]
标注数据集确定模块，用于根据所述至少一条生成血管的标注数据，以及移除所述目标血管的标注数据后的第一标注数据集，得到第二标注数据集，所述第二标注数据集用于对血管识别模型进行训练，使训练后的血管识别模型能够对血管进行识别。
[0121]
在一种可能的实现方式中，所述生成血管的起点的位置和方向向量分别与所述目标血管的起点的位置和方向向量相同，所述生成血管的终点的方向向量根据所设置的终点的位置确定。
[0122]
在一种可能的实现方式中，所述预设的曲线类型包括贝塞尔曲线或抛物线中的任意一种。
[0123]
在一种可能的实现方式中，所述构建所述至少一条生成血管的轮廓包括：
[0124]
根据所述起点和所述终点处的轮廓点集，计算所述血管中心线上每一个插值点所对应的轮廓；
[0125]
根据所述血管中心线上每一个插值点所对应的轮廓构成所述生成血管的轮廓。
[0126]
在一种可能的实现方式中，所述根据所述血管中心线和所述轮廓，得到所述至少一条生成血管的标注数据，包括：
[0127]
将所述血管中心线上每一个插值点所对应的轮廓填充成插值平面；
[0128]
将每一个所述插值平面转换到所述医学图像的像素空间中，得到每一个所述插值平面的标注数据；
[0129]
根据所述每一个所述插值平面的标注数据构成所述生成血管的标注数据。
[0130]
另一方面，本公开实施例所述电子装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。
[0131]
另一方面，本公开实施例所述非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
[0132]
图8是根据一示例性实施例示出的一种电子装置1900的框图。例如，装置1900可以被提供为一服务器或终端设备。参照图8，装置1900包括处理组件1922，其进一步包括一个
或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
[0133]
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(i/o)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm或类似。
[0134]
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
[0135]
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
[0136]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0137]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0138]
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c 等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方
面。
[0139]
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0140]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0141]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0142]
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0143]
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。