OCT回拉图像拼接方法、显示方法、系统和存储介质与流程

oct回拉图像拼接方法、显示方法、系统和存储介质
技术领域
1.本技术属于图像处理技术领域，尤其涉及一种oct回拉图像拼接方法、显示方法、系统和存储介质。


背景技术：

2.光学相干断层扫描技术(optical coherence tomography，oct)是近年来发展的一种影像诊断技术，可通过扫描可得到生物组织的二维或三维结构图像。在采用oct对冠脉血管等进行扫描时，可回拉扫描得到不同长度血管段的oct回拉图像，但当前回拉长度比较有限，比如只能回拉40毫米(mm)、55mm、80mm。在此情况下，若医生想要观看80mm以上血管段的oct回拉图像，则需要来回切换不同的oct回拉图像进行比对，操作复杂且容易遗漏图像信息。
3.为解决上述问题，传统技术增加了oct扫描时回拉长度，进而得到更长血管段的oct回拉图像。但是，若增加回拉长度，则需要冲洗的血管腔段也更长，便会造成冲洗时间长、冲洗不干净的现象，进而导致所得到的oct回拉图像的图像质量较差。


技术实现要素：

4.本技术提供了一种oct回拉图像拼接方法、显示方法、系统和存储介质，可以解决传统技术中所得到的oct回拉图像的图像质量较差的问题。
5.第一方面，本技术提供了一种oct回拉图像拼接方法，包括：
6.获取待拼接的至少两个oct回拉图像序列；
7.分别识别至少两个oct回拉图像序列中的目标区域；该目标区域包括管腔区域、血管壁位置和导丝位置中的至少一个；
8.根据至少两个oct回拉图像序列中的目标区域，对至少两个oct回拉图像序列进行拼接，得到拼接oct回拉图像。
9.上述实现方式中，根据至少两个oct回拉图像序列中的目标区域对oct回拉图像序列进行拼接，得到拼接oct回拉图像，不需要增加导管的回拉长度，进而不需要进行更长血管腔段的冲洗操作来获得更长血管的oct回拉图像，即可以减少冲洗不干净的现象，进而提高了得到的oct回拉图像的图像质量。
10.在第一方面的一种可能的实现方式中，在上述根据至少两个oct回拉图像序列中的目标区域，对至少两个oct回拉图像序列进行拼接，得到拼接oct回拉图像之前，上述方法还包括：
11.对至少两个oct回拉图像序列中的第一oct回拉图像序列和第二oct回拉图像序列进行相似度匹配，确定连续帧图像；其中，连续帧图像表征第一oct回拉图像序列和第二oct回拉图像序列进行拼接的连接图像；
12.相应的，根据至少两个oct回拉图像序列中的目标区域，对至少两个oct回拉图像序列进行拼接，得到拼接oct回拉图像，包括：
13.根据连续帧图像和目标区域，对第一oct回拉图像序列和第二oct回拉图像序列进行拼接，得到拼接oct回拉图像。
14.上述实现方式中，首先确定第一oct回拉图像序列与第二oct回拉图像序列中的连续帧图像，再根据连续帧图像对第一oct回拉图像序列和第二oct回拉图像序列进行拼接，得到拼接oct回拉图像。由此可去除第二oct回拉图像序列中与第一oct回拉图像序列重复的图像，以提高得到的拼接oct回拉图像的准确性。
15.在第一方面的一种可能的实现方式中，上述对至少两个oct回拉图像序列中的第一oct回拉图像序列和第二oct回拉图像序列进行相似度匹配，确定连续帧图像，包括：
16.将第一oct回拉图像序列中最后一帧图像与第二oct回拉图像序列中每一帧图像进行相似度匹配，确定第二oct回拉图像序列中与最后一帧图像相似度大于或者等于第一预设阈值的目标图像；
17.将最后一帧图像和目标图像的下一帧图像确定为连续帧图像。
18.上述实现方式中，通过相似度匹配确定连续帧图像，可去除第二oct回拉图像序列中与第一oct回拉图像序列重复的图像，以提高得到的拼接oct回拉图像的准确性。
19.在第一方面的一种可能的实现方式中，上述根据连续帧图像和目标区域，对第一oct回拉图像序列和第二oct回拉图像序列进行拼接，得到拼接oct回拉图像，包括：
20.将第一oct回拉图像序列中最后一帧图像与第二oct回拉图像中目标图像的下一帧图像作为拼接接口，根据目标区域对第一oct回拉图像序列和第二oct回拉图像序列进行拼接，得到拼接oct回拉图像。
21.上述实现方式中，可去除第二oct回拉图像序列中与第一oct回拉图像序列重复的图像，以提高得到的拼接oct回拉图像的准确性。
22.在第一方面的一种可能的实现方式中，若待拼接的oct回拉图像序列为第一oct回拉图像序列中的第一段图像序列和第二oct回拉图像序列中的第二段图像序列，根据连续帧图像和目标区域，对第一oct回拉图像序列和第二oct回拉图像序列进行拼接，得到拼接oct回拉图像，包括：
23.在第一段图像序列中包括连续帧图像的情况下，若第二段图像序列中包括连续帧图像，将连续帧图像作为拼接接口，根据目标区域对第一段图像序列和第二段图像序列进行拼接，得到拼接oct回拉图像；
24.若第二段图像序列中不包括连续帧图像，计算第二段图像序列中第一帧图像与连续帧图像的相隔帧数，若相隔帧数小于或者等于第二预设阈值，根据目标区域对第一段图像序列和第二段图像序列进行拼接，得到拼接oct回拉图像；
25.在第一段图像序列中不包括连续帧图像的情况下，若第二段图像序列中不包括连续帧图像，计算第一帧数与第二帧数的帧数之和，若帧数之和小于或者等于第二预设阈值，根据目标区域对第一段图像序列和第二段图像序列进行拼接，得到拼接oct回拉图像；其中，第一帧数为第一段图像序列中最后一帧图像与连续帧图像的相隔帧数，第二帧数为第二段图像序列中第一帧图像与连续帧图像的相隔帧数；
26.若第二段图像序列中包括连续帧图像，计算第一段图像序列中最后一帧图像与连续帧图像的相隔帧数，若相隔帧数小于或者等于第二预设阈值，根据目标区域对第一段图像序列和第二段图像序列进行拼接，得到拼接oct回拉图像。
27.上述实现方式中，通过对第一段图像序列和第二段图像序列是否包括连续帧图像进行判断，来确定对应的拼接接口，适应不同情况下的oct回拉图像序列拼接过程，灵活度较高。
28.在第一方面的一种可能的实现方式中，目标区域为导丝位置，上述根据至少两个oct回拉图像序列中的目标区域，对至少两个oct回拉图像序列进行拼接，得到拼接oct回拉图像，包括：
29.对于每个oct回拉图像序列，根据导丝位置与基准方向的偏移角度，对每一帧图像进行旋转，得到配准后的oct回拉图像序列；
30.对至少两个配准后的oct回拉图像序列进行拼接，得到拼接oct回拉图像。
31.上述实现方式中，先对待拼接的oct回拉图像序列进行配准，进而对配准后的oct回拉图像序列进行拼接，以提高拼接oct回拉图像的准确性。
32.在第一方面的一种可能的实现方式中，上述分别识别至少两个oct回拉图像序列中的目标区域，包括：
33.判断至少两个oct回拉图像序列的帧间距是否相同，若相同，则分别识别至少两个oct回拉图像序列中的目标区域。
34.上述实现方式中，在帧间距相同的情况下才对待拼接的oct回拉图像序列进行拼接，符合实际的应用场景，并提高了拼接oct回拉图像的准确性。
35.第二方面，本技术提供了一种oct回拉图像拼接装置，包括：
36.获取模块，用于获取待拼接的至少两个oct回拉图像序列；
37.识别模块，用于分别识别至少两个oct回拉图像序列中的目标区域；目标区域包括管腔区域、血管壁位置和导丝位置中的至少一个；
38.拼接模块，用于根据至少两个oct回拉图像序列中的目标区域，对至少两个oct回拉图像序列进行拼接，得到拼接oct回拉图像。
39.第三方面，本技术提供了一种服务器，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的oct回拉图像拼接方法。
40.第四方面，本技术提供了一种oct回拉图像拼接系统，包括客户端和服务器；
41.客户端接收用户输入的拼接指令，并将拼接指令发送至服务器；拼接指令携带待拼接的至少两个oct回拉图像序列；
42.服务器接收拼接指令，执行上述第一方面中任一项所述的oct回拉图像拼接方法。
43.第五方面，本技术提供了一种oct回拉图像拼接显示方法，应用于上述第四方面中所述的系统，该方法包括：
44.客户端接收用户输入的拼接指令，该拼接指令携带待拼接的至少两个oct回拉图像序列；
45.服务器接收拼接指令，确定至少两个oct回拉图像序列的连续帧图像和目标区域，并根据连续帧图像和目标区域对至少两个oct回拉图像序列进行拼接，得到拼接oct回拉图像；
46.客户端将包括连续帧图像的至少两个oct回拉图像序列、以及拼接oct回拉图像显示给用户。
47.第六方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的oct回拉图像拼接方法或第五方面所述的oct回拉图像拼接显示方法。
48.第七方面，本技术提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行上述第一方面中任一项所述的oct回拉图像拼接方法或第五方面所述的oct回拉图像拼接显示方法。
49.可以理解的是，上述第二方面至第七方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
50.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
51.图1是本技术一实施例提供的oct回拉图像拼接系统示意图；
52.图2是本技术一实施例提供的oct回拉图像拼接过程的一操作界面示意图；
53.图3中的(a)图是本技术一实施例提供的oct回拉图像拼接过程的另一操作界面示意图；
54.图3中的(b)图是本技术一实施例提供的oct回拉图像拼接过程的又一操作界面示意图；
55.图3中的(c)图是本技术一实施例提供的oct回拉图像拼接过程的又一操作界面示意图；
56.图4是本技术一实施例提供的待拼接的oct回拉图像序列的展示示意图；
57.图5是本技术一实施例提供的oct回拉图像拼接方法的流程示意图；
58.图6是本技术一实施例提供的所得到的拼接oct回拉图像的效果示意图；
59.图7是本技术一实施例提供的oct回拉图像拼接过程的又一操作界面示意图；
60.图8是本技术另一实施例提供的oct回拉图像拼接方法的流程示意图；
61.图9中的(a)图是本技术一实施例提供的第一段图像序列和第二段图像序列的一个示例图；
62.图9中的(b)图是本技术一实施例提供的第一段图像序列和第二段图像序列的另一示例图；
63.图9中的(c)图是本技术一实施例提供的第一段图像序列和第二段图像序列的又一示例图；
64.图9中的(d)图是本技术一实施例提供的第一段图像序列和第二段图像序列的又一示例图；
65.图9中的(e)图是本技术一实施例提供的第一段图像序列和第二段图像序列的又一示例图；
66.图10中的(a)图是本技术一实施例提供的第一段图像序列和第二段图像序列的又一示例图；
67.图10中的(b)图是本技术一实施例提供的第一段图像序列和第二段图像序列的又一示例图；
68.图10中的(c)图是本技术一实施例提供的第一段图像序列和第二段图像序列的又一示例图；
69.图10中的(d)图是本技术一实施例提供的第一段图像序列和第二段图像序列的又一示例图；
70.图10中的(e)图是本技术一实施例提供的第一段图像序列和第二段图像序列的又一示例图；
71.图11是本技术又一实施例提供的oct回拉图像拼接方法的流程示意图；
72.图12是本技术实施例提供的oct回拉图像拼接装置的结构示意图；
73.图13是本技术实施例提供的服务器的结构示意图。
74.附图标记说明：
75.1：客户端；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
2：服务器。
具体实施方式
76.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
77.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在本技术说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
78.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0079]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0080]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0081]
当前，在oct回拉成像时，通常只能回拉40mm、55mm、80mm，若医生想要观看80mm以上血管段的oct回拉图像，则需要通过观察多个不同的oct回拉图像，并来回切换进行对比，以获取完整的血管段信息，这种操作明显比较复杂并且容易遗漏图像信息。对于此问题，传
统技术通过增加oct扫描回拉长度，以得到更长血管段的oct回拉图像，进而使医生获取完整的血管段信息。但是，在增加回拉长度时，需要冲洗的血管腔段也相应的更长，这样会造成冲洗时间长、冲洗不干净的现象，导致所得到的oct回拉图像的图像质量较差。本技术实施例提供的oct回拉图像拼接方法、显示方法、系统和存储介质，旨在解决上述技术问题。
[0082]
本技术实施例提供的oct回拉图像拼接方法，可以适用于如图1所示的系统中，其中，客户端1与服务器2之间可以传输数据。客户端1可以为用户(如医生)所使用的设备，在客户端1上用户可以选择待拼接的oct回拉图像序列，并将待拼接的oct回拉图像序列发送至服务器2；服务器2接收到待拼接的oct回拉图像序列后，可以采用下述实施例中的方法进行拼接，得到拼接oct回拉图像。由此，可通过拼接的方法将现有的oct回拉图像进行拼接，得到更长血管段的oct回拉图像，比如可以选择40mm、55mm、80mm中的两个或多个oct回拉图像进行拼接，不再需要增加导管的回拉长度，进而不需要进行更长血管腔段的冲洗操作，即减少了冲洗不干净的现象，进而提高了得到的oct回拉图像的图像质量。
[0083]
首先介绍一下用户在客户端1上的操作过程，如图2所示，客户端1上展示了患者的基本信息以及oct扫描的oct回拉图像序列，在该界面上提供有“管腔智能拼接”按钮，当用户点击该按钮后，可以跳转至图3中的(a)图所示的展示界面。在该界面上，可以提示用户依次选择待拼接的远段血管序列和近段血管序列，当用户点击“确定”按钮后，可在图3中的(b)图界面上依次选择两个(或多个)oct回拉图像序列，此时可以按照oct回拉图像序列的选择顺序分别确认为远段血管序列和近段血管序列。比如，用户先选择oct回拉图像序列a，再选择oct回拉图像序列b，则确认a为远段血管序列，b为近段血管序列。可选地，也可以由用户选择确认将哪个oct回拉图像序列作为远段血管序列、哪个oct回拉图像序列作为近段血管序列。
[0084]
在用户选择oct回拉图像序列的过程中，如果取消了某个已选择的oct回拉图像序列，则可以进行重新选择，所重新选择的oct回拉图像序列的位置与所取消的oct回拉图像序列的位置一致；比如用户依次选择oct回拉图像序列a(远段血管序列)和b(近段血管序列)，若取消了a的选择，重新选择了oct回拉图像序列c，则c会被确认为远段血管序列，b仍为近段血管序列。如果用户同时取消了所有已选择的oct回拉图像序列，则重新进入选择oct回拉图像序列的过程。需要说明的是，在用户选择oct回拉图像序列的过程中，图3中的(b)图界面上还提供有“取消管腔智能拼接”按钮，即当用户不想进行oct回拉图像拼接时，可点击该按钮取消拼接过程。
[0085]
当用户选择完成了待拼接的oct回拉图像序列后，可跳转至图3中的(c)图所示的展示界面，该展示界面上提供有“开始管腔智能拼接”按钮，当用户点击该按钮后，可跳转至图4所示的展示界面。在该界面上展示了用户所选择的待拼接的oct回拉图像序列，并可以提示用户管腔智能拼接功能的使用方法，当用户点击“开始拼接”按钮后，客户端1即可以将待拼接的oct回拉图像序列发送至服务器2进行拼接，并显示拼接后的oct回拉图像供用户查看；服务器2进行拼接的过程可以参见下述实施例的描述。
[0086]
图5示出了本技术提供的oct回拉图像拼接方法的示意性流程图，作为示例而非限定，该方法可以应用于上述服务器2中，包括：
[0087]
s101，获取待拼接的至少两个oct回拉图像序列。
[0088]
其中，待拼接的oct回拉图像序列的数量可以为至少两个，当oct回拉图像序列的
数量为两个时，则一个为远段血管序列d、一个为近段血管序列p；当oct回拉图像序列的数量为大于两个时，则oct回拉图像序列具有由远到近的顺序，为方便理解，下面以oct回拉图像序列的数量为两个进行说明。
[0089]
s102，分别识别至少两个oct回拉图像序列中的目标区域。
[0090]
其中，该目标区域包括管腔区域、血管壁位置和导丝位置中的至少一个，管腔区域为血管内的空腔区域，血管壁包括血管上壁和下壁，导丝为先于导管放入血管中、以辅助导管进入血管的引导工具。
[0091]
具体地，服务器可以采用基于图像像素分析的方法识别oct回拉图像序列中的目标区域，也可以采用神经网络模型对oct回拉图像序列进行识别，确定其中的目标区域。
[0092]
可选地，在识别至少两个oct回拉图像序列中的目标区域之前，服务器还可以判断该至少两个oct回拉图像序列的帧间距是否相同，若相同则识别oct回拉图像序列中的目标区域，若不相同则提示用户重新选择待拼接的oct回拉图像序列。其中，用户在图3中的(b)图界面上选择待拼接的oct回拉图像序列时，若选择了两个帧间距不同的oct回拉图像序列，则可以提示用户重新选择，当用户点击了确定按钮后，可将与选择的第一个oct回拉图像序列(假设为a)帧间距相同的图像序列进行高亮显示，与a帧间距不同的图像序列进行置灰，以提示用户哪些oct回拉图像序列可选。比如，oct设备支持40mm(0.2mm/帧)、55mm(0.1mm/帧)和80mm(0.2mm/帧)三种回拉长度，当用户选择了1个80mm的oct回拉图像序列后，80mm和40mm的oct回拉图像序列高亮可选，55mm的oct回拉图像序列置灰不可选。
[0093]
s103，根据至少两个oct回拉图像序列中的目标区域，对至少两个oct回拉图像序列进行拼接，得到拼接oct回拉图像。
[0094]
具体地，服务器根据上述识别出的目标区域，可以对待拼接的oct回拉图像序列进行对齐拼接，得到拼接oct回拉图像，示例性地，所得到的拼接oct回拉图像可以参见图6。其中，在拼接过程中，服务器可以将远段血管的最后一帧图像与近段血管的第一帧图像进行融合，即得到拼接oct回拉图像。
[0095]
可选地，服务器根据管腔区域对oct回拉图像序列进行拼接时，可以根据管腔区域的边界对待拼接的oct回拉图像序列进行对齐拼接；根据血管壁位置对oct回拉图像序列进行拼接时，可以将血管上下壁位置分别对齐，以对待拼接的oct回拉图像序列进行拼接；根据导丝位置对oct回拉图像序列进行拼接时，可以基于导丝位置与基准方向的偏移角度，对待拼接的oct回拉图像序列进行旋转拼接等。需要说明的是，本技术实施例对这几种拼接方式可以单独或组合使用，在此对拼接方式不做限制。
[0096]
在oct回拉图像序列的数量为两个以上时，服务器可以先将第一个oct回拉图像序列与第二个oct回拉图像序列进行拼接，再将拼接的oct回拉图像与第三个oct回拉图像序列进行拼接，以此类推，得到最终的拼接oct回拉图像。
[0097]
可选地，得到拼接oct回拉图像后，服务器还可以对拼接oct回拉图像进行分析，生成对应的分析结果，包括但不限于3d导航、3d分叉、支架分析、虚拟流量比(virtual flow ratio，vfr)、斑块衰减指数(index of plaque attenuation，ipa)、钙化分析、冠脉造影配准(angiography co-registration，acr)等。具体的，通过深度多实例分割模型生成分叉、管腔、支架、钙化结果，完成3d分叉、3d导航、支架分析、钙化分析的功能；根据管腔分割结果以及引入流体动力学模型实现vfr；基于血管组织中的光衰减计算得到ipa的分析结果；基
于传统的机器学习技术识别出造影图像中的mark点和回拉血管路径，完成acr功能等。
[0098]
上述oct回拉图像拼接方法，服务器根据至少两个oct回拉图像序列中的目标区域对oct回拉图像序列进行拼接，得到拼接oct回拉图像，不需要增加导管的回拉长度，进而不需要进行更长血管腔段的冲洗操作来获得更长血管的oct回拉图像，即可以减少冲洗不干净的现象，进而提高了得到的oct回拉图像的图像质量。
[0099]
在一个实施例中，在上述图4所展示的界面上，若用户想要在待拼接的oct回拉图像序列上选择一段图像序列，比如在oct回拉图像序列a上选择一段图像序列作为远段血管序列，在oct回拉图像序列b上选择一段图像序列作为近段血管序列，则可以参见图7所示，在oct回拉图像序列的下方示意图上，通过滑动箭头选择一段图像序列，则所选择的两段图像序列即为待拼接的oct回拉图像序列。服务器可以对该两段图像序列进行拼接，得到拼接oct回拉图像。该方式中，可由用户自由选择想要拼接的图像序列，提高了拼接过程的灵活性。
[0100]
在一个实施例中，服务器可以采用mask rcnn网络模型对oct回拉图像序列进行识别，确定其中的目标区域。服务器将oct回拉图像序列输入该模型后，先由卷积层进行特征提取得到特征图feature map，在最后一层卷积feature map上，通过区域生成网络(region proposal network，rpn)用一个3
×
3的滑窗slide window去遍历整个feature map，在遍历过程中每个slide window的中心按比率rate，scale为(1:2，1:1，2:1)生成9个anchors，然后再利用全连接对每个anchors做二分类(分类是前景还是背景)以及初步边框回归bbox regression，最后输出较精确的300个感兴趣区域roi。之后，再将这些roi送入rpn网络进行二值分类(前景或背景)和bb回归，过滤掉一部分候选的roi，并对剩下的roi进行区域特征聚集操作roialign(即先将原图和feature map的像素pixel对应起来，然后将feature map和固定的feature对应起来)，通过roialign层对feature map进行插值使得每个窗口生成固定大小的feature map，得到三个输出向量：第一个是归一化分类softmax，第二个是边框回归bounding box，第三个是每一个roi的二进制掩码mask，通过输出向量可以确定目标区域，即管腔区域、血管壁位置和导丝位置中的至少一个。
[0101]
在使用上述神经网络模型对oct回拉图像序列进行识别之前，服务器还可以建立一组训练样本，通过人工标记的目标区域的图像训练集，训练得到能够识别目标区域的神经网络模型。
[0102]
在一个实施例中，用户所选择的待拼接的oct回拉图像序列可能会存在重复的oct回拉图像，为提高得到的拼接oct回拉图像的准确性，本技术实施例还可以对待拼接的oct回拉图像序列进行去重处理。可选地，如图8所示，在s103之前，上述方法还可以包括：
[0103]
s201，对至少两个oct回拉图像序列中的第一oct回拉图像序列和第二oct回拉图像序列进行相似度匹配，确定连续帧图像；其中，连续帧图像表征第一oct回拉图像序列和第二oct回拉图像序列进行拼接的连接图像。
[0104]
其中，本技术实施例将至少两个oct回拉图像序列中的远段血管序列称为第一oct回拉图像序列、近段血管序列称为第二oct回拉图像序列。在一种可能的实现方式中，服务器可以将第一oct回拉图像序列中每一帧图像和第二oct回拉图像序列中每一帧图像都进行相似度匹配，找出相似度大于或者等于预设阈值(如80％)的图像(可以有多个)，并从第二oct回拉图像序列中去除该图像(此时第一oct回拉图像序列中是保留该图像的)，然后将
第一oct回拉图像序列的最后一帧图像和第二oct回拉图像序列中剩余图像的第一帧图像作为连续帧图像。
[0105]
在另一种可能的实现方式中，服务器可以将第一oct回拉图像序列中最后一帧图像与第二oct回拉图像序列中每一帧图像进行相似度匹配，确定出第二oct回拉图像序列中与第一oct回拉图像序列最后一帧图像相似度大于或者等于预设阈值的目标图像。例如，第二oct回拉图像序列中包括10帧图像，第3帧图像与第一oct回拉图像序列中最后一帧图像的相似度大于预设阈值，说明第一oct回拉图像序列与第二oct回拉图像序列观测的是血管纵向上的同一位置，则可以将第3帧图像作为目标图像。然后服务器将第一oct回拉图像序列最后一帧图像和上述目标图像的下一帧图像作为连续帧图像，即将第一oct回拉图像序列的最后一帧图像与第二oct回拉图像序列的第4帧图像作为连续帧图像(也即将第二oct回拉图像序列中的第1帧-第3帧图像去除)。
[0106]
需要说明的是，若第一oct回拉图像序列的最后一帧图像与第二oct回拉图像序列的第一帧图像的相似度已大于或者等于预设阈值，则说明第一oct回拉图像序列和第二oct回拉图像序列正好连续，第一oct回拉图像序列的最后一帧图像与第二oct回拉图像序列的第一帧图像即为连续帧图像；若第一oct回拉图像序列的最后一帧图像与第二oct回拉图像序列的任一帧图像的相似度均低于预设阈值，则说明第一oct回拉图像序列和第二oct回拉图像序列具有间隔，可以提示用户重新选择待拼接的oct回拉图像序列。
[0107]
可以理解，在图7所示的界面上还可以显示出连续帧图像的位置，以方便用户进行查看。
[0108]
需要说明的是，在本技术实施例中对于如何识别连续帧的方法不仅限于上述，还可以包括基于冠脉造影显示的acr进行连续帧的判断，在此并不对如何识别连续帧的方法加以限定。
[0109]
相应的，上述s103可以包括：s202，根据连续帧图像和目标区域，对第一oct回拉图像序列和第二oct回拉图像序列进行拼接，得到拼接oct回拉图像。
[0110]
具体地，在拼接过程中，服务器可以将连续帧图像作为拼接接口，根据目标区域对第一oct回拉图像序列和第二oct回拉图像序列进行拼接，即得到拼接oct回拉图像。也即是说，将上述第一oct回拉图像序列中最后一帧图像与第二oct回拉图像中目标图像的下一帧图像作为拼接接口，对第一oct回拉图像序列和第二oct回拉图像序列进行拼接，得到拼接oct回拉图像。
[0111]
上述oct回拉图像拼接方法，服务器首先确定第一oct回拉图像序列与第二oct回拉图像序列中的连续帧图像，再根据连续帧图像对第一oct回拉图像序列和第二oct回拉图像序列进行拼接，得到拼接oct回拉图像。由此可去除第二oct回拉图像序列中与第一oct回拉图像序列重复的图像，以提高得到的拼接oct回拉图像的准确性。
[0112]
在一个实施例中，考虑到每次回拉过程中，会有造影剂填充力度不同、血管内造影剂浓度不同等情况，在oct回拉图像中出现不同情况的血液伪影。但是在两个oct回拉图像拼接的过程中，只需关注对血管管腔本身是否连续或重合，对于由造影剂浓度不同呈现出的血液伪影带来的成像特点多样性并不关心，而这些冗余的干扰信息甚至会影响对拼接过程中的回拉图像相似性判断。因此，为提高上述第一oct回拉图像序列和第二oct回拉图像序列相似度匹配的结果的准确性，本技术实施例还可以对管腔以内的部分进行置灰的操
作，以去除管腔区域内的冗余信息。
[0113]
可选地，若上述识别出的目标区域已包括管腔区域，则可以直接根据识别到的管腔区域对管腔以内的部分进行置灰。若上述识别出的目标区域没有管腔区域，则服务器可以采用上述mask rcnn模型再对oct回拉图像序列进行识别，以识别到管腔区域，对管腔以内的部分进行置灰。可选地，将oct回拉图像序列输入到上述mask rcnn模型后，还可以判断第一段oct血管是否含有指引导管，若有则将指引导管段的部分去除(比如置灰)。在完成置灰操作之后，服务器再对置灰后的oct回拉图像序列进行相似度匹配，确定连续帧图像。
[0114]
本实施例中，通过将管腔以内的部分进行置灰，可以去除管腔区域内的冗余信息，提高第一oct回拉图像序列和第二oct回拉图像序列相似度匹配的结果的准确性。
[0115]
在一种可能的实现方式中，上述将第一oct回拉图像序列中最后一帧图像与第二oct回拉图像序列中每一帧图像进行相似度匹配的过程可以包括：服务器将进行相似度匹配的两帧图像(假设为r和t)输入卷积神经网络(convolutional neural networks，cnn)模型进行特征提取，分别得到r的第一特征向量和t的第一特征向量，再采用传统图像处理方法对r和t进行处理，得到r的纹理特征向量和t的纹理特征向量，然后将r的第一特征向量和纹理特征向量结合，得到r的特征向量，将t的第一特征向量和纹理特征向量结合，得到t的特征向量。根据欧几里得点积公式r
·
t＝||r||||t||cosθ可以推得余弦相似度其中ri代表向量r的各个方向分量、ti代表向量t的各个方向分量。本技术实施例中，余弦相似度的取值范围为[0，1]，当余弦相似度接近于0时，表示两个向量近正交，当余弦相似度接近于1时，表示两个向量方向越接近。当该余弦相似度高于某一阈值时，则将第一oct回拉图像序列中最后一帧图像和第二oct回拉图像序列中对应图像的下一帧图像作为连续帧图像。
[0116]
在此实现方式中，服务器所采用的cnn模型可以为facenet模型，通过其中的inception模型，可以将输入图像转化为128维的向量，即图像编码后得到一个128维的编码值。模型使用96
×
96
×
3大小的图像作为输入，假设每次输入的尺寸batch_size＝m，则输入的张量shape为(m，n_c，n_h，n_w)＝(m，3，96，96)，输出的shape为(m，128)，因此将图像编码为128维。模型的最后一层是设置了128个神经元的全连接层，保证了输出向量是128维的，然后就可以使用这128维向量比对输入的两幅图像。在模型训练过程中，使用三元组(a，p，n)，a为某位置处的oct回拉图像，p为与a同一位置的oct回拉图像，n为与a不同位置的oct回拉图像，使用triplet损失函数，确保a到p的距离与a到n的距离相差alpha，该alpha的值通常取0.2。
[0117]
在使用cnn模型进行相似度匹配之前，服务器还可以建立一组训练样本，通过人工标记相同血管位置的不同oct回拉图像序列的训练集，训练得到进行相似度匹配的网络模型。
[0118]
上述oct回拉图像拼接方法，服务器通过卷积神经网络和纹理特征提取方法对两帧图像进行特征提取，以确定两帧图像的相似度，可提高所确定的相似度的准确性，进而提高所确定的连续帧图像的准确性，以及最后拼接oct回拉图像的准确性。
[0119]
由上述实施例的描述可知，待拼接的oct回拉图像序列可以为第一oct回拉图像序列中的一段图像序列和第二oct回拉图像序列中的一段图像序列，在此我们将第一oct回拉图像序列中的一段图像序列称为第一段图像序列、第二oct回拉图像序列中的一段图像序列称为第二段图像序列。在此场景下，服务器还需要判断第一段图像序列和第二段图像序列中是否包括连续帧图像，并根据不同的判断结果进行不同的拼接操作。
[0120]
具体地，在第一段图像序列中包括连续帧图像的情况下(即第一段图像序列包括第一oct回拉图像序列的最后一帧图像)，若第二段图像序列中也包括连续帧图像，此场景包括三种情况：情况一如图9中的(a)图所示，连续帧图像处于第二段图像序列中间，即第二段图像序列中连续帧图像之前的图像是重复图像，则服务器将第一段图像序列与第二段图像序列的连续帧图像作为拼接接口，根据目标区域对第一段图像序列和第二段图像序列进行拼接。
[0121]
情况二如图9中的(b)图所示，连续帧图像为第二段图像序列的第一帧图像，则第二段图像序列中没有与第一段图像序列重复的图像，则服务器将第一段图像序列的最后一帧图像与第二段图像序列的第一帧图像作为拼接接口(也即是将连续帧图像作为拼接接口)，根据目标区域对第一段图像序列和第二段图像序列进行拼接。
[0122]
情况三如图9中的(c)图所示，连续帧图像为第二段图像序列的最后一帧图像，则第二段图像序列中的图像都为重复图像，此时可以提示用户重新选择第一段图像序列和第二段图像序列。
[0123]
若第二段图像序列中不包括连续帧图像，此场景包括两种情况：情况一如图9中的(d)图所示，连续帧图像位于第二段图像序列中第一帧图像的前端，则服务器计算第一帧图像与连续帧图像的相隔帧数，若该相隔帧数小于或者等于预设阈值(如10帧)，则服务器将第一段图像序列的最后一帧图像与第二段图像序列的第一帧图像作为拼接接口，根据目标区域对第一段图像序列和第二段图像序列进行拼接。
[0124]
情况二如图9中的(e)图所示，连续帧图像位于第二段图像序列中最后一帧图像的后端，则第二段图像序列中的图像都为重复图像，此时可以提示用户重新选择第一段图像序列和第二段图像序列。
[0125]
在第一段图像序列中不包括连续帧图像的情况下(即第一段图像序列不包括第一oct回拉图像序列的最后一帧图像)，若第二段图像序列中也不包括连续帧图像，此场景包括两种情况：情况一如图10中的(a)图所示，连续帧图像位于第二段图像序列中第一帧图像的前端，即第二段图像序列中没有与第一段图像序列重复的图像，则服务器先计算第一帧数与第二帧数的帧数之和，其中，第一帧数为第一段图像序列中最后一帧图像与连续帧图像的相隔帧数，第二距离为第二段图像序列中第一帧图像与连续帧图像的相隔帧数。若上述帧数之和小于或者等于预设阈值，则将第一段图像序列中最后一帧图像与第二段图像序列中第一帧图像作为拼接接口，根据目标区域对第一段图像序列和第二段图像序列进行拼接。
[0126]
情况二如图10中的(b)图，连续帧图像位于第二段图像序列中最后一帧图像的后端，此时可以提示用户重新选择第一段图像序列和第二段图像序列。
[0127]
若第二段图像序列中包括连续帧图像，此场景包括三种情况：情况一如图10中的(c)图所示，连续帧图像处于第二段图像序列中间，则服务器计算第一段图像序列中最后一
帧图像与连续帧图像的相隔帧数，若该相隔帧数小于或者等于预设阈值，将第一段图像序列的最后一帧图像与第二段图像序列的连续帧图像作为拼接接口，根据目标区域对第一段图像序列和第二段图像序列进行拼接。
[0128]
情况二如图10中的(d)图所示，连续帧图像为第二段图像序列的第一帧图像，则服务器同样计算第一段图像序列中最后一帧图像与连续帧图像的相隔帧数，若该相隔帧数小于或者等于预设阈值，将第一段图像序列的最后一帧图像与第二段图像序列的第一帧图像作为拼接接口，根据目标区域对第一段图像序列和第二段图像序列进行拼接。
[0129]
情况三如图10中的(e)图所示，连续帧图像为第二段图像序列的最后一帧图像，此时可以提示用户重新选择第一段图像序列和第二段图像序列。
[0130]
需要说明的是，若上述帧数之和或相隔帧数大于预设阈值时，即第一段图像序列和第二段图像序列间隔太远，没有拼接的意义，则提示用户重新选择第一段图像序列和第二段图像序列。本实施例中根据目标区域对第一段图像序列和第二段图像序列进行拼接的过程可以参见上述实施例的描述，在此不再赘述。
[0131]
上述oct回拉图像拼接方法，服务器通过对第二段图像序列是否包括连续帧图像进行判断，来确定对应的拼接接口，适应不同情况下的oct回拉图像序列拼接过程，灵活度较高。
[0132]
在一个实施例中，对oct回拉图像序列进行拼接时，考虑到在每次回拉成像扫描的过程中，旋转探头相对血管的起始角度不同，所以即使是对同一血管处的两次不同扫描，得到的oct回拉图像之间也存在一定夹角。因此，用户可以在上述图4的展示界面上手动选择配准点和配准角度，对oct回拉图像序列进行配准，再对配准后的oct回拉图像序列进行拼接。
[0133]
而在实际的oct扫描时，医生会使用导丝先于成像导管放入到血管中，然后成像导管钩在导丝上，顺着导丝的路径再放到血管中，因为成像导管本身很软，如果不借助导丝，成像导管会很难放进去，所以导丝可以理解是为成像导管引路的。因此本技术实施例可以通过识别oct回拉图像中的导丝(即目标区域)，将两次回拉过程中的oct回拉图像进行配准，具体识别导丝位置的过程可以参见上述实施例的描述。然后，对于每个oct回拉图像序列，服务器可以根据导丝位置与基准方向(该基准方向可以参见图7，可以采用一半实线一半虚线来表示)的偏移角度，旋转调整每一帧图像的像素矩阵，得到配准后的oct回拉图像序列，达到oct回拉图像序列之间角度的对准，进而对配准后的oct回拉图像序列进行拼接，以提高拼接oct回拉图像的准确性。可选地，上述基准方向还可以使用不同颜色进行表示，如一半黄色一半蓝色，以表征管腔界面的切割角度。
[0134]
为更方便理解上述oct回拉图像拼接方法的整体流程，下面再以一个实施例对该流程进行介绍。如图11所示，该方法包括：
[0135]
s301，获取待拼接的两个oct回拉图像序列；
[0136]
s302，判断两个oct回拉图像序列的帧间距是否相同，若相同，执行s303；若不相同，执行s301；
[0137]
s303，分别识别两个oct回拉图像序列中的目标区域；
[0138]
s304，对两个oct回拉图像序列中的第一oct回拉图像序列和第二oct回拉图像序列进行相似度匹配，确定连续帧图像；
[0139]
s305，根据连续帧图像和目标区域，对第一oct回拉图像序列和第二oct回拉图像序列进行拼接，得到拼接oct回拉图像；
[0140]
s306，若待拼接的oct回拉图像序列为第一oct回拉图像序列中的第一段图像序列和第二oct回拉图像序列中的第二段图像序列，判断第一段图像序列与第二段图像序列中是否包括连续帧图像；
[0141]
s307，根据判断结果，对第一段图像序列和第二段图像序列进行拼接，得到拼接oct回拉图像。
[0142]
关于各步骤的实现过程可以参见上述实施例的描述，其实现原理和技术效果类似，在此不再赘述。
[0143]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0144]
对应于上文实施例所述的oct回拉图像拼接方法，图12示出了本技术实施例提供的oct回拉图像拼接装置的结构框图，为了便于说明，仅示出了与本技术实施例相关的部分。
[0145]
参照图12，该装置包括：获取模块21、识别模块22和拼接模块23。
[0146]
具体地，获取模块21，用于获取待拼接的至少两个oct回拉图像序列；
[0147]
识别模块22，用于分别识别至少两个oct回拉图像序列中的目标区域；该目标区域包括管腔区域、血管壁位置和导丝位置中的至少一个；
[0148]
拼接模块23，用于根据至少两个oct回拉图像序列中的目标区域，对至少两个oct回拉图像序列进行拼接，得到拼接oct回拉图像。
[0149]
在一个实施例中，上述装置还包括确定模块，用于对至少两个oct回拉图像序列中的第一oct回拉图像序列和第二oct回拉图像序列进行相似度匹配，确定连续帧图像；其中，连续帧图像表征第一oct回拉图像序列和第二oct回拉图像序列进行拼接的连接图像；上述拼接模块23，具体用于根据连续帧图像和目标区域，对第一oct回拉图像序列和第二oct回拉图像序列进行拼接，得到拼接oct回拉图像。
[0150]
在一个实施例中，上述拼接模块23，具体用于将第一oct回拉图像序列中最后一帧图像与第二oct回拉图像序列中每一帧图像进行相似度匹配，确定第二oct回拉图像序列中与最后一帧图像相似度大于或者等于第一预设阈值的目标图像；将最后一帧图像和目标图像的下一帧图像确定为连续帧图像。
[0151]
在一个实施例中，上述拼接模块23，具体用于将第一oct回拉图像序列中最后一帧图像与第二oct回拉图像中目标图像的下一帧图像作为拼接接口，根据目标区域对第一oct回拉图像序列和第二oct回拉图像序列进行拼接，得到拼接oct回拉图像。
[0152]
在一个实施例中，若待拼接的oct回拉图像序列为第一oct回拉图像序列中的第一段图像序列和第二oct回拉图像序列中的第二段图像序列，上述拼接模块23，具体用于在第一段图像序列中包括连续帧图像的情况下，若第二段图像序列中包括连续帧图像，将连续帧图像作为拼接接口，根据目标区域对第一段图像序列和第二段图像序列进行拼接，得到拼接oct回拉图像；若第二段图像序列中不包括连续帧图像，计算第二段图像序列中第一帧图像与连续帧图像的相隔帧数，若相隔帧数小于或者等于第二预设阈值，根据目标区域对
第一段图像序列和第二段图像序列进行拼接，得到拼接oct回拉图像；在第一段图像序列中不包括连续帧图像的情况下，若第二段图像序列中不包括连续帧图像，计算第一帧数与第二帧数的帧数之和，若帧数之和小于或者等于第二预设阈值，根据目标区域对第一段图像序列和第二段图像序列进行拼接，得到拼接oct回拉图像；其中，第一帧数为第一段图像序列中最后一帧图像与连续帧图像的相隔帧数，第二帧数为第二段图像序列中第一帧图像与连续帧图像的相隔帧数；若第二段图像序列中包括连续帧图像，计算第一段图像序列中最后一帧图像与连续帧图像的相隔帧数，若相隔帧数小于或者等于第二预设阈值，根据目标区域对第一段图像序列和第二段图像序列进行拼接，得到拼接oct回拉图像。
[0153]
在一个实施例中，目标区域为导丝位置，上述拼接模块23，具体用于对于每个oct回拉图像序列，根据导丝位置与基准方向的偏移角度，对每一帧图像进行旋转，得到配准后的oct回拉图像序列；对至少两个配准后的oct回拉图像序列进行拼接，得到拼接oct回拉图像。
[0154]
在一个实施例中，上述识别模块22，具体用于判断至少两个oct回拉图像序列的帧间距是否相同，在帧间距相同的情况下，分别识别至少两个oct回拉图像序列中的目标区域。
[0155]
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0156]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0157]
本技术实施例还提供了一种服务器，该服务器包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
[0158]
在一个实施例中，提供了一种服务器，该服务器的内部结构图可以如图13所示。该服务器包括通过系统总线连接的处理器、存储器和网络接口。其中，该服务器的处理器用于提供计算和控制能力。该服务器的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该服务器的数据库用于存储用于oct回拉图像拼接的数据。该服务器的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种oct回拉图像拼接方法。
[0159]
本领域技术人员可以理解，图13中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的服务器的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0160]
本技术实施例该提供了一种oct回拉图像拼接系统，如图1所示，该系统包括客户端1和服务器2，客户端1接收用户输入的拼接指令，并将拼接指令发送至服务器2，拼接指令携带待拼接的至少两个oct回拉图像序列；服务器2接收拼接指令，执行上述各个方法实施例中的步骤。
[0161]
本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
[0162]
本技术实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现可实现上述各个方法实施例中的步骤。
[0163]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到oct回拉图像拼接装置/服务器的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0164]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0165]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0166]
在本技术所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0167]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0168]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各
实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。