缺陷检测方法及装置、电子设备、存储介质与流程

1.本技术涉及图像处理技术领域，特别涉及一种缺陷检测方法及装置、电子设备、计算机可读存储介质。


背景技术：

2.制造业车间、变电站等工作场所存在大量电力设备，为保障安全生产，需频繁在工作场所进行巡检。传统的人力巡检耗时耗力，且让巡视人员暴露于高压带电设备附近，存在安全隐患，人力巡检也容易因巡视人员疏忽而未能及时发现潜在的危险。随着物联网技术的革新和机器视觉技术的崛起，深度学习被广泛应用于工业环境中，由此诞生了巡检机器人。巡检机器人可以按照事先规划好的路径在工作场景中移动，在到达指定巡检任务点之后，巡检机器人可以调整云台、相机角度和倍率，采集图像数据，并对采集到的图像进行目标检测，确定是否存在安全隐患。如果存在安全隐患，巡检机器人可以向后台反馈，提醒安全人员尽快处理。
3.然而，上述方案通过定点采集样本图像进行检测来确定是否存在安全隐患，拍摄范围仅限于预先设定好的若干巡检任务点，拍摄盲区较多，采样方式不够灵活，容易产生漏检。


技术实现要素：

4.本技术实施例的目的在于提供一种缺陷检测方法及装置、电子设备、计算机可读存储介质，用于基于视频流实现对工作场所的缺陷检测。
5.一方面，本技术提供了一种缺陷检测方法，应用于巡检机器人，所述巡检机器人搭载摄像装置，包括：
6.在所述巡检机器人巡检过程中，对所述摄像装置采集的视频帧进行目标检测；
7.如果目标检测结果指示所述视频帧内存在若干缺陷目标，为每个新发现的缺陷目标启动跟踪器进程；其中，所述跟踪器进程用于基于连续视频帧跟踪缺陷目标；
8.针对任一缺陷目标的跟踪过程中，依据跟踪结果确定最佳缺陷目标图像，并基于所述最佳缺陷目标图像输出报警信息。
9.在一实施例中，在所述对所述摄像装置采集的视频帧进行目标检测之前，所述方法还包括：
10.控制所述摄像装置以预设转动逻辑进行转动，并在转动过程中采集连续视频帧。
11.在一实施例中，所述如果目标检测结果指示所述视频帧内存在若干缺陷目标，为每个新发现的缺陷目标启动跟踪器进程，包括：
12.如果所述视频帧内存在若干缺陷目标，判断每一缺陷目标是否位于所述视频帧的目标跟踪区域内；
13.针对位于所述目标跟踪区域内的缺陷目标，判断所述缺陷目标是否属于跟踪目标；所述跟踪目标为存在对应跟踪器进程的缺陷目标；
14.若否，确定所述缺陷目标为新发现的缺陷目标，并为其启动所述跟踪器进程。
15.在一实施例中，所述判断所述缺陷目标是否属于跟踪目标，包括：
16.判断是否存在任一跟踪目标与所述缺陷目标具有相同的类别信息；
17.当存在至少一个与所述缺陷目标具有相同类别信息的跟踪目标，基于所述跟踪目标的位置信息和所述缺陷目标的位置信息，确定所述跟踪目标与所述缺陷目标是否等同。
18.在一实施例中，所述基于所述跟踪目标的位置信息和所述缺陷目标的位置信息，确定所述跟踪目标与所述缺陷目标是否等同，包括：
19.基于所述跟踪目标的位置信息和所述缺陷目标的位置信息，判断所述跟踪目标与所述缺陷目标之间的交并比和/或距离是否满足指定条件；
20.如果是，确定所述缺陷目标与所述跟踪目标等同；
21.如果否，确定所述缺陷目标与所述跟踪目标不等同。
22.在一实施例中，所述方法还包括：
23.当不存在任一与所述缺陷目标具有相同类别信息的跟踪目标，确定所述缺陷目标不属于跟踪目标。
24.在一实施例中，所述针对任一缺陷目标的跟踪过程中，依据跟踪结果确定最佳缺陷目标图像，包括：
25.针对任一缺陷目标的跟踪过程中，在获得所述跟踪器进程在任一视频帧的跟踪结果时，判断所述跟踪结果是否优于标杆视频帧对应的跟踪结果；
26.若任一视频帧的跟踪结果优于所述标杆视频帧对应的跟踪结果，将所述视频帧作为新的标杆视频帧；
27.依据跟踪结果判断是否达到跟踪停止条件，若达到，将当前的标杆视频帧作为所述最佳缺陷目标图像。
28.在一实施例中，在所述判断所述跟踪结果是否优于标杆视频帧对应的跟踪结果之前，所述方法还包括：
29.如果所述跟踪器进程无法确定任一视频帧的跟踪结果，对所述视频帧进行目标检测；
30.判断是否存在所述缺陷目标的目标检测结果；
31.如果存在，将所述缺陷目标的目标检测结果作为跟踪结果；
32.如果不存在，沿用上一帧的跟踪结果。
33.在一实施例中，所述依据跟踪结果判断是否达到跟踪停止条件，包括：
34.针对任一缺陷目标，如果任一视频帧的跟踪结果，指示所述缺陷目标不完全处于所述视频帧的目标跟踪区域内，确定达到所述跟踪停止条件。
35.在一实施例中，所述依据跟踪结果判断是否达到跟踪停止条件，包括：
36.针对任一缺陷目标，如果连续目标数量的视频帧对应的跟踪结果相同，确定达到所述跟踪停止条件。
37.在一实施例中，所述方法还包括：
38.当确定达到所述跟踪停止条件之后，关闭所述跟踪器进程。
39.另一方面，本技术还提供了一种缺陷检测装置，应用于巡检机器人，所述巡检机器人搭载摄像装置，包括：
40.检测模块，用于在所述巡检机器人巡检过程中，对所述摄像装置采集的视频帧进行目标检测；
41.启动模块，用于如果目标检测结果指示所述视频帧内存在若干缺陷目标，为每个新发现的缺陷目标启动跟踪器进程；其中，所述跟踪器进程用于基于连续视频帧跟踪缺陷目标；
42.确定模块，用于针对任一缺陷目标的跟踪过程中，依据跟踪结果确定最佳缺陷目标图像，并基于所述最佳缺陷目标图像输出报警信息。
43.进一步的，本技术还提供了一种电子设备，所述电子设备包括：
44.处理器；
45.用于存储处理器可执行指令的存储器；
46.其中，所述处理器被配置为执行上述缺陷检测方法。
47.另外，本技术还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述缺陷检测方法。
48.本技术方案，巡检机器人在巡检过程中实时依据采集到的视频帧进行缺陷检测，极大地减少了拍摄盲区，实现了灵活采样，降低了缺陷目标的漏检几率，并可根据缺陷检测时的跟踪结果确定最佳缺陷目标图像进行报警，有利于后续针对性地解决缺陷。
附图说明
49.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍。
50.图1为本技术一实施例提供的缺陷检测方法的应用场景示意图；
51.图2为本技术一实施例提供的电子设备的结构示意图；
52.图3为本技术一实施例提供的缺陷检测方法的流程示意图；
53.图4为本技术一实施例提供的跟踪器进程的启动方法的流程示意图；
54.图5为本技术一实施例提供的最佳缺陷目标图像的确定方法的流程示意图；
55.图6为本技术一实施例提供的跟踪结果的确定方法的流程示意图；
56.图7为本技术一实施例提供的缺陷检测装置的框图。
具体实施方式
57.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
58.相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
59.图1为本技术实施例提供的缺陷检测方法的应用场景示意图。如图1所示，该应用场景包括机器人20和后台服务器30；机器人20可以在工作场所进行巡检，巡检过程中实时采集视频帧，并依据采集的视频帧检测工作场所是否存在缺陷，若存在，机器人20可以向后台服务器30输出报警信息；后台服务器30可以在接收报警信息后通知安全人员对缺陷进行处理。
60.如图2所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，
图2中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以是上述机器人20，用于执行缺陷检测方法。
61.存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read
‑
only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read only memory，简称eprom)，可编程只读存储器(programmable red
‑
only memory，简称prom)，只读存储器(read
‑
only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。
62.本技术还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器11执行以完成本技术提供的缺陷检测方法。
63.参见图3，为本技术一实施例提供的缺陷检测方法的流程示意图，如图3所示，该方法可以包括以下步骤310
‑
步骤330。
64.步骤310：在巡检机器人巡检过程中，对摄像装置采集的视频帧进行目标检测。
65.巡检机器人搭载摄像装置，该摄像装置可以包括云台和相机，在巡检过程中，巡检机器人可以通过摄像装置对工作场所进行摄像，从而获得连续的视频帧。
66.巡检机器人可以根据工作场所的预设地图信息中指定路径进行巡检，并在巡检过程中，对摄像装置采集的视频帧进行目标检测。其中，目标检测的对象可以是预设的若干种缺陷目标，这里，缺陷目标可以是锈蚀设备、破损设备、未戴安全帽的人员等一种或多种的组合。
67.巡检机器人可以将每一视频帧逐帧输入已训练的目标检测模型，实现目标检测。
68.或者，巡检机器人可以每隔连续的指定数量视频帧后，将视频帧输入已训练的目标检测模型，实现目标检测，从而降低目标检测的计算量。示例性的，巡检机器人可以每隔三帧后，对视频帧进行目标检测，换而言之，每四帧选择一帧进行目标检测。
69.在对视频帧进行目标检测后，可以获得视频帧内缺陷目标的位置信息和类别信息。其中，位置信息可以以限定缺陷目标在视频帧中位置的边框来表示，可以包括边框左上角、左下角、右上角、右下角和中心点中任一一个的坐标和边框的长度和宽度，该坐标可以为视频帧中图像坐标系内的坐标。类别信息指示缺陷目标的缺陷类别。
70.步骤320：如果目标检测结果指示视频帧内存在若干缺陷目标，为每个新发现的缺陷目标启动跟踪器进程；其中，跟踪器进程用于基于连续视频帧跟踪缺陷目标。
71.当目标检测结果指示视频帧内存在若干缺陷目标时，巡检机器人可以裁切出新发现的缺陷目标在视频帧内所在的局部图像，并启动跟踪器进程对该局部图像学习缺陷目标的特征，从而为缺陷目标启动跟踪器进程。巡检机器人可以在启动跟踪器进程时，为该跟踪器进程分配一个新的序号，并将该序号放入预设跟踪器进程序列中。这里，跟踪器进程序列记录所有在跟踪缺陷目标的跟踪器进程。
72.此外，巡检机器人可以记录每一被跟踪的缺陷目标的类别信息。
73.步骤330：针对任一缺陷目标的跟踪过程中，依据跟踪结果确定最佳缺陷目标图像，并基于最佳缺陷目标图像输出报警信息。
74.巡检机器人可以通过跟踪器进程，对连续视频帧进行跟踪处理，从而获得每一视
频帧中缺陷目标的位置信息，作为跟踪结果。
75.在针对任一缺陷目标的跟踪过程中，可以获得连续多帧视频帧中缺陷目标的位置信息，可将位置信息最优的视频帧作为最佳缺陷图像，并基于最佳缺陷目标图像输出报警信息。报警信息可以包含最佳缺陷目标图像、缺陷目标的类型信息。
76.巡检机器人向后台服务器发送报警信息后，使得后台服务器可以通知安全人员及时处理缺陷目标对应的缺陷，并可保留最近缺陷目标图像，用于后续对目标检测模型进行迭代更新，提升缺陷检测的准确性。
77.由于巡检机器人在巡检过程中实时依据采集到的视频帧进行缺陷检测，极大地减少了拍摄盲区，实现了灵活采样，降低了缺陷目标的漏检几率。
78.在一实施例中，巡检机器人在执行步骤310之前，在通过摄像装置对工作场所进行摄像时，可以控制摄像装置以预设转动逻辑进行转动，并在转动过程中采集连续视频帧。其中，转动逻辑可以包括随机转动、周期性环绕转动等转动方式。
79.在巡检过程中，巡检机器人控制摄像装置以转动逻辑进行转动，同时在转动过程中采集连续视频帧，可以依据更宽广的视野对工作场所的角角落落进行缺陷检测，极大地降低了缺陷目标的漏检几率。
80.在一实施例中，参见图4，为本技术一实施例提供的跟踪器进程的启动方法的流程示意图，如图4所示，巡检机器人在为视频帧内新发现的缺陷目标启动跟踪器进程时，可以执行以下步骤321
‑
步骤323。
81.步骤321：如果视频帧内存在若干缺陷目标，判断每一缺陷目标是否位于视频帧的目标跟踪区域内。
82.其中，目标跟踪区域是在视频帧中预先设置的区域。示例性的，目标跟踪区域可以是视频帧中心位置的矩形区域，矩形区域的每条边与最接近的视频帧边缘相距10个像素。
83.对任一一帧视频帧进行目标检测之后，如果视频帧内存在若干缺陷目标，巡检机器人可以依据每个缺陷目标的位置信息，判断缺陷目标是否完全位于视频帧的目标跟踪区域内。
84.一方面，若缺陷目标不完全位于目标跟踪区域内，可以不作处理。另一方面，若缺陷目标完全位于目标跟踪区域内，可以继续执行步骤322。
85.视频帧边缘的缺陷目标可能仅部分存在于视频帧内，在这种情况下，如果对视频帧边缘的缺陷目标进行跟踪，由于跟踪器进程仅学习到缺陷目标的部分特征，在跟踪过程中缺陷目标发生形变、旋转等变化时，可能因特征学习不够充分而无法实现准确跟踪，且在跟踪过程中获得的位置信息可能无法完全限定缺陷目标所在位置。通过目标跟踪区域对缺陷目标进行筛选，从而过滤掉位于视频帧边缘的缺陷目标，可以避免无效跟踪。
86.步骤322：针对位于目标跟踪区域内的缺陷目标，判断缺陷目标是否属于跟踪目标；跟踪目标为存在对应跟踪器进程的缺陷目标。
87.巡检机器人筛选出位于目标跟踪区域内的缺陷目标后，可以判断该缺陷目标是否属于已分配跟踪器进程的跟踪目标。一方面，如果缺陷目标属于跟踪目标，可以不作处理，继续由已分配的跟踪器进程对其进行跟踪。另一方面，如果缺陷目标不属于跟踪目标，可以继续执行步骤323。
88.步骤323：若否，确定缺陷目标为新发现的缺陷目标，并为其启动跟踪器进程。
89.如果位于目标跟踪区域内的缺陷目标不属于跟踪目标，巡检机器人可以为该缺陷目标启动跟踪器进程，从而通过跟踪器进程对其进程跟踪。
90.在一实施例中，巡检机器人在判断缺陷目标是否属于跟踪目标时，可以判断是否存在任一跟踪目标与缺陷目标具有相同的类别信息。巡检机器人可以逐个检查跟踪目标的类别信息，比较跟踪目标的类别信息与缺陷目标的类别信息是否一致。
91.在一种情况下，当不存在任一与缺陷目标具有相同类别信息的跟踪目标时，巡检机器人可以直接确定该缺陷目标不属于跟踪目标。
92.在另一种情况下，当存在至少一个与缺陷目标具有相同类别信息的跟踪目标时，巡检机器人可以基于跟踪目标的位置信息和缺陷目标的位置信息，确定跟踪目标和缺陷目标是否等同。示例性的，如果存在两个与缺陷目标具有相同类别信息的跟踪目标，可以分别依据两个跟踪目标的位置信息和缺陷目标的位置信息，确定这两个跟踪目标与缺陷目标是否等同。
93.通过该措施，依据类别信息和位置信息确定缺陷目标是否属于跟踪目标，从而避免对已经分配跟踪器进程的跟踪目标重复启动跟踪器进程。
94.在一实施例中，巡检机器人在基于跟踪目标的位置信息和缺陷目标的位置信息，确定跟踪目标与缺陷目标是否等同时，可以基于跟踪目标的位置信息和缺陷目标的位置信息，判断跟踪目标与缺陷目标之间的交并比和/或距离是否满足指定条件。
95.这里，指定条件可以是交并比达到预设交并比阈值；或者，指定条件可以是距离小于预设距离阈值；或者，指定条件可以是交并比达到预设交并比阈值，并且距离小于预设距离阈值；或者，指定条件可以是交并比达到预设交并比阈值，或者，距离小于预设距离阈值。
96.如果满足指定条件，可以确定缺陷目标与跟踪目标等同，缺陷目标与跟踪目标为同一目标。如果不满足指定条件，可以确定缺陷目标与跟踪目标不等同，缺陷目标与跟踪目标不为同一目标。
97.在一实施例中，参见图5，为本技术一实施例提供的最佳缺陷目标图像的确定方法的流程示意图，如图5所示，巡检机器人在跟踪过程中，通过如下步骤331
‑
步骤333确定最佳缺陷目标图像。
98.步骤331：针对任一缺陷目标的跟踪过程中，在获得跟踪器进程在任一视频帧的跟踪结果时，判断跟踪结果是否优于标杆视频帧对应的跟踪结果。
99.其中，标杆视频帧是在停止跟踪之前，包含最优跟踪结果的视频帧。在为任一缺陷目标启动跟踪器进程后，初始情况下，可将第一帧交由跟踪器进程处理的视频帧作为标杆视频帧。
100.在针对任一缺陷目标的跟踪过程中，在获得跟踪器进程在任一视频帧的跟踪结果之后，巡检机器人可以比较该视频帧的跟踪结果与标杆视频帧对应的跟踪结果，判断该视频帧的跟踪结果是否优于标杆视频帧的跟踪结果。
101.示例性的，巡检机器人可以依据跟踪结果，确定缺陷目标的中心位置与视频帧中心位置之间的距离，作为该视频帧对应的中心偏移距离。巡检机器人可以判断该中心偏移距离是否小于标杆视频帧对应的中心偏移距离，一方面，若是，确定该视频帧的跟踪结果优于标杆视频帧的跟踪结果；另一方面，若否，确定该视频帧的跟踪结果不优于标杆视频帧的跟踪结果。
102.步骤332：若任一视频帧的跟踪结果优于标杆视频帧对应的跟踪结果，将视频帧作为新的标杆视频帧。
103.如果任一视频帧的跟踪结果优于标杆视频帧对应的跟踪结果，巡检机器人可以将该视频帧作为新的标杆视频帧，用于后续跟踪结果的比较。
104.步骤333：依据跟踪结果判断是否达到跟踪停止条件，若达到，将当前的标杆视频帧作为最佳缺陷目标图像。
105.在针对任一缺陷目标的跟踪过程中，巡检机器人可以依据该缺陷目标的跟踪结果，判断是否达到跟踪停止条件。一方面，若未达到跟踪停止条件，巡检机器人可以继续对该缺陷目标进行跟踪。另一方面，若达到跟踪停止条件，巡检机器人可以将该缺陷目标当前对应的标杆视频帧，作为该缺陷目标的最佳缺陷目标图像。
106.通过上述措施，在跟踪过程中逐帧判断是否获得更好的跟踪结果，并在达到跟踪停止条件后，可将整个跟踪过程最后留下的标杆视频帧作为包含最佳跟踪结果的最佳缺陷目标图像。
107.在一实施例中，参见图6，为本技术一实施例提供的跟踪结果的确定方法的流程示意图，如图6所示，在跟踪器进程无法返回跟踪结果的情况下，巡检机器人可以通过如下步骤610
‑
步骤640确定跟踪结果。
108.步骤610：如果跟踪器进程无法确定任一视频帧的跟踪结果，对视频帧进行目标检测。
109.对于任一缺陷目标，如果该缺陷目标对应的跟踪器进程无法确定任一视频帧中该缺陷目标的跟踪结果，巡检机器人可以对该视频帧进行目标检测。
110.步骤620：判断是否存在缺陷目标的目标检测结果。
111.在获得上述视频帧的目标检测结果之后，巡检机器人可以判断目标检测结果指示的若干缺陷目标中是否存在上述缺陷目标。此时，当前被跟踪的缺陷目标属于跟踪目标，巡检机器人可以通过前述确定缺陷目标是否属于跟踪目标的方式，判断目标检测结果中是否存在与该跟踪目标属于同一目标的缺陷目标。
112.步骤630：如果存在，将缺陷目标的目标检测结果作为跟踪结果。
113.步骤640：如果不存在，沿用上一帧的跟踪结果。
114.一方面，如果存在缺陷目标的目标检测结果，巡检机器人可以将该目标检测结果中的位置信息作为上述视频帧的跟踪结果。另一方面，如果不存在缺陷目标的目标检测结果，巡检机器人可以沿用上一帧的跟踪目标，作为上述视频帧的跟踪结果。
115.通过上述措施，当跟踪器进程无法确定任一视频帧的跟踪结果后，可以通过目标检测或沿用上一视频帧的跟踪结果进行弥补，避免跟踪器进程偶尔的失灵导致跟丢缺陷目标。
116.在一实施例中，在依据跟踪结果判断是否达到跟踪停止条件时，针对任一缺陷目标，如果任一视频帧的跟踪结果，指示缺陷目标不完全处于视频帧的目标跟踪区域内，巡检机器人可以确定达到跟踪停止条件。
117.在这种情况下，缺陷目标已经开始离开视频帧的中心区域，后续获得的视频帧均无法作为最佳缺陷目标图像，无需继续跟踪。
118.在一实施例中，在依据跟踪结果判断是否达到跟踪停止条件时，针对任一缺陷目
标，如果连续目标数量的视频帧对应的跟踪结果相同，确定达到跟踪停止条件。其中，目标数量可以是预设的经验值，比如，当连续5帧视频帧对应的跟踪结果相同，可确定达到跟踪停止条件。
119.一般，在跟踪过程中，由于巡检机器人在运动，同一缺陷目标在连续视频帧中的跟踪结果会发生变化。当连续目标数量的视频帧对应的跟踪结果相同时，说明连续多帧的跟踪结果沿用了此前的跟踪结果，换而言之，目标检测的方式和跟踪器进程均跟丢了缺陷目标，此时继续跟踪已经无意义。
120.在一实施例中，针对任一缺陷目标，当确定达到跟踪停止条件之后，巡检机器人可以关闭该缺陷目标对应的跟踪器进程。巡检机器人可以在跟踪器进程序列中删除该跟踪器进程的序号。
121.通过该措施，可在达到跟踪停止条件时，降低计算量，节约计算资源。
122.图7是本发明一实施例的一种缺陷检测装置，如图7所示，该装置可以包括：
123.检测模块710，用于在所述巡检机器人巡检过程中，对所述摄像装置采集的视频帧进行目标检测；
124.启动模块720，用于如果目标检测结果指示所述视频帧内存在若干缺陷目标，为每个新发现的缺陷目标启动跟踪器进程；其中，所述跟踪器进程用于基于连续视频帧跟踪缺陷目标；
125.确定模块730，用于针对任一缺陷目标的跟踪过程中，依据跟踪结果确定最佳缺陷目标图像，并基于所述最佳缺陷目标图像输出报警信息。
126.上述装置中各个模块的功能和作用的实现过程具体详见上述缺陷检测方法中对应步骤的实现过程，在此不再赘述。
127.在本技术所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
128.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
129.功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器
(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。