一种车辆抛洒物识别方法、装置及应用与流程

1.本技术涉及图像处理、机器学习领域，尤其涉及一种车辆抛洒物识别方法、装置及应用。


背景技术：

2.在城市治理中，高效实现渣土车全流程监管是城市管理者的重要目标，解决渣土车的抛洒物问题则是渣土车全流程监管中的一项重要工作；渣土车的抛洒物不仅给城市道路环境带来极大的污染，而且高速形式的渣土车抛洒出的砂石也给道路交通安全带来较大安全隐患，解决渣土车抛洒物问题已经迫在眉睫。
3.目前智能化解决抛洒物的问题主要依靠目标检测与技术识别，然而抛洒物识别本身就是一个少样本的问题，依靠这种目标检测与识别的算法需要大量的标注数据进行训练，这就造成寻找大量的抛洒物数据并进行标注的工作是即为昂贵的，算法识别的类型也较为局限，只能识别标注好的目标。此外，道路抛洒物识别存在大量干扰噪声，如光照下的阴影、道路积尘、破损污染的斑马线等，这就给基于目标检测与识别抛洒物算法的识别结果带来大量的误报影响。


技术实现要素：

4.本技术方案提供一种车辆抛洒物识别方法，可以无需进行人工标注，通过将当前帧与历史帧和超前帧进行对比的方式来对当前帧中的抛洒物进行识别，大大减少了人工标注成本，通过对运动检测生成的大量目标检测框进行合并从而提高了识别精度。
5.第一方面，本技术提供一种车辆抛洒物识别方法，包括：获取包含至少一视频帧的待识别视频流，缓存所述待识别视频流的历史时刻的视频帧构建视频帧缓存队列，缓存所述待识别视频流的所有视频帧构建和视频帧分发队列；对所述视频帧分发队列中的当前视频帧进行运动目标检测得到运动目标检测结果，所述运动目标检测结果包含运动目标框；自所述视频帧缓存队列获取当前视频帧之前的至少一历史帧，获取所述当前视频帧的运动目标框所在的当前帧抛洒区域，基于所述当前帧抛洒区域截取所有所述历史帧中的历史帧抛洒区域，对所述历史帧抛洒区域和所述当前帧抛洒区域的图像进行相似度判断；若当前帧抛洒区域同所有所述历史帧抛洒区域不同时，自所述视频帧分发队列获取当前视频帧之后的至少一超前帧，基于所述当前帧抛洒区域截取所有所述超前帧中的超前帧抛洒区域，对所述当前帧抛洒区域和所述超前帧抛洒区域的图像进行相似度判断，若所述当前帧抛洒区域同所有所述超前帧抛洒区域相同，则确定所述运动目标框内的目标为抛洒物。
6.第二方面，本技术提供了一种车辆抛洒物识别装置，包括：获取模块：获取包含至少一视频帧的待识别视频流，缓存所述待识别视频流的历
史时刻的视频帧构建视频帧缓存队列，缓存所述待识别视频流的所有视频帧构建和视频帧分发队列；检测模块：对所述视频帧分发队列中的当前视频帧进行运动目标检测得到运动目标检测结果，所述运动目标检测结果包含运动目标框；初步识别模块：自所述视频帧缓存队列获取当前视频帧之前的至少一历史帧，获取所述当前视频帧的运动目标框所在的当前帧抛洒区域，基于所述当前帧抛洒区域截取所有所述历史帧中的历史帧抛洒区域，对所述历史帧抛洒区域和所述当前帧抛洒区域的图像进行相似度判断；精确识别模块：若当前帧抛洒区域同所有所述历史帧抛洒区域不同时，自所述视频帧分发队列获取当前视频帧之后的至少一超前帧，基于所述当前帧抛洒区域截取所有所述超前帧中的超前帧抛洒区域，对所述当前帧抛洒区域和所述超前帧抛洒区域的图像进行相似度判断，若所述当前帧抛洒区域同所有所述超前帧抛洒区域相同，则确定所述运动目标框内的目标为抛洒物。
7.第三方面，本技术提出了一种电子装置，包括存储器与处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行第一方面所述的一种车辆抛洒物识别方法。
8.第四方面，本技术提出了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括第一方面所述的一种车辆抛洒物识别方法。
9.相较现有技术，本技术方案具有以下特点和有益效果：本方案无需进行人工标注，通过运动目标检测算法对视频流进行检测，并对检测得到的大量目标检测框进行合并和分离，可以高效准确去除视频抖动和运动目标检测算法所带来的高误检运动信息框，给后续的比对分析提高准确率，提高了抛洒物的识别精度；本方案根据视频流构建视频帧分发队列和视频帧缓存队列，并根据当前帧在视频帧分发队列中获取超前帧，在视频帧缓存队列中获取历史帧，使用历史帧以及超前帧与当前帧进行对比，无需大量的人工标注即可进行抛洒物的精确判断；本方案在整个识别抛洒物的过程中不再需要识别抛洒物是什么对象，只需要提取当前帧的局部特征，再利用生成的二值化相似度判别矩阵来进行分析、判断，提高了本算法流程的收效比。
10.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
11.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1是根据本技术实施例的一种车辆抛洒物识别方法的流程图；图2是根据本技术实施例的一种车辆抛洒物识别方法中二值化相似度判别矩阵效果展示图；图3是根据本技术实施例的一种车辆抛洒物识别方法的系统框架示意图；图4是根据本技术实施例的一种车辆抛洒物识别方法的识别逻辑示意图；
图5是根据本技术实施例的一种车辆抛洒物识别装置的结构框图；图6是根据本技术实施例的电子装置的硬件结构示意图。
具体实施方式
12.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
13.需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
14.实施例一本技术方案提供了一种车辆抛洒物识别方法，参考图1，所述方法包括：获取包含至少一视频帧的待识别视频流，缓存所述待识别视频流的历史时刻的视频帧构建视频帧缓存队列，缓存所述待识别视频流的所有视频帧构建视频帧分发队列；对所述视频帧分发队列中的当前视频帧进行运动目标检测得到运动目标检测结果，所述运动目标检测结果包含运动目标框；自所述视频帧缓存队列获取当前视频帧之前的至少一历史帧，获取所述当前视频帧的运动目标框所在的当前帧抛洒区域，基于所述当前帧抛洒区域截取所有所述历史帧中的历史帧抛洒区域，对所述历史帧抛洒区域和所述当前帧抛洒区域的图像进行相似度判断；若当前帧抛洒区域同所有所述历史帧抛洒区域不同时，自所述视频帧分发队列获取当前视频帧之后的至少一超前帧，基于所述当前帧抛洒区域截取所有所述超前帧中的超前帧抛洒区域，对所述当前帧抛洒区域和所述超前帧抛洒区域的图像进行相似度判断，若所述当前帧抛洒区域同所有所述超前帧抛洒区域相同，则确定所述运动目标框内的物体为抛洒物。
15.在一些实施例中，对所述视频帧缓存队列和所述视频帧分发队列的图像数量进行限制。
16.进一步的，对所述视频帧缓存队列设置一个存储上限，当所述视频帧缓存队列中的历史帧数量达到存储上限时，自动剔除最早进入视频帧缓存队列的历史帧。
17.进一步的，计算所述视频帧分发队列中超前帧的保存时间，将保存时间达到第一设定时间的超前帧在所述视频分发队列中进行剔除。
18.在一些具体实施例中，所述视频帧缓存队列的缓存频率为f1秒/帧，缓存队列的大小为m1，当缓存队列达到存储上限后会自动剔除最早进入视频缓存队列的历史帧；所述视频帧分发队列的缓存频率为f2/秒，缓存队列的大小为m2，第一设定时间为t，将存储在所述视频帧分发队列中超过t时间的视频帧图像进行剔除。
19.进一步的，对所述视频帧缓存队列以及所述视频帧分发队列中的图像进行剔除的目的是保证队列的平衡，减少计算机的压力，保证系统的流畅性，防止因队列的无限堆叠导致系统运行缓慢。
20.在一些实施例中，若所述运动目标检测结果内包含多个目标检测框，对多个目标检测框进行合并和分离得到运动目标框。
21.进一步的，在“对多个目标检测框进行合并和分离得到运动目标框”步骤中，首先剔除与常见道路目标相重合的目标检测框，将留下的目标检测框定义为待筛选抛洒框，计算每一待筛选抛洒框与其他待筛选抛洒框的距离，若两个待筛选抛洒框的距离小于第一设定阈值，则将两个待筛选抛洒框进行融合得到新的待筛选抛洒框，若两个待筛选抛洒框的距离大于第一设定阈值，则将两个待筛选抛洒框进行分离，分离的每一待筛选抛洒框作为运动目标框。
22.具体的，当所述待筛选抛洒框的数量为1时，则将该所述待筛选抛洒框作为运动目标框，通过上述方法有效合并了待识别视频流中因画面抖动造成的小目标框以及抛洒物因为形变造成多个小目标分散的问题，增大了单个抛洒物的识别区域面积，大幅降低了产生的错误运动信息误报，提升了后续抛洒物判别的准确率和性能。
23.具体的，使用一个常规的目标检测器对所述待识别视频流中的常见道路目标进行检测，得到常见道路目标检测框，若所述运动目标检测结果中的大量目标检测框包含在所述常见道路目标检测框中，或与所述常见道路目标检测框有大量的交集，则将其剔除。
24.具体的，由于存在画面抖动产生大量密集告警或者运动目标检测构成的连通区不准确造成大量误报框，所以对待筛选抛洒框进行合并和分离，其具体流程如下：获取所有所述待筛选抛洒框的左上角点、宽和高，组成预选结果数组，取出所述预选结果数组中的一个待筛选抛洒框i，计算待筛选抛洒框i与预选结果数组中其他待筛选抛洒框的中心点坐标，并使用中心点坐标计算待筛选抛洒框i与其他待筛选抛洒框的距离，计算公式如下：其中，dist为两个待筛选抛洒框的距离，xi，yi为待筛选抛洒框i的中心点坐标，x'，y'表示其他待筛选抛洒框的中心点坐标，当x
i －x'
i 1 ≥ yi－y'
i 1
时表示两个中心点的宽度距离大于高度距离，此时d等于待筛选抛洒框i的宽度值，当x
i －x'
i 1 《 yi－y'
i 1
时表示两个中心点的高度距离大于宽度距离，此时d等于待筛选抛洒框i的高度值。
25.具体的，每一所述待筛选抛洒框的中心点坐标由所述预选结果数组中每一所述待筛选抛洒框的左上角点、宽和高来获得。
26.进一步的，当距离（dist）小于第一设定阈值，则使用索引方法在所述预选结果数组中找到这两个待筛选抛洒框将其作为待融合抛洒框，根据两个待融合抛洒框的中心点坐标分别获取两个待融合抛洒框的极左点位、极右点位、极上点位、极下点位，分别取极左点位、极右点位、极上点位、极下点位的绝对值大的一项组成新的一组极左点位、极右点位、极上点位、极下点位，并使用新的一组极左点位、极右点位、极上点位、极下点位得到一个新的待筛选抛洒框，完成两个待融合抛洒框的融合，并将新的待筛选抛洒框保存到所述预选结果数组中，对所述预选结果数组中的所有待筛选抛洒框进行迭代融合，直至所述待筛选抛
洒框之间的距离满足设定条件。
27.具体的，所述设定条件为两个待筛选抛洒框之间的距离大于第一设定阈值。
28.进一步的，当距离（dist）大于第一设定阈值，则使用索引方法在所述预选结果数组中找到这两个待筛选抛洒框将其作为疑似抛洒物识别结果。
29.具体的，所述第一设定阈值根据实际情况人为设定，表示两个点位之间的像素距离。
30.在一些实施例中，可以先使用车辆检测模型对所述待识别视频流进行检测，若画面中存在车辆则进一步进行抛洒物的识别，若不存在车辆则无需进行抛洒物的识别。
31.在一些实施例中，在“基于所述当前帧抛洒区域截取所有所述超前帧中的超前帧抛洒区域”步骤之前，获取所述视频帧分发队列中的所有超前帧，并对所有所述超前帧抛洒区域进行相似度判断，若存在超前帧抛洒区域与其他超前帧抛洒区域不同，则剔除不同的超前帧。
32.具体的，为确保提取的超前帧的抛洒位置区域的一致，使用相似度判断方法对所述视频帧分发队列中的所有超前帧进行相似度判断，如果存在不相似的帧则说明该不相似帧画面可能为非路面区域，并对其进行剔除。
33.在一些实施例中，所述当前帧与历史帧进行相似度对比的方法如图2所示，设置一个二值化相似度判别矩阵，所述二值化相似度判别矩阵由0和1组成，当所述当前帧抛洒区域中存在特征与所述历史帧抛洒区域的特征相同，则在所述二值化相似度判别矩阵中用1来表示，当所述当前帧抛洒区域中存在特征与所述历史帧抛洒区域的特征不同，则在所述二值化相似度判别矩阵中用0来表示。
34.示例性的，设置一个相似度阈值，提取当前抛洒区域和历史帧抛洒区域的特征使用sigmoid函数进行特征比对，若比对结果大于相似度阈值，则认为该部分特征相似，在所述二值化相似度判别矩阵中用1来表示，若比对结果小于相似度阈值，则认为该部分特征不相似，使用0来表示，重复比对步骤，直至所述当前抛洒区域与所述历史帧抛洒区域的全部特征比对完成，得到二值化相似度判别矩阵。
35.在一些实施例中，当所述当前帧抛洒区域同所有所述历史帧抛洒区域不同时，则说明当前帧抛洒区域可能为抛洒物，进一步将所述当前帧抛洒区域同所有超前帧抛洒区域进行比对，当所述当前帧抛洒区域与至少一历史帧抛洒区域相同时，则说明当前帧抛洒区域不可能为抛洒物，结束抛洒物的判断。
36.在一些具体实施例中，使用二值化判别矩阵的方式将所述当前帧抛洒区域与所述超前帧抛洒区域进行比对的方式，也可以使用其他方式进行相似度比对，本方案对此不做限制。
37.具体的，只要历史帧抛洒区域与当前帧抛洒区域特征相同，则说明当前帧抛洒区域中的疑似抛洒物并不是抛洒物，即当所述二值化相似度判别矩阵中存在1时，表示当前帧抛洒区域与历史帧抛洒区域中所对应的区域存在特征相同情况；当且仅当所述二值化相似度判别矩阵中的值全部为0时，表示当前帧抛洒区域与历史帧抛洒区域特征不同，即当前帧存在剧烈变化，则说明当前帧抛洒区域有较大可能为抛洒物。
38.具体的，只要超前帧抛洒区域与当前帧抛洒区域特征相同，则将所述当前帧抛洒区域中的疑似抛洒物有较大可能为抛洒物，若所述超前帧抛洒区域与当前帧抛洒区域特征
不同，则说明当前帧抛洒区域中的疑似抛洒物并不是抛洒物。
39.综上所述，当所述当前帧抛洒区域与所述历史帧抛洒区域特征不同且所述当前帧抛洒区域与所述超前帧抛洒区域特征相同，则认定当前帧抛洒区域存在抛洒物，其抛洒物认定流程图如图3所示，识别逻辑示意图如图4所示。
40.进一步的，在进行特征相似度比对之前对所述当前帧进行预处理，计算所述当前帧r通道中像素值的均值、方差，利用均值和方差所反映的图像特征过滤掉均值较低和方差较大的当前帧抛洒区域。
41.具体的，选择r通道计算的原因在于图像为rgb三通道中r通道抛洒物的像素值与周围环境的变化更加敏感，而且绿化物和阴影的像素分布具有较为稳定的像素范围。
42.进一步的，当过滤掉均值较低和方差较大的当前帧抛洒区域时，则以下一帧作为新的当前帧并对新的当前帧再次进行预处理，遍历上述步骤直至得到满足条件的当前帧。
43.具体的，抛洒物落地结束运动状态的那一帧为所述满足条件的当前帧。
44.具体的，抛洒物识别是一个存在于多帧的连续识别过程，过滤掉均值较低和方差较大的当前帧抛洒区域并不会对抛洒物的识别造成影响。
45.具体的，本方案首先利用历史帧与当前帧判断出抛洒物从无到有的一个生成过程，通过利用历史帧抛洒区域与当前帧抛洒区域的非一致性，防止运动目标检测过于敏感而出现静态误报的情况，同时利用超前帧抛洒区域对当前帧抛洒区域进行分析，去除由于运动信息连通域不准确和画面中运动目标移动的影子干扰而导致的动态误报，保证当前帧抛洒区域与超前帧抛洒区域的一致性。
46.具体的，本方案的整个抛洒物识别过程无需识别抛洒物具体是什么对象，也不需要对抛洒物进行标注，只需要使用特征提取器计算局部图像的特征，再利用二值化相似度判别矩阵进行分析，准确识别抛洒物的信息，省去了常规目标检测算法在抛洒物识别中标注工作量打，准确率不高，收效比低的问题，有效缓解了在应用运动目标检测时识别的运动信息检测框过多，误报量大，给后续抛洒物识别算法分析带来困难的问题。
47.实施例二基于相同构思，参考图5，本技术还提出了一种车辆抛洒物识别装置，包括：获取模块：获取至少一待识别视频流，根据所述待识别视频流构建视频帧缓存队列和视频帧分发队列；初步识别模块：使用运动目标检测算法对所述待识别视频流进行运动目标检测得到运动目标检测结果，所述运动目标检测结果为包含大量目标检测框，对所述运动目标检测结果中的大量目标检测框进行合并和分离，得到疑似抛洒物识别结果；精确识别模块：将所述疑似抛洒物识别结果定义为当前帧，根据所述视频帧缓存队列获取当前帧之前的历史帧，根据所述视频帧分发队列获取当前帧之后的超前帧，截取所述当前帧中疑似抛洒物检测框区域得到当前帧抛洒区域，并获取所述当前帧抛洒区域位置信息，根据所述当前帧抛洒区域位置信息对历史帧以及超前帧进行截取，得到历史帧抛洒区域以及超前帧抛洒区域，将所述当前帧抛洒区域分别与历史帧抛洒区域和超前帧抛洒区域进行特征相似度比对，当所述当前帧抛洒区域与所述历史帧抛洒区域特征不同且所述当前帧抛洒区域与所述超前帧抛洒区域特征相同，则认定当前帧抛洒区域存在抛洒物。
48.实施例三
本实施例还提供了一种电子装置，参考图6，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述一种车辆抛洒物识别方法实施例中的步骤。
49.具体地，上述处理器402可以包括中央处理器（cpu），或者特定集成电路（applicationspecificintegratedcircuit，简称为asic），或者可以被配置成实施本技术实施例的一个或多个集成电路。
50.其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（harddiskdrive，简称为hdd）、软盘驱动器、固态驱动器（solidstatedrive，简称为ssd）、闪存、光盘、磁光盘、磁带或通用串行总线（universalserialbus，简称为usb）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（non-volatile）存储器。在特定实施例中，存储器404包括只读存储器（read-onlymemory，简称为rom）和随机存取存储器（randomaccessmemory，简称为ram）。在合适的情况下，该rom可以是掩模编程的rom、可编程rom（programmableread-onlymemory，简称为prom）、可擦除prom（erasableprogrammableread-onlymemory，简称为eprom）、电可擦除prom（electricallyerasableprogrammableread-onlymemory，简称为eeprom）、电可改写rom（electricallyalterableread-onlymemory，简称为earom）或闪存（flash）或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器（staticrandom-accessmemory，简称为sram）或动态随机存取存储器（dynamicrandomaccessmemory，简称为dram），其中，dram可以是快速页模式动态随机存取存储器404（fastpagemodedynamicrandomaccessmemory，简称为fpmdram）、扩展数据输出动态随机存取存储器（extendeddateoutdynamicrandomaccessmemory，简称为edodram）、同步动态随机存取内存（synchronousdynamicrandom-accessmemory，简称sdram）等。
51.存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
52.处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种车辆抛洒物识别方法的实施过程。
53.可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
54.传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（network interface controller，简称为nic），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（radio frequency，简称为rf）模块，其用于通过无线方式与互联网进行通讯。
55.输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是车辆视频流、当前帧、超前帧、历史帧等，输出的信息可以是疑似抛洒物识别结果、二值化相似度判别矩阵、抛洒物识别结果。
56.可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步
骤：s101、获取至少一待识别视频流，根据所述待识别视频流构建视频帧缓存队列和视频帧分发队列；s102、使用运动目标检测算法对所述待识别视频流进行运动目标检测得到运动目标检测结果，所述运动目标检测结果为包含大量目标检测框，对所述运动目标检测结果中的大量目标检测框进行合并和分离，得到疑似抛洒物识别结果；s103、将所述疑似抛洒物识别结果定义为当前帧，根据所述视频帧缓存队列获取当前帧之前的历史帧，根据所述视频帧分发队列获取当前帧之后的超前帧，截取所述当前帧中疑似抛洒物检测框区域得到当前帧抛洒区域，并获取所述当前帧抛洒区域位置信息，根据所述当前帧抛洒区域位置信息对历史帧以及超前帧进行截取，得到历史帧抛洒区域以及超前帧抛洒区域，将所述当前帧抛洒区域分别与历史帧抛洒区域和超前帧抛洒区域进行特征相似度比对，当所述当前帧抛洒区域与所述历史帧抛洒区域特征不同且所述当前帧抛洒区域与所述超前帧抛洒区域特征相同，则认定当前帧抛洒区域存在抛洒物。
57.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
58.通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
59.本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图6中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如dvd及其数据变体、cd等光学介质上。物理介质是非瞬态介质。
60.本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
61.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。