一种用于边缘智能服务的跨设备目标检测计算重用技术

1.本发明涉及边缘智能服务领域，更确切地说，它涉及一种用于边缘智能服务的跨设备目标检测计算重用技术。


背景技术：

2.边缘智能通过在更靠近用户和数据源头的网络边缘侧部署深度学习模型提供服务，使得智能更加贴近用户，有望解决人工智能落地的“最后一公里”难题。作为边缘计算与人工智能互动融合形成的新范式，边缘智能自2018年首次进入高德纳技术成熟度曲线以后，迅速成为下一代信息技术的新热点，并立即得到了产业界和学术界的高度重视。
3.然而，深度学习模型的语义相似性加上边缘设备之间的时空相关性导致边缘智能模型存在大量的模糊计算冗余，具体表现在两个方面：1)相似输入数据导致的冗余计算。边缘智能应用场景通常在邻近的多个设备上调用深度学习模型进行上下文情景计算，输入相似和相关上下文数据得到相同的结果。google街景api创建模拟地标识别场景的实证研究表明，超过83％的图像地标识别任务包含冗余计算。2)同类深度学习模型导致的冗余计算。从模型生成角度看，利用公共标准数据集预训练、从公共基础模型迁移衍生和利用现有模型指导训练等因素都会导致同类深度学习模型之间存在语义相似性，研究发现当在相同或高度相似的输入上调用类似模型进行推理任务时(例如，inceptionv3、resnet50、mobilenet和resnext101)，发现超过95％的输出结果彼此一致，导致看似不同的工作负载实际上在语义上是等效的。


技术实现要素：

4.本发明的目的是克服现有技术中的不足，提供了一种用于边缘智能服务的跨设备目标检测计算重用技术，包括：
5.s1、在边缘设备上部署目标检测服务，提取视频帧的静态背景和动态目标实体；
6.s2、在边缘设备的后台服务上根据替换算法提供缓存替换服务；
7.s3、在边缘服务器上管理多个边缘设备保存的数据，利用服务器上的缓存管理算法进行缓存管理服务，并跨设备地更新边缘设备数据。
8.作为优选，s1包括以下步骤：
9.s101、边缘设备获取视频帧并进行缓存，通过下采样技术提取出当前视频帧的检测目标图像特征；并获取缓存中的历史视频帧的检测目标图像特征，结合所述当前视频帧的检测目标图像特征和所述历史视频帧的检测目标图像特征提取出视频帧的静态背景；
10.s102、结合图像差分与帧间差分技术识别视频帧的动态实体。
11.作为优选，s2包括以下步骤：
12.s201、利用缓存中的记录计算动态实体与目标实体的相似度，并利用相似度阈值机制来定位当前视频帧的目标实体；
13.s202、在缓存区空间溢出时，利用缓存替换机制替换与删除边缘设备记录的视频
数据与目标检测模型的计算结果。
14.作为优选，s3包括以下步骤：
15.s301、边缘服务器获取多个边缘设备保存的目标实体图像，并将所述目标实体图像转换为高维特征向量进行保存；
16.s302、通过自适应局部敏感哈希算法对所述高维特征向量进行索引；
17.s303、在边缘服务器将某一边缘设备的数据写入哈希函数的对应聚类中后，根据其时空特性将该边缘设备的新数据更新至与其在同一聚类下的边缘设备的本地缓存中，同时将更新信号传递给本地缓存服务。
18.作为优选，在s102中，在动态实体中选取距离缓存中的目标实体最近的k个实体，并将其与缓存中记录的目标实体的特征进行余弦相似度比较，通过相似度阈值机制来确定目标，将识别实体的特征与候选框更新至本地缓存中。
19.作为优选，s101包括以下步骤：
20.s1011、分别利用局部区域特征提取算法、角点检测算法和下采样算法提取图像特征，平衡平均的运行时间与内存占用两大指标；
21.s1012、在边缘设备上的缓存区初始化阶段，冷启动参数设置为ε，利用深度学习模型得到目标实体的初始帧，将初始帧作为关键帧，并在边缘设备的缓存中保存所述关键帧的图像特征与框选位置；在检测目标实体的同时，利用自适应的高斯混合模型对图像静态背景进行建模，获取当前边缘设备下当前时域的静态背景。
22.作为优选，s102包括以下步骤：
23.s1021、记视频序列中第t帧和第t-1帧的图像为f
t
与f
t-1
，两帧对应像素点的灰度值记为f
t
(x，y)与f
t-1
(x，y)，则差分图像m
t
定义为：
24.m
t
(x，y)＝|f
t
(x，y)-f
t-1
(x，y)|
25.s1022、设置阈值t，对像素点进行二值化处理，得到二值化图像r
t
，并对所述二值化图像r
t
进行通性分析，得到当前视频帧下的多个连通的运动实体区域；利用当前视频帧的图像与静态背景的图像差分对动态目标实体进行图像补全与补充。
26.作为优选，s201中，在多个动态实体中，利用knn算法与框选位置模糊判断目标实体可能所在的聚类区域，并分别与缓存中的目标实体特征计算余弦相似度，通过相似度阈值机制确定目标实体在当前视频帧的位置。
27.作为优选，s202中，定义帧fn的重要性指标如下：
[0028][0029]
其中，t表示当前时刻，h
t
表示t时刻的特征是否因与帧fn相似而命中，u(f
t
，f
t-1
)表示在t时刻的匹配到的特征的框选区域u
t
与它前一帧的目标特征的框选区域u
t-1
的重叠值，函数定义如下：
[0030][0031]
同时，定义帧fn异常值指标如下：
[0032][0033]
其中，k与δ为固定参数，表示选取前k重要的特征作为关键帧、前δ异常的特征作为异常帧，s(fn，fi)表示帧fn与关键帧fi的相似度结果，o值越小表示帧fn越异常；
[0034]
边缘设备的缓存服务从边缘服务器上获取目标实体的初始特征集合，根据缓存命中情况动态更新缓存中特征的重要性指标与异常值指标，在缓存区空间溢出时，缓存替换机制动态更新关键帧与异常帧。
[0035]
作为优选，s302中，自适应局部敏感哈希算法的数据结构由多个哈希表组成，每个哈希表都使用不同哈希函数和一组桶。
[0036]
本发明的有益效果是：本发明通过利用简单、快速的传统方式结合缓存中轻量级检测模型的历史计算结果的方式来更好的实现边缘设备上的目标检测功能，并提高检测对环境变化的自适应能力，解决了深度学习模型因为很难针对特定环境进行特定的训练与部署，从而大大的增加训练与部署成本的问题。
附图说明
[0037]
图1为本技术提供的用于边缘智能服务的跨设备目标检测计算重用系统的结构示意图；
[0038]
图2为本技术提供的用于边缘智能服务的跨设备目标检测计算重用技术的流程图；
[0039]
图3为本技术提供的用于提供边缘设备上的后台计算重用服务的流程图；
[0040]
图4为本技术提供的用于提供边缘设备上的后台缓存管理服务的流程图；
[0041]
图5为本技术提供的用于在边缘服务器上管理数据并跨设备更新数据的流程图；
[0042]
附图标记说明：信息采集设备1、后台客户端2、服务端3。
具体实施方式
[0043]
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
[0044]
实施例1：
[0045]
本技术提供了一种用于边缘智能服务的跨设备目标检测计算重用系统，如图1所示，该系统包括：信息采集设备1、后台客户端2和服务端3。其中，后台客户端2用于与服务器交互，服务端3用于存储缓存信息与跨设备交互。
[0046]
本发明中的用于边缘智能服务的跨设备目标检测计算重用系统，在边缘设备上部署后台服务，通过下采样技术提取视频帧的图像特征，使用图像差分与帧间差分技术识别动态实体，同时利用本地缓存提供目标检测的计算重用服务。在服务器上管理多个设备缓存的数据，利用局部敏感哈希算法进行缓存管理的替换与跨设备更新服务。最终实现了用于跨设备的目标检测计算重用系统设计。
[0047]
实施例2：
[0048]
本技术还提供了一种用于边缘智能服务的跨设备目标检测计算重用技术，由实施
例1中的用于边缘智能服务的跨设备目标检测计算重用系统执行，如图2所示，包括：
[0049]
s1、在边缘设备上部署目标检测服务，提取视频帧的静态背景和动态目标实体。
[0050]
在s1中，还在边缘设备上部署了后台服务，并提供边缘设备上的计算重用服务。
[0051]
s2、在边缘设备的后台服务上根据替换算法提供缓存替换服务。
[0052]
s3、在边缘服务器上管理多个边缘设备保存的数据，利用服务器上的缓存管理算法进行缓存管理服务，并跨设备地更新边缘设备数据。
[0053]
如图3所示，s1包括以下步骤：
[0054]
s101、边缘设备获取视频帧并进行缓存，通过下采样技术提取出当前视频帧的检测目标图像特征；并获取缓存中的历史视频帧的检测目标图像特征，结合当前视频帧的检测目标图像特征和历史视频帧的检测目标图像特征提取出视频帧的静态背景。
[0055]
s102、结合图像差分与帧间差分技术识别视频帧的动态实体。
[0056]
如图4所示，s2包括以下步骤：
[0057]
s201、利用缓存中的记录计算动态实体与目标实体的相似度，并利用相似度阈值机制来定位当前视频帧的目标实体。
[0058]
s202、在缓存区空间溢出时，利用缓存替换机制替换与删除边缘设备记录的视频数据与目标检测模型的计算结果。需要说明的是，目标检测模型的计算结果包括s201中动态实体与目标实体的相似度计算结果和目标检测模型过去计算的目标特征。
[0059]
如图5所示，s3包括以下步骤：
[0060]
s301、边缘服务器获取多个边缘设备保存的目标实体图像，并将目标实体图像转换为高维特征向量进行保存。
[0061]
s302、通过自适应局部敏感哈希算法对高维特征向量进行索引。
[0062]
s303、在边缘服务器将某一边缘设备的数据写入哈希函数的对应聚类中后，根据其时空特性将该边缘设备的新数据更新至与其在同一聚类下的边缘设备的本地缓存中，同时将更新信号传递给本地缓存服务。
[0063]
在s102中，在动态实体中选取距离缓存中的目标实体最近的k个实体，并将其与缓存中记录的目标实体的特征进行余弦相似度比较，通过相似度阈值机制来确定目标，从而实现快速的模糊定位，最后将识别实体的特征与候选框更新至本地缓存中。
[0064]
在边缘设备上的计算重用服务，利用相邻帧间差分技术提取出当前帧图像中的动态实体。边缘设备上采集的视频序列具有连续性的特点，如果场景内没有运动目标，则连续帧的变化很微弱，如果存在运动目标，则连续的帧和帧之间会有明显地变化。相邻帧间差分法就是借鉴了上述思想，由于场景中的目标在运动，目标的影像在不同图像帧中的位置不同，对时间上连续的两帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能。
[0065]
s101包括以下步骤：
[0066]
s1011、分别利用局部区域特征提取算法、角点检测算法和下采样算法提取图像特征，平衡平均的运行时间与内存占用两大指标。
[0067]
在s1011中，局部区域特征提取算法主要通过灰度化局部直方图、颜色空间归一化、对图像进行滑动梯度计算，最终组合出图像特征；角点检测算法主要通过图像的局部自相似性，即在某个局部窗口内图像块与在各个方向微小移动后的窗口内图像块的相似性来
得到图像的关键角点特征；下采样算法采用基本的像素均值对目标实体进行降维，牺牲部分细节提升时间性能的同时降低内存成本，最终使用平衡性最佳的下采样算法作为特征提取算法。
[0068]
s1012、在边缘设备上的缓存区初始化阶段，冷启动参数设置为ε(ε默认为100)，即需要缓存ε个初始帧才能开始进行计算重用服务，并利用轻量的深度学习模型得到目标实体的初始帧，将初始帧作为关键帧，并在边缘设备的缓存中保存关键帧的图像特征与框选位置；在检测目标实体的同时，利用自适应的高斯混合模型对图像静态背景进行建模，获取当前边缘设备下当前时域的静态背景。
[0069]
s102包括以下步骤：
[0070]
s1021、记视频序列中第t帧和第t-1帧的图像为f
t
与f
t-1
，两帧对应像素点的灰度值记为f
t
(x，y)与f
t-1
(x，y)，则差分图像m
t
定义为：
[0071]mt
(x，y)＝|f
t
(x，y)-f
t-1
(x，y)|
[0072]
s1022、设置阈值t，对像素点进行二值化处理，得到二值化图像r
t
。其中，灰度值为255的点即为运动实体，灰度值为0的点即为背景点，并对二值化图像r
t
进行通性分析，得到当前视频帧下的多个连通的运动实体区域。由于相邻帧间差分无法应对光照突变，并且存在图像“空洞”的现象，因此利用当前视频帧的图像与静态背景的图像差分对动态目标实体进行图像补全与补充。
[0073]
需要说明的是，在前述s102识别动态实体过程中，将原始图像对动态实体做图像差分，从而动态地更新静态背景图像，更好地适应环境变化，同时对设备的倾斜移动所导致的背景变换做出自适应性调整。将识别实体的特征、候选框结果与自适应后的背景信息更新至缓存中，并利用缓存管理服务动态的管理缓存中的内容。
[0074]
进而在s201中，在多个动态实体中，利用knn算法与框选位置模糊判断目标实体可能所在的聚类区域，并分别与缓存中的目标实体特征计算余弦相似度，通过相似度阈值机制确定目标实体在当前视频帧的位置。
[0075]
s202中，边缘设备上的缓存主要包括目标实体关键帧与异常帧的下采样特征，缓存管理算法的主要关注点在于如何根据视频的时空连续性来确定目标实体的重要特征，从而，通过重要特征来更好的根据相似度确定目标实体，因此，定义帧fn的重要性指标如下：
[0076][0077]
其中，t表示当前时刻，h
t
表示t时刻的特征是否因与帧fn相似而命中，u(f
t
，f
t-1
)表示在t时刻的匹配到的特征的框选区域u
t
与它前一帧的目标特征的框选区域u
t-1
的重叠值，函数定义如下：
[0078][0079]
同时，本发明通过异常值来确定异常帧，从而提高对目标实体的异常行为检测的鲁棒性，因此定义帧fn异常值指标如下：
[0080]
[0081]
其中，k与δ为固定参数，表示选取前k重要的特征作为关键帧、前δ异常的特征作为异常帧，s(fn，fi)表示帧fn与关键帧fi的相似度结果，o值越小表示帧fn越异常；
[0082]
边缘设备的缓存服务从边缘服务器上获取目标实体的初始特征集合，根据缓存命中情况动态更新缓存中特征的重要性指标与异常值指标，在缓存区空间溢出时，缓存管理机制动态更新关键帧与异常帧。
[0083]
也就是说，当缓存区溢出时，缓存替换机制还需要保证关键帧与异常帧的动态更新，动态更新机制利用重要性指标对缓存中的特征进行重要性排序，替换掉其中重要性与异常值都较低的部分。
[0084]
s302中，在将边缘设备的目标实体图像转换为高维特征向量后，本发明设计相应机制来对它们进行索引，以便快速、准确地查找。
[0085]
局部敏感哈希算法被广泛用于在高维空间中搜索最近的匹配，其数据结构由多个哈希表组成，每个哈希表都使用精心选择的不同哈希函数和一组桶，哈希函数较高概率会将类似的数据映射到对应哈希表中的同一个桶，这传达了一种“局部性”原理。传统的局部敏感哈希算法需要针对设备的不同而设计不同的哈希函数与桶的数据结构，也因此，局部敏感哈希算法是静态控制的，这严重限制了它的性能。因此，本发明设计了一种针对跨设备应用的融合时序特性的局部敏感哈希算法。
[0086]
实施例3：
[0087]
本发明在包括3000张图像的目标检测任务上进行了效果验证，具体结果如下：
[0088]
实验在不同的检测图像数目下进行，分别为2000，2500和3000，采用目标检测时间(time)和检测准确率(accuracy)两个指标进行度量。
[0089]
将本发明方法与已有目标检测方法(yolov3-tiny)进行对比。实验结果如下表所示，本方法在获得相当检测准确性的前提下，所需要的检测时间大幅降低，由此可以验证本方法的有效性。
[0090]
表1
[0091][0092]
综上所述，本发明提供了一种用于边缘智能服务的跨设备目标检测计算重用技术，结合缓存中轻量级检测模型的历史计算结果的方式来更好地实现边缘设备上的快速目标检测功能，并提高检测对环境变化的自适应能力。