一种基于RFID和视觉融合的室内监控方法及系统与流程

一种基于rfid和视觉融合的室内监控方法及系统
技术领域
1.本发明属于计算机视觉和物联网安全领域，具体涉及一种基于rfid和视觉融合的室内监控方法及系统。


背景技术：

2.近年来，在室内环境中检测跟踪人员和设备的能力极大地扩展了基于位置服务的发展，例如室内导航，运输，安全监控等。室内定位很容易受到物体阻塞和人员不规则运动的影响，这些场景比室外环境更复杂。因此，现有的定位技术主要集中在多个检测传感器的融合。视觉监控是监控人员地点、行为和活动的主要方式。监控摄像头广泛应用于公共场所，特别是安全敏感区域，摄像头数量巨大。监控视频已经成为需要处理的最大的大数据。但往往很难对视频数据对象进行识别，对于轻量级的物体的跟踪难度较大。例如：监控到失窃时，同时存在5个人，很难区分具体的小偷；多行人跟踪时难以检测到特定的身份；文件等微小物品难以进行跟踪。另一方面，射频识别(rfid)在监视中也起着重要的作用，其携带持有人的电子身份(id)，可用于定位和跟踪监视系统中的设备持有者，同时对于物体、老人、病患，可以贴上rfid标签进行跟踪通信。rfid具有体积小、成本低、非视距传播、自动识别的特定而被广泛应用，但它不如基于摄像头的跟踪技术那么精确。由于室内环境的特殊性，无线信号传到室内环境中会受到墙体等干扰造成严重的减弱和损耗，同时也会受到室内不同物体造成的反射等影响，定位精度不再准确。再加上人们在室内环境中的移动是没有任何规律可循的，室内环境背景复杂，其定位精度通常在米级。rfid容易受到环境多径效应的影响，导致定位精度低，而视觉对象跟踪容易受到遮挡和背景混乱，导致目标丢失。因此由单个传感器导出的定位数据不仅模糊，而且部分可靠。现有方法仅使用简单的加权公式或仅使用视觉系统的定位数据，并不能有效地融合两者之间的数据。


技术实现要素：

3.本发明的目的在于提出一种基于rfid和视觉融合的室内监控方法及系统，使用rfid阅读器和标签以及商用摄像头，通过关联算法匹配rfid对象和视觉对象，通过ds证据融合算法融合rfid和视觉的位置信息，利用rfid的识别性和视觉定位的高精度性实现目标的在线检测和跟踪，提高目标定位的精度和鲁棒性。
4.本发明解决其技术问题所采用的技术方案如下：
5.一种基于rfid和视觉融合的室内监控方法，包括以下步骤：
6.对室内布置的摄像头和rfid阅读器进行位置标定，并对摄像头和rfid阅读器进行时间同步，建立摄像头的二维图像坐标与室内空间的三维坐标的坐标转换关系；
7.通过rfid阅读器检测目标标签id，该目标标签为行人目标携带的rfid标签，对目标标签所在的区域范围进行粗定位，并将采集到的目标标签id和位置信息发送给该区域范围的摄像头；
8.所述摄像头拍摄所述区域范围，通过所述坐标转换关系将三维坐标系中的位置信
息转换至摄像头的图像坐标系中，在图像坐标系中确定行人的粗略位置，并框选为感兴趣区域，利用图像检测算法检测出当前感兴趣区域中的行人，将行人从图像中进行分割；再利用相关滤波算法对行人进行具体定位和跟踪，输出行人的具体位置和时间信息；
9.rfid阅读器预先利用指纹学习方法训练出一离线指纹标签模型，然后基于该离线指纹标签模型对目标标签进行具体定位和跟踪，并输出目标标签的具体位置和时间信息；
10.根据摄像头输出的行人的具体位置和时间信息与rfid阅读器输出的目标标签的具体位置和时间信息，通过目标关联从图像的行人中选出目标标签对应的行人目标进行匹配，对目标标签和行人目标进行轨迹融合，得到行人目标实时的坐标信息。
11.进一步地，利用张正友估计法对室内布置的摄像头和rfid阅读器进行位置标定。
12.进一步地，rfid阅读器利用landmarc算法对行人目标进行粗定位。
13.进一步地，相关滤波算法采用eco算法。
14.进一步地，利用指纹学习方法训练出离线指纹标签模型的步骤包括：
15.预先将室内空间建立三维坐标系，并划分多个正方形网格，将标签放置在每一个正方形网格内采集多条数据，得到每个正方形网格内的指纹数据，该指纹数据包括标签id和被多个rfid阅读器检测到的信号强度数据组；
16.获取所有正方形网格内指纹数据所对应的坐标位置，然后对指纹数据进行归一化处理；
17.使用k-means聚类算法对定位区域划分为k个宏区域，得出每一个正方形网格所属宏区域的类标签；
18.将类标签信息通入bp神经网络，与实际采集的数据进行训练和损失计算，并优化网络参数，得到离线指纹标签模型。
19.进一步地，rfid阅读器基于离线指纹标签模型，利用卡尔曼滤波算法对目标标签进行具体定位和跟踪。
20.进一步地，目标关联方法包括以下步骤：
21.计算目标标签的位置坐标与每个行人视觉坐标之间的距离矩阵，通过引入具有协方差的零均值高斯核将距离矩阵转化为概率函数，得到表示目标标签与行人目标的匹配概率的距离概率矩阵；
22.计算目标目标标签的位置坐标与每个行人视觉坐标之间的速度矩阵，通过引入具有协方差的零均值高斯核将速度矩阵转化为概率函数，得到表示目标标签与行人目标的匹配概率的速度概率矩阵；
23.根据距离概率矩阵和速度概率矩阵，建立目标标签与行人之间的分配矩阵；再利用全局最优化算法和t分布算法，计算最大的匹配概率，进行目标关联。
24.进一步地，基于ds证据融合理论进行轨迹融合，包括以下步骤：
25.将摄像头和rfid阅读器输出的位置和时间信息作为证据，计算基本概率分配函数bpa；
26.根据dempster组合规则对不同的摄像头和rfid阅读器输出的证据进行空间域判决融合，或者对每个摄像头或rfid阅读器在不同时刻的证据进行时间域判决融合，得到联合证据下的bpa；
27.基于先验概率误差分布的证据理论，根据联合证据下的bpa对位置信息进行融合，
并调整各摄像头和rfid阅读器的权值，选择可信度最大的轨迹作为最终的融合轨迹。
28.进一步地，dempster组合规则为：
29.(1)根据不同位置处的不同摄像头或rfid阅读器的概率误差值，动态设置其基本概率值，且该基本概率分配满足其中mi(a)表示不同摄像头或rfid阅读器在不同识别框架i处的基本概率分配，ri表示其获得的基本概率值；得到m(a)的值后再利用dempster组合规则对摄像头和rfid阅读器的基本概率分配进行融合计算；
30.(2)在出现冲突悖论的情况下，如果悖论的点数在一预设实验阈值以下，则给行人的视觉位置赋权重为1；如果悖论的点数超过所述实验阈值，则给rfid阅读器检测的目标标签位置赋权重为1。
31.进一步地，首先将融合后的轨迹信息进行优化处理；其次将优化后的轨迹信息反馈给摄像头和rfid阅读器；再次利用ds证据融合理论依据先前实验的误差分布信息对摄像头和rfid阅读器输出的位置信息进行动态加权的信息融合，对rfid和摄像头的参数进行了在线修正，保证下一时刻的定位精度及定位的可靠性。
32.一种基于rfid和视觉融合的室内监控系统，包括：
33.摄像头，布置于室内，用于拍摄视觉图像信息，该视觉数据处理模块用于处理摄像头拍摄的图像信息，通过所述坐标转换关系将三维坐标系中的位置信息转换至摄像头的图像坐标系中，在图像坐标系中确定行人的粗略位置，并框选为感兴趣区域，利用图像检测算法检测出当前感兴趣区域中的行人，将行人从图像中进行分割；再利用相关滤波算法对行人进行具体定位和跟踪；
34.rfid阅读器，布置于室内，并与摄像头具有设定的对应关系，用于检测目标标签id和位置信息并进行粗定位，以及预先利用指纹学习方法训练出一离线指纹标签模型，并利用该离线指纹标签模型对目标标签进行具体定位和跟踪；
35.目标关联模块，用于根据摄像头输出的行人的具体位置和时间信息与rfid阅读器输出的目标标签的具体位置和时间信息，从图像中行人中选出目标标签对应的行人目标进行匹配，实现目标关联；
36.数据融合中心，用于对目标标签和行人目标进行轨迹融合，得到行人目标实时的坐标信息。
37.本发明在相机标定、多传感器时间同步之后，对标签物体利用rfid进行跟踪定位，对携带标签的行人目标利用视觉信息进行检测跟踪。最后对得到的位置信息进行目标的关联和融合，得到最终真实的坐标、轨迹和对象id。本发明中rfid模块利用机器学习方法即将预处理过的接收信号强度(received signal strength indicators,rssi)输入训练过的神经网络，然后对预估的位置进行卡尔曼滤波进行优化，从而得到平滑轨迹。基于离线指纹标签模型进行学习得到标签的位置信息和时间信息，视觉模块利用相关滤波方法进行在线跟踪后利用相机标定信息输出行人的空间位置信息和时间信息。通过rfid和视觉的位置距离矩阵和速度距离矩阵来进行目标的关联，将id信息匹配到视觉信息上。本发明的有益效果是：通过利用rfid的识别性和视觉定位的高精度性，可实现目标的在线检测和跟踪功能，从而可以对重要物品进行监控，并且还带来以下的优点，提高了系统性能：1、视觉目标检测不启动人脸检测功能，保护个人隐私。2、rfid引导减少了视频检测的耗时性和复杂性。3、rfid和视觉模块可独立进行工作，可以根据不同场景灵活使用该系统。4、利用ds证据融合
算法提高了定位的精度和鲁棒性。
附图说明
38.图1为本发明实施例的一种形式的室内监控方法流程图。
39.图2为本发明实施例的另一种形式的室内监控方法流程图。
40.图3为本发明实施例的关联模块示意图。
41.图4为本发明实施例的一种形式的融合流程图。
42.图5为本发明实施例的另一种形式的融合流程图。
具体实施方式
43.为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。
44.本发明利用rfid的识别性和视觉定位的高精度性，实现目标在线检测和跟踪，且对两者的位置信息进行进一步的融合，提高定位精度。图1是本发明方法的工作流程图，主要分为以下四个阶段：
45.第一阶段为rfid引导阶段，利用rfid信息进行定位得到目标的区域范围，引导视觉进行目标检测，大大减少目标检测搜索的范围。
46.第二阶段为目标检测阶段，在相机标定、时间同步之后利用图像检测算法进行运动目标的检测。
47.第三阶段为跟踪定位阶段，rfid阅读器利用指纹算法进行了定位，具体为：对室内空间建立坐标系并划分多个正方形网格，将目标标签放置在每一个正方形网格内采集多条数据，得到每个正方形网格内的指纹数据；获取所有正方形网格内指纹数据所对应的坐标位置；然后对指纹数据进行归一化处理，再使用k-means聚类算法对定位区域划分为k个宏区域，得出每一个正方形网格所属宏区域的类标签。将标签信息通入bp神经网络与实际采集的数据进行训练和损失计算，并优化网络参数，得到离线指纹标签模型，利用该模型进行定位。摄像头利用相关滤波算法进行跟踪得到对应行人目标的坐标信息，结合时间信息得到其速度等信息。
48.第四阶段为目标关联和轨迹融合阶段，通过两个传感器求其位置距离矩阵和时间距离矩阵，利用全局最优化和t分布的方法进行关联，将标签id匹配到视觉行人上。
49.结合图2，对本发明的一个实例实现的技术路线进行详细的描述。
50.1)搭建实验环境，部署rfid阅读器与摄像头。获取实验所需数据，获取rfid阅读器、摄像头的空间位置坐标，使用张友正标定法将摄像头二维像素点坐标对应到空间坐标，同步rfid阅读器与摄像头的时间。
51.2)使用landmarc算法粗定位标签id，得到摄像头及感兴趣区域的位置，并在感兴趣区域中进行视觉目标检测，得到行人目标。同步进行rfid跟踪和视觉目标跟踪：rfid阅读器利用指纹算法对标签id进行定位，并利用卡尔曼滤波对标签进行跟踪；视觉目标跟踪使用相关滤波算法(如eco算法)对行人目标进行跟踪。
52.根据上述位置变化信息，利用时间信息，得到对应的速度信息。
53.3)对上述得到的特征信息利用全局最优化、t分布等算法在不同情况下进行目标
关联。
54.如图3所示，本实施例中考虑到三种异常情况，对于情况(a)，此时id对应上目标标记的行人，直接关联；对于情况(b)和(c)，此时摄像头无法识别行人对象和其对应的id，利用rfid和视觉跟踪得到的坐标、速度等特征进行关联，根据全局最优化、t分布可以得到特定对象与其对应的特定id。
55.本发明通过联合概率数据关联方法将rfid标签目标匹配到视觉对象上，其通过计算rfid目标标签的位置点与每个视觉坐标之间的距离矩阵，将其转化为概率函数从而得到匹配概率。匹配概率表示相应对象可能是标签目标的可能性，并且较高匹配概率表示标签更可能在该视觉轨迹上。通过rfid阅读器和摄像头求其距离概率矩阵和速度概率矩阵，距离概率矩阵和速度概率矩阵求法如下：
56.假设场景中有m个标签t，n个行人v，其中包括m个携带标签的和n-m个未携带标签的行人，需要将携带标签的m个行人ci匹配到这m个标签tj上。ci与tj的欧式距离为：的欧式距离为：x，y为横纵坐标值，σ
x
，σy分别为x,y的标准差。该距离可以转化为一个概率函数，表示如下：
[0057][0058]
rfid标签的位置测量结果包含随机误差，其遵循典型的高斯分布，因此使用具有特定协方差的零均值高斯核：
[0059][0060]
另一方面，行人之间的速度往往因人而因，速度也可以成为一个关联因子，定义如下：
[0061][0062]
其中表示标签ti的位移。
[0063]
与空间距离类比，通过具有零均值和协方差矩阵的高斯核将速度转换为概率测量。
[0064]
上述是单个位置点的匹配过程，实际场景中需要将该匹配过程扩展到滑动时间窗口中，如标签在时间t的坐标为x(t)＝(x1(t),x2(t),
…
,xn(t))
t
y(t)＝(y1(t),y2(t),
…
,ym(t))
t
,那么滑动时间窗口内的距离为∫d
ij
(t)dt。根据可以得到滑动窗口时间内的匹配概率。
[0065]
对于每个观察到的标签和视觉对象，可以因此建立分配矩阵：
[0066][0067]
其中，每一行的概率表示将标签tj分配到不同的视觉目标ci的概率，通过找到最大的概率值来确定标签tj分配的视觉目标。利用全局最优化、t分布等的方法进行关联，将标签id匹配到视觉行人上。此处以距离矩阵为例利用公式将距离转换为概率，也可使用速度矩阵来建立分配矩阵，具体方式与空间距离类比，通过具有零均值和协方差矩阵的高斯核将速度转换为概率测量。
[0068]
图4为rfid和视觉位置信息的融合流程图。
[0069]
数据融合的基本思想是，首先计算所有摄像头和rfid阅读器下证据的基本概率分配函数(bpa)，再根据组合规则计算所有联合证据下的bpa，最后按照判决规则选择可信度最大的假设作为融合结果。基本概率分配函数(basic probability assignment functions，bpa)：为了描述假设的支持度，基于2θ引入基本概率分配，也称为质量函数。质量函数2
θ
→
[0，1]，满足以下等式：
[0070][0071]
∑
a∈θ
m(a)＝1
[0072]
其中m(a)是命题a的基本证据支持度。
[0073]
步骤1根据rfid信号强弱对目标进行粗定位，对该区域内的摄像头进行标定与时间同步，确定感兴趣区域。
[0074]
步骤2对感兴趣区域内进行背景分割、目标检测，识别出行人。
[0075]
步骤3对步骤2中识别出的目标进行通过摄像头的视觉跟踪与通过rfid的跟踪。
[0076]
步骤4将步骤3中两种方式在t时刻的特征反馈至rfid、摄像头和融合中心，利用反馈的定位信息，利用ds证据融合依据先前实验的误差分布信息对rfid和视觉的定位信息进行动态加权的信息融合从而对rfid和摄像头的参数进行了在线修正，保证t 1时刻的定位精度及定位的可靠性。
[0077]
图5为rfid和视觉位置信息的融合流程图。
[0078]
利用证据理论中的dempster组合规则，可以对不同的传感器(即摄像头和rfid阅读器)提供的目标识别证据进行融合判决，即所谓的空间域判决融合；也可以对每一个传感器在不同时刻得到的识别证据进行融合，即所谓的时间域判决融合。利用先验的误差分布信息进行作为概率分配因子，根据决策规则进行判断。利用证据理论中的dempster组合规则，可以对rfid和摄像头提供的位置证据进行融合判决。在rfid和摄像头融合的系统中，视觉系统可能因为遮挡而导致跟踪失败，而rfid系统的定位点可能在视觉系统的定位范围之外。这两种情况都是证据理论中经常出现的冲突悖论问题。在rfid和视觉的融合系统中，不同传感器在不同位置处的基本概率值是不同的。为了更加真实地反应实际的位置融合场景，本发明采用基于先验概率误差分布的证据理论对融合系统的位置信息进行融合，在融合过程中根据实际情况不断调整各传感器的权值。下面详细分析dempster组合规则：
[0079]
(1)根据各传感器的定位和跟踪精度和鲁棒性的不同，根据不同位置处不同传感器的概率误差值动态设置其基本概率值，且基本概率分配满足其中mi(a)表示不同传感器在i处的基本概率分配，n为位置数量，ri表示其获得的基本概率值。得到m(a)的值后再利用dempster合成规则对rfid和摄像头的基本概率分配进行融合计算。
[0080]
(2)在出现冲突悖论的情况下，如果悖论的点数在阈值以下，则给视觉位置赋权重为1。如果悖论的点数超过实验阈值，则说明视觉目标跟踪出错，此时给rfid阅读器检测的目标标签位置赋权重为1。
[0081]
与传统的ds证据理论相比，本文基于先验概率误差分布的证据融合方法在处理多传感器位置融合过程中具有以下优点：
[0082]
(1)本方法考虑了不同传感器在不同位置处的定位准确度，更符合实际情况。
[0083]
(2)当多种证据发生严重的冲突时，本文基于先验概率误差分布的融合算法能够得到更好的结果。
[0084]
以上就是本发明实施例的具体实现流程。
[0085]
本发明正是利用了rfid的识别性和视觉定位的高精度性来进行目标的在线检测与跟踪，在时间同步和空间同步之后，rfid利用指纹定位方法输出位置时间信息，视觉摄像头通过在rfid确定的感兴趣区域进行目标检测，利用相关滤波算法进行视觉目标跟踪输出位置时间信息。对位置坐标矩阵和速度坐标矩阵全局最优化和t分布进行标签和视觉的关联。rfid模块和视觉模块可依据环境独立使用，使具有多功能的设备使用更加灵活。
[0086]
实验验证：
[0087]
将融合算法的定位结果与单一传感器下的经典算法进行比较，使用单一传感器rfid的经典算法bp的最终定位精度为分米级，误差为0.53m。使用单一传感器摄像头的视觉算法eco(eco算法是2017年vot竞赛上排名第一的相关滤波目标跟踪算法，在cpu计算机上能够达到66fps的跟踪速度)在无遮挡情况下的定位精度为厘米级，均方误差为0.12m。融合结果表明，均方误差在x轴为3.39cm，在y轴为7.09cm，总均方误差为9.80cm，标准偏差为7.21cm。得到的精度略高于单纯使用计算机视觉的定位给精度，这证明了rfid与视觉融合的有效性。
[0088]
虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域的普通技术人员对本发明的技术方案进行的适当修改或者等同替换，均应涵盖于本发明的保护范围内，本发明的保护范围以权利要求所限定者为准。