一种视域重叠的多摄像机目标匹配方法和系统与流程

1.本说明书涉及智能视频监控技术领域，特别涉及一种视域重叠的多摄像机目 标匹配方法和系统。


背景技术：

2.随着智慧电网和智能城市的快速发展，智能视频监控技术正处于快速发展的 阶段，为安防监控事业做出了重大贡献。但是监控摄像头的个数和监控范围的 逐步增加，使得摄像头安装，离线标定，测量以及视频监控的分析工作劳动强 度加大。另外，随着监控场景的复杂与多变，传统的单摄像机目标跟踪和定位 方法在实际应用中面临着巨大的挑战。近年来，多摄像机协同的视频监控技术 已经引起来越来越多的人的关注，基于视觉的定位与跟踪方法已经逐渐从单摄 像机领域过渡到多摄像机领域，尤其是当监控场景中目标之间存在遮挡的情况。 因此，研究智能视频监控中基于多摄像机协同的目标定位与跟踪技术具有重大 的意义。
3.现有技术中，基于单应矩阵的目标空间定位系统和基于主轴的目标空间定位 系统，在严重遮挡的情况下，目标在前景中无法独立分割出来，可能一个前景 区域中包含多个目标，这个时候如果再利用矩形框框住前景区域，那么这个矩 形框中可能包含多个目标，此时矩形框的四个顶点就无法替代任何一个目标的 前景信息，或者说是错误的前景信息，那么利用这个矩形框的四个顶点就无法 得到可靠的目标定位结果。现有技术存在缺陷，需要改进。


技术实现要素：

4.本说明书实施例之一提供一种视域重叠的多摄像机目标匹配方法，所述方法 包括：s1:根据摄像机1和摄像机2的前n帧信息计算两台摄像机的视野分界线， 并通过摄像机1和摄像机2分别采集包含所述目标的前景图像，其中，n取正整 数；s2:提取所述摄像机1视频中的前景目标，根据多特征融合规则将各个前景 目标的特征进行融合获得融合后的特征向量，并通过vibe检测算法对所述前景 图像进行检测与加框处理；s3:对步骤s2中的所述前景图像中的头部前景进行 采样，形成头部采样点，对所述头部采样点进行投影，计算摄像机1中各待匹 配前景目标在摄像机2中的投影点，确定待匹配目标的可靠区域后，再计算可 靠区域内多特征融合向量；s4:连接投影点及摄像机中心投影点，计算候选目标 脚点，对候选目标脚点加权求和，得出目标脚点，并计算多特征融合向量的欧 式距离，完成视域重叠的多摄像机目标匹配，距离最近且在设定阈值范围内的 目标为匹配目标，保存视野分界线参数；s5:对步骤s2中所述前景图像中的胸 部前景进行采样，形成胸部采样点，对胸部采样点进行投影，计算脚点重心更 新视野分界线参数，从当前视频帧的前5帧的中选取2组参数，再结合当前帧 的视野分界线参数进行线性加权，并对视野分界线模型进行更新；s6:重复步骤 s2，直至视频结束。
5.本说明书实施例之一提供一种视域重叠的多摄像机目标匹配系统，所述系统 用
于所述视域重叠的多摄像机目标匹配方法，所述系统包括：第一计算模块， 用于根据摄像机1和摄像机2的前n帧信息计算两台摄像机的视野分界线，并 通过摄像机1和摄像机2分别采集包含所述目标的前景图像，其中，n取正整数； 提取模块，用于提取所述摄像机1视频中的前景目标，根据多特征融合规则将 各个前景目标的特征进行融合获得融合后的特征向量，并通过vibe检测算法对 所述前景图像进行检测与加框处理；采样模块，用于对所述前景图像中的头部 前景进行采样，形成头部采样点，对所述头部采样点进行投影，计算摄像机1 中各待匹配前景目标在摄像机2中的投影点，确定待匹配目标的可靠区域后， 再计算可靠区域内多特征融合向量；第二计算模块，用于连接投影点及摄像机 中心投影点，计算候选目标脚点，对候选目标脚点加权求和，得出目标脚点， 并计算多特征融合向量的欧式距离，完成视域重叠的多摄像机目标匹配，距离 最近且在设定阈值范围内的目标为匹配目标，保存视野分界线参数；第三计算 模块，用于对所述前景图像中的胸部前景进行采样，形成胸部采样点，对胸部 采样点进行投影，计算脚点重心更新视野分界线参数，从当前视频帧的前5帧 的中选取2组参数，再结合当前帧的视野分界线参数进行线性加权，并对视野 分界线模型进行更新；重复模块，用于重复所述提取模块的操作，直至视频结 束。
附图说明
6.本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附 图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表 示相同的结构，其中：
7.图1是根据本说明书一些实施例所示的视域重叠的多摄像机目标匹配方法的 示例性流程图；
8.图2是根据本说明书一些实施例所示的视域重叠的多摄像机目标匹配方法的 另一示例性流程图；
9.图3是根据本说明书一些实施例所示的视域重叠的多摄像机目标匹配方法的 模块图；
10.图4是根据本说明书一些实施例所示的梯度方向划分的示意图。
具体实施方式
11.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中 所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说 明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性 劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从 语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
12.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不 同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词 语可实现相同的目的，则可通过其他表达来替换所述词语。
13.如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、
ꢀ“
一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包 括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一 个排它性的罗列，方法或者
设备也可能包含其它的步骤或元素。
14.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行 的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反， 可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程 中，或从这些过程移除某一步或数步操作。
15.图1是根据本说明书一些实施例所示的视域重叠的多摄像机目标匹配方 法的示例性流程图，图2是根据本说明书一些实施例所示的视域重叠的多摄像 机目标匹配方法的另一示例性流程图。所述方法包括：
16.s1:根据摄像机1和摄像机2的前n帧信息计算两台摄像机的视野分界线， 并通过摄像机1和摄像机2分别采集包含所述目标的前景图像，其中，n取正整 数；
17.s2:提取所述摄像机1视频中的前景目标，根据多特征融合规则将各个前 景目标的特征进行融合获得融合后的特征向量，并通过vibe检测算法对所述前 景图像进行检测与加框处理；
18.s3:对步骤s2中的所述前景图像中的头部前景进行采样，形成头部采样 点，对所述头部采样点进行投影，计算摄像机1中各待匹配前景目标在摄像机2 中的投影点，确定待匹配目标的可靠区域后，再计算可靠区域内多特征融合向 量；
19.s4:连接投影点及摄像机中心投影点，计算候选目标脚点，对候选目标脚 点加权求和，得出目标脚点，并计算多特征融合向量的欧式距离，完成视域重 叠的多摄像机目标匹配，距离最近且在设定阈值范围内的目标为匹配目标，保 存视野分界线参数；
20.s5:对步骤s2中所述前景图像中的胸部前景进行采样，形成胸部采样点， 对胸部采样点进行投影，计算脚点重心更新视野分界线参数，从当前视频帧的 前5帧的中选取2组参数，再结合当前帧的视野分界线参数进行线性加权，并 对视野分界线模型进行更新；
21.s6:重复步骤s2，直至视频结束。
22.所述方法进一步包括：
23.步骤210，设两台摄像机中的同一时刻的帧图像为图像1和图像2。
24.步骤220，提取图像1和图像2的sift匹配关键点，并利用ransac算 法进行过滤。
25.步骤230，从过滤后的sift匹配关键点对中选取4对空间共面的点对，且 任意3点都不共线，设i1和i2为两个独立的投影不变量。
26.步骤240，计算距离视野分界线最小的目标，并判断是最小的目标否被遮 挡。
27.在一些实施例中，本发明的整体框架是基于自适应视野空间模型的目标 匹配方法，即能够根据本发明的优化方法及时更新视野分界线模型的参数。该 部分主要包括两个模块：一是初始化视野分界线模型，二是更新模型参数。
28.设两台摄像机中的同一时刻的帧图像为图像1和图像2。首先提取图像1 和图像2的sift匹配关键点，并利用ransac算法进行过滤。从过滤后的关键 点对中选取4对空间共面的点对，且任意3点都不共线。设i1和i2为两个独立的 投影不变量，计算如公式(1)：
29.[0030][0031][0032]
其中，是点在图i中的坐标。 在两幅待匹配的背景图像中，已知图像1中的5个点计算投影不 变量i1和i2。；图像1中的5个点分别对应图像2中第五个点的相 对位置，根据两个投影不变量，就可以计算图像2中第5个点的对应位置。
[0033]
计算候选目标脚点的步骤如下：
[0034]
利用gps接收器测得摄像机中心在场景平面垂直投影点的gps坐标gc1、 g c2简称摄像机中心投影点；
[0035]
将每一个摄像机前景中，表示行人前景区域的矩形框上面两个顶点，通 过单应矩阵投影到场景平面上，得到t
10
、t
11
、t
02
、t
02
；
[0036]
连接上述投影点和对应的摄像机中心投影点，得到4条位于场景平面上 的直线gc1t
01
、gc1t
11
、gc2t
02
、gc2t
12
；
[0037]
计算上述直线的交点p1、p2、p3、p4并把交点坐标作为候选脚点坐标。
[0038]
记l1、l2分别为两条单应投影线，直线的端点分别为(x0，y0)，(x1，y1)， (x2，y2)，(x3，y3)，l1：y＝k1(x-x0) y0，l2：y＝k2(x-x2) y2，k1、k2是两 直线的斜率，两直线交于一点(x，y)，
[0039][0040]
联立
[0041][0042]
可得，
[0043][0044]
根据上面的方法对摄像机gc1、gc2中的连线求交点即可得到候选目标脚 点。目标未完成分割和匹配即经过前景检测后，目标没有完全分割且目标之间 没有完成相互匹配，矩形框框住的前景区域并不能表示任何一个行人的前景区 域。
[0045]
在一些实施例中，可以计算a1、b1、c1和a2、b2、c2两组参数，首先选取 两组视频的第1,3,5帧图像，计算视野分界线参数，记第n(n》＝5)帧图像视野分 界线参数为
[0046]
图3是根据本说明书一些实施例所示的视域重叠的多摄像机目标匹配方 法的模块图。如图3所示，所述系统包括：第一计算模块，用于根据摄像机1 和摄像机2的前n帧信息计算两台摄像机的视野分界线，并通过摄像机1和摄 像机2分别采集包含所述目标的前景图像，其中，n取正整数；提取模块，用于 提取所述摄像机1视频中的前景目标，根据多特征融合规则将各个前景目标的 特征进行融合获得融合后的特征向量，并通过vibe检测算法对所述前景图像进 行检测与加框处理；采样模块，用于对所述前景图像中的头部前景进行采样， 形成头部采样点，对所述头部采样点进行投影，计算摄像机1中各待匹配前景 目标在摄像机2中的投影点，确定待匹配目标的可靠区域后，再计算可靠区域 内多特征融合向量；第二计算模块，用于连接投影点及摄像机中心投影点，计 算候选目标脚点，对候选目标脚点加权求和，得出目标脚点，并计算多特征融 合向量的欧式距离，完成视域重叠的多摄像机目标匹配，距离最近且在设定阈 值范围内的目标为匹配目标，保存视野分界线参数；第三计算模块，用于对所 述前景图像中的胸部前景进行采样，形成胸部采样点，对胸部采样点进行投影， 计算脚点重心更新视野分界线参数，从当前视频帧的前5帧的中选取2组参数， 再结合当前帧的视野分界线参数进行线性加权，并对视野分界线模型进行更新； 重复模块，用于重复所述提取模块的操作，直至视频结束。
[0047]
在一些实施例中，所述系统进一步包括：设置模块，用于设两台摄像机 中的同一时刻的帧图像为图像1和图像2；第二提取模块，用于提取图像1和图 像2的sift匹配关键点，并利用ransac算法进行过滤；匹配模块，用于从过 滤后的sift匹配关键点对中选取4对空间共面的点对，且任意3点都不共线，设 i1和i2为两个独立的投影不变量；第四计算模块，用于计算距离视野分界线最小 的目标，并判断是最小的目标否被遮挡。
[0048]
在一些实施例中，所述系统进一步包括：第五计算模块，用于计算a1、b1、c1和a2、b2、c2两组参数，首先选取两组视频的第1,3,5帧图像，计算视野分界线 参数，记第n(n》＝5)帧图像视野分界线参数为
[0049]
在一些实施例中，所述系统进一步包括：坐标模块，用于利用gps接收 器测得摄像机中心在场景平面垂直投影点的gps坐标gc1、gc2简称摄像机中心 投影点；投影模块，用于将每一个摄像机前景中，表示行人前景区域的矩形框 上面两个顶点，通过单应矩阵投影到场景平面上，得到：t
01
、t
11
、t
02
、t
02
；连 接模块，用于连接上述投影点和对应的摄像机中心投影点，得到4条位于场景 平面上的直线；第六计算模块，用于计算上述直线的交点p1、p2、p3、p4并把 交点坐标作为候选脚点坐标。
[0050]
在视角1中，两个目标遮挡程度比较深，矩形框的顶点并不能表示任意 一个行人的头点或者脚点。如果此时，按照第一种情况的方法来求候选目标脚 点，那么势必会有导致较大的定位误差。因为二维图像上的小的误差在场景平 面上会被放大，比如对于一个20米的距离，在图像平面上可能是10个像素点， 那么每一个像素点即代表2米的长度，也就是说图像平面上相差一个像素点可 能会造成场景平面上2米的误差范围，这是我们所不能接
受的。
[0051]
在这种视频监控场景中，我们仅仅能得到目标的前景，如果需要进行高 精度的定位和跟踪往往需要大量的工作量完成目标匹配。常用的匹配算法是surf 特征点提取与匹配算法。匹配通常是目标定位和跟踪中的一项重要的工作，但 是匹配算法通常要涉及大量的非线性优化过程，对于实时目标定位和跟踪来说 有很大的局限性。近年来，随着视频监控范围的扩大，实时监控需求的增加， 对于非匹配的目标定位与跟踪的研究越来越多。同时随着监控场景的复杂，关 于遮挡情况下的目标定位和跟踪也成为一个研究热点。大部分的研究重点在于， 通过对前景进行采样得到候选目标脚点，再对候选目标脚点进行足迹分析，最 终定位目标在场景平面中的位置。
[0052]
因此，为了进一步减小这种情况下的定位误差，本发明针对严重遮挡情 况下的目标定位提出了一种对表示前景的矩形框上面边长范围内的像素进行采 样获取候选目标脚点的方法。
[0053]
图4是根据本说明书一些实施例所示的梯度方向划分的示意图。
[0054]
如图4所示，可以将目标图像分解成若干单元cell，并对每个cell计算其 梯度分布直方图。计算一个cell的梯度分布直方图，先将梯度方向(0-360o)划分 为4个值域带bin(图4)，计算cell内每个像素的梯度值和梯度方向，并将像素梯 度值累加到对应的梯度方向bin中，即可获得该cell的梯度分布直方图。
[0055]
可以将相邻的2
×
2个cell组合为块block如图4所示，串联为block 梯度分布直方图特征，并采用l2-norm的方式进行归一化。最后联合各block 的直方图特征形成目标图像最终的hog特征。
[0056]
在一些实施例中，首先可以将目标图像通过双线性插值方法统一为大小 为128
×
64像素的图像，再分别按照上述方法提取颜色直方图特征和hog特征。 颜色直方图特征为hsv颜色空间中的h和s通道，则颜色直方图特征为8
×8ꢀ×
8＝512维；hog特征提取时，每个cell大小为8
×
8，相邻的2
×
2个cell构 成block，则hog特征为128
×2×2×
4＝2048维。最后将颜色直方图特征和 hog特征联合起来，构成最终512 2048＝2560维的目标特征向量。
[0057]
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详 细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说 明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、 改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书 示范实施例的精神和范围。
[0058]
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施 例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某 一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次 或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指 同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点 可以进行适当的组合。
[0059]
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、 数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺 序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但 应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露 的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修 正和等价组合。例如，虽然以上所描述的系统组件可
以通过硬件设备实现，但 是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安 装所描述的系统。
[0060]
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个 或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特 征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着 本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特 征要少于上述披露的单个实施例的全部特征。
[0061]
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类 用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上
”ꢀ
来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有
±
20％ 的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为 近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中， 数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一 些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中， 此类数值的设定在可行范围内尽可能精确。
[0062]
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料， 如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作 为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书 权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。 需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本 说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的 使用为准。
[0063]
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施 例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制， 本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书 的实施例不仅限于本说明书明确介绍和描述的实施例。