基于视频电子围栏的行人进出状态检测方法与流程

1.本发明涉及图像识别领域，特别是涉及一种基于视频电子围栏的行人进出状态检测方法。


背景技术：

2.传统的电子围栏需要专门的装备，成本较高，且只能判断有物体进出，不能自动判断物体是否为行人，以及行人到底是进还是出。


技术实现要素：

3.针对上述技术问题，本发明提供一种基于视频电子围栏的行人进出状态检测方法，该方法采用基于视频的“电子围栏”，与深度学习技术相结合，可以自动判断出行人的进出状态，硬件成本低，效果好。
4.本发明采用的技术方案为：
5.本发明实施例提供一种基于视频电子围栏的行人进出状态检测方法，用于对目标监控区域内的行人状态进行检测，所述目标监控区域内设置有拍摄装置；所述方法包括如下步骤：
6.s100，实时接收拍摄装置发送的图像，并对接收到的第i帧图像中的行人信息进行识别，得到识别信息表ri，ri中的第j行包括(id
ij
，p
ij
，g
ij
)，id
ij
为第i帧图像中识别的第j个行人的id，p
ij
为第i帧图像中识别的第j个行人的图像数据，g
ij
为第i帧图像中识别的第j个行人在设定坐标系中的位置，j的取值为1到m(i)，m(i)为第i帧图像中的行人数量；i为大于等于1的自然数；如果当前识别的图像的帧数i≥2，执行s200；
7.s200，基于第i-1帧图像的识别信息表r
i-1
，获取第i帧图像中的候选区域表zi＝(z
i1
，z
i2
，
…
，z
ik
，
…
，z
im(i-1)
)；z
ik
为基于第i-1帧图像中的第k个行人的位置在第i帧图像中确定的候选区域，k的取值为1到m(i-1)，m(i-1)为第i-1帧图像中的行人数量；
8.s300，对于r
i-1
中的任一行k，如果k≤m(i-1)，则获取z
ik
中的行人图像数据集(p
1ik
，p
2ik
，
…
，p
rik
，
…
，p
r(ik)ik
)；p
rik
为z
ik
中的第r个行人的图像数据，r的取值为1到r(ik)，r(ik)为z
ik
中的第r个行人的数量；执行s400；
9.s400，获取相似度集d
i-1ik
＝(d
i-1ik
1，d
i-1ik
2,
…
,d
i-1ik
r,
…
,d
i-1ik
r(ik)),d
i-1ik
r为p
rik
与第i-1帧图像中的第k个行人的图像数据p
(i-1)k
之间的相似度；
10.s500，如果max(d
i-1ik
)≥d，将max(d
i-1ik
)对应的行人的位置存储至p
(i-1)k
对应的位置序列表的下一个位置处，并将max(d
i-1ik
)对应的行人的id存储至中间集mi的对应位置处，执行s700；否则，执行s600；d为设定的相似度阈值；
11.s600，基于p
(i-1)k
对应的位置序列表和电子围栏在设定坐标系中的位置信息，获取p
(i-1)k
对应的行人相对于电子围栏的状态；电子围栏为在图像的设定区域绘制的闭合曲线；执行s700；
12.s700，设置k＝k 1；执行s300；
13.s800，基于ri和mi，获取ri中不属于mi的行人的id，并为获取的每个行人的id设置对应的位置序列表，并将每个行人的id对应的位置存储至对应的位置序列表的第一个位置处。
14.本发明还提供一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现前述方法。
15.本发明至少具有以下有益效果：
16.本发明实施例提供的基于视频电子围栏的行人进出状态检测方法，对于接收到的每帧图像，先基于前一帧图像中的行人位置预测这些行人在当前帧图像中出现的位置区域，接着，对于前一帧图像中的某个行人，将对应的预测位置区域中的行人图像分别与该行人的图像进行比对，如果存在与该行人对应的图像，则将该图像对应的位置加入到该行人对应的位置序列表中并放入中间表中，否则，则生成该行人完整的位置序列表，并计算该行人相对于电子围栏的状态。最后，在对前一帧图像中的所有行人都比对之后，将当前帧图像中识别的行人与中间表中的行人进行比对，如果存在没有出现在中间表中的行人，则为这些行人构建新的位置序列表。这样，能够准确且快速地知晓位于电子围栏附近的每个人体的具体行动轨迹，即通过结合人体检测与目标追踪技术，可以生成每个人体对运动轨迹，进而用于和电子围栏联合判断出人物的行动逻辑，能够精准统计行人出入等状况。
附图说明
17.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明实施例提供的基于视频电子围栏的行人进出状态检测方法的流程图。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.图1为本发明实施例提供的基于视频电子围栏的行人进出状态检测方法的流程图。
21.本发明实施例提供一种基于视频电子围栏的行人进出状态检测方法，用于对目标监控区域内的行人状态进行检测，以确定行人相对于电子围栏的状态。所述目标监控区域内设置有拍摄装置。在本发明实施例中，电子围栏为在图像的设定区域绘制的闭合曲线。在本发明一实施例中，所述电子围栏的位置信息基于人工标注确定。例如，可通过在图像上绘制多边形。多边形可以是规则的也可以是不规则的，可自定义设置。在本发明另一实施例中，所述电子围栏的位置信息可基于电子围栏对应的设定区域在世界坐标系中的位置得
到。例如，在对应的设定区域为门的情况下，可基于门在真实世界坐标系中的位置映射到图像坐标系中得到电子围栏在设定坐标系中的位置。
22.在一个示意性实施例中，拍摄装置例如可以是摄像机。
23.如图1所示，所述方法可包括如下步骤：
24.s100，实时接收拍摄装置发送的图像，并对接收到的第i帧图像中的行人信息进行识别，得到识别信息表ri，ri中的第j行包括(id
ij
，p
ij
，g
ij
)，id
ij
为第i帧图像中识别的第j个行人的id，p
ij
为第i帧图像中识别的第j个行人的图像数据，g
ij
为第i帧图像中识别的第j个行人在设定坐标系中的位置，j的取值为1到m(i)，m(i)为第i帧图像中的行人数量；i为大于等于1的自然数；如果当前识别的图像的帧数i≥2，执行s200。
25.在本发明实施例中，行人的id可自定义或者按时间顺序生成。行人的图像数据可为经过图像特征提取器提取的高维特征向量。本领域技术人员知晓，提取图像的特征向量，形成图像特征向量集可为现有技术，例如，通过深度神经网络的方式进行提取等。
26.进一步地，在本发明实施例中，设定坐标系可为图像坐标系，即监控画面中的图像坐标系。
27.进一步地，在本发明实施例中，在每帧图像中识别出的每个行人的图像通过检测框标识，即在识别出的每个行人图像上添加矩形框进行标识。其中，g
ij
为第i帧图像中识别的第j个行人的检测框的底边的中点位置。g
ij
＝(x
ij
，y
ij
)，x
ij
为在第i帧图像中的第j个行人图像坐标系中的横坐标，y
ij
为在第i帧图像中的第j个行人图像坐标系中的纵坐标，单位为像素。
28.本领域技术人员知晓，在本发明实施例中，如果当前识别的图像的帧数i＝1，则会为每个识别的行人构建位置序列表。在一个示意性实施例中，第i帧图像中的第j个行人的位置序列表的形式可为l
ji
＝(l
j1i
，l
j2i
，
…
，l
jn(j)i
)，l
ji
存储的为有序数据，初始化为包含表头元素的列表，列表的长度可以扩展。
29.需要说明的是，对于每帧图像，可能存在没有行人的情况。这种情况下，识别信息表中的数据会为空。
30.s200，基于第i-1帧图像的识别信息表r
i-1
，获取第i帧图像中的候选区域表zi＝(z
i1
，z
i2
，
…
，z
ik
，
…
，z
im(i-1)
)；z
ik
为基于第i-1帧图像中的第k个行人的位置g
(i-1)k
在第i帧图像中确定的候选区域，k的取值为1到m(i-1)，m(i-1)为第i-1帧图像中的行人数量。
31.在本发明实施例中，z
ik
为以g
cjk
为圆心，以设定半径r为半径绘制的圆形区域，r可基于试验得到，例如，r可取10像素。其中，g
cik
＝f
ik
*g
(i-1)k
w
(i-1)k
；f
ik
为第i-1帧图像中识别的第k个行人在当前时刻的状态变换向量，w
(i-1)k
为第i-1帧图像中识别的第k个行人的运动坐标的高斯噪声。f
ik
可通过目标人体真实空间坐标的历史数据预测出当前时点的空间坐标，再通过相机标定仿射变换到图像坐标得到。在本发明实施例中，w
(i-1)k
可基于经验进行设置。在一个示意性实施例中，每个行人对应的噪声可相同。
32.s300，对于r
i-1
中的任一行k，如果k≤m(i-1)，则获取z
ik
中的行人图像数据集(p
1ik
，p
2ik
，
…
，p
rik
，
…
，p
r(ik)ik
)；p
rik
为z
ik
中的第r个行人的图像数据，r的取值为1到r(ik)，r(ik)为z
ik
中的第r个行人的数量；执行s400。
33.s400，获取相似度集d
i-1ik
＝(d
i-1ik
1，d
i-1ik
2,
…
,d
i-1ik
r,
…
,d
i-1ik
r(ik)),d
i-1ik
r为p
rik
与第i-1帧图像中的第k个行人的图像数据p
(i-1)k
之间的相似度。
34.在本发明实施例中，可通过设定的相似度计算方法来计算两个图像数据之间的相似度，例如，余弦距离、欧式距离和汉明距离等。
35.在本发明实施例中，d可基于现有方式确定，例如，d可为0.5～0.95。
36.s500，如果max(d
i-1ik
)≥d，将max(d
i-1ik
)对应的行人的位置存储至p
(i-1)k
对应的位置序列表的下一个位置处，并将max(d
i-1ik
)对应的行人的id存储至中间集mi的对应位置处，执行s700；否则，执行s600；d为设定的相似度阈值。
37.如果max(d
i-1ik
)≥d，说明在z
ik
中找到与p
(i-1)k
对应的行人相对应的行人，表示该行人的轨迹还没有结束，则将该行人的当前位置存入对应的位置序列表中。在本发明实施例中，中间集mi存储的为有序数据，初始化为包含表头元素的列表，列表的长度可以扩展。
38.如果max(d
i-1ik
)＜d，说明在z
ik
中没有找到与p
(i-1)k
对应的行人相对应的行人，这意味着该行人的行动在摄像机的视野范围内结束，可基于摄像机捕捉的图像生成该行人的行动轨迹。
39.s600，基于p
(i-1)k
对应的位置序列表和电子围栏在设定坐标系中的位置信息，获取p
(i-1)k
对应的行人相对于电子围栏的状态；执行s700。
40.进一步地，基于p
(i-1)k
对应的位置序列表和电子围栏在设定坐标系中的位置信息，获取p
(i-1)k
对应的行人相对于电子围栏的状态可具体包括以下步骤：
41.s601，基于电子围栏的位置信息获取电子围栏的轮廓线形成的基准区域。本领域技术人员知晓，基于电子围栏的位置信息获取电子围栏的轮廓线形成的基准区域可为现有技术。
42.s602，基于p
(i-1)k
对应的位置序列表中的每个id对应的位置序列表生成每个id对应的轨迹线段。每个行人对应的轨迹线段可由多个线段形成折线段。
43.s603，计算每个id对应的轨迹线段与所述基准区域之间相交的次数。
44.s604，基于每个id对应的行人在设定坐标系中的起止位置和相交的次数确定该id对应的行人相对于电子围栏的状态。
45.在本发明实施例中，行人相对于电子围栏的状态可基于实际情况进行划分，例如，可包括进入电子围栏、离开电子围栏、穿过电子围栏和经过电子围栏等。
46.例如，如果某个行人的轨迹线段与电子围栏不存在交点，则可认为该行人只是经过电子围栏，并没有穿过电子围栏。如果某个行人的轨迹线段与电子围栏存在1个交点，并且该行人的起始位置位于电子围栏内部，则可认为该行人是由内向外穿过电子围栏，即离开电子围栏。如果某个行人的轨迹线段与电子围栏存在1个交点，并且该行人的起始位置位于电子围栏外部，则可认为该行人是由外向内穿过电子围栏，即进入电子围栏。如果某个行人的轨迹线段与电子围栏存在2个交点，并且该行人的起止位置位于电子围栏外部，则可认为该行人是由外向内再由内向外穿过电子围栏。
47.s700，设置k＝k 1；执行s300。
48.s800，基于ri和mi，获取ri中不属于mi的行人的id，并为获取的每个行人的id设置对应的位置序列表，并将每个行人的id对应的位置存储至对应的位置序列表的第一个位置处。
49.为获取的每个行人的id设置对应的位置序列表可按照为第1帧图像中的行人构建的位置序列表的相同方式进行。
50.综上，本发明实施例提供的基于视频电子围栏的行人进出状态检测方法，对于接收到的每帧图像，先基于前一帧图像中的行人位置预测这些行人在当前帧图像中出现的位置区域，接着，对于前一帧图像中的某个行人，将对应的预测位置区域中的行人图像分别与该行人的图像进行比对，如果存在与该行人对应的图像，则将该图像对应的位置加入到该行人对应的位置序列表中并放入中间表中，否则，则生成该行人完整的位置序列表，并计算该行人相对于电子围栏的状态。最后，在对前一帧图像中的所有行人都比对之后，将当前帧图像中识别的行人与中间表中的行人进行比对，如果存在没有出现在中间表中的行人，则为这些行人构建新的位置序列表。这样，能够准确且快速地知晓位于电子围栏附近的每个人体的具体行动轨迹，即通过结合人体检测与目标追踪技术，可以生成每个人体对运动轨迹，进而用于和电子围栏联合判断出人物的行动逻辑，能够精准统计。
51.本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
52.本发明的实施例还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。
53.虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。