一种目标区域的监控方法、系统与流程

1.本发明涉及图像监控领域，特别地，涉及一种目标区域的监控方法。


背景技术：

2.随着图像监控技术的成熟，目标的图像监控也成为监控领域的广泛应用之一。现有的目标监控包括有目标行为监控、目标对象监控，目标区域监控等，这些监控通常是通过对目标的视频分析来实现，多应用于室外、公共区域。例如，道路上行车监控，车站、码头等的出入口监控，由于这些监控是基于划定的目标区域标识来进行视频分析，其并不适用于没有特定标识的场合，例如，在室内、家居环境中。


技术实现要素：

3.本技术提供了一种目标区域的监控方法，以解决无标识的目标区域监控。
4.本发明提供的一种目标区域的监控方法，该方法包括，在用于监控的摄像装置侧，获取摄像装置的位姿标定信息，
5.根据标定信息所关联的地图中目标区域的位置信息，基于摄像装置的内参和所述标定信息，确定所述目标区域的位置信息映射的摄像装置所采集图像中的像素位置，
6.根据像素位置确定所采集图像中的目标区域，对所述采集图像中的目标区域进行监控，
7.其中，所述标定信息基于摄像装置所采集到移动机器人图像帧、以及与移动机器人交互所获得的图像帧中移动机器人的位置进行标定。
8.较佳地，所述基于摄像装置所采集到移动机器人图像帧、以及与移动机器人交互所获得的图像帧中移动机器人的位置进行标定，包括，
9.捕获移动机器人在不同位置的至少4帧图像帧，所述位置中至少有三个位置不共线，
10.与移动机器人交互获取图像帧中移动机器人的位置信息，
11.根据所获取的位置信息以及图像帧中移动机器人中心的像素位置，求解单应矩阵；
12.根据单应矩阵确定标定信息。
13.较佳地，所述捕获移动机器人在不同位置的至少4帧图像帧，与移动机器人交互获取图像帧中移动机器人的位置信息，包括，
14.摄像装置检测到所采集的图像中包括移动机器人，向移动机器人请求该移动机器人的当前位置信息，在接收到移动机器人反馈的位置信息时，捕获当前图像帧；
15.跟踪移动机器人的运动，接收移动机器人移动的距离大于设定的阈值时所发送的当前位置信息，捕获当前图像帧，
16.反复执行所述跟踪移动机器人的运动，接收移动机器人移动的距离大于设定的阈值时所发送的当前位置信息，捕获当前图像帧的步骤，直至得到至少4帧图像帧和图像帧中
移动机器人的位置；其中，当前位置信息由移动机器人根据地图确定；
17.所述根据所获取的位置信息以及图像帧中移动机器人中心的像素位置，求解单应矩阵，包括，
18.根据单应矩阵与位置坐标矩阵的乘积对应为像素坐标矩阵的关系，求解单应矩阵，其中，单应矩阵为3
×
3的矩阵；
19.所述根据单应矩阵确定标定信息包括，
20.将单应矩阵进行奇异值分解，得到旋转矩阵和平移向量，所述旋转矩阵为摄像装置的姿态，所述平移向量为摄像装置的三维空间位置。
21.较佳地，所述目标区域的位置信息包括，基于地图设置、且包括至少3个不共线的位置信息，
22.所述根据地图中目标区域的位置信息，基于摄像装置的内参和所述标定信息，确定所述目标区域的位置信息映射的摄像装置所采集图像中的像素位置，包括，
23.将摄像装置的内参矩阵乘以，标定信息中的旋转矩阵与目标区域任一位置信息的齐次坐标矩阵的乘积与标定信息中的平移矩阵之和，得到该位置所映射的像素坐标；
24.所述根据像素位置确定所采集图像中的目标区域包括，将各个像素坐标依次向连所形成的封闭曲线内的区域作为采集图像中的目标区域。
25.较佳地，所述目标区域的位置信息包括，基于地图设置的区域之间分界线的起始点和终止点，
26.所述根据像素位置确定所采集图像中的目标区域包括，将起始点的像素坐标和终止点的像素坐标的连线作为采集图像中的目标边界。
27.较佳地，所述移动机器人为扫地机器人，所述地图由扫地机器人构建，
28.该方法进一步包括，摄像装置将对所述采集图像中的目标区域进行监控的结果发送给用户终端或者通过移动机器人输出语音信息。
29.较佳地，所述获取摄像装置的位姿标定信息包括，从摄像装置本体读取标定信息；
30.所述标定信息所关联的地图是这样确定的：
31.摄像装置将标定信息发送给移动机器人，使得移动机器人根据标定信息确定关联地图；摄像装置接收来自移动机器人的关联地图，并保存于本体；
32.或者，
33.摄像装置向移动机器人请求地图，接收移动机器人反馈的地图，根据标定信息确定关联地图，将关联地图保存于本体。
34.较佳地，所述摄像装置的数量为n，n为大于1的自然数，各个摄像装置的标定信息、标识、以及所关联的地图存储于服务器中，
35.所述获取摄像装置的位姿标定信息包括，
36.接收来自服务器发送的摄像装置的标定信息，
37.其中，摄像装置的选择包括，
38.通过客户端向服务器发送查询请求，接收服务器向客户端反馈查询请求结果，所述查询请求结果至少包括地图所关联的摄像装置、摄像装置的标定信息、摄像装置的标识之一，
39.根据查询请求结果，选择至少一个摄像装置；
40.所述标定信息所关联的地图中目标区域的位置信息是由服务器按照摄像装置的标识发送的，其中，标定信息所关联的地图由客户端根据所选择的摄像装置的标定信息确定；
41.该方法进一步包括，各个摄像装置将监控的图像传送给服务器，使得服务器将与目标区域关联的两个以上的摄像装置的监控图像进行叠加。
42.本发明提供的一种监控系统，包括服务器、客户端以及至少一个以上摄像装置，其特征在于，该监控系统还包括用于构建地图和进行摄像装置的位姿标定的移动机器人，所述摄像装置包括存储器和处理器，存储器用于存储计算机程序，处理器执行所述计算机程序以实现上述目标区域监控方法的步骤。
43.本发明还提供一种智能家居系统，包括移动机器人以及至少一个以上摄像装置，其特征在于，所述移动机器人用于构建地图和进行摄像装置的位姿标定，所述摄像装置包括存储器和处理器，存储器用于存储计算机程序，处理器执行所述计算机程序以实现上述目标区域监控方法的步骤。
44.本发明提供的一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述目标区域监控方法的步骤。
45.本技术提供的一种目标区域的监控方法，通过移动机器人与摄像装置的联动，来确定摄像装置的安装位姿，从而使得摄像装置与移动机器人用于导航定位的地图产生关联。这样，将摄像装置纳入到全局地图中，使得摄像装置和移动机器人通过地图而关联，用户可以基于地图中进行目标区域的灵活设置，方便了摄像装置的部署，实现摄像装置对目标区域的监控，该方法应用于智能家居系统时，能够有效防止幼童进入阳台、厨房等相对危险的区域。
附图说明
46.图1为扫地机器人所构建原始地图的一种示意图。
47.图2为经过编辑之后的地图的一种示意图。
48.图3为本技术实现目标区域中的目标边界监控的一种流程示意图。
49.图4为获取至少4个坐标位置的一种示意图。
50.图5为本技术实施例二的监控方法的一种流程示意图。
51.图6a和6b为摄像装置基于其关联的地图设定目标区域的示意图。
52.图7为本技术智能家居系统的一种示意图。
53.图8为本技术监控系统的一种示意图。
具体实施方式
54.为了使本技术的目的、技术手段和优点更加清楚明白，以下结合附图对本技术做进一步详细说明。
55.本技术根据地图信息确定目标区域；基于移动机器人与摄像装置联动，使得摄像装置获取到其标定信息，该标定信息反映了摄像装置在世界坐标系下的位姿；基于标定信息，将物理空间上的目标区域映射到该摄像装置图像坐标系下的目标区域，根据图像坐标系下的目标区域进行监控；进一步地，基于地图确定物理空间上目标区域的边界，根据标定
信息将物理空间上的目标边界映射到该摄像装置图像坐标系下的目标边界；对目标区域和/或目标边界进行目标检测，当检测到目标时触发提醒。
56.为便于本技术技术方案的理解，以下以家居环境下的目标区域监控为例来进行说明，所应理解的是，本技术不限于家居环境中的目标区域监控，其他室内监控、以及无标识环境下的目标区域监控也可以适用。
57.实施例一
58.在本实施例中，移动机器人为扫地机器人，根据所携带的传感器(激光雷达、摄像头、tof等)对环境进行探测，从而建立环境的清扫地图，如图1所示，图1为扫地机器人所构建原始地图的一种示意图。一般的，扫地机器人建立的地图为二维地图，与实际户型图吻合。
59.在构建原始地图之后，扫地机器人可以将原始地图发至用户终端，由用户来对清扫地图进行编辑，确定每个功能区以及其边界，或者，由扫地机器人根据获取特征图像确定功能区域，例如，根据床的特征图像确定卧室，根据门的特征确定功能区域的分界。
60.参见图2所示，图2为经过编辑之后的地图的一种示意图。图中，不同灰度区域表示了区域的不同功能属性，其中黑色粗线段为目标边界。用户可以根据编辑后的地图设定目标区域，例如卫生间和厨房中含有水电等对幼童而言比较危险的设施，对于有幼童的家庭，可以设定厨房和卫生间为幼童禁入的目标区域。这样，可以认为厨房与客厅连接处边界线为禁止幼童跨入的目标边界，将该目标边界的起始点坐标记为(x
s
，y
s
，0)和终止点坐标记为(x
e
，y
e
，0)，由于清扫地图为二维平面，故而将第三维坐标置为0。
61.参见图3所示，图3为本技术实现目标区域中的目标边界监控的一种流程示意图。该方法包括，
62.步骤300，摄像装置启动后，判断其本体是否存储有其安装位姿的标定信息，如果有，则执行步骤304，否则，执行步骤301，
63.步骤301，摄像装置检测当前图像中的目标，当检测到图像中有扫地机器人时，采集至少4帧以上扫地机器人图像的图像帧；
64.在该步骤中，摄像装置与扫地机器人的交互过程可以如下：
65.摄像装置将扫地机器人作为目标检测，当检测到图像中包括扫地机器人时，向扫地机器人请求其当前空间位置信息，在收到扫地机器人反馈的位置信息时，捕获当前图像帧；
66.跟踪扫地机器人的运动，当扫地机器人的平移距离大于设定的阈值时，向摄像装置发送根据地图定位的当前空间位置信息，摄像装置接收到当前空间位置信息后，采集当前第二图像帧；其中，设定的阈值用以避免所采集的位置过近而影响标定信息的准确性。
67.反复执行，直至采集有4帧图像帧和该帧中扫地机的位置信息，且三个位置不共线，分别记为：(x1，y1，0)，(x2，y2，0)，(x3，y3，0)，(x4，y4，0)；摄像装置向扫地机器人指令暂停当前空间位置信息的上报，或者停止接收扫地机器人上报的空间位置信息以及图像采集。
68.参见图4所示，图4为获取至少4个坐标位置的一种示意图。安装于某一位置的摄像头捕获其视野范围内的扫地机器人图像以及接收扫地机器人根据地图定位的位置信息。
69.步骤302，根据扫地机器人在世界坐标系下的位置信息来对摄像装置的位姿进行标定，该位姿包括空间位置和姿态(朝向)。
70.在现有的监控系统中，由于摄像装置的位姿未被标定，因此无法直接与所监控的目标区域的地图产生关联，也就是说，对于摄像装置本体而言，其无法基于地图而选择目标区域来进行监控。
71.鉴于摄像装置能够捕获到扫地机器人与摄像装置之间的相对于运动信息的图像，通过捕获扫地机器人的不同位置信息，基于物理空间位置与图像成像位置的对应关系，可获得摄像装置的标定位姿，即摄像装置安装的空间位置和姿态。
72.由于扫地机器人是在平面中运动，(x1，y1，0)，(x2，y2，0)，(x3，y3，0)，以及(x4，y4，0)空间位置坐标在同一平面z＝0中，那么摄像装置的安装位置可以通过求解一个单应矩阵来获取。
73.将捕获的每一图像帧去畸变，确定图像帧中扫地机器人中心的像素位置，记为(u1，v1)，(u2，v2)(u3，v3)(u4，v4)，那么，单应矩阵与空间位置坐标矩阵的乘积对应为像素坐标矩阵，用数学式表达为：
[0074][0075]
其中单应矩阵的自由度为8，通过4个空间位置和像素位置的对应关系，可以求出单应矩阵中每一个元素的值。对单应矩阵进行奇异值(svd)分解，可以求得相应的旋转矩阵r和平移向量t，即摄像装置中摄像头(相机)的朝向和在三维空间中的安装位置，也就说相机的外参。
[0076]
步骤303，摄像装置与扫地机器人交互以获取地图信息；
[0077]
在该步骤中，实施方式之一，摄像装置将标定信息发送给扫地机器人，以使得扫地机器人根据标定信息确定关联地图，将关联地图发送给摄像装置，摄像装置将关联地图存储于本体。该实施方式仅发送摄像装置关联的地图，有利于减少空口传输资源。
[0078]
实施方式之二，摄像装置向扫地机器人请求地图，将扫地机器人反馈的地图保存于本体，进一步地，根据标定信息确定关联地图，将关联地图保存于摄像装置中。
[0079]
所述关联地图可以包括摄像装置安装位置周边的地图、和/或摄像装置所朝向的地图。
[0080]
步骤304，摄像装置根据地图确定的目标边界位置，基于相机内参和外参，计算目标边界在图像上的像素位置，可以通过以下公式计算：
[0081][0082]
其中为摄像装置(相机)的内参矩阵，为地图上目标边界起始点的齐次坐标，
[0083]
类似地，将代入上述公式，可以得到目标边界的终止点在图像上的像素位置p
e
。
[0084]
所述目标边界位置可以由用户设定，也可以由摄像装置根据地图确定。
[0085]
步骤305，根据起始点和终止点的像素位置的线段，确定图像中目标边界线段，检测目标的像素信息来判断幼童是否进入目标边界。
[0086]
在该步骤中，利用目标检测提取属于目标的像素部分，判断目标是否是幼童，同时判断目标姿态为直立行走或者是爬行。
[0087]
如果是直立行走，跟踪目标中所有属于脚部分的像素；如果是爬行，跟踪所有四肢的像素。
[0088]
判断跟踪所有像素与目标边界线段的像素距离是否小于设定的第二阈值，如果最小距离小于第二阈值，则触发报警信息；否则继续监控。
[0089]
其中，报警信息可以发送推送消息给用户终端或者直接联动扫地机，由扫地机发出警示语音来提醒用户。
[0090]
尽管本实施例是以一个摄像装置为例，所应理解的是，对于家居系统的多个摄像装置都可以按照本实施例的实施方式来进行监控。通过家居系统中的摄像装置和扫地机器人的联动，使得家居系统中的摄像装置的安装位姿得以标定，从而将摄像装置与家居地图予以关联，为用户基于地图来设定目标区域和/或目标边界的监控提供了便利，提高了监控的便利性和灵活性，使得摄像装置能够灵活部署，有利于家居系统的智能化的提升。
[0091]
实施例二
[0092]
在本实施例中，一个以上摄像装置的安装位姿在部署安装时都可以如步骤301～302的方式进行了标定，各个摄像装置的标定信息可存储于服务器侧。此外，各个摄像装置所关联的地图也存储于服务器侧。
[0093]
例如，在某一建筑物中部署n个摄像装置时，通过与移动机器人的联动，按照步骤301～302的方式可获得各个摄像装置的标定信息；根据标定信息，确定各个摄像装置所关联的地图；在服务器侧，存储有各个摄像装置的标定信息、以及关联的地图、以及摄像装置标识与标定信息、以及关联的地图对应关系。
[0094]
参见图5所示，图5为本技术实施例二的监控方法的一种流程示意图。当需要对任一目标区域和/或目标边界进行监控时，包括如下步骤：
[0095]
步骤501，用户通过客户端向服务器发送地图查询请求，该请求包括，目标区域和/或目标边界的描述信息，和/或者，发送摄像装置查询请求，该请求包括摄像装置的标识，
[0096]
步骤502，服务器响应查询请求；
[0097]
对于地图查询请求，则根据目标区域和/或目标边界的描述信息，检索出包括目标区域和/或目标边界的地图，将该地图所关联的摄像装置、以及摄像装置的标定信息返回给客户端；
[0098]
对于摄像装置查询请求，则根据摄像装置标识，确定其关联的地图以及标定信息，并返回给客户端；
[0099]
步骤503，客户端根据查询结果，例如根据标定信息，选择至少一个摄像装置，基于
所选择的摄像装置关联的地图，设定目标区域和/或目标边界的坐标点，将设定的坐标点信息、以及所选择的摄像装置标识发送给服务器，
[0100]
例如，参见图6a所示，对于摄像装置i，基于其关联的地图，设定目标区域范围内的m个坐标点，较佳地，设定目标区域的边界上至少3个不在一条直线的坐标点，以便由该3个坐标点依次相连的封闭区域作为目标区域，
[0101]
又例如，参见图6b所示，对于第一摄像装置，基于其关联的地图，设定目标区域边界上个s个坐标点，对于第二摄像装置，基于其关联的地图，设定目标区域边界上个t个坐标点，以便依次相连的s t个坐标点所形成的封闭区域作为目标区域，其中s、t为自然数；
[0102]
对于目标边界，则基于地图确定边界线段的两个坐标点；
[0103]
步骤504，服务器根据接收到的摄像装置标识信息，向对应的摄像装置发送设定的坐标点和标定信息，以使得摄像装置启动监控；
[0104]
步骤505，摄像装置接收到来自服务器的坐标点信息和标定信息后，基于标定信息，根据坐标点信息，计算各个坐标点在图像上的像素坐标点，当像素坐标点的数量大于等于3、且不在同一直线时，则将依次连接的像素坐标点所形成的封闭区域作为目标区域，对该目标区域进行监控；否则，将像素坐标点所连接的线段作为目标边界。
[0105]
进一步地，摄像装置将监控的图像传送给服务器，服务器可以将与目标区域关联的两个以上的摄像装置的监控图像进行叠加。
[0106]
步骤506，摄像装置对目标区域和/或目标边界的监控图像中的目标进行目标检测，当检测到异常时，摄像装置触发报警，或者，向服务器侧触发报警。
[0107]
本实施例通过客户端与服务器的交互能够基于摄像装置关联的地图实现对摄像装置进行目标区域和/或目标边界的配置，提高了监控的灵活性，有利于降低系统监控的运营成本。
[0108]
参见图7所示，图7为本技术智能家居系统的一种示意图。在智能家居系统中，包括移动机器人以及至少一个以上摄像装置，其中移动机器人可以为扫地机器人，所述移动机器人用于构建地图和进行摄像装置的位姿标定，所述摄像装置包括存储器和处理器，存储器用于存储计算机程序，处理器执行所述计算机程序以实现实施例所述目标区域监控方法的步骤。
[0109]
参见图8所示，图8为本技术监控系统的一种示意图。监控系统包括服务器、客户端以及至少一个以上摄像装置，该监控系统还包括用于构建地图和进行摄像装置的位姿标定的移动机器人，所述摄像装置包括存储器和处理器，存储器用于存储计算机程序，处理器执行所述计算机程序以实现实施例二所述目标区域监控方法的步骤。
[0110]
上述实施例中，摄像装置和可移动清洁机器人联动可以通过局域网/互联网/蓝牙等方式进行通信，通过一定的协议交互信息。
[0111]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0112]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现
场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0113]
本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述目标区域监控方法的步骤。
[0114]
对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0115]
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0116]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。