目标定位方法、装置、计算机设备和存储介质与流程

1.本发明属于图像处理技术领域，具体提供一种目标定位方法、 装置、计算机设备和存储介质。


背景技术：

2.视频监控系统已被广泛安装在街面道路、各类营业场所、银 行网点、机场码头等公共场所，并且通常是一台摄像机负责监控一个区 域。在监控报警应用中，希望可以根据单台摄像机的实时视频图像，自 动地记录并分析人员位置和运动轨迹，实现敏感区域闯入报警，预测人 员危险行为等功能，以上几种增值功能都需要从单台摄像机的图像中确 定人员的位置。
3.传统的单目摄像机实时视觉定位方法，通常需要知道摄像机 的参数，摄像机的位置，再根据内参矩阵、外参矩阵、变换矩阵等模型， 计算得到视频图像中的目标在实际场景中的位置。但是，对于大量已安 装摄像机的场所，所使用的摄像机型号众多，参数性能不尽相同，若想 大规模地实现人员自动定位等增值功能，其工作量巨大。并且，对于监 控视频中的人员，呈现在视频图像中的可能是全部人体，也可能是人体 的一部分，如何根据部分人体特征，准确地确定人员的位置也是需要考 虑的问题。
4.相应地，本领域需要一种新的方案来解决上述问题。


技术实现要素：

5.为了解决现有技术中的上述问题，即为了解决在不需要知道 监控摄像机参数和准确安装位置的情况下，如何根据监控图像中的目标 特征，实现快速、准确定位的问题。在第一方面，本发明提出了一种目 标定位方法，所述方法包括：获取待定位目标图像；检测所述待定位目标图像中的目标的第一特征区域和第二特征区 域，其中，所述第一特征区域为所述目标的底部区域，所述第二特征区 域为所述目标的顶部区域；对所述待定位目标图像进行透视变换，得到目标透视变换俯视图；根据所述目标透视变换俯视图中的所述第一特征区域和/或所述第 二特征区域，确定所述目标透视变换俯视图中的定位点；根据所述定位点在所述目标透视变换俯视图中的位置，确定所述待 定位目标在空间俯视平面图中的位置。
6.在上述目标定位方法的一个实施方式中，“根据所述目标透 视变换俯视图中的所述第一特征区域和/或所述第二特征区域，确定所述 目标透视变换俯视图中的定位点”的步骤具体包括：当所述目标透视变换俯视图中包含所述第一特征区域时，所述定位 点为所述第一特征区域；并且/或者当所述目标透视变换俯视图中只包含所述第二特征区域时，根据所 述第二特征
区域得到目标信息，并根据所述目标信息确定目标高度；根据所述目标高度、投影点和所述投影点的虚拟高度，确定所述目 标透视变换俯视图中的所述定位点；其中，所述投影点和所述投影点的虚拟高度由包含标定物的标定图 像所确定，所述标定物为高度已知的人体和/或物体，所述标定物的数量 不少于两个。
7.在上述目标定位方法的一个实施方式中，所述标定物包括第 一标定物和第二标定物，所述投影点通过下列方式确定：对所述标定图像进行透视变换，得到标定透视变换俯视图；在所述标定透视变换俯视图中，分别用直线连接所述第一标定物的 顶部和底部以及所述第二标定物的顶部和底部，两条直线的交点为所述 投影点。
8.在上述目标定位方法的一个实施方式中，所述投影点的虚拟 高度的计算方法为：其中，h2为所述投影点的虚拟高度，h1为所述第一标定物或所述第 二标定物的实际高度，l1为在所述标定透视变换俯视图中所述第一标定 物或所述第二标定物的图像的顶部到底部之间的距离，l2为在所述标定 透视变换俯视图中所述投影点到所述第一标定物或所述第二标定物的图 像的顶部之间的距离。
9.在上述目标定位方法的一个实施方式中，在所述目标透视变 换俯视图中，“根据所述目标高度、投影点和所述投影点的虚拟高度， 确定所述目标透视变换俯视图中的所述定位点”的步骤具体包括：计算所述投影点到所述第二特征区域的距离，记为l2
′
；计算所述定位点到所述第二特征区域的距离，记为l1
′
，具体计算方 法为：根据所述l1
′
、所述投影点和所述第二特征区域确定所述定位点；其中，h1
′
为所述目标高度，所述定位点在由所述投影点和所述第二 特征区域所确定的直线上，且在所述投影点和所述第二特征区域之间。
10.在上述目标定位方法的一个实施方式中，所述待定位目标是 人体，所述第一特征区域是人体的脚部，所述第二特征区域是人体的脸 部，“根据所述第二特征区域得到目标信息，并根据所述目标信息确定 目标高度”的步骤具体包括：根据所述第二特征区域得到人脸特征信息；将所述人脸特征信息与人脸数据库进行比对以确定人员身份，并根 据所述人员身份确定预留的身高信息；并且/或者根据所述人脸特征信息预测人员类别，所述人员类别对应预设的身 高信息。
11.在第二方面，本发明提出了一种目标定位装置，所述装置包 括：图像获取模块，所述图像获取模块被配置成获取待定位目标图像；图像处理模块，所述图像处理模块被配置成检测所述待定位目标图 像中的目标的第一特征区域和第二特征区域，其中，所述第一特征区域 为所述目标的底部区域，所述
第二特征区域为所述目标的顶部区域；定位点确定模块，所述定位点确定模块具体执行以下操作：对所述待定位目标图像进行透视变换，得到目标透视变换俯视图；根据所述目标透视变换俯视图中的所述第一特征区域和/或所述第 二特征区域，确定所述目标透视变换俯视图中的定位点；位置判断模块，所述位置判断模块被配置成根据所述定位点在所述 目标透视变换俯视图中的位置，确定所述待定位目标在空间俯视平面图 中的位置。
12.在上述目标定位装置的一个实施方式中，所述定位点确定模 块具体执行以下操作：当所述目标透视变换俯视图中包含所述第一特征区域时，所述定位 点为所述第一特征区域；并且/或者当所述目标透视变换俯视图中只包含所述第二特征区域时，根据所 述第二特征区域得到目标信息，并根据所述目标信息确定目标高度；根据所述目标高度、投影点和所述投影点的虚拟高度，确定所述目 标透视变换俯视图中的所述定位点；其中，所述投影点和所述投影点的虚拟高度由包含标定物的标定图 像所确定，所述标定物为高度已知的人体和/或物体，所述标定物的数量 不少于两个。
13.在上述目标定位装置的一个实施方式中，所述标定物包括第 一标定物和第二标定物，所述定位点确定模块具体执行以下操作：对所述标定图像进行透视变换，得到标定透视变换俯视图；在所述标定透视变换俯视图中，分别用直线连接所述第一标定物的 顶部和底部以及所述第二标定物的顶部和底部，两条直线的交点为所述 投影点。
14.在上述目标定位装置的一个实施方式中，所述定位点确定模 块具体执行以下操作：计算所述投影点的虚拟高度；所述投影点的虚拟高度的计算方法为：其中，h2为所述投影点的虚拟高度，h1为所述第一标定物或所述第 二标定物的实际高度，l1为在所述标定透视变换俯视图中所述第一标定 物或所述第二标定物的图像的顶部到底部之间的距离，l2为在所述标定 透视变换俯视图中所述投影点到所述第一标定物或所述第二标定物的图 像的顶部之间的距离。
15.在上述目标定位装置的一个实施方式中，在所述目标透视变 换俯视图中，所述定位点确定模块具体执行以下操作：计算所述投影点到所述第二特征区域的距离，记为l2
′
；计算所述定位点到所述第二特征区域的距离，记为l1
′
，具体计算方 法为：
根据所述l1
′
、所述投影点和所述第二特征区域确定所述定位点；其中，h1
′
为所述目标高度，所述定位点在由所述投影点和所述第二 特征区域所确定的直线上，且在所述投影点和所述第二特征区域之间。
16.在上述目标定位装置的一个实施方式中，其特征在于，所述 待定位目标是人体，所述第一特征区域是人体的脚部，所述第二特征区 域是人体的脸部，所述定位点确定模块具体执行以下操作：根据所述第二特征区域得到人脸特征信息；将所述人脸特征信息与人脸数据库进行比对以确定人员身份，并根 据所述人员身份确定预留的身高信息；并且/或者根据所述人脸特征信息预测人员类别，所述人员类别对应预设的身 高信息。
17.在第三方面，本发明提出了一种计算机设备，包括处理器和 存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程 序代码适于由所述处理器加载并运行以执行上述任一项方案所述的目标 定位方法。
18.在第四方面，本发明提出了一种存储介质，所述存储介质适 于存储多条程序代码，所述程序代码适于由处理器加载并运行以执行上 述任一项方案所述的目标定位方法。
19.本领域技术人员能够理解的是，根据本发明的目标定位的技 术方案，在单摄像机监控的场景中，能够在不需要获取摄像机的型号参 数，摄像机准确安装位置的情况下，通过测量标定物在实际空间中的位 置和摄像机图像中的位置，从而获取图像透视变换所需的透视变换矩阵； 此时，只要图像中包含部分预设的目标特征，即可得到目标在透视变换 俯视图中的位置，实现目标的准确定位。应用本发明的方法，可以快速、 低成本地进行安装部署，实现目标定位、轨迹跟踪等视频监控的增值功 能。
附图说明
20.下面参照附图来描述本发明的具体实施方式，附图中：
21.图1是本发明的实施例的透视变换俯视图中投影点位置的 示意图。
22.图2是本发明的实施例的投影点的虚拟高度和目标高度之 间关系的示意图。
23.图3是本发明的实施例的主要步骤流程图。
24.图4是本发明的实施例的根据第二特征区域确定定位点的 主要步骤流程图。
25.图5是本发明的目标定位装置的结构示例图。
具体实施方式
26.为使本发明实施例的目的、技术方案和优点更加清楚，下面 将结合附图，对本发明实施例的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本 发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例，都属于本发明保护的范围。例如，尽管本发明的 实施例是通过人体定位来描述的，但是，本发明的保护范围不应受此限 制，而是应该涵盖其他任何采用了本发明原理的情形。
27.在实施目标定位之前，首先需要做如下初始化工作：获取图像透视变换所需的透视变换矩阵；
获取目标透视变换俯视图中的摄像机的投影点和该投影点的虚拟 高度。
28.透视变换矩阵的获取方法，本发明不做限定。作为示例，可 使用opencv的getperspectivetransform函数进行计算，此时只需要将一 个已知尺寸的矩形标定物放置在摄像机画面中，确定该矩形标定物四个 顶点在摄像机图像平面中的坐标，再根据这四个顶点在空间俯视图中的 坐标，即可得到透视变换矩阵m。
29.需要说明的是，在实际应用中，计算机展示给用户的通常是 目标在空间俯视平面图中的位置，因此目标在实际空间中的位置与目标 在空间俯视平面图中的位置一一对应。
30.首先参阅图1，图1是本发明的实施例的透视变换俯视图中 投影点位置的示意图。在摄像机监控区域内，放置高度已知的第一标定 物11和第二标定物12，并且第一标定物11和第二标定物11的顶部和底 部在监控图像中均可见。标定物既可以是人体也可以是其他物体，图1 中第一标定物11为人体，第二标定物12为一个衣帽架。
31.通过摄像机获取包含有第一标定物11和第二标定物12的标 定图像1，并使用已经得到的透视变换矩阵对标定图像1进行透视变换， 得到标定透视变换俯视图2。
32.连接第一标定物11的底部a和顶部b，得到直线ab；连 接第二标定物12的底部c和顶部d，得到直线cd；直线ab和直线cd 的交点p即为投影点。
33.继续阅读图2，以第一标定物11为例，说明投影点p的虚 拟高度为h2的计算方法。h1为第一标定物11的实际高度；l1为h1相 对于投影点p在标定透视变换俯视图中的投影，即第一标定物底部a和 顶部b之间的距离；l2为投影点p到第一标定物11的顶部b的距离。 根据三角形相似原理，投影点的虚拟高度h2的计算方法为：由于h1、l1和l2均已知，因此可以计算得到该摄像机在透视变换 空间中投影点的虚拟高度h2。
34.需要说明的是，投影点p的虚拟高度的计算，也可以根据第 二标定物12进行计算，此时公式1中的相关数据应均为第二标定物12 相关的数据，即h1为第二标定物11的实际高度，l1为标定透视变换俯 视图中第二标定物底部c和顶部d之间的距离，l2为投影点p到第二标 定物12的顶部d的距离。
35.需要说明的是，在目标定位中，通常使用位置固定的摄像机 获取待定位目标图像，且摄像机的参数固定，处理图形进行透视变换时 使用相同的透视变换矩阵m，因此，标定透视变换俯视图中的投影点p 和投影点p的虚拟高度h2也是目标透视变换俯视图中的投影点和投影点 的虚拟高度。
36.在本实施例中，优选地，标定透视变换俯视图和目标透视变 换俯视图均使用像素坐标，因此，前述的两点之间的距离即图像中两个 像素点之间的距离，平面两点之间的距离计算为本领域公知的技术，在 这里不做赘述。
37.接下来，根据标定透视变换俯视图，建立用于目标定位的目 标透视变换俯视图坐标系。在本实施例中，坐标系为平面直角坐标系， 如图1所示，坐标系的x轴方向对应图像像素的行方向，坐标系的y轴方 向对应图像像素的列方向，坐标系原点o通常选择实际空间中在目标透 视变换俯视图中可见的任意一点，作为目标透视变换俯视图坐标系的原 点。
38.根据第一标定物11或第二标定物12的底部区域与原点o 的在实际空间中的位置
关系，确定目标透视变换俯视图坐标系中x轴方向 和y轴方向的每个像素所反映的实际空间中的距离。在本实施例中，如图 1所示，已知第一标定物11的脚部区域a在标定透视变换俯视图的位置 坐标为(x
a
，y
a
)，在实际空间中，以原点o在实际空间中所对应的位 置为原点，以对应x轴和y轴在实际空间的直线为实际空间坐标系的两个 坐标轴，测量实际空间中a点的坐标为(x
′
a
，y
′
a
),则x轴方向，像素与实际距离的对应关系为/像素；y轴方向，像素与实际距离的对应关系为/像素；因为目标透视变换俯视图反映的是与实际空间的位置关系，并且图 像中x轴方向和y轴方向的像素间距均相同，因此即目标透视变 换俯视图中x轴方向和y轴方向每个像素间距与实际空间的距离的对应关 系均相同。
39.接下来参阅图3，图3是本发明的实施例的主要步骤流程图， 如图3所示，本发明的目标定位方法包括：步骤s301：获取待定位目标图像；步骤s302：检测所述待定位目标图像中的目标的第一特征区域和第 二特征区域，其中，所述第一特征区域为所述目标的底部区域，所述第 二特征区域为所述目标的顶部区域；步骤s303：对所述待定位目标图像进行透视变换，得到目标透视变 换俯视图；步骤s304：根据所述目标透视变换俯视图中的所述第一特征区域和 /或所述第二特征区域，确定所述目标透视变换俯视图中的定位点；步骤s305：根据所述定位点在所述目标透视变换俯视图中的位置， 确定所述待定位目标在空间俯视平面图中的位置。
40.在步骤s301中，待定位目标图像来自于监控视频流中截取 的图像。
41.空间位置通常是目标与地面相接触的位置，在本实施例中， 待定位的目标为人体，因此选择人体的脚部作为第一特征区域；而人脸 包含丰富的目标信息，根据目标信息可以获取高度信息，因此选择人体 的脸部作为第二特征区域。
42.在步骤s302中，用于检测图像中第一特征区域和第二特征 区域的方法，本发明不做限定。作为示例，可采用vggnet、repvgg等 网络模型实现。本领域技术人员可根据实际情况选择合适的方法实现。
43.接下来阅读步骤s303，对从监控视频流中截取的待定位目 标图像使用透视变换矩阵m进行透视变化，得到目标定位所需的目标透 视变换俯视图。
44.在步骤s304中，根据图像检测的结果，确定目标透视变换 俯视图中的定位点。在本实施例中，目标为人体，第一特征区域为人体 的脚部区域，第二特征区域为人体的脸部区域，确定人体在实际空间中 的位置通常是确定人体的脚部区域在目标透视变换俯视图中的位置。
45.因此，当待定位目标图像中同时包含人体的脚部区域和脸部 区域时，或者只包含脚部区域时，选择脚部区域为定位点所在的区域。
46.当待定位目标图像中只包含第二特征区域(脸部区域)时， 由第二特征区域确定定位点的方法请参阅图4。如图4所示，本发明的实 施例的通过第二特征区域确定定位点的步骤具体包括：步骤s401：对第二特征区域进行人脸识别，得到人员信息；步骤s402：根据人员信息，得到人员的目标高度；步骤s403：根据目标高度、目标透视变换俯视图中的投影点和该投 影点的虚拟高度，确定定位点。
47.步骤s401和步骤s402中，在一个实施方式中，将脸部特征 与人脸数据库进行比对，以确定人员身份，并从数据库中预留的人员详 细信息，直接得到人员身高数据。人脸比对方法为本领域公知的技术， 本发明不做限定，所为示例，可采用1:1或1：n的方法进行对比。本领 域技术人员可根据实际情况选择合适的方法实现。
48.步骤s401和步骤s402中，在另一个实施方式中，无法获得 人员的准确信息，此时可根据脸部特征，判断人员类别。例如，人员类 别可分为成年男性、成年女性、男童、女童等，并根据预设的人员类别 身高参考值，得到定位所需的预测高度。作为示例，成年男性的身高参 考值为175厘米，当人员类别识别结果为成年男性时，预测目标高度为 175厘米。
49.在步骤s403中，根据目标透视变换俯视图可知投影点到所 述第二特征区域的距离l2
′
，通过步骤s401和步骤s402得到的目标高度 h1
′
，根据公式1得到的该应用场景下投影点的虚拟高度h2，根据公式2可以计算得到定位点到第二特征区域的距离l1
′
，由图2和公式1可知， 定位点为目标的第一特征区域，在本实施例中，也就是人体的脚部区域。 因此，定位点在投影点与第二特征区域所确定的直线上，并且定位点在 投影点与第二特征区域之间。
50.计算得到l1
′
后，可根据投影点和第二特征区域位置求解定 位点，该方法可以看成是，已知直线公式和直线上一点，根据给定的直 线上的距离求另一点坐标的问题。
51.作为示例，投影点记作p，第二特征区域位置记作 m(x1，y1)，定位点记作n(x2，y2)，由投影点p和第二特征区域位 置m所确定的直线方程为：y＝kx m,根据公式3即可得到定位点n的坐 标(x2，y2)，并且，已知定位点位于投影点p和第二特征区域位置m之间，因此可 得唯一的n点坐标。
52.根据定位点n在目标透视变换俯视图坐标系中的坐标 n(x2，y2)，再根据像素与空间实际距离的对应关系，即可得到目标在 实际空间中的位置。作为示例，x2＝20，y2＝30，像素与空间实际距离的对应关系为2cm/像素；在实际空间中，以原点o在实际空间中所对应的位置为原点，以x轴 和y轴对应在实际空间的直线为实际空间坐标系的两个坐标轴，x
′
轴和y
′ꢀ
轴，则目标在实际空间中的坐标为x
′
y
＝2*20＝40cm，y
′
＝2*30＝60cm。
53.在实际使用中，目标位置通常以空间俯视平面图的形式呈现 给用户。有时空间俯视平面图的坐标原点会和目标透视变换俯视图中所 选取的原点不一致，此时，只需要测量实际空间中两个原点在x轴和y轴 的方向上的位置差值δx和δy，在得到目标在目标透视变换俯视图中的位 置坐标后，通过加上或减去差值δx或δy，即可得到目标在空间俯视平面 图中的位置，实现目标定位。
54.需要说明的是，第一特征区域和/或第二特征区域为一个图 像区域，可能包含有多个像素点，因此在图像处理和位置计算中，可将 特征区域看作为一个像素点，具体处理方法，本发明不做限定。作为示 例，处理方法可采用计算区域几何中心的方法。
55.需要说明的是，本发明提出的，通过第二特征区域进行目标 定位的方法，大大扩展了通过视频进行目标定位的区域范围。当人体的 部分区域处于监控的盲区或被物体遮挡，只要监控视频中存在人体的第 一特征区域和/或第二特征区域，即可以使用本方法实现目标定位。
56.进一步，本发明还提供了一种目标定位装置。如图5所示， 本发明的目标定位装置5主要包括图像获取模块51、图像处理模块52、 定位点确定模块53、位置判断模块54。
57.图像获取模块51被配置成执行步骤s301的操作。图像处理 模块52被配置成执行步骤s302中的操作。定位点确定模块53被配置成 执行步骤s303、步骤s304、步骤s401、步骤s402、步骤s402中的操作。 位置判断模块54被配置成执行步骤s305中的操作。
58.进一步，本发明还提供了一种计算机设备。在根据本发明的 一个计算机设备包括处理器和存储装置，存储装置可以被配置成存储并 执行上述方法实施例的目标定位方法的程序，处理器可以被配置成用于 执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的目 标定位方法的程序。为了便于说明，仅示出了与本发明实施例相关的部 分，具体技术细节未揭示的，请参照本发明实施例方法部分。该目标定 位设备可以是包括各种电子设备形成的控制装置设备。
59.进一步，本发明还提供了一种存储介质。根据本发明的存储 介质可以被配置成存储执行上述方法实施例的目标定位方法的程序，该 程序可以由处理器加载并运行来实现上述目标定位方法的方法。为了便 于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的， 请参照本发明实施例方法部分。该存储介质可以是包括各种电子设备形 成的存储装置设备，可选地，本发明实施例中存储介质是非暂时性的计 算机可读存储介质。
60.本领域技术人员应该能够意识到，结合本文中所公开的实施 例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的 结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明 中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以 电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束 条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所 描述的功能，但是这种实现不应认为超出本发明的范围。
61.需要说明的是，本发明的说明书和权利要求书及上述附图中 的术语“第一”、“第二”等序数词仅用于区别类似的对象，而不是用 于描述或表示特定的顺序或先后次序。应该理解这样使用的数据在适当 的情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里 图示或描述的那些以外的顺序实施。
62.需要说明的是，在本技术的描述中，术语“a和/或b”表 示所有可能的a与b的组合，比如只是a、只是b或者a和b。
63.至此，已经结合附图所示的优选实施方式描述了本发明的技 术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然 不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域 技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换 之后的技术方案都将落入本发明的保护范围之内。