视频大范围内物体识别定位方法及装置与流程

1.本发明涉及移动物体识别处理技术领域，尤其涉及视频大范围内物体识别定位方法及装置。


背景技术：

2.本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.现有的摄像机可以实现对大范围的区域进行视频的摄录。但是使用者无法获知视频中移动物体相对于摄像机的位置，以及移动物体的绝对位置。在一些场景下这些位置信息对于使用者是十分重要的。


技术实现要素：

4.本发明实施例提供一种视频大范围内物体识别定位方法，用以获知视频中移动物体相对于摄像机的位置，以及移动物体的绝对位置，该方法包括：
5.获取视频图像；
6.对所述视频图像进行识别，确定移动物体在图像中的位置信息；
7.获取摄像设备的状态参数；
8.基于所述状态参数和移动物体在图像中的位置信息，确定移动物体相对于摄像设备的位置信息。
9.本发明实施例还提供一种视频大范围内物体识别定位装置，用以获知视频中移动物体相对于摄像机的位置，以及移动物体的绝对位置，该装置包括：
10.视频图像获取模块，用于获取视频图像；
11.视频图像识别模块，用于对所述视频图像进行识别，确定移动物体在图像中的位置信息；
12.状态参数获取模块，用于获取摄像设备的状态参数；
13.移动物体相对位置信息确定模块，用于基于所述状态参数和移动物体在图像中的位置信息，确定移动物体相对于摄像设备的位置信息。
14.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述视频大范围内物体识别定位方法。
15.本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述视频大范围内物体识别定位方法的步骤。
16.本发明实施例中，与现有技术中使用者无法获知视频中移动物体相对于摄像机的位置，以及移动物体的绝对位置的技术方案相比，通过获取视频图像；对视频图像进行识别，确定移动物体在图像中的位置信息；获取摄像设备的状态参数；基于状态参数和移动物体在图像中的位置信息，确定移动物体相对于摄像设备的位置信息，可以让使用者方便地
得到这些位置信息，可以让使用者清晰地掌握视频拍摄区域的情况。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
18.图1为本发明实施例中视频大范围内物体识别定位方法流程图(一)；
19.图2为本发明实施例中视频大范围内物体识别定位方法流程图(二)；
20.图3为本发明实施例中视频大范围内物体识别定位方法流程图(三)；
21.图4为本发明实施例中镜头与拍摄范围的侧视图。
22.图5为本发明实施例中镜头与拍摄范围的俯视图。
23.图6为本发明实施例中镜头与拍摄范围的斜视图。
24.图7为本发明实施例中镜头依次顺序拍摄区域俯视图。
25.图8为本发明实施例中有效监控区域俯视图。
26.图9为本发明实施例中程序运行时在屏幕上的显示图像。
27.图10为本发明实施例中镜头拍摄的图像。
28.图11为本发明实施例中程序运行解算过程示意图。
29.图12为本发明实施例中视频大范围内物体识别定位方法流程图(四)；
30.图13为本发明实施例中视频大范围内物体识别定位方法流程图(五)；
31.图14为本发明实施例中视频大范围内物体识别定位装置结构框图(一)；
32.图15为本发明实施例中视频大范围内物体识别定位装置结构框图(二)；
33.图16为本发明实施例中视频大范围内物体识别定位装置结构框图(三)。
具体实施方式
34.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
35.图1为本发明实施例中视频大范围内物体识别定位方法流程图(一)，如图1所示，该方法包括：
36.步骤101：获取视频图像；
37.步骤102：对所述视频图像进行识别，确定移动物体在图像中的位置信息(即像素位置)；
38.步骤103：获取摄像设备的状态参数；
39.步骤104：基于所述状态参数和移动物体在图像中的位置信息，确定移动物体相对于摄像设备的位置信息。
40.在本发明实施例中，摄像设备的状态参数包括镜头高度、镜头下俯角、镜头变焦倍数(对应镜头水平视场角和镜头垂直视场角)和镜头正对方向。例如：可以使用大疆经纬m300型无人机搭载h20t红外镜头获取视频。可以设置无人机飞行高度即镜头离地高度为50
米。h20t镜头设置为4倍变焦，对应的镜头水平视场角和镜头垂直视场角分别为8度和5.6度。设置云台从水平向下转动俯仰角8度。这些状态参数可以依据情况的不同而改变设定值。具体的拍摄视频的镜头与拍摄范围的侧视图如图4所示，镜头与拍摄范围的俯视图如图5所示，镜头与拍摄范围的斜视图如图6所示。其中，a代表镜头位置，b代表镜头拍摄范围的中心，图4至图6中还描述出了a、b两者位置关系。
41.在设定的摄像设备的状态参数下拍摄视频，可以按照如下方式拍摄视频：
42.无人机升空后启动红外镜头，首先拍摄区域1，拍摄时间2秒钟，然后顺时针旋转8度，旋转用时1秒。到位后拍摄区域2，拍摄时间2秒钟，再顺时针旋转8度
……
依此顺序拍摄区域1至23。拍摄完区域23后逆时针旋转回区域1，用时3秒。再循环以上程序进行拍摄。从开始拍摄区域1到旋转至区域1准备拍摄为一个大循环，一个大循环用时71秒。其中46秒获取各个区域的稳定视频。图7为拍摄循环中各拍摄区域示意图。上述的时间依据不同的红外镜头的机器参数的不同而不同。
43.在本发明实施例中，如图12所示，步骤104基于所述状态参数和移动物体在图像中的位置信息，确定移动物体相对于摄像设备的位置信息，具体包括：
44.步骤1041：根据镜头高度、镜头下俯角和镜头变焦倍数匹配相应的坐标数据库；
45.步骤1042：根据移动物体在图像中的位置信息，从相应的坐标数据库中匹配移动物体相对于镜头正对方向的位置；
46.步骤1043：根据所述镜头正对方向和所匹配的移动物体相对于镜头正对方向的位置，确定移动物体相对摄像设备的位置。
47.下面以极坐标数据库为例进行说明。
48.计算机中对于确定型号的镜头，对应镜头高度，镜头下俯角，变焦倍数，通过前期测定，获得了像素点(即位置信息)所对应移动物体相对于镜头正对方向的极坐标数据库。此极坐标系的极轴为y轴的正方向，且角度的正方向为顺时针方向。数据库中包含了图像各个像素点所对应其中拍摄到的移动物体相对于镜头正对方向的极坐标数据。其中，方位角在镜头轴线左侧定义为负值，在镜头轴线右侧定义为正值，用α表示；距离用l表示。对于不同的镜头高度，镜头下俯角，变焦倍数测试得到不同的数据库。这一组数据库储存于计算机中。那么也就是说，相同规格的镜头，在使用时，镜头高度，镜头下俯角，变焦倍数这三个参数和在测定时的这三个参数一致。那么在使用时，像素点所对应移动物体相对于镜头正对方向的极坐标数据和在测定时像素点所对应移动物体相对于镜头正对方向的极坐标数据是相同的。
49.在使用时，进行识别定位过程中将镜头高度，镜头下俯角，变焦倍数传回计算机。首先匹配到相应的极坐标数据库。再在相应的极坐标数据库中匹配得出相应(l，α)。计算机获取拍摄到移动目标时的镜头正对方向β。计算出移动物体相对镜头的方位角γ，γ＝α β。从而得到移动物体相对于镜头的极坐标位置(l，γ)。
50.在本发明实施例中，如图2所示，该方法还包括：
51.步骤105：获得摄像设备的经纬度坐标；
52.步骤106：基于所述摄像设备的经纬度坐标和移动物体相对于摄像设备的位置信息，确定移动物体的经纬度坐标。
53.在本发明实施例中，如图13所示，步骤106基于所述摄像设备的经纬度坐标和移动
物体相对于摄像设备的位置信息，确定移动物体的经纬度坐标，包括：
54.步骤1061：将移动物体相对于摄像设备的极坐标位置转换成移动物体相对于摄像设备的直角坐标位置；
55.步骤1062：基于所述摄像设备的经纬度坐标和移动物体相对于摄像设备的直角坐标位置，确定移动物体的经纬度坐标。
56.具体的，计算机通过坐标转化公式x＝l
·
sinγ，y＝l
·
cosγ将移动物体相对于镜头的极坐标位置(l，γ)转化为直角坐标位置(x，y)。
57.计算机获得摄像设备传回的经纬度坐标(a，b)。根据移动物体相对镜头的直角坐标位置，通过公式c＝a x/(cosb
·
111120)，d＝b y/111120计算出移动物体的经纬度坐标(c，d)。
58.在本发明实施例中，如图3所示，该方法还包括：
59.步骤201：获得已有物体经纬度坐标；
60.步骤202：将移动物体的经纬度坐标与已有物体经纬度坐标进行对比，基于对比结果对所述移动物体进行区分。
61.具体的，就是获得一个移动物体传回的经纬度坐标，与步骤106计算所得的移动物体的经纬度坐标相对比，如果其中两个经纬度坐标数值一致，说明传回经纬度坐标的移动物体和通过镜头识别并计算经纬度的移动物体是同一个移动物体。
62.在本发明实施例中，步骤202基于对比结果对所述移动物体进行区分，包括：
63.基于对比结果，采用不同标注形式对移动物体进行区分。
64.具体的，不同标注形式比如可以是不同颜色，可以是不同格式的下划线等等。
65.具体的，采用不同颜色区分时：
66.若所述两个经纬度坐标数值一致，在显示屏上采用第一颜色标注移动物体的位置；
67.若所述所有两个经纬度坐标数值不一致，在显示屏上采用第二颜色标注移动物体的位置。
68.下面从举实例对本发明提出的视频大范围内物体识别定位方法进行说明。
69.具体实施方式1
70.使用大疆经纬m300型无人机搭载h20t红外镜头获取视频。无人机飞行高度即镜头离地高度为50米。h20t镜头设置为4倍变焦，对应的镜头水平视场角和镜头垂直视场角分别为8度和5.6度。设置云台从水平向下转动俯仰角8度。a代表镜头位置，b代表镜头拍摄范围的中心。两者位置关系如图4，图5，图6所示。所拍摄的范围为一个上底边为37米，下底边为77米，高为287米的梯形。镜头所拍摄地面中心距离镜头的水平距离为356米，其中最远拍摄距离为549米，最近拍摄距离为262米。
71.设定无人机升空后启动红外镜头，首先拍摄区域1，拍摄时间2秒钟，然后顺时针旋转8度，旋转用时1秒。到位后拍摄区域2，拍摄时间2秒钟，再顺时针旋转8度
……
依此顺序拍摄区域1至23。拍摄完区域23后逆时针旋转回区域1，用时3秒。再循环以上程序进行拍摄。从开始拍摄区域1到旋转至区域1准备拍摄为一个大循环，一个大循环用时71秒。其中46秒获取各个区域的稳定视频。图7为拍摄循环中各拍摄区域示意图。整个视频实时传至电脑，本发明对视频进行处理。在输入界面使用者分别输入以下参数：无人机即镜头高度50米，无人
机即镜头的经纬度a(xxx.5000000e，xxx.5000000n)，云台俯仰角水平向下8度，变焦倍数为4倍。镜头正对方向由无人机实时传回。
72.假设使用本发明对国境线进行监控，可以获得图8所示的各拍摄区域示意图，其中，mn为边境线，北面为境外，南面为境内。当目标从北面向南面移动时，将经过图8所示的阴影区域。目标穿过阴影区域至少需要经过287米，如果一个人从北向南试图穿越国境线，其移动速度为6千米/小时，既1分钟移动100米。那么在一个大循环过程中这个人至少有2次出现在拍摄区域。也就是说一台无人机和一台电脑，使用本发明就可以对936米的国境线进行监控。
73.步骤(1)当镜头转动到10号位置时，拍摄的图像中出现移动物体p，识别出这一移动物体p，并得到p在图像中的像素位置为(
‑
240px， 156px)。如图10所示。
74.步骤(2)调取镜头高度50米，镜头下俯角8度，变焦倍数4倍这三个参数。在一组数据库中，匹配到对应镜头高度50米，镜头下俯角8度，变焦倍数4倍这三个参数的这一个数据库。再在这个数据库中匹配得到移动物体p相对于镜头正对方向的极坐标位置(453.4m，
‑
3.0
°
)。
75.步骤(3)调取镜头拍摄到p点时的正对方向
‑
16
°
，解算出移动物体p对应镜头的极坐标位置(453.4m，
‑
19.0
°
)。
76.步骤(4)调取镜头的经纬度坐标，解算出移动物体p的经纬度(xxx.4980943e，xxx.5038578n)。
77.步骤(5)在使用者显示屏幕上显示出p的位置以及位置参数，如图9所示。
78.软件运行逻辑以图11所示。
79.具体实施方式2
80.使用大疆经纬m300型无人机搭载h20t红外镜头获取视频。无人机飞行高度即镜头离地高度为50米。h20t镜头设置为4倍变焦，对应的镜头水平视场角和镜头垂直视场角分别为8度和5.6度。设置云台从水平向下转动俯仰角8度。图中a代表镜头位置，b代表镜头拍摄范围的中心。两者位置关系如图4，图5，图6所示。所拍摄的范围为一个上底边为37米，下底边为77米，高为287米的梯形。镜头所拍摄地面中心距离镜头的水平距离为356米，其中最远拍摄距离为549米，最近拍摄距离为262米。
81.设定无人机升空后启动红外镜头，首先拍摄区域1，拍摄时间2秒钟，然后顺时针旋转8度，旋转用时1秒。到位后拍摄区域2，拍摄时间2秒钟，再顺时针旋转8度
……
依此顺序拍摄区域1至23。拍摄完区域23后逆时针旋转回区域1，用时3秒。再循环以上程序进行拍摄。从开始拍摄区域1到旋转至区域1准备拍摄为一个大循环，一个大循环用时71秒。其中46秒获取各个区域的稳定视频。图7为拍摄循环中各拍摄区域示意图。整个视频实时传至电脑，本发明对视频进行处理。在输入界面使用者分别输入以下参数：无人机即镜头高度50米，无人机即镜头的经纬度(xxx.5000000e，xxx.5000000n)，云台俯仰角水平向下8度，变焦倍数为4倍，镜头正对方向由无人机实时传回。
82.设定在此区域我方人员佩戴卫星定位系统接收端，并实时将位置发送到电脑(即已知的经纬度坐标)。当电脑中识别出的移动目标的经纬度和发送回的经纬度一致时，移动目标四周在屏幕上显示一个红色边框。当电脑中识别出的移动目标的经纬度和发送回的经纬度不一致时，移动目标四在屏幕上显示一个蓝色边框。
83.步骤(1)当镜头转动到14号位置时，拍摄的图像中出现一个移动物体，识别出这个移动物体，其在图像中的像素位置为c(50px，50px)，当镜头转动到15号位置时，拍摄的图像中出现另一个移动物体，识别出这个移动物体，其在图像中的像素位置为e(80px，80px)，如图10所示。
84.步骤(2)调取镜头高度50米，镜头下俯角8度，变焦倍数4倍这三个参数。在一组数据库中，匹配到对应镜头高度50米，镜头下俯角8度，变焦倍数4倍这三个参数的这一个数据库。再在这个数据库中匹配得到移动物体c相对于镜头正对方向的极坐标位置(382.7m，0.6
°
)，匹配得到移动物体e相对于镜头正对方向的极坐标位置(400.3m，1.0
°
)。
85.步骤(3)调取镜头拍摄到移动物体c时的正对方向16.0
°
，解算出移动物体p对应镜头的极坐标位置(453.4m，
‑
19.0
°
)。调取镜头拍摄到移动物体e时的正对方向24.0
°
，解算出移动物体p对应镜头的极坐标位置(400.3m，25.0
°
)。
86.步骤(4)调取镜头的经纬度坐标，分别解算出移动物体的经纬度c(xxx.5014125e，xxx.5032996n)，e(xxx.5021824e，xxx.5032643n)。
87.步骤(5)对比我方人员卫星定位系统接收端传回的经纬度坐标，区分出不同移动物体。其中移动物体c与我方人员传回经纬度匹配，物体e与我方人员传回经纬度不匹配。说明移动物体c为我方人员。
88.步骤(6)在使用者显示屏幕上以红色显示出c的位置以及位置参数，以蓝色显示出e的位置及位置参数。如图9所示。
89.软件运行逻辑以图11所示。
90.以上例子中的移动物体为单个人，在其他例子中对更大范围的检测，其中移动物体也可以为车辆等，也应在本发明的保护范围之内。
91.本发明实施例中还提供了一种视频大范围内物体识别定位装置，如下面的实施例所述。由于该装置解决问题的原理与视频大范围内物体识别定位方法相似，因此该装置的实施可以参见视频大范围内物体识别定位方法的实施，重复之处不再赘述。
92.图14为本发明实施例中视频大范围内物体识别定位装置结构框图(一)，如图12所示，该装置包括：
93.视频图像获取模块02，用于获取视频图像；
94.视频图像识别模块04，用于对所述视频图像进行识别，确定移动物体在图像中的位置信息；
95.状态参数获取模块06，用于获取摄像设备的状态参数；
96.移动物体相对位置信息确定模块08，用于基于所述状态参数和移动物体在图像中的位置信息，确定移动物体相对于摄像设备的位置信息。.
97.在本发明实施例中，如图15所示，该装置还包括：
98.摄像设备的经纬度坐标获取模块10，用于获得摄像设备的经纬度坐标；
99.移动物体经纬度坐标确定模块12，用于基于所述摄像设备的经纬度坐标和移动物体相对于摄像设备的位置信息，确定移动物体的经纬度坐标。
100.在本发明实施例中，所述摄像设备的状态参数包括镜头高度、镜头下俯角、镜头变焦倍数和镜头正对方向。
101.在本发明实施例中，移动物体相对位置信息确定模块08具体用于：
102.根据镜头高度、镜头下俯角和镜头变焦倍数匹配相应的坐标数据库；
103.根据移动物体在图像中的位置信息，从相应的坐标数据库中匹配移动物体相对于镜头正对方向的位置；
104.根据所述镜头正对方向和所匹配的移动物体相对于镜头正对方向的位置，确定移动物体相对摄像设备的位置。
105.在本发明实施例中，移动物体经纬度坐标确定模块12具体用于：
106.将移动物体相对于摄像设备的极坐标位置转换成移动物体相对于摄像设备的直角坐标位置；
107.基于所述摄像设备的经纬度坐标和移动物体相对于摄像设备的直角坐标位置，确定移动物体的经纬度坐标。
108.在本发明实施例中，如图16所示，该装置还包括：
109.已有物体经纬度坐标获得模块14，用于获得已有物体经纬度坐标；
110.对比区分模块16，用于将移动物体的经纬度坐标与已有物体经纬度坐标进行对比，基于对比结果对所述移动物体进行区分。
111.在本发明实施例中，对比区分模块16具体用于：
112.基于对比结果，采用不同标注形式对移动物体进行区分。
113.在本发明实施例中，对比区分模块16具体用于：
114.若所述移动物体的经纬度坐标与已有物体经纬度坐标相同，在显示屏上采用第一颜色标注移动物体的位置；
115.若所述移动物体的经纬度坐标与已有物体经纬度坐标不同，在显示屏上采用第二颜色标注移动物体的位置。
116.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述视频大范围内物体识别定位方法。
117.本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述视频大范围内物体识别定位方法的步骤。
118.本发明实施例中，与现有技术中使用者无法获知视频中移动物体相对于摄像机的位置，以及移动物体的绝对位置的技术方案相比，通过获取视频图像；对视频图像进行识别，确定移动物体在图像中的位置信息；获取摄像设备的状态参数；基于状态参数和移动物体在图像中的位置信息，确定移动物体相对于摄像设备的位置信息；获得摄像设备的经纬度坐标；基于摄像设备的经纬度坐标和移动物体相对于摄像设备的位置信息，确定移动物体的经纬度坐标，可以让使用者方便地得到这些位置信息，可以让使用者清晰地掌握视频拍摄区域的情况。
119.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
120.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
121.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
122.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
123.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。