一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

园区监控方法和园区监控装置与流程

2022-06-01 11:19:12 来源:中国专利 TAG:


1.本公开涉及显示技术领域,尤其涉及园区监控方法、园区监控装置、电子设备和计算机可读存储介质。


背景技术:

2.在相关技术中,对于场景的展现,或者通过3d虚拟图像展示,或者通过实景图像展示,并没有将3d虚拟图像和实景图像进行合理的结合,在某些应用场景下,难以达到良好的展现效果。


技术实现要素:

3.本公开提供园区监控方法、园区监控装置、电子设备和计算机可读存储介质,以解决相关技术中的不足。
4.根据本公开实施例的第一方面,提供一种园区监控方法,包括:
5.确定第一物体到第一位置的第一路径;
6.基于所述第一物体的视角生成所述第一物体沿着所述第一路径移动的3d虚拟图像;
7.在所述第一物体位于所述第一位置时,显示所述第一位置的实景图像。
8.可选地,所述第一物体为处置告警事件的处置者,在确定第一物体到第一位置的第一路径之前,所述方法还包括:
9.在检测到告警事件时,显示所述告警事件所处环境的3d虚拟图像,以及在所述3d虚拟图像中显示所述告警事件的标记;
10.在接收到第一命令时,显示所述第一位置的3d虚拟图像;
11.在接收到第二命令时,确定所述处置者以及所述处置者的第二位置;
12.其中,所述确定第一物体到第一位置的第一路径包括:
13.确定所述第二位置到所述第一位置的第一路径。
14.可选地,所述显示所述第一位置的3d虚拟图像包括:
15.确定从当前监控视角所在的第三位置到所述第一位置的第二路径;
16.基于所述当前监控视角生成沿着所述第二路径移动的3d虚拟图像。
17.可选地,所述显示所述第一位置的3d虚拟图像包括:
18.在所述告警事件所处环境的3d虚拟图像中,对所述告警事件所处建筑进行切割、拆分和放大,以显示第一位置的3d虚拟图像。
19.可选地,所述方法还包括:
20.在所述第一位置随时间变化时,记录所述第一位置变化的运动轨迹;
21.根据所述运动轨迹确定第三位置,其中,所述第三位置为所述运动轨迹上的位置,或为所述第一位置变化后的位置;
22.其中,所述确定第一物体到第一位置的第一路径包括:
23.确定所述第二位置到所述变化后的第一位置的第一路径。
24.可选地,所述方法还包括:
25.根据所述第一位置的运动轨迹确定目标视角;
26.基于所述目标视角生成沿着所述轨迹运动的3d虚拟图像。
27.可选地,所述显示所述第一位置的实景图像包括:
28.在所述第一位置的3d虚拟图像中,融合显示所述第一位置的实景图像。
29.可选地,所述第一物体为车辆,在确定第一物体到第一位置的第一路径之前,所述方法还包括:
30.在停车场中确定目标车位以及所述目标车位的第一位置;
31.其中,所述确定第一物体到第一位置的第一路径包括:
32.确定所述车辆所在位置到所述第一位置的第一路径。
33.可选地,所述方法还包括:
34.记录和/或显示进出所述车辆的第二物体,以及所述第二物体的运动轨迹。
35.可选地,所述方法还包括:
36.将所述第一物体沿着所述第一路径移动的3d虚拟图像发送至所述第一物体。
37.可选地,所述方法还包括:
38.记录所述第一物体沿着所述第一路径移动的3d虚拟图像,和/或记录所述第一物体位于所述第一位置时,所述第一位置的实景图像。
39.根据本公开实施例的第二方面,提供一种园区监控装置,包括:
40.路径确定模块,用于确定第一物体到第一位置的第一路径;
41.虚拟图像生成模块,用于基于所述第一物体的视角生成所述第一物体沿着所述第一路径移动的3d虚拟图像;
42.实景显示模块,用于在所述第一物体位于所述第一位置时,显示所述第一位置的实景图像。
43.可选地,所述第一物体为处置告警事件的处置者,所述装置还包括:
44.虚拟图像显示模块,用于在检测到告警事件时,显示所述告警事件所处环境的3d虚拟图像,以及在所述3d虚拟图像中显示所述告警事件的标记;以及在接收到第一命令时,显示所述第一位置的3d虚拟图像;
45.第一位置确定模块,用于在接收到第二命令时,确定所述处置者以及所述处置者的第二位置;
46.其中,所述路径确定模块,用于确定所述第二位置到所述第一位置的第一路径。
47.可选地,所述虚拟图像显示模块虚拟图像显示模块,用于确定从当前监控视角所在的第三位置到所述第一位置的第二路径;以及基于所述当前监控视角生成沿着所述第二路径移动的3d虚拟图像。
48.可选地,所述虚拟图像显示模块,用于在所述告警事件所处环境的3d虚拟图像中,对所述告警事件所处建筑进行切割、拆分和放大,以显示第一位置的3d虚拟图像。
49.可选地,所述装置还包括:
50.轨迹记录模块,用于在所述第一位置随时间变化时,记录所述第一位置变化的运动轨迹;
51.位置预测模块,用于根据所述运动轨迹确定第三位置,其中,所述第三位置为所述运动轨迹上的位置,或为所述第一位置变化后的位置;
52.其中,所述路径确定模块,用于确定所述第二位置到所述变化后的第一位置的第一路径。
53.可选地,所述装置还包括:
54.虚拟图像生成模块,用于根据所述第一位置的运动轨迹确定目标视角;以及基于所述目标视角生成沿着所述轨迹运动的3d虚拟图像。
55.可选地,所述实景园区监控模块,用于在所述第一位置的3d虚拟图像中,融合显示所述第一位置的实景图像。
56.可选地,所述第一物体为车辆,所述装置还包括:
57.第二位置确定模块,用于在停车场中确定目标车位以及所述目标车位的第一位置;
58.其中,所述路径确定模块,用于确定所述车辆所在位置到所述第一位置的第一路径。
59.可选地,所述装置还包括:
60.记录显示模块,用于记录和/或显示进出所述车辆的第二物体,以及所述第二物体的运动轨迹。
61.可选地,所述装置还包括:
62.图像发送模块,用于将所述第一物体沿着所述第一路径移动的3d虚拟图像发送至所述第一物体。
63.可选地,所述装置还包括:
64.图像记录模块,用于记录所述第一物体沿着所述第一路径移动的3d虚拟图像,和/或记录所述第一物体位于所述第一位置时,所述第一位置的实景图像。
65.根据本公开实施例的第三方面,提供一种园区监控系统,其包括:
66.处理器;
67.用于存储处理器可执行指令的存储器;
68.其中,所述处理器被配置为实现上述方法。
69.根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述方法中的步骤。
70.根据上述实施例,可以基于第一物体的视角显示第一物体沿着第一路径移动的3d虚拟图像,以及在第一物体位于第一位置时,显示所述第一位置的实景图像,在该过程中结合3d虚拟图像和显示图像进行显示,便于监控人员直观了解第一路径的情况,以及直观且准确地观看到第一物体在第一位置的行为。
71.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
72.为了更清楚地说明本公开实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于
本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
73.图1是根据本公开实施例示出的一种园区监控方法的示意流程图。
74.图2是根据本公开实施例示出的另一种园区监控方法的示意流程图。
75.图3是根据本公开实施例示出的又一种园区监控方法的示意流程图。
76.图4是根据本公开实施例示出的又一种园区监控方法的示意流程图。
77.图5是根据本公开实施例示出的又一种园区监控方法的示意流程图。
78.图6是根据本公开实施例示出的又一种园区监控方法的示意流程图。
79.图7a至图7m是根据本公开的实施例示出的一种应用场景示意图。
80.图8是根据本公开实施例示出的又一种园区监控方法的示意流程图。
81.图9是根据本公开实施例示出的又一种园区监控方法的示意流程图。
82.图10a至图10g是根据本公开的实施例示出的另一种应用场景示意图。
83.图11是根据本公开实施例示出的又一种园区监控方法的示意流程图。
84.图12是根据本公开实施例示出的又一种园区监控方法的示意流程图。
85.图13是根据本公开实施例示出的一种园区监控装置的示意框图。
86.图14是根据本公开实施例示出的另一种园区监控装置的示意框图。
87.图15是根据本公开实施例示出的又一种园区监控装置的示意框图。
88.图16是根据本公开实施例示出的又一种园区监控装置的示意框图。
89.图17是根据本公开实施例示出的又一种园区监控装置的示意框图。
90.图18是根据本公开实施例示出的又一种园区监控装置的示意框图。
91.图19是根据本公开实施例示出的又一种园区监控装置的示意框图。
具体实施方式
92.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
93.图1是根据本公开实施例示出的一种园区监控方法的示意流程图。所述园区监控方法可以适用于园区监控系统,所述园区监控系统可以应用于建筑、停车场、办公园区等场景,所述园区监控系统可以包括多个图像采集设备,例如照相机、录像机等,图像采集设备设置在场景中的不同位置,可以采集场景内各个位置的图像,并将采集到的图像发送至园区监控系统的处理器,处理器可以对接收到图像进行处理,例如将接收到图像转换为3d虚拟图像。
94.如图1所示,所述园区监控方法可以包括以下步骤:
95.在步骤s101中,确定第一物体到第一位置的第一路径;
96.在步骤s102中,基于所述第一物体的视角生成所述第一物体沿着所述第一路径移动的3d虚拟图像;
97.在步骤s103中,在所述第一物体位于所述第一位置时,显示所述第一位置的实景图像。
98.在一个实施例中,第一物体可以是人,也可以是物,具体可以根据应用场景确定。在确定第一物体需要从其当前所在位置运动到第一位置时,可以确定第一物体到第一位置的路径,其中,规划第一路径的算法可以根据需要选择,例如可以通过navmesh算法规划第一路径。
99.在一个实施例中,第一物体的视角可以基于第一物体的运动方向确定,例如第一物体的视角可以朝向低于物体的运动方向,视角位于预设高度,例如第一物体为人,预设高度可以为平均身高的成年人眼睛所在高度,例如1.65米的高度,例如第一物体为车辆,预设高度可以为车辆驾驶员的眼睛所在高度。
100.其中,可以通过第一路径附近的图像采集设备采集所述实时位置的环境图像,进而根据第一物体的视角将采集到的环境图像转换为3d虚拟图像,从而生成以第一物体的视角观察到的3d虚拟图像,进而根据第一物体沿着第一路径运动,可以连续生成多帧3d虚拟图像,例如每隔预设时间生成一帧3d虚拟图像,连续的多帧3d虚拟图像可以构成3d视频,那么3d视频就是模拟第一物体沿着第一路径运动过程中,以第一物体的视角观察到的3d虚拟环境。
101.在一个实施例中,连续的3d虚拟图像构成的3d视频,可以供监控人员观看,以便监控人员直观了解第一路径的情况,也可以供第一物体观看,例如第一物体为车辆,那么可以将3d视频发送给车辆的司机,以便为司机提供直观的导航。
102.进一步地,当第一物体位于第一位置时,可以显示所述第一位置的实景图像,以便监控人员可以直观且准确地观看到第一物体在第一位置的行为。
103.根据本公开的实施例,可以基于第一物体的视角显示第一物体沿着第一路径移动的3d虚拟图像,以及在第一物体位于第一位置时显示所述第一位置的实景图像,在该过程中结合3d虚拟图像和显示图像进行显示,便于监控人员直观了解第一路径的情况,以及直观且准确地观看到第一物体在第一位置的行为。
104.图2是根据本公开实施例示出的另一种园区监控方法的示意流程图。如图2所示,所述第一物体为处置告警事件的处置者,在确定第一物体到第一位置的第一路径之前,所述方法还包括:
105.在步骤s201中,在检测到告警事件时,显示所述告警事件所处环境的3d虚拟图像,以及在所述3d虚拟图像中显示所述告警事件的标记;
106.在步骤s202中,在接收到第一命令时,显示所述第一位置的3d虚拟图像;
107.在步骤s203中,在接收到第二命令时,确定所述处置者以及所述处置者的第二位置;
108.其中,所述确定第一物体到第一位置的第一路径包括:
109.在步骤s204中,确定所述第二位置到所述第一位置的第一路径。
110.在一个实施例中,所述园区监控方法可以适用于处理告警事件的场景,所述告警事件包括但不限于设备异常、禁区占物、未戴口罩、乱扔垃圾、工位异常、区域内存在无规律人员、区域内车辆停留超时等,对于这些告警事件,需要进行处置,处置告警事件的处置者可以是人,也可以是物,例如机器人。
111.告警事件的检测方式可以有多种,例如告警事件为烟雾告警,可以通过烟雾检测器告警,例如告警事件为禁区占物,可以通过图像采集设备采集禁区的图像,进而对采集到
的图像进行识别,以识别在禁区内是否存在物体。
112.在检测到告警事件时,可以显示告警事件所处环境的3d虚拟图像,以及在3d虚拟图像中显示所述告警事件的标记。需要说明的是,在显示3d虚拟图像的界面中,除了可以显示第一位置,还可以显示其他内容,例如以2d图像形式显示存在告警事件的提示信息,并对第一位置进行突出(例如高亮)显示,以便监控人员根据提示信息进行操作。
113.在一个实施例中,监控人员可以通过点击提示信息或者点击显示的第一位置来输入第一命令,在接收到第一命令后,可以显示第一位置的3d虚拟图像,其中,可以显示第一位置附近第一范围内的3d虚拟图像,第一范围可以根据需要进行缩放,从而使得监控人员可以大致了解第一位置附近的概况。
114.其中,显示的3d虚拟图像中,可以只包含3d虚拟图像,还可以在3d虚拟图像基础上包含第一位置的实景图像,例如在第一位置的3d虚拟图像中融合显示实景图像,例如第一位置的3d虚拟图像包含的区域包含多个房间,而第一位置具体位于多个方向中的目标房间,那么可以通过目标房间内的图像采集设备采集目标房间的实景图像,进而将该实景图像融合在3d虚拟图像中目标房间的位置进行显示,从而使得监控人员可以直观且准确地观看到第一位置附近是否存在告警事件,以及告警事件的严重程度。
115.接下来监控人员还可以输入第二命令,例如通过点击界面中的虚拟按键,例如匹配处置者按键,从而可以确定处置告警事件的处置者以及处置者的第二位置,其中,确定处置者的方式可以根据需要进行设置,例如该方式可以是在多个处置者确定到第二位置最近的处置者,也可以是在多个处置者中确定空闲的处置者,进而可以确定第二位置到第一位置的路径作为第一路径。
116.图3是根据本公开实施例示出的又一种园区监控方法的示意流程图。如图3所示,所述显示所述第一位置的3d虚拟图像包括:
117.在步骤s301中,确定从当前监控视角所在的第三位置到所述第一位置的第二路径;
118.在步骤s302中,基于所述当前监控视角生成沿着所述第二路径移动的3d虚拟图像。
119.在一个实施例中,可以确定从当前监控视角所在的第三位置到第一位置的第二路径,进而基于所述当前监控视角生成沿着第二路径移动的3d虚拟图像,可以连续生成多帧3d虚拟图像,连续的多帧3d虚拟图像可以构成3d视频,那么3d视频就是模拟从第三位置沿着第二路径运动过程中,以当前监控视角观察到的3d虚拟环境,直至观看到第一位置周围环境的3d虚拟图像,便于监控人员了解从第二路径达到第一位置的情况。
120.其中,当前监控视角可以是当前界面所显示画面的视角,该视角可以是某个具体图像采集设备的视角,也可以是虚拟的视角,例如位于空中的视角。第二路径可以是虚拟的路径,可以不必提供给监控人员或者处置者。
121.图4是根据本公开实施例示出的又一种园区监控方法的示意流程图。如图4所示,所述显示所述第一位置的3d虚拟图像包括:
122.在步骤s401中,在所述告警事件所处环境的3d虚拟图像中,对所述告警事件所处建筑进行切割、拆分和放大,以显示第一位置的3d虚拟图像。
123.在一个实施例中,可以在告警事件所处环境的3d虚拟图像中,对告警事件所处建
筑进行切割、拆分和放大,例如告警事件位于建筑群中的b座三楼,那么可以先将b座建筑从建筑群中切割出来,然后对切割出来的b座建筑进行拆分,其中,拆分的方式可以根据需要进行设置,例如可以将b座建筑的三层突出显示,然后将三层以上的建筑结构剥离,从而显示第一位置的3d虚拟图像,使得监控人员可以直观地看到告警事件所处第一位置的情况。
124.图5是根据本公开实施例示出的又一种园区监控方法的示意流程图。如图5所示,所述方法还包括:
125.在步骤s501中,在所述第一位置随时间变化时,记录所述第一位置变化的运动轨迹;
126.在步骤s502中,根据所述运动轨迹确定第三位置,其中,所述第三位置为所述运动轨迹上的位置,或为所述第一位置变化后的位置;
127.其中,所述确定第一物体到第一位置的第一路径包括:
128.在步骤s503中,确定所述第三位置到所述变化后的第一位置的第一路径。
129.在一个实施例中,在某些情况下,告警事件所处的第一位置是会随时间发生变化的,例如告警事件为园区内存在无规律人员,也即有未经批准的人员在园区内无规律地走动,该人员所在的第一位置就是变化的。
130.在这种情况下,可以记录第一位置变化的运动轨迹,然后根据确定第三位置,其中,所述第三位置为所述运动轨迹上的位置,或为所述第一位置变化后的位置,进而将第二位置到第一位置的路径作为第一路径,可以提供给处置者进行导航,以便处置者能够准确达到第一位置。
131.其中,在第三位置为变化后的第一位置时,例如可以根据运动轨迹计算出运动速度,然后根据速度和运动方向预测接下来一段时间后的第一位置,那么确定的第一路径,具体可以是第二位置到所述变化后的第一位置的第一路径,从而可以基于第一路径指示处置者准确到达无规律人员将要到达的位置。
132.图6是根据本公开实施例示出的又一种园区监控方法的示意流程图。如图6所示,所述方法还包括:
133.在步骤s601中,根据所述第一位置的运动轨迹确定目标视角;
134.在步骤s602中,基于所述目标视角生成沿着所述轨迹运动的3d虚拟图像。
135.在一个实施例中,可以根据第一位置的运动轨迹确定目标视角,例如目标视角的朝向为运动轨迹的运动方向,目标视角的高度为人眼高度,进而可以基于目标视角生成沿着所述运动轨迹运动的3d虚拟图像,可以连续生成多帧3d虚拟图像,连续的多帧3d虚拟图像可以构成3d视频,那么3d视频就是模拟沿着所述运动轨迹运动过程中,以目标视角观察到的3d虚拟环境,便于了解无规律人员运动过程中的情况。
136.可选地,所述显示所述第一位置的实景图像包括:
137.在所述第一位置的3d虚拟图像中,融合显示所述第一位置的实景图像。
138.在一个实施例中,当第一物体位于第一位置时,可以在第一位置的3d虚拟图像中融合显示实景图像,例如第一位置的3d虚拟图像包含的区域包含多个房间,而第一位置具体位于多个方向中的目标房间,那么可以通过目标房间内的图像采集设备采集目标房间的实景图像,进而将该实景图像融合在3d虚拟图像中目标房间的位置进行显示,而目标房间以外的其他房间仍然显示为3d虚拟图像,从而使得监控人员可以结合3d虚拟图像准确确定
目标房间空间位置,并根据实景图像直观且准确地观看到第一物体在第一位置的行为。
139.图7a至图7m是根据本公开的实施例示出的一种应用场景示意图。
140.如图7a所示,界面中可以显示园区的3d虚拟图像,在检测到告警事件时,可以在界面中显示2d虚拟按键,例如界面左侧显示的按键“查看告警事件”,并且还可以显示告警事件的类型为禁区占物,并且在3d虚拟图像中可以显示告警事件的标记,例如三角形标记。
141.用户在图7a中点击“查看告警事件”的按键后,可以按照图7b至图7e的顺序先,确定告警事件所在建筑(图7b),然后将该建筑分割出来并逐层拆分(图7c),进而得到告警事件所在楼层,然后进行放大(图7d和图7e),从而显示第一位置附近的3d虚拟图像,例如图7d和图7e中三角形标记所在位置就是第一位置,可以显示三角形标记所在区域附近的3d虚拟图像。
142.需要说明的是,在图7b至图7e中,可以在用户点击“查看告警事件”的按键后,在界面右侧显示第一位置的实景图像,以便用户查看第一位置到底是否存在告警事件,以及告警事件的严重程度。
143.进而如图7f所示,可以显示第一位置的实景图像,以便用户准确了解第一位置的实际情况。
144.接下来可以确定处置告警事件的处置者(也即第一物体),还可以基于处置者的视角生成处置者沿着第一路径移动的3d虚拟图像,并且根据处置者沿着第一路径运动,可以连续生成多帧3d虚拟图像,连续的多帧3d虚拟图像可以构成3d视频,那么3d视频就是模拟处置者沿着第一路径运动过程中,以处置者的视角观察到的3d虚拟环境。其中,可以将生成的3d视频发送给处置者,以为处置者提供导航。
145.进一步地,如图7g所示,可以先将界面中的3d虚拟图像缩小;然后界面移动到处置者附近,显示处置者周围的3d虚拟环境,例如图7h所示;还可以确定处置者所在位置到第一位置的第一路径,例如图7h中带箭头的虚线;当处置者开始移动时,可以在3d虚拟环境中显示处置者的位置,例如图7i和图7j所示;还可以在处置者运动过程中,基于处置者的视角生成3d虚拟图像,例如图7k所示;最后当处置者位于第一位置时,可以在第一位置的3d虚拟图像中融合显示实景图像,例如图7l和图7m所示,以便用户观看处置者排除告警事件的具体过程,例如将图中箱子从门口移走的具体过程。
146.图8是根据本公开实施例示出的又一种园区监控方法的示意流程图。如图8所示,所述第一物体为车辆,在确定第一物体到第一位置的第一路径之前,所述方法还包括:
147.在步骤s801中,在停车场中确定目标车位以及所述目标车位的第一位置;
148.其中,所述确定第一物体到第一位置的第一路径包括:
149.在步骤s802中,确定所述车辆所在位置到所述第一位置的第一路径。
150.在一个实施例中,在所述第一物体为车辆时,所述方法可以适用于车辆进入停车场停车的场景,可以在停车场中确定目标车位,以及目标车位的第一位置,其中,目标车位可以是空闲车位,进一步可以是空闲车位中到所述车辆最近的车位,那么可以确定车辆所在位置到所述第一位置的路径作为第一路径。据此,可以将第一路径发送给车辆的驾驶员,以便为驾驶员提供导航。
151.图9是根据本公开实施例示出的又一种园区监控方法的示意流程图。如图9所示,所述方法还包括:
152.在步骤s901中,记录和/或显示进出所述车辆的第二物体,以及所述第二物体的运动轨迹。
153.在一个实施例中,对于进出车辆的第二物体,可以进行记录,还可以进行显示,第二物体可以包括人,也可以包括物,并且对于第二物体的运动轨迹,也而可以进行记录,还可以进行显示,以便监控人员准确了解从车辆中进出的第二物体是谁,第二物体的去向等信息。
154.图10a至图10g是根据本公开的实施例示出的另一种应用场景示意图。
155.如图10a所示,界面中可以显示停车场入口的3d虚拟图像,在检测到有车辆需要进入时,可以在界面中显示2d虚拟按键,例如界面左侧显示的按键“车辆”、“人员”,并且还可以显示该车辆的显示图像,以及车辆的具体信息,例如车牌、车型等。
156.进而如图10b所示,可以在停车场中确定目标车位的第一位置,以及车辆当前所在的位置,然后确定车辆所在位置到所述第一位置的第一路径(例如图10b中虚线所示),其中,可以将第一路径发送给车辆,以为车辆提供导航。
157.还可以基于车辆的视角生成车辆沿着第一路径移动的3d虚拟图像,并且根据车辆沿着第一路径运动,可以连续生成多帧3d虚拟图像,连续的多帧3d虚拟图像可以构成3d视频,那么3d视频就是模拟车辆沿着第一路径运动过程中,以车辆的视角观察到的3d虚拟环境。其中,可以将生成的3d视频发送给车辆,以为车辆提供导航。
158.在车辆运动过程中,可以基于第三视角生成车辆沿着第一路径移动的3d虚拟图像,并且根据车辆沿着第一路径运动,可以连续生成多帧3d虚拟图像,例如图10c和图10d,连续的多帧3d虚拟图像可以构成3d视频,那么3d视频就是模拟车辆沿着第一路径运动过程中,以第三视角观察到的3d虚拟环境,以便用户观察车辆运动情况。
159.进而当车辆位于第一位置时,在第一位置的3d虚拟图像中融合显示实景图像,例如图10e,在3d虚拟图像基础上显示显示图像,以便用户查看车辆停在车位的显示情况。
160.接下来可以记录和/或显示进出车辆的第二物体以及第二物体的运动轨迹,例如图10f和图10g所示,第二物体为人,可以识别该人的具体信息,例如部门、姓名、性别等。
161.图11是根据本公开实施例示出的又一种园区监控方法的示意流程图。如图11所示,所述方法还包括:
162.在步骤s1101中,将所述第一物体沿着所述第一路径移动的3d虚拟图像发送至所述第一物体。
163.在一个实施例中,生成的第一物体沿着第一路径移动的3d虚拟图像,可以模拟第一物体沿着第一路径移动时第一物体的视角看到的图像,通过将该3d虚拟图像发送给第一物体,可以为第一物体提供导航,以便准确地沿着第一路径运动。
164.图12是根据本公开实施例示出的又一种园区监控方法的示意流程图。如图12所示,所述方法还包括:
165.在步骤s1201中,记录所述第一物体沿着所述第一路径移动的3d虚拟图像,和/或记录所述第一物体位于所述第一位置时,所述第一位置的实景图像。
166.在一个实施例中,可以对第一物体沿着第一路径移动的3d虚拟图像进行记录,还可以在第一物体位于第一位置时第一位置的实景图像进行记录,其中,所记录的3d虚拟图像和显示图像可以是与时间相关,以便后续查询。
167.对于记录的内容,可以具有多个维度,每个维度还可以包括多个子维度,用户在查看所记录的内容时,可以从所需维度或子维度进行操作,以便从该维度的层面去查看所记录的内容。
168.例如所记录的内容可以包括3个主维度:设备资产、运维人员、工单态势,每个主维度可以包括多个子维度,例如:
169.设备资产包括:运维工单列表、设备运行状态表、设备分布查看三个子维度,
170.运维人员包括:运维工单列表查看、运维人员列表查看、运维人员分布查看三个子维度;
171.工单态势包括:运维工单变化曲线、运维工单列表查看、运维人员分布查看三个子维度。
172.由于记录的内容与时间是相关的,为了方便查询,可以显示时间轴以便查询者操作。在时间轴上可以点击某个时间点,若在该时间点存在记录的内容,则可以显示记录内容的类型,例如禁区占物告警事件、设备异常告警事件、车辆进入停车场等,并且还可以显示上述维度,
173.例如在该时间点选择设备异常告警事件,并且选择从子维度设备运行状态信息表查看,那么可以显示该时间点设备所在位置的3d虚拟图像和/或实景图像,并且在3d虚拟图像中,可以对该设备所在房间突出显示,例如通过红色、高亮等方式显示该房间,并且还可以显示设备具体的故障参数,例如温度过高,表壳受损等。
174.例如在该时间点选择设备异常告警事件,并且选择从子维度工单列表查看,那么可以显示该时间点处置该告警时间的处置人员视角的3d虚拟图像,还可以显示处置人员运动轨迹的3d虚拟图像,以及处置人员处置告警事件的显示图像等。
175.另外,界面除了可以显示上述实施例中内容,还可以根据需要记录和显示其他内容,例如可以记录每栋建筑的用电量、接入网络的用户量等,并根据记录内容的不同为对应建筑赋予不同颜色,以便用户查看。
176.在一个实施例中,上述3d虚拟图像的生成,可以采用3d建模技术。
177.其中,可以结合cad矢量数据及gis信息1:1真实还原园区建筑数据(楼宇、园区道路、会议室、停车场、办公区、展厅)及空间位置关系等。
178.还可以使用unity3d引擎进行实时渲染,提供多种交互方式(鼠标键盘、触控、手势控制),为用户提供一种三维空间下的自由交互体验,使用户可以上帝视角宏观查看园区情况,也可方便的定位到关注区域进行微观分析。
179.还可以使用物联网技术,获取多种智能设备数据,例如摄像头数据(利用人工智能算法实时分析图像数据,可以实现一步的智能功能,如电子围栏、客流统计、手势识别、异常行为标记)、定位数据、会议室使用状态数据、停车场使用状态数据等,所有数据上传到云平台,采用mqtt通信协议,实现数据消息的订阅/发布,达到实时展现3d虚拟图像的目的。
180.遍布在园区的智能硬件设备(包括但不限于上述图像采集设备)联网收集数据,通过消息队列遥测传输汇总到云平台服务器,经过人工智能算法分析处理后生成特定的业务数据,终端设备订阅后,即可获取实时的消息数据推送。
181.具体地流程可以是,数据采集模块收集智能设备采集的数据,通过mqtt上传到云平台,经过人工智能算法处理后,生成对应的业务数据;客户端的核心控制模块通过tcp连
接到云平台的broker服务,并订阅相关类型的业务消息,broker有新数据时会实时推送给订阅者,客户端就可以实时收到处理生成的业务数据;核心控制模块拿到业务数据后,会分析生成不同业务模块的数据,比如会议室数据变化、停车场数据变化、异常告警信息等,然后同步控制2dui的刷新及3d实体模型的联动动作;交互控制模块捕获用户的输入,经由核心控制模块分析后触发对应的展示效果;客户端最终可以呈现在windows大屏幕、android移动端、web页面等多种媒介,方便用户随时随地查看。
182.核心控制模块拿到业务数据后,会分析生成不同业务模块的数据,具体为接收到订阅的业务数据后,由dispatcher进行整理,分类成会议室、办公区、停车场、访客、展厅等业务模块数据及告警等其他数据,然后分发到不同的子处理单元,经由渲染单元展示出2dui及3d实体模型联动,并最终在终端呈现出来。
183.例如,在实际使用场景中,用户手持移动设备,可以方便的查询空闲停车位,在线预订锁定车位,并一键导航至车位处,省去来回寻找车位的不便;或是查询空闲会议室,下探到具体会议室模型查看设备配置情况,在线预订,并一键导航;或是智能设备捕获到禁入区的异常行为,上报到云平台,然后推送到客户端,并最终生成3d告警点展现在对应空间位置处,点击即可查看详情信息,做到异常行为早发现、早处理,提升园区运营管理能力与效率。
184.与上述园区监控方法的实施例相对应地,本公开还提出了有关园区监控装置的实施例。
185.图13是根据本公开实施例示出的一种园区监控装置的示意框图。所述园区监控装置可以适用于园区监控系统,所述园区监控系统可以应用于建筑、停车场、办公园区等场景,所述园区监控系统可以包括多个图像采集设备,例如照相机、录像机等,图像采集设备设置在场景中的不同位置,可以采集场景内各个位置的图像,并将采集到的图像发送至园区监控系统的处理器,处理器可以对接收到图像进行处理,例如将接收到图像转换为3d虚拟图像。
186.如图13所示,所述园区监控装置可以包括:
187.路径确定模块1301,用于确定第一物体到第一位置的第一路径;
188.虚拟图像生成模块1302,用于基于所述第一物体的视角生成所述第一物体沿着所述第一路径移动的3d虚拟图像;
189.实景显示模块1303,用于在所述第一物体位于所述第一位置时,显示所述第一位置的实景图像。
190.图14是根据本公开实施例示出的另一种园区监控装置的示意框图。如图14所示,所述第一物体为处置告警事件的处置者,所述装置还包括:
191.虚拟图像显示模块1401,用于在检测到告警事件时,显示所述告警事件所处环境的3d虚拟图像,以及在所述3d虚拟图像中显示所述告警事件的标记;以及在接收到第一命令时,显示所述第一位置的3d虚拟图像;
192.第一位置确定模块1402,用于在接收到第二命令时,确定所述处置者以及所述处置者的第二位置;
193.其中,所述路径确定模块,用于确定所述第二位置到所述第一位置的第一路径。
194.可选地,所述虚拟图像显示模块虚拟图像显示模块,用于确定从当前监控视角所
在的第三位置到所述第一位置的第二路径;以及基于所述当前监控视角生成沿着所述第二路径移动的3d虚拟图像。
195.可选地,所述虚拟园区监控模块,用于在所述告警事件所处环境的3d虚拟图像中,对所述告警事件所处建筑进行切割、拆分和放大,以显示第一位置的3d虚拟图像。
196.图15是根据本公开实施例示出的又一种园区监控装置的示意框图。如图15所示,所述装置还包括:
197.轨迹记录模块1501,用于在所述第一位置随时间变化时,记录所述第一位置变化的运动轨迹;
198.位置预测模块1502,用于根据所述运动轨迹确定第三位置,其中,所述第三位置为所述运动轨迹上的位置,或为所述第一位置变化后的位置;
199.其中,所述路径确定模块,用于确定所述第二位置到所述变化后的第一位置的第一路径。
200.可选地,所述虚拟图像生成模块,还用于根据所述第一位置的运动轨迹确定目标视角;以及基于所述目标视角生成沿着所述轨迹运动的3d虚拟图像。
201.可选地,所述实景显示模块,用于在所述第一位置的3d虚拟图像中,融合显示所述第一位置的实景图像。
202.图16是根据本公开实施例示出的又一种园区监控装置的示意框图。如图15所示,所述第一物体为车辆,所述装置还包括:
203.第二位置确定模块1601,用于在停车场中确定目标车位以及所述目标车位的第一位置;
204.其中,所述路径确定模块,用于确定所述车辆所在位置到所述第一位置的第一路径。
205.图17是根据本公开实施例示出的又一种园区监控装置的示意框图。如图17所示,所述装置还包括:
206.记录显示模块1701,用于记录和/或显示进出所述车辆的第二物体,以及所述第二物体的运动轨迹。
207.图18是根据本公开实施例示出的又一种园区监控装置的示意框图。如图17所示,所述装置还包括:
208.图像发送模块1801,用于将所述第一物体沿着所述第一路径移动的3d虚拟图像发送至所述第一物体。
209.图19是根据本公开实施例示出的又一种园区监控装置的示意框图。如图18所示,所述装置还包括:
210.图像记录模块1901,用于记录所述第一物体沿着所述第一路径移动的3d虚拟图像,和/或记录所述第一物体位于所述第一位置时,所述第一位置的实景图像。
211.本公开的实施例还提出一种园区监控系统,包括:
212.处理器;
213.用于存储处理器可执行指令的存储器;
214.其中,所述处理器被配置为实现上述任一实施例所述的方法。
215.本公开的实施例还提出一种计算机可读存储介质,其上存储有计算机程序,该程
序被处理器执行时实现上述任一实施例所述方法中的步骤。
216.在本公开中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上,除非另有明确的限定。
217.本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
218.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献