基于立体可视化的交互展示系统、方法、设备

1.本发明属于视频监控技术领域，具体涉及一种基于立体可视化的交互展示系统、方法、设备。


背景技术：

2.基于二维地图空间位置信息的传统视频监控系统在局部摄像机特别密集，或者监控区域较大的场景下，很难直观描述监控镜头之间的对应关系。特别是在大范围监控场景中，往往摄像机成百上千个，系统使用者很难快速从众多分散镜头中整合整个监控场景有效信息，这样也意味着无法对监控图像显示的应急情况及时进行处置。
3.近年来，基于三维的地理空间信息展示系统的视频监控系统开始出现。通过对监控场景进行三维建模，并将离散的摄像机画面拼接融合到模型中，对重要场所进行立体可视化实时监控，从而方便在大场景中迅速定位，个体、区域、跨摄像头的协同活动，给决策者提供更全局、更直观的信息。
4.现有技术方案都是进行场景三维建模，将场景内固定摄像机进行拼接融合到三维模型中结合智能分析结果进行立体展示，例如，专利cn109068103a，一种基于三维地理信息的动态视频时空虚实融合方法及系统；专利cn109714563a一种基于要害部位的全景监控系统；专利 cn112449093a一种三维全景视频融合监控平台。但不能解决摄像机因安装位置及角度和现场环境受限原因导致的视觉盲区问题。另外，现有技术方案都是基于视频智能分析的结构化数据进行可视化展示，并没有结合场景内能进行辅助判断的物联网传感器信息(如门禁记录、室内灯状态、空调状态等信息)可视化展示。而这些信息对场景内目标身份识别，目标运动轨迹具有很好的补充性，缺失这些信息对立体可视化效果大打折扣。基于此，本发明提出了一种基于立体可视化的交互展示系统。


技术实现要素：

5.为了解决现有技术中的上述问题，即为了解决现有的三维全景监控系统因监控设备的安装位置、角度和现场环境受限导致的视觉盲区以及没有基于场景内能进行辅助判断的物联网传感器信息导致身份识别、目标运动轨迹判定效果较差，即目标识别及检索效果较差的问题。本发明第一方面，提出了一种基于立体可视化的交互展示系统，该系统包括：数据获取单元、算法分析单元、数据交汇单元、交互展示单元；
6.所述数据获取单元，配置为获取目标场景内固定监控设备采集的视频帧数据、移动监控设备在指定位置采集的视频帧数据和3d点云数据、以及各物联网传感器采集的传感数据，作为第一数据、第二数据、第三数据；
7.所述算法分析单元，配置为分别从所述第一数据、所述第二数据、所述第三数据中提取结构化信息；所述结构化信息包括个体结构化信息、群体结构化信息、事件结构化信息、传感器结构化信息；
8.所述数据交汇单元，配置为采取时序采样策略，从结构化信息中间隔提取场景和
目标信息以及关联特征，并进行汇聚处理；汇聚处理后，传输到消息队列中，并将关键信息存储到数据库中；所述关键信息包括人脸识别结果、异常事件检测结果；所述汇聚处理包括位置汇聚处理、图像和身份信息汇聚处理；
9.所述交互展示单元，配置为根据数据的来源和任务设定的优先级动态从汇聚处理后的数据提取关联信息，进行多维度的三维立体可视化交互展示。
10.在一些优选的实施方式中，所述位置汇聚处理，其方法为：
11.各移动监控设备根据自带的摄像机在二维图像的像素平面坐标系上进行目标检测跟踪，通过单个像素与物理大小的对应关系，将像素平面坐标系的目标位置信息转为物理坐标系的目标位置，通过摄像机内参将物理二维坐标位置转换为移动监控设备上相机坐标系的三维坐标位置。通过标定确定摄像机外参，将基于移动监控设备的相机坐标系位置转换为全局世界坐标系的三维坐标位置；
12.固定监控设备通过相机图像分析得到目标的图像基于像素坐标系的二维坐标位置，根据每个摄像机的内参、外参得到的与世界坐标系的全局三维场景位置关系，将目标图像二维坐标转换为全局世界坐标系三维坐标；
13.物联网传感器在全局三维场景中位置固定，将物联网传感器获取的数据信息进行位置标记。
14.在一些优选的实施方式中，将场景内所有目标位置信息转为全局世界坐标系的三维坐标位置，其方法为：
15.定义像素平面坐标系(u，v)、像平面坐标系，即图像物理坐标系(x，y)、相机坐标系(xc，yc，zc)和世界坐标系(xw，yw，zw)；
16.像素平面坐标系与像平面坐标系的关系为：
[0017][0018]
其中，s
x
，sy为单个像素实际物理尺寸，u0，v0为像平面中心；
[0019]
像平面坐标系与相机坐标系的关系为：
[0020][0021]
其中，f为摄像机焦距，zc为深度信息；
[0022]
相机坐标系与世界坐标系的关系为：
[0023][0024]
其中，r为正交旋转矩阵，t为平移矩阵；
[0025]
像素坐标系与世界坐标系的关系为：
[0026][0027]
在一些优选的实施方式中，图像和身份信息汇聚处理，其方法为：将不同终端提取的局部信息转换为全局信息，并进行多个局部区域的信息匹配、关联；具体为：
[0028]
获取当前固定监控设备检测到的人员目标，作为第一人员目标；对第一人员目标进行特征提取；并获取当前场景内的各物联网传感器采集到传感数据，将提取的人员目标特征和采集的传感数据中包含的个人身份信息进行匹配关联，同时对检测到的第一人员目标进行目标轨迹跟踪；
[0029]
若第一人员目标从当前固定监控设备的视野中消失，则获取其他固定监控设备采集的视频帧图像，进行人员特征提取、匹配，并判断是否包含第一人员目标，若包含，则将第一人员目标的轨迹进行串联，身份信息进行合并；
[0030]
若固定监控设备的视野中没有出现第一人员目标，则获取移动监控设备的视频帧数据，进行人员特征提取、匹配，判断是否包含第一人员目标，若包含，则将第一人员目标的轨迹进行串联，身份信息进行合并。
[0031]
在一些优选的实施方式中，所述数据获取单元，还配置为构建全场景的三维模型：
[0032]
基于目标场景的cad图进行全场景等比例建立三维模型，并根据目标场景中固定监控设备采集的视频帧数据进行视频拼接、融合到三维模型中；
[0033]
构建移动监控设备与三维模型映射关系、并将各物联网传感器采集的传感数据接入到三维模型，进而得到全场景的三维模型。
[0034]
在一些优选的实施方式中，所述交互展示单元包括智能分析结果叠加模块、场景目标轨迹漫游模块、三维视频拼接融合模块、场景目标检索模块以及报警事件立体展示模块；
[0035]
所述智能分析结果叠加模块，用于将智能算法分析的每一帧信息叠加到三维地图视频中同步展示，配置为从固定摄像机获取得到 h264视频码流，经过算法分析模块对h264视频码流进行解码和智能分析，得到该视频帧中的智能分析结果，将智能分析结果写入该h264视频帧的辅助增强信息区域中，即sei信息区域，并将带有sei信息的h264码流转发到数据汇聚处理模块；数据汇聚处理模块接收后，将带有sei信息的 h264码流转发给交互展示模块；交互展示模块解码h264码流，并提取出 sei信息中智能分析结果，将智能分析结果
绘制到视频中，实现智能分析结果的叠加展示；
[0036]
所述智能分析结果包括图像中人脸检测框坐标及人脸身份信息、行人和车辆检测框坐标及轨迹、行人属性文本描述信息、人群密度热力分布图、异常事件文本描述信息。
[0037]
所述场景目标检索模块，配置为当用户进行场景目标检索操作时，交互展示单元发送目标检索请求给目标检索服务，检索服务根据检索条件进行多条件复合检索，检索出目标场景内出现的目标记录；将目标记录以时间顺序进行串联，在三维地图模型里面绘制出目标运行完整轨迹；
[0038]
所述场景目标轨迹漫游模块，配置为当用户进行目标轨迹漫游操作时，交互展示单元根据目标运行完整轨迹，在地图上根据用户需求以第一人称视角或第三人称视角进行目标场景轨迹漫游；
[0039]
所述三维视频拼接融合模块，配置为根据用户需求设置三维场景内智能分析结果是否叠加展示，是否拼接融合多路视频展示；
[0040]
所述报警事件立体展示模块，配置为当用户进行报警事件查询时，将查询请求发送至目标检索服务器，目标检索服务器从数据库中依据查询条件，返回满足查询条件的报警事件，交互展示单元根据返回的满足查询条件的报警事件进行三维展示。
[0041]
本发明的第二方面，提出了一种基于立体可视化的交互展示方法，基于上述的基于立体可视化的交互展示系统，该方法包括：
[0042]
步骤s10，获取目标场景内固定监控设备采集的视频帧数据、移动监控设备在指定位置采集的视频帧数据和3d点云数据、以及各物联网传感器采集的传感数据，作为第一数据、第二数据、第三数据；
[0043]
步骤s20，分别从所述第一数据、所述第二数据、所述第三数据中提取结构化信息；所述结构化信息包括个体结构化信息、群体结构化信息、事件结构化信息、传感器结构化信息；
[0044]
步骤s30，采取时序采样策略，从结构化信息中间隔提取场景和目标信息以及关联特征，并进行汇聚处理；汇聚处理后，传输到消息队列中，并将关键信息存储到数据库中；所述关键信息包括人脸识别结果、异常事件检测结果；所述汇聚处理包括位置汇聚处理、图像和身份信息汇聚处理；
[0045]
步骤s40，根据数据的来源和任务设定的优先级动态从汇聚处理后的数据提取关联信息，进行多维度的三维立体可视化交互展示。
[0046]
本发明的第三方面，提出了一种电子设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于立体可视化的交互展示方法。
[0047]
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于立体可视化的交互展示方法。
[0048]
本发明的有益效果：
[0049]
本发明解决了因监控设备的安装位置、角度和现场环境受限导致的视觉盲区的问题，并结合目标场景中各物联网传感器采集的传感数据，提升了身份识别、目标运动轨迹判定效果，即提升了目标识别和检索效果。
[0050]
本发明实现了一种基于固定监控设备、移动监控设备、场景内物联网传感器三者结构化信息融合的立体化交互展示系统。一方面大大提升了立体可视化水平，尽最大可能解决了因场景受限产生的监控盲区问题；另一方面，扩充了立体可视化数据展示维度，与其它立体可视化仅展示视频结构化信息相比，增加了场景内物联网设备信息展示，实现了不同维度数据互联互通；同时，通过将智能分析结果写入h264辅助增强信息，实现智能分析结果与原始流数据时间戳同步的效果，避免了分析结果滞后叠加显示的问题。
附图说明
[0051]
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本技术的其他特征、目的和优点将会变得更明显。
[0052]
图1是本发明一种实施例的基于立体可视化的交互展示系统的简略框架示意图；
[0053]
图2是本发明一种实施例的基于立体可视化的交互展示系统的整体框架示意图；
[0054]
图3是本发明一种实施例的基于立体可视化的交互展示方法的流程示意图；
[0055]
图4是本发明一种实施例的位置汇聚处理的流程示意图；
[0056]
图5是本发明一种实施例的图像和身份信息汇聚处理的流程示意图；
[0057]
图6是本发明一种实施例的智能分析结果叠加的流程示意图；
[0058]
图7是本发明一种实施例的通过用户交互界面与交互展示单元进行交互的示意图；
[0059]
图8是本发明一种实施例的适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0060]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0061]
下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
[0062]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0063]
本发明的一种基于立体可视化的交互展示系统，如图1所示，该系统包括：数据获取单元100、算法分析单元200、数据交汇单元300、交互展示单元400；
[0064]
所述数据获取单元100，配置为获取目标场景内固定监控设备采集的视频帧数据、移动监控设备在指定位置采集的视频帧数据和3d 点云数据、以及各物联网传感器采集的传感数据，作为第一数据、第二数据、第三数据；
[0065]
所述算法分析单元200，配置为分别从所述第一数据、所述第二数据、所述第三数据中提取结构化信息；所述结构化信息包括个体结构化信息、群体结构化信息、事件结构化信息、传感器结构化信息；
[0066]
所述数据交汇单元300，配置为采取时序采样策略，从结构化信息中间隔提取场景和目标信息以及关联特征，并进行汇聚处理；汇聚处理后，传输到消息队列中，并将关键信息存储到数据库中；所述关键信息包括人脸识别结果、异常事件检测结果；所述汇聚处理包括位置汇聚处理、图像和身份信息汇聚处理；
[0067]
所述交互展示单元400，配置为根据数据的来源和任务设定的优先级动态从汇聚处理后的数据提取关联信息，进行多维度的三维立体可视化交互展示。
[0068]
为了更清晰地对本发明基于立体可视化的交互展示系统进行说明，下面结合附图对本发明系统一种实施例中各模块进行展开详述。
[0069]
本发明通过目标场景内固定监控设备(如固定摄像头)、移动监控设备(如移动无人平台)及物联网传感器对场景内人(个体、群体)、车、物、事件等信息进行感知提取、信息融合、匹配关联，实现不同维度数据互联互通，交互式的立体可视化呈现，提升视觉可视化效果及用户对场景态势掌控和辅助决策水平。如图2所示：本发明的系统包括硬件层(即数据获取单元100)、算法分析层(算法分析单元200)、数据交汇层(数据交汇单元300)、展示层(交互展示单元400)；
[0070]
硬件层(即数据获取单元100)：硬件层包含场景内固定摄像头、场景内移动无人平台及场景内各种物联网传感器如室内空调、室内灯、各出入口门禁等。固定摄像头用于获取覆盖大部分场景的视频帧数据，移动无人平台通过摄像机、激光雷达获取场景指定位置视频帧数据及3d点云数据，其它传感器提供如空调开关状态、灯开关状态，门禁刷卡记录等信息；
[0071]
算法分析层(算法分析单元200)：算法分析层主要针对硬件层提取的数据进行结构化信息提取；
[0072]
数据交汇层(数据交汇单元300)：数据交汇层汇集了基于固定摄像头、移动无人平台、场景物联网传感器的个体、群体、事件、位置、传感器状态等结构化信息，进行不同维度的结构化信息关联匹配；
[0073]
展示层(交互展示单元400)：展示包含三维视频拼接融合展示、智能分析结果叠加展示、场景目标检索展示、报警事件立体化展示、场景目标轨迹漫游展示。具体如下：
[0074]
所述数据获取单元100，配置为获取目标场景内固定监控设备采集的视频帧数据、移动监控设备在指定位置采集的视频帧数据和3d 点云数据、以及各物联网传感器采集的传感数据，作为第一数据、第二数据、第三数据；
[0075]
在本实施例中，从目标场景中固定监控设备采集视频帧数据，做三维视频拼接融合，进而结合智能分析技术展示场景内人、车、物、事件等信息；并从移动无人平台搭载的传感器(即移动监控设备)获取移动场景动态数据(视频帧数据和3d点云数据)，通过指定场景内运动路线，由移动无人平台上自带摄像机及激光雷达等传感器进行移动场景展示，利用移动无人平台动态巡逻固定场景中固定监控设备(也称之为静态摄像头)所未覆盖的视觉盲区。
[0076]
另外，基于场景内的各物联网传感器数据如门禁记录、室内灯状态、空调状态等信息，通过获取相关设备状态、位置信息记录，结合移动无人平台和固定摄像机的结构化数据实现不同维度数据互联互通，进行交互式立体可视化呈现。
[0077]
数据获取单元，还配置为构建全场景的三维模型；
[0078]
全场景三维模型是利用三维建模软件3dsmax等软件，基于目标场景内建筑建设时候的cad图信息，建立一个全局场景的三维模型；三维模型中包含各种摄像机及传感器的模型；这些摄像机及传感器的坐标位姿信息通过人工标定在全场景三维模型中建立映射。包括：固定摄像头进行视频拼接、融合到三维模型中的拼接融合参数等。摄像机获取到视频数据、场景内传感器信息如门禁记录、空调状态、灯状态信息，这些信息会基于上面的参数进行实时的映射，转换到场景三维模型中展示。
[0079]
具体为：基于目标场景的cad图进行全场景等比例建立三维模型，并根据目标场景中固定监控设备采集的视频帧数据进行视频拼接、融合到三维模型中；构建移动监控设备与三维模型映射关系、并将各物联网传感器采集的传感数据接入到三维模型，进而得到全场景的三维模型。
[0080]
其中，移动监控设备通过gps定位和惯性测量单元(imu) 得到当前移动监控设备的实时世界坐标位置及角度信息，基于相机坐标系与世界坐标系的关系，实时更新的值，进而实时将移动监控设备图像中像素平面坐标转换为世界坐标。
[0081]
所述算法分析单元200，配置为分别从所述第一数据、所述第二数据、所述第三数据中提取结构化信息；所述结构化信息包括个体结构化信息、群体结构化信息、事件结构化信息、传感器结构化信息；
[0082]
在本实施例中，分别从固定监控设备和移动监控设备、各物联网传感器采集的数据中提取结构化信息，即集成多种数据源的多模态数据，将不同类型、不同来源的信息合成统一结构的异构表示。
[0083]
其中，结构化信息包括个体结构化信息、群体结构化信息、事件结构化信息、传感器结构化信息；
[0084]
个体结构化信息，包括时间、地点、姓名、性别、年龄、衣着、附属物、关联人、关联物、关联事件、轨迹信息、生物特征信息；
[0085]
群体结构化信息，包括时间、地点、关联人、关联物、关联事件；
[0086]
事件结构化信息，包括{时间、地点、事件类型、关联人、关联物、关联事件；
[0087]
传感器结构化信息，包括时间、地点、设备类型、设备状态信息；
[0088]
个体、群体、事件结构化信息相互是有时空关联的，传感器结构化信息与个体结构化信息也会有关联。
[0089]
所述数据交汇单元300，配置为采取时序采样策略，从结构化信息中间隔提取场景和目标信息以及关联特征，并进行汇聚处理；汇聚处理后，传输到消息队列中，并将关键信息存储到数据库中；所述关键信息包括人脸识别结果、异常事件检测结果；所述汇聚处理包括位置汇聚处理、图像和身份信息汇聚处理；目标的结构化信息包括目标位置信息、目标运动信息、目标类别信息和目标属性信息；
[0090]
在本实施例中，汇聚处理包括位置汇聚处理、图像和身份信息汇聚处理。
[0091]
所述位置汇聚处理，如图4所示，其方法为：
[0092]
各移动监控设备根据自带的摄像机在二维图像的像素平面坐标系上进行目标检测跟踪，通过单个像素与物理大小的对应关系，将像素平面坐标系的目标位置信息转为物理坐标系的目标位置，通过摄像机内参将物理二维坐标位置转换为移动监控设备上相机坐
标系的三维坐标位置。通过标定确定摄像机外参，将基于移动监控设备的相机坐标系位置转换为全局世界坐标系的三维坐标位置；
[0093]
固定监控设备通过相机图像分析得到目标的图像基于像素坐标系的二维坐标位置，根据每个摄像机的内参、外参得到的与世界坐标系的全局三维场景位置关系，将目标图像二维坐标转换为全局世界坐标系三维坐标；
[0094]
物联网传感器在全局三维场景中位置固定，将物联网传感器获取的数据信息进行位置标记。
[0095]
将场景内所有目标位置信息转为全局世界坐标系的三维坐标位置，其方法为：
[0096]
定义像素平面坐标系(u，v)、像平面坐标系，即图像物理坐标系(x，y)、相机坐标系(xc，yc，zc)和世界坐标系(xw，yw，zw)；
[0097]
像素平面坐标系与像平面坐标系的关系为：
[0098][0099]
其中，s
x
，sy为单个像素实际物理尺寸，u0，v0为像平面中心；
[0100]
像平面坐标系与相机坐标系的关系为：
[0101][0102]
其中，f为摄像机焦距，zc为深度信息；
[0103]
相机坐标系与世界坐标系的关系为：
[0104][0105]
其中，r为正交旋转矩阵，t为平移矩阵；
[0106]
像素平面坐标系与世界坐标系的关系为：
[0107][0108]
图像和身份信息汇聚处理，其方法为：将不同终端提取的局部信息转换为全局信
息，并进行多个局部区域的信息匹配、关联；具体为：
[0109]
获取当前固定监控设备检测到的人员目标，作为第一人员目标；对第一人员目标进行特征提取；并获取当前场景内的各物联网传感器采集到传感数据，将提取的人员目标特征和采集的传感数据中包含的个人身份信息进行匹配关联，同时对检测到的第一人员目标进行目标轨迹跟踪；
[0110]
若第一人员目标从当前固定监控设备的视野中消失，则获取其他固定监控设备采集的视频帧图像，进行人员特征提取、匹配，并判断是否包含第一人员目标，若包含，则将第一人员目标的轨迹进行串联，身份信息进行合并；
[0111]
若固定监控设备的视野中没有出现第一人员目标，则获取移动监控设备的视频帧数据，进行人员特征提取、匹配，判断是否包含第一人员目标，若包含，则将第一人员目标的轨迹进行串联，身份信息进行合并。
[0112]
本实施例以单个人员进入园区进行跨摄像机运动进行信息汇聚处理为例，如图5所示：
[0113]
1)首先人员a进入从园区大门口刷卡进入，被门口固定摄像机1视频画面中检测到，对人员a进行图像特征提取，与此同时，人员a大门刷卡进入时，门禁系统获取到一条刷卡记录，及刷卡人身份信息。将人员a图像信息与个人身份进行匹配关联，同时进行目标轨迹跟踪，将目标a加入到人员库中；
[0114]
2)当人员a离开大门位置进入园区，此时已从摄像机1视频画面消失。判断是否在其它固定摄像机视野范围；
[0115]
3)如人员a进入到固定摄像机2视野范围。此时固定摄像机2检测到人员b进入视频画面，对人员b进行图像特征提取、视野内目标轨迹跟踪。并将人员b的图像特征与当前人员库进行图像特征匹配。匹配到了人员a，则说明人员a与人员b为同一个人，进行人员a在摄像机1、2轨迹进行串联，身份信息合并；如果人员a没有走到摄像机 2，摄像机2检测到人员b，人员b人员库中a也不会匹配通过，说明人员a和b不是同一个人。人员a走入其它摄像机也按同样方法处理。
[0116]
4)如果人员a没有走到其它固定摄像机，而是走入了无人平台视频视野中。此时，无人平台画面中检测到人员c，对c进行图像特征提取，目标轨迹跟踪。并将c的图像特征与当前人员库中a进行图像特征匹配，匹配到了人员a，则说明人员a与人员c为同一个人，进行人员a在摄像机1与无人平台中轨迹进行串联，身份信息合并；如果人员a没有走到无人平台，无人平台检测到人员c，人员c与人员a也不会匹配通过。
[0117]
通过以上三步实现了人员a在跨区域时无人平台、场景传感器、固定摄像机信息汇聚处理流程。
[0118]
结合场景内其它传感器我们能够获取更多视觉以外语义信息，如人员a楼内办公室所在走廊摄像机、办公室空调、灯状态信息，获取人员a更多运动轨迹活动信息。将这些进行结构化处理。
[0119]
所述交互展示单元400，配置为根据数据的来源和任务设定的优先级动态从汇聚处理后的数据提取关联信息，进行多维度的三维立体可视化交互展示。
[0120]
其中，关联信息根据交互展示单位的具体任务模块确定。以智能分析结果叠加模块为例，关联信息是每一视频帧对应的人脸检测和识别结果、人体检测和属性识别结果、车
辆检测和属性识别结果。以场景目标轨迹漫游模块、场景目标检索模块为例，关联信息是目标在场景中的身份识别结果、时间和空间信息。以报警事件立体展示模块为例，关联信息是异常事件检测识别结果。
[0121]
在本实施例中，从总体到局部逐步展示三维地图上映射的数据结果，支持多任务、多视图协同查看。通过层次化的交互可视化任务，根据数据联系、分布、比较、构成四类可视化任务，自动选取视觉表示方法，将数据映射到对应的视觉表达结构中。
[0122]
所述交互展示单元包括智能分析结果叠加模块、场景目标轨迹漫游模块、三维视频拼接融合模块、场景目标检索模块以及报警事件立体展示模块，如图7所示；
[0123]
所述智能分析结果叠加模块，用于将智能算法分析的每一帧信息叠加到三维地图视频中同步展示，配置为从固定摄像机获取得到 h264视频码流，经过算法分析模块对h264视频码流进行解码和智能分析，得到该视频帧中的智能分析结果，将智能分析结果写入该h264视频帧的辅助增强信息区域中，即sei信息区域，并将带有sei信息的h264 码流转发到数据汇聚处理模块；数据汇聚处理模块接收后，将带有sei 信息的h264码流转发给交互展示模块；交互展示模块解码h264码流，并提取出sei信息中智能分析结果，将智能分析结果绘制到视频中，实现智能分析结果的叠加展示。如图6所示，通过将智能分析结果写入h264 辅助增强信息，实现智能分析结果与原始流数据时间戳同步的效果，避免了分析结果滞后叠加显示的问题。
[0124]
所述智能分析结果包括图像中人脸检测框坐标及人脸身份信息、行人和车辆检测框坐标及轨迹、行人属性文本描述信息、人群密度热力分布图、异常事件文本描述信息。
[0125]
在场景目标轨迹漫游模块、三维视频拼接融合模块、场景目标检索模块以及报警事件立体展示模块进行展示时，用户通过用户交互界面与各模块进行交互。具体为：
[0126]
所述场景目标检索模块，配置为当用户进行场景目标检索操作时，交互模块发送目标检索请求给目标检索服务，检索服务根据检索条件进行多条件复合检索，检索出目标场景内出现记录；将目标记录以时间顺序进行串联，在三维地图模型里面绘制出目标运行完整轨迹；
[0127]
所述场景目标轨迹漫游模块，配置为当用户进行目标轨迹漫游操作时，交互模块根据目标完整轨迹在地图根据用户需求以第一人称视角或第三人称视角进行目标场景轨迹漫游。
[0128]
所述三维视频拼接融合模块，配置为根据用户需求设置三维场景内智能分析结果是否叠加展示，是否视频拼接融合视频展示；
[0129]
所述报警事件立体展示模块，配置为当用户进行报警事件查询时，将查询请求发送至目标检索服务器，目标检索服务器从数据库中依据查询条件，返回满足条件的报警事件，交互展示单元根据返回的满足的报警事件进行三维展示。
[0130]
需要说明的是，上述实施例提供的基于立体可视化的交互展示系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
[0131]
本发明第二实施例的一种基于立体可视化的交互展示方法，基于上述的基于立体可视化的交互展示系统，如图3所示，该方法包括：
[0132]
步骤s10，获取目标场景内固定监控设备采集的视频帧数据、移动监控设备在指定位置采集的视频帧数据和3d点云数据、以及各物联网传感器采集的传感数据，作为第一数据、第二数据、第三数据；
[0133]
步骤s20，分别从所述第一数据、所述第二数据、所述第三数据中提取结构化信息；所述结构化信息包括个体结构化信息、群体结构化信息、事件结构化信息、传感器结构化信息；
[0134]
步骤s30，采取时序采样策略，从结构化信息中间隔提取场景和目标信息以及关联特征；汇聚处理后，传输到消息队列中，并将关键信息存储到数据库中；所述关键信息包括人脸识别结果、异常事件检测结果；所述汇聚处理包括位置汇聚处理、图像和身份信息汇聚处理；
[0135]
步骤s40，根据数据的来源和任务设定的优先级动态从汇聚处理后的数据提取关联信息，进行多维度的三维立体可视化交互展示。
[0136]
本发明第三实施例的一种电子设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于立体可视化的交互展示方法。
[0137]
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于立体可视化的交互展示方法。
[0138]
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的设备、计算机可读存储介质的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
[0139]
下面参考图8，其示出了适于用来实现本技术系统、方法、设备实施例的服务器的计算机系统的结构示意图。图8示出的服务器仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0140]
如图8所示，计算机系统包括中央处理单元(cpu，centralprocessing unit)801，其可以根据存储在只读存储器(rom，read onlymemory)802中的程序或者从存储部分808加载到随机访问存储器(ram， random access memory)803中的程序而执行各种适当的动作和处理。在 ram803中，还存储有系统操作所需的各种程序和数据。cpu801、rom802以及ram803通过总线804彼此相连。输入/输出(i/o，input/output) 接口805也连接至总线804。
[0141]
以下部件连接至i/o接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管、液晶显示器等以及扬声器等的输出部分 807；包括硬盘等的存储部分808；以及包括诸如局域网卡、调制解调器等的网络接口卡的通讯部分809。通讯部分809经由诸如因特网的网络执行通讯处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
[0142]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质
上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通讯部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被cpu801执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、ram、rom、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆等等，或者上述的任意合适的组合。
[0143]
可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言，如java、smalltalk、c ，还包括常规的过程式程序设计语言，如c语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网或广域网连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0144]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0145]
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
[0146]
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
[0147]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域
技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。