一种街区应急场景空地协同立体感知方法与系统

1.本发明属于智慧城市与物联网技术领域，更具体地，涉及一种街区应急场景空地协同立体感知方法与系统。


背景技术：

2.应急事件如火灾、内涝、生态环境破坏、交通事故等时有发生，如何对应急事件进行监测和预测，确保建立高效的应急事故管理是本领域需要解决的技术问题。以下分别针对与该技术问题相关的四个方面，阐述相应的国内外研究现状。
3.目前国内外针对于事件观测规划的研究主要集中于观测模型构建、观测设备调度方面。主要的研究方法为集总式联合任务规划方法，从全局的角度进行任务需求的求解和优化。随着观测资源种类的增加，集总式的规划方法时间代价高，鲁棒性较差，扩展性差。为了解决观测资源异构性的问题，许多组织和企业都开展了研究，提出了许多通用的标准和模型，例如w3c组织针对传感网提出了ssn描述标准。在网络层中，有些研究对通信资源进行抽象建模，设计出可通用扩展的抽象接口。然而这些标准和模型往往单一的，或针对街区感知网络的某个层级，虽然解决了层级内部资源的异构问题，但对于街区感知网络整体来说，各层级标准和模型之间还是存在较大差异，各层之间的资源匹配和规划难以借助这些模型开展。
4.目前针对网络规划的研究，不管是针对网络结构还是设备接入，都集中在专一网络的组网技术和规划上。然而街区感知网络中包含了种类丰富的通信资源，同时各种异构信息分布各有特点，需要根据感知层观测资源的需求和特点对各类网络层通信资源进行整合匹配，组成合理高效的、具备针对性的通信网络，专一的网络规划方法无法适应多通信资源类型的网络结构，同时在实际建设街区感知网络时，往往采取人工判断的方式为感知层观测资源选择网络层通信资源，通常从观测资源出发，在其支持的网络接口中选择合适的通信资源，完成设备的组网和网络的覆盖。这种方式会导致通信资源分配不均，利用率低等问题，街区感知网络碎片化，组织和管理较难。
5.应急场景空地协同街区立体感知数据集成的目标是汇集整合各类感知设备观测数据，如无人机机载视频和各类传感器、手机视频和传感器、固定和移动传感器等观测数据，有效解决各设备间存在的信息孤岛、信息壁垒等客观问题，建设一套方法科学治理管理各类感知数据，形成一套上下级联合、横向贯通、逻辑一体化的数据服务体系。但是，目前大多数应急系统仅仅实现了各业务系统数据的汇集和数据标准化，数据间蕴含的价值无法体现；各种类型数据间关系缺乏有效关联，结构化与非结构化的数据无法实现横向扩展，历史图像视频等也难以具备再次分析利用的条件，整个数据循环无法达到闭环传输利用的效果，导致难以从海量动态数据中快速、精准地发现、排查目标信息。
6.地理观测作为人们感知自然与社会的一种方式，随着科学技术的发展越来越先进，根据应用领域的不同，发展出了地面观测、空中观测、航空观测等多尺度、多角度的观测方法。此外，上世纪70年代我国的地理信息系统技术开始起步，并在上世纪末得到发展，它
的出现为观测数据的可视化显示提供了技术基础和展示平台。因此，也诞生了众多以地理信息系统，并为基础，面向不同应用的观测数据管理展示平台，结合地理位置进行观测数据的可视化显示能够更充分地挖掘观测数据的潜在信息。现今大多数基于地理信息系统搭建的数据管理与展示平台包含的观测数据较为单一，例如前述的地面观测、空中观测等，往往只对某一类观测数据进行集中的显示，这样会导致目标空间的信息不够完整，使得后续对场景数据信息的融合和挖掘也不够全面。


技术实现要素：

7.为解决现有技术存在的上述问题，本发明提供一种街区应急场景空地协同立体感知方法与系统，能够实现应急场景下街区观测要素的实时反映可视化，能够支撑突发应急事件体制和机制高效运行，以科学有序高效地应对突发应急事件。。
8.本发明提供一种街区应急场景空地协同立体感知方法，包括：
9.以街区应急事件为中心，将每种类型的观测设备作为一个基本事件，构建空地协同的观测规划模型；
10.构建街区感知网络的资源描述本体模型，基于所述资源描述本体模型建立推理规则以实现网络规划；
11.对若干观测设备获得的多源终端异构数据进行汇聚和组织，得到空地协同观测数据；
12.对所述空地协同观测数据及其反演数据进行融合地理信息显示，实现街区应急场景的立体感知。
13.优选的，构建空地协同的观测规划模型时，在时间、空间和事件三个属性方面进行协同建模；
14.构建协同观测函数h
α
，如下：
[0015][0016]
式中，表示第i个种类的观测设备在事件观测任务中的时间参数，表示第i个种类的观测设备在事件观测任务中的空间参数，表示第i个种类的观测设备在事件观测任务中的观测要素参数，n表示不同种类观测设备的总数量；
[0017]
基于所述协同观测函数，判断各类观测设备是否能够加入协同观测；针对第i个种类的观测设备，当该类观测设备满足时，将该类观测设备加入协同观测；
[0018]
结合所述时间参数、所述空间参数和所述观测要素参数，对加入协同观测的观测设备进行权值设置，所述权值用于表征不同种类的观测设备的优先级。
[0019]
优选的，构建空地协同的观测规划模型时还包括设置置信度，基于所述置信度调节不同种类的观测设备的作用程度，以得到最佳观测方案；
[0020]
所述置信度包括表征观测时效性能的第一指标、表征观测空间覆盖率的第二指标和表征观测要素性能的第三指标；
[0021]
所述第一指标表示一类观测设备在单位时间内能够覆盖的观测区域比例，如下：
[0022][0023][0024]
式中，η
t
表示第一指标，si表示该类观测设备中第i个观测器件能够观测的空间范围，m表示该类观测设备中观测器件的总数量，s表示事件观测任务需要观测的空间范围的集合，t
α
表示该类观测设备能够实现观测任务需求的时间窗口值，t
is
表示该类观测设备中第i个观测器件针对观测任务需求的开始时间，t
ie
表示该类观测设备中第i个观测器件针对观测任务需求的结束时间；表示该类观测设备中第i个观测器件在时间窗口范围内的观测状态指标，若该观测器件的时间窗口与观测任务需求的时间窗口有交集则为1，若无交集则为0；
[0025]
所述第二指标表示一类观测设备的观测空间对复合事件目标的总覆盖程度，如下：
[0026][0027]
式中，ηs表示第二指标；
[0028]
所述第三指标表示协同观测设备对复合事件需求属性的匹配程度，如下：
[0029][0030]
式中，ηn表示第三指标，k表示复合事件中包含的观测基本事件的类别数量；表示针对复合事件中的第j类观测基本事件，第i个种类的观测设备能够实现观测任务需求的权重；表示第i个种类的观测设备的观测性能状态指标，若该类观测设备的观测情况满足观测任务需求则为1，否则为0；i表示第i个种类的观测设备能够实现观测任务需求的观测要素的数量。
[0031]
优选的，实现网络规划时，将感知层观测资源、网络层通信资源和应用层资源作为三个一级类，并基于各一级类的层次结构进行内部级类下分，形成所述资源描述本体模型；
[0032]
在已构建的所述资源描述本体模型上，基于感知层、网络层和应用层在网络规划中的约束关系构建swrl规则；
[0033]
接收到网络规划方案请求后，通过所述资源描述本体模型进行实例映射，采用所述swrl规则进行逻辑推理，生成各层资源匹配的网络规划方案。
[0034]
优选的，所述感知层观测资源包括以下四个二级类：设备的基本属性、观测属性、网络属性和数据属性；所述设备的基本属性包括设备id、设备名称和设备型号；所述观测属性包括移动属性、测量属性和位置属性；所述移动属性包括可移动性和移动范围，所述测量属性包括采样频率和测量范围，所述位置属性包括经度和纬度；所述数据属性包括数据类
型、数据格式、数据包大小和数据上报频率；所述网络属性包括支持接口和传输需求；
[0035]
所述网络层通信资源包括以下两个二级类：网络的基本属性和传输属性；所述网络的基本属性包括id、名称、经度、纬度、覆盖半径、节点容量和组网方式；所述传输属性包括网络延时、传输速度和传输带宽。
[0036]
优选的，采用swrl规则进行逻辑推理时的匹配流程包括：
[0037]
构建第一网络规划目标和第二网络规划目标；所述第一网络规划目标为实现所述感知层观测资源通过所述网络层通信资源与所述应用层资源的服务器建立通信连接，所述服务器能接收到所述感知层观测资源采集的数据；所述第二网络规划目标为提升网络传输性能，降低网络延时，提高网络覆盖率，降低丢包率；
[0038]
基于所述感知层观测资源的所述网络数据和所述观测属性、所述网络层通信资源的所述网络的基本属性，以及所述应用层资源的带宽，围绕所述第一网络规划目标，建立基本组网规则；
[0039]
基于所述感知层观测资源的所述数据属性和所述网络层通信资源的所述传输属性，围绕所述第二网络规划目标，建立网络性能提升规则。
[0040]
优选的，对若干观测设备获得的多源终端异构数据进行汇聚和组织时，将所述多源异构数据根据数据结构划分为结构化数据与非结构化数据，所述结构化数据和所述非结构化数据并行、分通道地传输至数据汇聚平台；
[0041]
所述数据汇聚平台基于数据结构和语义关联进行存储；其中，每个观测设备注册有一个node id作为该观测设备的id，同一观测设备采集的异构数据通过node id进行关联。
[0042]
优选的，进行融合地理信息显示时的数据包括：文本格式的第一类数据、视频格式的第二类数据和影像格式的第三类数据；所述第一类数据包括地面移动传感器观测数据，所述第二类数据包括地面手机观测数据，所述第三类数据包括观测反演图和观测拼接图；
[0043]
其中，所述观测反演图的获得方式为：对所述空地协同观测数据进行时空匹配得到数据集，基于所述数据集建立反演模型计算生成所述观测反演图；
[0044]
所述第一类数据、所述第二类数据、所述第三类数据均包括数据本身和数据对应的地理位置坐标；通过所述地理位置坐标将数据与地理信息系统平台的三维场景进行关联和融合显示；
[0045]
其中，所述第一类数据以文本标注框的形式显示在三维场景中的相应位置；所述第二类数据以浮窗形式显示视频，同时根据地理位置坐标在三维场景中标注其移动轨迹；所述第三类数据以图层形式显示在三维场景中的相应位置。
[0046]
另一方面，本发明提供一种街区应急场景空地协同立体感知系统，包括：
[0047]
观测规划单元，用于以街区应急事件为中心，将每种类型的观测设备作为一个基本事件，构建空地协同的观测规划模型；
[0048]
网络规划单元，用于构建街区感知网络的资源描述本体模型，基于所述资源描述本体模型建立推理规则以实现网络规划；
[0049]
数据汇聚组织单元，用于对若干观测设备获得的多源终端异构数据进行汇聚和组织，得到空地协同观测数据；
[0050]
融合显示单元，用于对所述空地协同观测数据及其反演数据进行融合地理信息显
示，实现街区应急场景的立体感知；
[0051]
所述街区应急场景空地协同立体感知系统用于实现如上述的街区应急场景空地协同立体感知方法中的步骤。
[0052]
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0053]
本发明涉及应急场景下空地协同观测规划、通信组网资源调配与规划、空地协同街区立体感知数据的组织关联，以及空地协同联合反演预测，能够实现应急场景下街区观测要素的实时反映可视化，能够支撑突发应急事件体制和机制高效运行，以科学有序高效地应对突发应急事件。
附图说明
[0054]
图1是本发明实施例提供的一种街区应急场景空地协同立体感知方法的整体框架图；
[0055]
图2是本发明实施例提供的一种街区应急场景空地协同立体感知方法中构建空地协同的观测规划模型的流程图；
[0056]
图3是本发明实施例提供的一种街区应急场景空地协同立体感知方法中网络规划的架构图；
[0057]
图4是本发明实施例提供的一种街区应急场景空地协同立体感知方法中街区感知网络的资源描述本体模型的框架图；
[0058]
图5是资源描述本体模型中感知层观测资源的本体描述图；
[0059]
图6是资源描述本体模型中网络层通信资源的本体描述图；
[0060]
图7是本发明实施例提供的一种街区应急场景空地协同立体感知方法中生成网络规划方案的推理流程图；
[0061]
图8是采用swrl规则进行逻辑推理时的匹配流程图；
[0062]
图9是本发明实施例提供的一种街区应急场景空地协同立体感知方法中对若干观测设备获得的多源终端异构数据进行汇聚和组织的框架图；
[0063]
图10是同一观测设备采集的异构数据关联模型；
[0064]
图11是多源异构数据设备级汇聚与关联存储的流程图；
[0065]
图12是利用本发明实施例提供的一种街区应急场景空地协同立体感知方法进行空地协同二氧化碳反演的流程图；
[0066]
图13是本发明实施例提供的一种街区应急场景空地协同立体感知方法中空地观测数据可视化的架构图；
[0067]
图14是本发明实施例提供的一种街区应急场景空地协同立体感知方法中空地观测数据地理融合显示的流程图。
具体实施方式
[0068]
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
[0069]
实施例1：
[0070]
实施例1提供了一种街区应急场景空地协同立体感知方法，参见图1，包括以下步
骤：
[0071]
s1、以街区应急事件为中心，将每种类型的观测设备作为一个基本事件，构建空地协同的观测规划模型。
[0072]
其中，构建空地协同的观测规划模型时，在时间、空间和事件三个属性方面进行协同建模。
[0073]
构建协同观测函数h
α
，如下：
[0074][0075]
式中，表示第i个种类的观测设备在事件观测任务中的时间参数，表示第i个种类的观测设备在事件观测任务中的空间参数，表示第i个种类的观测设备在事件观测任务中的观测要素参数，n表示不同种类观测设备的总数量。
[0076]
基于所述协同观测函数，判断各类观测设备是否能够加入协同观测；针对第i个种类的观测设备，当该类观测设备满足时，将该类观测设备加入协同观测。结合所述时间参数、所述空间参数和所述观测要素参数，对加入协同观测的观测设备进行权值设置，所述权值用于表征不同种类的观测设备的优先级。
[0077]
优选的方案中，还包括设置置信度，基于所述置信度调节不同种类的观测设备的作用程度，以得到最佳观测方案。所述置信度包括表征观测时效性能的第一指标、表征观测空间覆盖率的第二指标和表征观测要素性能的第三指标。
[0078]
所述第一指标表示一类观测设备在单位时间内能够覆盖的观测区域比例，如下：
[0079][0080][0081]
式中，η
t
表示第一指标，si表示该类观测设备中第i个观测器件能够观测的空间范围，m表示该类观测设备中观测器件的总数量，s表示事件观测任务需要观测的空间范围的集合，t
α
表示该类观测设备能够实现观测任务需求的时间窗口值，t
is
表示该类观测设备中第i个观测器件针对观测任务需求的开始时间，t
ie
表示该类观测设备中第i个观测器件针对观测任务需求的结束时间；表示该类观测设备中第i个观测器件在时间窗口范围内的观测状态指标，若该观测器件的时间窗口与观测任务需求的时间窗口有交集则为1，若无交集则为0。
[0082]
所述第二指标表示一类观测设备的观测空间对复合事件目标的总覆盖程度，如下：
[0083]
[0084]
式中，ηs表示第二指标。
[0085]
所述第三指标表示协同观测设备对复合事件需求属性的匹配程度，如下：
[0086][0087]
式中，ηn表示第三指标，k表示复合事件中包含的观测基本事件的类别数量；表示针对复合事件中的第j类观测基本事件，第i个种类的观测设备能够实现观测任务需求的权重；表示第i个种类的观测设备的观测性能状态指标，若该类观测设备的观测情况满足观测任务需求则为1，否则为0；i表示第i个种类的观测设备能够实现观测任务需求的观测要素的数量。
[0088]
s2、构建街区感知网络的资源描述本体模型，基于所述资源描述本体模型建立推理规则以实现网络规划。
[0089]
其中，实现网络规划时，将感知层观测资源、网络层通信资源和应用层资源作为三个一级类，并基于各一级类的层次结构进行内部级类下分，形成所述资源描述本体模型；在已构建的所述资源描述本体模型上，基于感知层、网络层和应用层在网络规划中的约束关系构建swrl规则；接收到网络规划方案请求后，通过所述资源描述本体模型进行实例映射，采用所述swrl规则进行逻辑推理，生成各层资源匹配的网络规划方案。
[0090]
所述感知层观测资源包括以下四个二级类：设备的基本属性、观测属性、网络属性和数据属性；所述设备的基本属性包括设备id、设备名称和设备型号；所述观测属性包括移动属性、测量属性和位置属性；所述移动属性包括可移动性和移动范围，所述测量属性包括采样频率和测量范围，所述位置属性包括经度和纬度；所述数据属性包括数据类型、数据格式、数据包大小和数据上报频率；所述网络属性包括支持接口和传输需求。所述网络层通信资源包括以下两个二级类：网络的基本属性和传输属性；所述网络的基本属性包括id、名称、经度、纬度、覆盖半径、节点容量和组网方式；所述传输属性包括网络延时、传输速度和传输带宽。
[0091]
采用swrl规则进行逻辑推理时的匹配流程包括：构建第一网络规划目标和第二网络规划目标；所述第一网络规划目标为实现所述感知层观测资源通过所述网络层通信资源与所述应用层资源的服务器建立通信连接，所述服务器能接收到所述感知层观测资源采集的数据；所述第二网络规划目标为提升网络传输性能，降低网络延时，提高网络覆盖率，降低丢包率。基于所述感知层观测资源的所述网络数据和所述观测属性、所述网络层通信资源的所述网络的基本属性，以及所述应用层资源的带宽，围绕所述第一网络规划目标，建立基本组网规则。基于所述感知层观测资源的所述数据属性和所述网络层通信资源的所述传输属性，围绕所述第二网络规划目标，建立网络性能提升规则。
[0092]
s3、对若干观测设备获得的多源终端异构数据进行汇聚和组织，得到空地协同观测数据。
[0093]
其中，对若干观测设备获得的多源终端异构数据进行汇聚和组织时，将所述多源异构数据根据数据结构划分为结构化数据与非结构化数据，所述结构化数据和所述非结构化数据并行、分通道地传输至数据汇聚平台。所述数据汇聚平台基于数据结构和语义关联
进行存储；其中，每个观测设备注册有一个node id作为该观测设备的id，同一观测设备采集的异构数据通过node id进行关联。
[0094]
s4、对所述空地协同观测数据及其反演数据进行融合地理信息显示，实现街区应急场景的立体感知。
[0095]
具体的，进行融合地理信息显示时的数据包括：文本格式的第一类数据、视频格式的第二类数据和影像格式的第三类数据；所述第一类数据包括地面移动传感器观测数据，所述第二类数据包括地面手机观测数据，所述第三类数据包括观测反演图和观测拼接图。
[0096]
其中，所述观测反演图的获得方式为：对所述空地协同观测数据进行时空匹配得到数据集，基于所述数据集建立反演模型计算生成所述观测反演图；
[0097]
所述第一类数据、所述第二类数据、所述第三类数据均包括数据本身和数据对应的地理位置坐标；通过所述地理位置坐标将数据与地理信息系统平台的三维场景进行关联和融合显示。
[0098]
其中，所述第一类数据以文本标注框的形式显示在三维场景中的相应位置；所述第二类数据以浮窗形式显示视频，同时根据地理位置坐标在三维场景中标注其移动轨迹；所述第三类数据以图层形式显示在三维场景中的相应位置。
[0099]
实施例2：
[0100]
实施例2提供了一种街区应急场景空地协同立体感知系统，包括：
[0101]
观测规划单元，用于以街区应急事件为中心，将每种类型的观测设备作为一个基本事件，构建空地协同的观测规划模型；
[0102]
网络规划单元，用于构建街区感知网络的资源描述本体模型，基于所述资源描述本体模型建立推理规则以实现网络规划；
[0103]
数据汇聚组织单元，用于对若干观测设备获得的多源终端异构数据进行汇聚和组织，得到空地协同观测数据；
[0104]
融合显示单元，用于对所述空地协同观测数据及其反演数据进行融合地理信息显示，实现街区应急场景的立体感知；
[0105]
所述街区应急场景空地协同立体感知系统用于实现如实施例1所述的街区应急场景空地协同立体感知方法中的步骤。
[0106]
实施例2提供的系统与实施例1提供的方法对应，因此不再赘述。
[0107]
下面对本发明做进一步的说明。
[0108]
在突发应急场景下，街区立体感知系统的构建对街区应急事件的监测起到了决定性的因素。为构建实时性强、准确性高、覆盖面广系统，本发明构建了街区应急场景空地协同立体感知的系统框架和方法流程，参见图1，首先是针对应急场景监测需求，协同规划空地传感器观测任务，通过调配空地传感器观测设备感知街区待观测的变化；其次是构建通信网络和资源分配模型，能够最大化通信资源利用地传输感知数据；然后，构建多源终端异构数据汇聚和组织方法，将街区感知的多源异构数据分路上传至汇聚平台，平台接收到的数据分表且主题语义关联存储；最后，融合空地观测数据，实时、可靠性地反演街区大于一平方公里范围的街区场景状态，实现应急场景的态势感知。
[0109]
1、街区应急场景下空地协同规划方法
[0110]
通过对街区应急场景事件观测需求进行分析，本发明在分析对比不同观测设备的
优势和劣势的基础上，将每种观测设备作为一个基本事件，构建以街区应急事件为中心的多种观测设备协同的观测规划模型，通过构建街区应急观测事件uml(unified modeling language，统一建模语言)类图，对应急事件观测进行整体事件描述，并将概念模型进行数学化表达，从而建立多种观测设备的协同观测规划模型，构建包括时效性、空间覆盖率以及观测要素性能在内的评价指标，计算相应的性能评价指标从而验证构建的协同观测规划模型的有效性，以得到最佳观测方案。
[0111]
2、基于本体模型的街区感知网络资源描述模型
[0112]
针对街区感知网络，本发明研究街区感知网络资源描述模型的构建方法和基于描述模型的网络规划方法，旨在实现对街区感知网络资源的有效规划和管理，提高组网效率和质量。
[0113]
针对街区感知网络资源异构性问题，本发明根据观测需求和通信需求，对每层资源在进行网络规划时会涉及的参考要素和内容进行抽象并提取出通用的概念；同时研究街区的感知层、网络层和应用层之间的内在关联与层次结构，形成面向街区感知网络的资源描述本体模型。
[0114]
针对人工组网效率低的问题，本发明基于街区感知网络资源描述本体模型进行网络规划。考虑网络覆盖及数据传输时的资源匹配，将街区感知网络资源在数据、网络等属性之间的约束关系转换成推理规则，构建swrl(semantic web rule language，语义网规则语言)规则库，基于规则完成对实际网络资源进行规划匹配的逻辑推理。
[0115]
3、终端多源异构数据汇聚组织方法
[0116]
针对终端数据多源性与异构性，本发明研究终端多源异构数据汇聚组织方法，旨在实现对街区内终端设备级数据进行有效汇聚，组织管理。
[0117]
针对终端多源异构数据接入与汇聚问题，本发明构建了应急场景空地协同街区立体感知技术与系统的数据汇聚框架，根据数据结构将数据划分为结构化与非结构化两大类路通道，并行地传输两大类数据，数据汇聚平台高效、分通道、并行地接入无人机机载视频和各类传感器、手机视频和传感器、固定和移动传感器等设备采集数据，并将并行接入数据依托于数据结构和语义关联进行存储。
[0118]
针对终端多源异构数据组织问题，本发明构建设备级异构数据关联模型，通过注册设备节点nodeid作为设备级区分，每个设备采集异构数据以设备注册节点nodeid为标签，进行分类存储。以设备注册节点标签nodeid为关键字，实现结构化传感器数据与非结构化视频数据的设备级关联。
[0119]
4、空地观测反演数据融合显示及面对多源数据的时空标签提取
[0120]
空地观测反演数据按照数据格式分为三类：文本格式的地面移动传感器观测数据、视频格式的地面手机观测数据、影像格式的观测反演图以及观测拼接图。所述观测反演图是根据由空地协同观测数据进行时空匹配得到数据集，再通过建立反演模型后计算生成的。所述三类数据除了数据本身外，还有数据对应的地理位置坐标。本发明通过反演观测数据的地理坐标将反演数据与地理信息系统平台的三维场景进行关联和融合显示，其中，文本类的移动传感器观测数据以文本标注框的形式显示在三维场景中相应位置；视频类的手机观测数据以浮窗形式显示视频，同时，根据位置坐标在三维场景中标注其移动轨迹；影像类的反演图和拼接图自身携带地理坐标，将以图层形式显示在三维地理场景的相应位置。
[0121]
下面对上述四个方面进行详细说明。
[0122]
如图2所示，整个协同规划建模流程都以街区应急观测事件需求为基础，在时间、空间及事件三个属性方面进行协同建模，每种观测设备作为一个基本事件。
[0123]
假设用a来代表突发事件，根据观测任务需求的时空特点及属性特点进行建模，假设t代表事件的时间属性，s代表事件的空间属性，n代表事件的观测要素属性。其中t是时间点或时间段，表示事件发生的瞬时时间或时间区间；s描述事件发生的空间信息，包括事件发生位置的描述信息，即可表示事件观测任务需要观测的空间范围的集合；n代表事件中一系列观测条件集合，根据上述描述建立观测需求事件模型，对应的集合公式如下所示：
[0124]
a＝e(t，s，n)，t＝[ts，te]
[0125]
s＝{[(lngi，lati)，h]，i＝1，2，
…
，n}
[0126]
n＝{n1，n2，
…
，nk}
[0127]
式中：a代表描述事件的一组集合，ts、te分别为针对观测任务需求的开始时间、结束时间，属于区间公式；s为事件的空间属性，表示事件发生的位置信息，常用的为经纬度数据lngi和lati，以及相对基准线的高度信息h，用于判断含高度属性的观测设备能否满足观测需求；n表示事件中包含的各项需求的集合，包括观测设备条件、时间分辨率、空间分辨率等，根据不同的事件场景建立不同参数列表，针对不同的t以及s，对应的n也不相同。
[0128]
针对不同观测设备的同一观测属性进行协同建模，同一观测事件的不同观测设备αi，αj，有若观测时间满足且ti≠tj，则两个不同的观测设备αi与αj构成时间协同。同理，若αi与αj在观测空间范围中满足且则两个观测设备满足空间协同；若两个观测设备的观测事件属性满足且ni≠nj，则两个观测设备满足事件需求的协同观测。
[0129]
对于街区应急事件模型a(t，s，n)，其中的t、s、n分别代表事件观测任务中的时间参数、空间参数以及观测要素参数，对各个参数进行描述得到式1.1中的规划函数矩阵：
[0130][0131]
式(1.1)中参数分别在时间维度、空间维度、事件需求维度进行协同规划函数的构建，当且仅当每列时，观测设备αi能够参与此次事件的协同观测。并根据观测设备的重要程度进行权值的设定，即式1.2：
[0132]
λ
α
＝[λ1，
…
，λn]
ꢀꢀ
(1.2)
[0133]
式中，λi表示不同种类观测设备的优先级，取值范围为(0,1)，针对同一观测事件需求的三个参数h
t
、hs、hn，性能指数越高则优先级越高，结合三个性能参数的整体值得到λi的值，具体λi的确定根据权威人士意见或相关现象进行权重的设定。其值越大则优先级越高，在观测事件任务中起到的作用越大。
[0134]
把不同种类设备的协同定义为复合事件，不同的时间段，与一次街区应急观测复合事件对应的观测数据需求，会随时间发生改变，因此，不同种类的观测设备基本事件在复合事件中起到的作用差异巨大，所以，设置置信度来调整不同的基本事件在复合事件中起到的作用程度，通过评估任务需求、确定观测要素、建立指标参数体系，能为协同规划模型
的计算提供有力依据，在观测时效性能、空间覆盖率、以及观测要素性能三个方面来构建协同规划综合评价指标。
[0135]
以城市城乡火灾事件为例，事件模型由基本事件和复合事件构成，其中基本事件由单一结构或单一功能构成，表达复杂现象中的部分信息，如某种观测设备的观测行为就是一类基本事件，结构化数据存储行为也是一种基本事件；复合事件是单一事件的集合，包含多种不同结构的数据，能够表达复杂状态下的全部信息，如火灾事件中对火灾的整体观测就是一类复合事件。基本事件通过建立连接关系来描述复合事件，如观测设备类聚合了多种观测设备的具体观测方法；复合事件通过拆解划分为一系列基本事件，如存储工具类可以拆解为结构化数据存储基本事件以及非结构化存储基本事件。
[0136]
(1)时效性能η
t
[0137]
时效性能表示一类观测设备基本事件在特定的时间内能够观测到的复合事件的区域比例，描述为单位时间内对观测任务的观测覆盖比例，即一类观测设备在单位时间内能够覆盖的观测区域比例，具体表达式如下：
[0138][0139]
式中，η
t
表示第一指标，si表示该类观测设备中第i个观测器件能够观测的空间范围，m表示该类观测设备中观测器件的总数量，s表示事件观测任务需要观测的空间范围的集合；t
α
为该类观测设备能够实现观测需求的时间窗口值，即式1.4：
[0140][0141]
式中，t
is
表示该类观测设备中第i个观测器件针对观测任务需求的开始时间，t
ie
表示该类观测设备中第i个观测器件针对观测任务需求的结束时间；表示该类观测设备中第i个观测器件在时间窗口范围内的观测状态指标，若该观测器件的时间窗口与观测任务需求的时间窗口有交集则为1，若无交集则为0；即的表示如下：
[0142][0143]
从式中看出，如果某一观测设备的时间窗口与观测事件需求的时间窗口有交集，则该观测设备在观测任务需求的时间交集内在时间维度上保证执行观测需求，若二者没有交集，则代表在该事件下该观测设备不可用。
[0144]
(2)空间覆盖率ηs[0145]
空间覆盖率表示一类观测设备基本事件的观测空间对复合事件目标的总覆盖程度，表达如下：
[0146][0147]
式中，ηs表示第二指标。
[0148]
(3)观测要素性能ηn[0149]
观测要素性能用于描述协同观测设备基本事件对复合事件需求属性的匹配程度，即式1.7：
[0150][0151]
式中，ηn表示第三指标，k表示复合事件中包含的观测基本事件的类别数量；表示针对复合事件中的第j类观测基本事件，第i个种类的观测设备能够实现观测任务需求的权重；表示第i个种类的观测设备的观测性能状态指标，若该类观测设备的观测情况满足观测任务需求则为1，否则为0；i表示第i个种类的观测设备能够实现观测任务需求的观测要素的数量。
[0152]
可以理解为针对复合事件的k类观测基本事件，每类观测设备基本事件能够满足其中的第j项需求的置信度，根据其定义可知的范围为[0,1]。为了能够更简洁明了的描述观测性能，可进一步对mi进行量化，若完全满足事件观测需要的观测需求，则mi＝1；若较高程度满足则mi的取值范围为[0.8,1]；若一般满足则mi的取值范围为[0.6,0.8]；若基本满足则mi的取值范围为[0.4,0.6]，若少量满足则mi的取值范围为[0.2,0.4]；微量满足时mi的取值范围为(0,0.2]；若不满足该项需求时mi＝0。
[0153]
ni表示针对一种观测设备的观测要素的集合，即式1.8：
[0154]
ni＝{n
i1
,n
i2
,
…
,n
ik
}
ꢀꢀ
(1.8)
[0155]
式中，n
ik
表示观测设备αi的一个观测要素，ni则是一组观测要素的集合，包括多类传感器的数据以及观测设备本身携带的数据信息，针对特定的观测事件，观测设备αi拥有多个观测要素。据此引入观测设备的观测性能状态指标即式1.9：
[0156][0157]
式中，n是对该观测事件的一系列观测条件的集合，表示观测设备αi的观测情况满足观测任务需求，同理，表示观测设备αi的观测能力不满足事件需求所以不能支持事件的观测需求。
[0158]
如图3所示，在具体实施例中，本发明中网络规划方法以web页面的形式注册街区感知网络资源，并进行网络规划方案的查询和展示。服务器接收到资源注册信息后存储在关系型数据库中。当接收到网络规划方案请求时，通过构建的街区感知网络资源描述本体模型进行实例映射，采用swrl规则进行逻辑推理，生成最终的网络规划方案，并对方案进行解析和存储。
[0159]
如图4所示，在具体实例中，本发明所述街区感知网络资源描述模型确定了以感知层观测资源、网络层通信资源以及应用层资源为顶层核心概念的基本街区感知网络资源描述本体模型。并对各层资源进行关系的挖掘和扩充，形成完整的街区感知网络资源描述本体模型，以三个一级类为顶层概念，主要包括：感知层观测资源(sensor)、网络层通信资源(net)以及应用层资源(server)。其一级类内部再下分各二级类、三级类，具体说明见图4、图5。
[0160]
如图5所示，在具体实例中，街区感知网络资源描述模型确定了感知层观测资源的
相关概念，通过概念术语构建了感知层观测资源的本体描述结构。主要包括四个二级类：设备的基本属性(basic attribute)、观测属性(observation attribute)、网络属性(network attribute)和数据属性(data attribute)。其中，设备的基本属性包括设备id(device id)、设备名称(device name)和设备型号(device type)；观测属性包括移动属性(movement)、测量属性(measurement)和位置属性(position)。移动属性下分可移动性(movability)和移动范围(moving range)，测量属性下分采样频率(frequency)和测量范围(measuring range)，位置属性下分经度(latitude)、纬度(longitude)。数据属性包括数据类型(data type)、数据格式(data format)、数据包大小(data size)和数据上报频率(data frequency)；网络属性包括支持接口(interface)和传输需求(transmission require)。
[0161]
如图6所示，在具体实例中，街区感知网络资源描述模型确定了网络层通信资源的相关概念，通过概念术语构建了网络层通信资源的本体描述结构。主要包括两个二级类：网络的基本属性(net basic attribute)和传输属性(transmission attribute)。其中，基本属性包括id(id)、名称(name)、经度(net_longitude)、纬度(net_latitude)、覆盖半径(coverage)、节点容量(capacity)和组网方式(construction)。id指网络资源在网络规划系统中注册后自动分配的id号，name指网络资源的类别名称，如光纤、wifi等，net_longitude和net_latitude指网络资源网关/基站的经度和纬度位置，coverage指网络资源的最大覆盖半径，capacity指网络资源单个基站/网关可接入的最大通信节点个数，construction代表该网络资源是通过有线通信还是无线通信的方式进行数据传输。传输属性包括网络延时(delay)、传输速度(transfer rate)和传输带宽(bandwidth)。
[0162]
如图7所示，在具体实施例中，在已构建的街区感知网络资源描述本体模型上，挖掘街区感知网络感知层、网络层和应用层在网络规划中的潜在关系和需求，构建swrl规则，结合映射实例基于规则完成对实际资源进行规划匹配的逻辑推理，最终推导生成各层资源相互匹配的网络规划方案。
[0163]
如图8所示是本体模型利用网络规划swrl规则库进行推理时的匹配流程，需要围绕网络规划的两个目标。
[0164]
网络规划目标一：实现感知层观测资源通过网络层通信资源与应用层服务器建立通信连接，服务器能接收到感知层观测资源采集的数据。规划时重点考虑观测资源移动性与通信资源组网方式、覆盖范围等要素。
[0165]
网络规划目标二：提升网络传输性能，降低网络延时，提高网络覆盖率，降低丢包率。规划时重点考虑观测资源数据量大小、通信资源数据传输能力和应用层资源的数据接收能力。
[0166]
基于所述感知层观测资源的基本属性和观测属性、所述网络层通信资源的基本属性，以及所述应用层资源的带宽，围绕网络规划目标一，建立基本组网规则。
[0167]
基于所述感知层观测资源的所述数据属性和所述网络层通信资源的所述传输属性，围绕网络规划目标二，建立网络性能提升规则。
[0168]
参见图8，进行网络规划时，首先对选择的感知层、网络层和应用层资源能否完成网络结构的组建进行能否组网判断，若可以组网，接着以感知层观测资源的移动性、支持网络接口和移动范围等属性推理匹配网络层通信资源覆盖范围；通过所建立基本组网规则，
完成感知层观测资源的接入到应用层的网络规划，实现网络规划目标一。在达到网络规划目标一的条件后，通过所述网络性能提升规则，为感知层观测资源匹配更符合数据传输的网络层通信资源；最后为感知层观测资源的数据传输需求匹配应用层资源的带宽和数据接受能力，实现网络规划目标二，完成网络规划。
[0169]
推理规则采用式1.10来表达，式中，e
ij
是规则的条件部分，hi是规则推理的结论，在基于规则的推理中，只有满足一条规则的全部前提条件，才能采用这种规则推导出结论。
[0170][0171][0172]
……
[0173][0174]
例如：sensor(？x)^has_deviceid(？x,？y)
→
register(？x,true)。这条规则表示：如果有一个sensor类的实例x，并且x具有设备id y，那么这个感知层观测资源实例已经进行了注册，实例x的register属性可推导为true。如图8所示，根据实际案例推理生成网络规划结果，推理结果展示了感知层观测资源可以选择的通信资源和应用层资源，以可视化的方式给出网络规划建议。
[0175]
如图9所示，是应急场景空地协同街区立体感知技术与系统的数据汇聚框架，硬件设备如无人机机载视频和各类传感器、手机视频和传感器、固定和移动传感器等，他们的感知数据按照数据结构划分，分为结构化和非结构化数据，然后分为2大类通道并行传输数据，其中车载大气传感器数据、车载环境传感器数据、无人机载大气环境传感器数据和固定大气环境传感器数据等通过结构化数据通道传输，无人机和手机视频直播数据则通过非结构化数据通道传输。数据汇聚平台并将接收到的多源异构数据进行解析、再封装，将所有数据标注事件语义信息，进行事件上的区分和关联，然后，存储在数据库中，为多源异构数据的语义关联汇聚和解译提供数据支撑。
[0176]
如图10所示，为设备多类观测异构数据关联模型图。所有的观测设备都会注册一个node id作为设备id，标识和区分不同的设备，同一设备采集的所有数据都会含有一个唯一node id标识。通过传感器采集的环境、大气数据属于结构化数据，手机、无人机采集的图像和视频属于非结构化数据，同一个设备采集的异构数据通过node id相互关联。
[0177]
如图11所示，为视频数据、传感器数据接入、汇聚存储与组织流程。其中，通过搭建nginx流媒体服务器，接收不同通信协议的视频流数据，并基于设备注册节点id，搭建视频文件存储区，并将视频文件存储路径提供至mysql数据库。传感器数据通过json进行格式封装后采用socket进行传输，搭建关系型数据库，根据传感器所依附设备注册节点id进行关联存储。以设备注册节点为标签，实现结构化传感器数据与非结构化视频数据的设备级关联。
[0178]
如图12是以二氧化碳为例，阐述空地协同反演地表环境参数流程，在具体实例中，无人机通过多光谱相机来采集光谱影像数据，通过辐射定标和几何校正的预处理，再通过影像拼接，生成大于一平方公里的街区多光谱影像。地面二氧化碳传感器观测数据，则通过降噪和数据增广预处理后，与无人机影像进行时空匹配得到反演地表二氧化碳的空地匹配数据集。基于深度学习模型，提取特征向量，建立地表二氧化碳浓度反演模型，调整深度学
习模型，获得二氧化碳反演模型和反演图。
[0179]
如图13软件架构图所示，本发明的空地观测在线可视化服务，基于web端的vue.js和cesium.js框架开发，由应用层和数据层组成。在具体实施例中，应用层提供以下四类应用数据的融合显示：地面移动传感器观测数据、地面手机观测视频、地面空地协同观测反演图、无人机街区观测拼接图。数据层负责按照应用层的需求向数据存储服务器请求相应的数据，并传输至应用层进行显示。数据层与应用层进行数据交互的接口包括restful接口以及geoserver服务两类，restful接口用于应用层向数据层请求地面移动传感器的观测数据和地面手机的观测视频数据；geoserver是一种地理数据服务，用于请求空地协同观测反演图和无人机观测街区拼接图。
[0180]
如图14流程图所示，针对空地观测及反演数据在地理信息系统中的融合显示需求，本发明设计了web端显示浏览页面，用户进入该页面后，可在浏览选择不同类型的观测数据，进行显示。在具体实施例中，主要包括三类：观测数据为文本格式的地面移动传感器大气观测数据和环境观测数据；观测数据为视频格式的地面手机观测数据；观测数据为图像类型的地表pm2.5浓度反演图、地表二氧化碳浓度反演图、地表温度反演图、以及无人机街区观测影像拼接图。以上各类数据除了数据本身外，还包括数据所在地理位置坐标。选择应用数据类别后，对于文本类观测数据，将通过restful接口从数据层获取数据，根据坐标，在场景中，创建标志物，并为其添加文本标注弹窗，点击可查看该点处的传感器观测数据；对于地面手机视频类观测数据，将通过restful接口从数据层获取视频，在场景中添加视频浮动弹窗，播放视频流，同时，在三维场景中标注地理位置，显示手机动态变化轨迹；对于图像类数据，由于覆盖地理面积大导致数据体量较大，且数据多为tif格式，自身携带有地理位置信息，因此，将通过geoserver提供的访问接口从数据层读取数据，以图层形式添加到三维地图上，实现图像数据的地理融合显示。
[0181]
本发明实施例提供的一种街区应急场景空地协同立体感知方法与系统至少包括如下技术效果：
[0182]
(1)本发明针对突发应急事件，提出一种以事件为中心的观测规划模型，通过对事件任务进行识别，采用分层划分的方式构建观测规划模型。针对具体任务需求，解决观测资源的协同观测问题，建立整体事件观测规划模型，通过解算，实现不同类型的观测设备协同完成针对某一要素观测的任务，得到空地协同的观测规划模型，在此基础上还建立了评价指标体系来评价观测设备调度的合理性，从而在不同维度提高了事件整体的观测性能。
[0183]
(2)本发明根据观测需求和通信需求，从感知层观测资源的观测属性，网络层通信资源的传输属性以及应用层资源的数据接收等属性出发，利用本体模型对各层资源进行描述并将三层资源关联并结合，构建面向街区感知网络整体的资源描述本体模。此外，本发明提出基于街区感知网络资源描述本体模型的网络规划方法，通过挖掘街区感知网络感知层、网络层和应用层在网络规划中的潜在关系和需求，构建swrl规则，基于规则建立对实际的感知层、网络层和应用层资源进行规划匹配的逻辑推理，最终推导生成各层资源相互匹配的网络规划方案，得到合理高效的、具备针对性的通信网络。
[0184]
(3)本发明提出应急场景下多源异构大数据集成平台的设计方案，能够解决应急场景下集成平台中存在的诸多问题，充分发挥各类感知数据的作用，能够对街区内终端设备级数据进行有效汇聚和组织管理。
[0185]
(4)本发明在空地协同观测多角度采集场景空间数据的基础上，搭建一个地理信息系统平台，并进行空地观测数据及其反演数据的融合地理信息显示，能够从多尺度、多方位分析挖掘场景信息，能弥补场景观测数据显示不丰富的缺点。
[0186]
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。