基于动向态势融合的热点区域计算方法及装置与流程

1.本发明属于计算机技术领域，尤其涉及一种基于动向态势融合的热点区域计算方法及装置、电子设备、存储介质。


背景技术：

2.近年来，面对一些国家打着以自由航行为口号、海域归属问题为借口的行为日益增多，我国海战场环境面临的形势也逐渐严峻。伴随着国家综合实力的不断增强，对国家领海主权问题也更加重视，尤其加大了对海战场环境的分析能力的重视程度。
3.目前，通过侦查手段获取海量舰船目标活动的航迹信息手段很多，但随着数据量的增大，以单一目标为主要分析方式的技术手段已经落后。尤其是面对每小时会产生上百万左右的态势点位数据，如何有效的在海量态势数据以及高质量动向数据中关联和发现海战场的整体态势以提高对海量态势数据的实时处理与动向数据的关联融合能力是当前急需解决的问题。


技术实现要素：

4.本发明意在提供一种基于动向态势融合的热点区域计算方法及装置、电子设备、存储介质，能够有效的在海量态势数据以及高质量动向数据中关联和发现海战场的整体态势以提高对海量态势数据的实时处理与动向数据的关联融合能力，本发明要解决的技术问题通过以下技术方案来实现：
5.一方面，本发明提供了一种基于动向态势融合的热点区域计算方法，包括：
6.从报文数据库中实时获取态势报文数据和动向报文数据并存入分布式消息总线中；
7.对从所述分布式消息总线中读取的所述态势报文数据进行网格计算得到多个态势区域，并分别统计单元时间内每个所述态势区域内的报文数据量以形成区域稀疏矩阵子集，多个所述区域稀疏矩阵子集构成全景稀疏统计矩阵；
8.基于spark数据计算引擎对从所述分布式消息总线中读取的第一设定时间内的态势数据和每个所述区域稀疏矩阵子集所包含的态势数据叠加后分别进行统计得到多个时间片的稀疏矩阵子集统计结果；
9.对多个所述时间片的稀疏矩阵子集统计结果按时间进行分组聚合得到多个单一时间片的稀疏矩阵统计结果；
10.根据客户统计请求的时间标签选取多个所述单一时间片的稀疏矩阵统计结果进行分片合成以获取态势热点区域；
11.对所述动向报文数据进行实体识别得到包含多个动向实体的动向实体数据，并将所述动向实体数据与态势实体库数据进行匹配得到与每个所述动向实体相关联的态势实体标识，并根据所述态势实体标识获取与所述动向实体相关联的态势实体；
12.根据每个所述动向实体的时间标签从所述全景稀疏统计矩阵中获取与每个所述
动向实体相关联的一个或多个所述区域稀疏矩阵子集，并根据相关联的一个或多个所述区域稀疏矩阵子集对应的态势区域得到每个所述动向实体的时空活动区域；
13.根据所述态势热点区域和多个所述动向实体的时空活动区域绘制动向态势热点区域分布图。
14.优选地，所述从报文数据库中实时获取态势报文数据和动向报文数据并存入分布式消息总线中的步骤包括：
15.利用etl工具将所述态势报文数据和所述动向报文数据分别从报文数据库抽取后实时存入分布式消息总线的不同消息队列中，其中所述消息队列中仅存储当前第一设定时间内的所述态势报文数据和/或所述动向报文数据。
16.优选地，对从所述分布式消息总线中读取的所述态势报文数据进行网格计算得到多个态势区域，并分别统计单元时间内每个所述态势区域内的报文数据量以形成区域稀疏矩阵子集，多个所述区域稀疏矩阵子集构成全景稀疏统计矩阵的步骤还包括：对所述全景稀疏统计矩阵按照灰度值进行归一化处理。
17.优选地，所述对多个所述时间片的稀疏矩阵子集统计结果按时间进行分组聚合得到多个单一时间片的稀疏矩阵统计结果的步骤还包括：
18.获取所述单一时间片的稀疏矩阵统计结果所包含的态势实体标识；
19.如果所述态势实体库数据中未查找到相似的态势实体标识，则将所述态势实体标识和对应的态势实体存入所述态势实体库数据中。
20.优选地，所述对所述动向报文数据进行实体识别得到包含多个动向实体的动向实体数据的步骤包括：
21.基于深度学习实体识别模型从所述动向报文数据识别出多个动向实体；
22.获取多个所述动向实体的时间标签，并根据多个所述动向实体的时间标签将多个所述动向实体进行时间关联，多个所述动向实体及相应的时间标签构成所述动向实体数据。
23.优选地，基于相似计算和实体匹配表对所述动向实体数据与所述态势实体库数据进行综合计算得到与每个所述动向实体相关联的态势实体标识。
24.优选地，所述根据每个所述动向实体的时间标签从所述全景稀疏统计矩阵中获取与每个所述动向实体相关联的一个或多个所述区域稀疏矩阵子集，并根据相关联的一个或多个所述区域稀疏矩阵子集对应的态势区域得到每个所述动向实体的时空活动区域的步骤还包括：
25.对多个所述动向实体进行聚类得到不同动向实体在同一时间的空间聚类结果。
26.另一方面，本发明还提供了一种基于动向态势融合的热点区域计算装置，包括：
27.数据获取模块，被配置为从报文数据库中实时获取态势报文数据和动向报文数据并存入分布式消息总线中；
28.稀疏矩阵构建模块，被配置为对从所述分布式消息总线中读取的所述态势报文数据进行网格计算得到多个态势区域，并分别统计单元时间内每个所述态势区域内的报文数据量以形成区域稀疏矩阵子集，多个所述区域稀疏矩阵子集构成全景稀疏统计矩阵；
29.分片计算模块，被配置为基于spark数据计算引擎对从所述分布式消息总线中读取的第一设定时间内的态势数据和每个所述区域稀疏矩阵子集所包含的态势数据叠加后
分别进行统计得到多个时间片的稀疏矩阵子集统计结果；
30.分组聚合模块，被配置为对多个所述时间片的稀疏矩阵子集统计结果按时间进行分组聚合得到多个单一时间片的稀疏矩阵统计结果；
31.数据分片合成模块，被配置为根据客户统计请求的时间标签选取多个所述单一时间片的稀疏矩阵统计结果进行分片合成以获取态势热点区域；
32.动向实体关联模块，被配置为对所述动向报文数据进行实体识别得到包含多个动向实体的动向实体数据，并将所述动向实体数据与态势实体库数据进行匹配得到与每个所述动向实体相关联的态势实体标识，并根据所述态势实体标识获取态势实体以与所述动向实体相关联；
33.时空关联模块，被配置为根据每个所述动向实体的时间标签从所述全景稀疏统计矩阵中获取与每个所述动向实体相关联的一个或多个所述区域稀疏矩阵子集，并根据相关联的一个或多个所述区域稀疏矩阵子集对应的态势区域得到每个所述动向实体的时空活动区域；
34.热点区域展示模块，被配置为根据所述态势热点区域和多个所述动向实体的时空活动区域绘制动向态势热点区域分布图。
35.再一方面，本发明还提供了一种电子设备，包括：处理器和存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上述所述的基于动向态势融合的热点区域计算方法。
36.又一方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的基于动向态势融合的热点区域计算方法。
37.本发明的基于动向态势融合的热点区域计算方法首先基于网格计算对态势报文数据进行分块处理以构建由多个区域稀疏矩阵子集构成的全景稀疏统计矩阵，之后基于spark数据计算引擎对全景稀疏统计矩阵进行分块计算得到多个时间片的稀疏矩阵子集统计结果，在对多个时间片的稀疏矩阵子集统计结果按时间进行分组聚合得到多个单一时间片的稀疏矩阵统计结果，从中选取设定的时间片范围内的多个单一时间片的稀疏矩阵统计结果进行分片合成以获取态势热点区域；再识别动出动向报文数据中包含的多个动向实体并与态势实体库数据中的态势实体相关联，根据动向实体的时间标签获取其时空活动区域，最后根据态势热点区域和多个动向实体的时空活动区域绘制动向态势热点区域分布图。本发明的基于动向态势融合的热点区域计算方法借鉴栅格计算的分而治之的数据处理方法与spark高性能分布式处理框架结合的思想，构建海战场全景稀疏矩阵模型，并对数据进行整合重组的态势展示，该方法一方面保留了对海量数据实时的处理能力，另一方面为与动向报文数据结合减少维度计算；另外在动向报文数据处理上首次采用了与态势数据融合的处理方法，依托目标、时间、空间等维度进行关联，并最终提供态势呈现能力，提供了海战场实时动态态势展示能力。
附图说明
38.图1为本发明的基于动向态势融合的热点区域计算方法的一些实施例的流程示意图；
39.图2为本发明的基于动向态势融合的热点区域计算装置的一些实施例的结构框
图；
40.图3为全景稀疏统计矩阵的示意图；
41.图4为实体模糊匹配示意图。
具体实施方式
42.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
43.术语解释：
44.动向态势融合：动向态势融合是指动向数据(一种文字类描述文本形式构成的报文)和态势数据(一种以目标为主体的围绕海情态势的报文)的融合计算，通过目标作为关联，在时间、空间等维度进行耦合度计算，并进行关联处理。
45.热点区域：本文重点描述海战场环境区域，瞄准海战场的重要高、密度大、频次广的地区，作为热点区域。
46.参见图1所示，本发明实施例提供了一种基于动向态势融合的热点区域计算方法，包括：
47.步骤100：从报文数据库中实时获取态势报文数据和动向报文数据并存入分布式消息总线中；
48.本步骤中监测设备实时监测得到态势报文数据和动向报文数据均先存入报文数据库中以备后续的报文数据分析，该报文数据库可以包括两个子数据库，分别存储态势报文数据和动向报文数据，该报文数据库可搭建在存储服务器上。本实施例中分布式消息总线可为kafka消息总线。
49.步骤200：对从分布式消息总线中读取的态势报文数据进行网格计算得到多个态势区域，并分别统计单元时间内每个态势区域内的报文数据量以形成区域稀疏矩阵子集，多个区域稀疏矩阵子集构成全景稀疏统计矩阵；
50.本步骤中将态势报文数据通过网格计算做切割分块处理，统计单元时间范围内(这里单元时间为1分钟)，态势报文在多个小区域内的情报数据量，以形成全景稀疏情报统计矩阵(参见图3所示)，其形成例如{(0,0,13),(5,0,6)，
……
}的稀疏矩阵数据集，矩阵数据按0.1*0.1经纬度切分空间，按小时切分时间，每个小时的数据共360/0.1*180/0.1个。
51.步骤300：基于spark数据计算引擎对从分布式消息总线中读取的第一设定时间内的态势数据和每个区域稀疏矩阵子集所包含的态势数据叠加后分别进行统计得到多个时间片的稀疏矩阵子集统计结果；
52.本步骤中采用spark进行分片计算：将spark分片建立多线程，通过spark弹性分布式数据集rdd，以时间、稀疏矩阵、矩阵单元数据量作为分片依据，根据spark服务器性能，形成若干个工作任务，每个工作任务处理一个区域稀疏矩阵子集。针对一个工作任务，主要是读取分布式消息总线中的态势报文数据，根据每小时时间段(即第一设定时间为1小时)的态势报文数据和区域稀疏矩阵子集包含区域的态势报文数据进行数据叠加，以得到每个时间片的稀疏矩阵子集统计结果。
53.步骤400：对多个时间片的稀疏矩阵子集统计结果按时间进行分组聚合得到多个单一时间片的稀疏矩阵统计结果；
54.本步骤中利用spark将多个工作任务的稀疏矩阵子集统计结果按时间片进行分组聚合统计，形成单一时间片的稀疏矩阵统计结果。如果态势报文数据与当前时差超过1小时，则将该段时间态势报文数据从分布式消息总线中取出。如{hour:1,target:目标,count:{(0,0,13),(5,0,6)，
……
}}其中代表1小时某目标的稀疏矩阵态势数据统计，并存入数据库作为一个时间片段的稀疏矩阵统计情况。对于kafka只保留实时接入的1小时态势数据。
55.步骤500：根据客户统计请求的时间标签选取多个单一时间片的稀疏矩阵统计结果进行分片合成以获取态势热点区域；
56.本步骤中响应于统计查询命令时，根据预先设定的时间片范围，进行数据分片合成，形成态势热点区域。即以涉及的每个时间分片作为spark分布式分片依据，以及当前消息队列中最新数据进行合成作为统计结果，并进行灰度值归一化处理。
57.步骤600：对动向报文数据进行实体识别得到包含多个动向实体的动向实体数据，并将动向实体数据与态势实体库数据进行匹配得到与每个动向实体相关联的态势实体标识，并根据态势实体标识获取与动向实体相关联的态势实体；
58.本步骤主要采用动向实体与态势实体模糊匹配做数据校正，将动向报文数据中的动向实体与态势实体相关联。需要说明的是，本步骤中实体识别可采用现有的实体识别算法，在此不做具体限定。
59.步骤700：根据每个动向实体的时间标签从全景稀疏统计矩阵中获取与每个动向实体相关联的一个或多个区域稀疏矩阵子集，并根据相关联的一个或多个区域稀疏矩阵子集对应的态势区域得到每个动向实体的时空活动区域；
60.本步骤在动向实体与态势实体关联后，根据动向实体的时间标签(即目标发现时间)作为模糊范围查询匹配，与态势的数据统计稀疏矩阵进行空间关联，可以得到关联的动向实体时空活动区域。
61.步骤800：根据态势热点区域和多个动向实体的时空活动区域绘制动向态势热点区域分布图。
62.响应查询命令，通过时间、区域的选择，得到该时间段、区域内的所有动向报文数据和态势报文数据，再将动向报文数据关联的态势实体作为目标在gis上通过灰度值进行绘制，把海战场整体热点区域态势展示出来，作为海战场作战力量分配的参考依据。
63.本发明实施例的基于动向态势融合的热点区域计算方法首先基于网格计算对态势报文数据进行分块处理以构建由多个区域稀疏矩阵子集构成的全景稀疏统计矩阵，之后基于spark数据计算引擎对全景稀疏统计矩阵进行分块计算得到多个时间片的稀疏矩阵子集统计结果，在对多个时间片的稀疏矩阵子集统计结果按时间进行分组聚合得到多个单一时间片的稀疏矩阵统计结果，从中选取设定的时间片范围内的多个单一时间片的稀疏矩阵统计结果进行分片合成以获取态势热点区域；再识别动出动向报文数据中包含的多个动向实体并与态势实体库数据中的态势实体相关联，根据动向实体的时间标签获取其时空活动区域，最后根据态势热点区域和多个动向实体的时空活动区域绘制动向态势热点区域分布图。本发明实施例的基于动向态势融合的热点区域计算方法借鉴栅格计算的分而治之的数据处理方法与spark高性能分布式处理框架结合的思想，构建海战场全景稀疏矩阵模型，并对数据进行整合重组的态势展示，该方法一方面保留了对海量数据实时的处理能力，另一
方面为与动向报文数据结合减少维度计算；另外在动向报文数据处理上首次采用了与态势数据融合的处理方法，依托目标、时间、空间等维度进行关联，并最终提供态势呈现能力，提供了海战场实时动态态势展示能力。
64.在一些实施例中，本发明的基于动向态势融合的热点区域计算方法中步骤100包括：
65.利用etl工具将态势报文数据和动向报文数据分别从报文数据库抽取后实时存入分布式消息总线的不同消息队列中，其中消息队列中仅存储当前第一设定时间内的态势报文数据和/或动向报文数据。需要说明的是，该第一设定时间是由由客户确定的，即根据客户的业务查询请求确定的，在这里第一设定时间为1小时，当然还可以为其他数值，在此不一一例举说明。
66.在一些实施例中，本发明的基于动向态势融合的热点区域计算方法中步骤200还包括：对全景稀疏统计矩阵按照灰度值进行归一化处理。
67.在一些实施例中，本发明的基于动向态势融合的热点区域计算方法中步骤400还包括：获取单一时间片的稀疏矩阵统计结果所包含的态势实体标识；
68.如果态势实体库数据中未查找到相似的态势实体标识，则将态势实体标识和对应的态势实体存入态势实体库数据中。
69.本实施例中对于新发现目标可以存储在态势实体库数据中，以便事后分析。
70.在一些实施例中，本发明的基于动向态势融合的热点区域计算方法的步骤600中实体识别具体包括：
71.基于深度学习实体识别模型从动向报文数据识别出多个动向实体；
72.获取多个动向实体的时间标签，并根据多个动向实体的时间标签将多个动向实体进行时间关联，多个动向实体及相应的时间标签构成动向实体数据。
73.本实施例中读取、消息队列中的动向报文数据，将动向报恩数据通过深度学习实体识别模型进行实体识别，将报文中的动向实体(即目标)提取出来，根据时间标签(即目标发现时间)作为其时间关联要素，形成动向实体数据。
74.在一些实施例中，本发明的基于动向态势融合的热点区域计算方法中基于相似计算和实体匹配表对动向实体数据与态势实体库数据进行综合计算得到与每个动向实体相关联的态势实体标识。
75.本实施例中动向实体数据与态势实体库数据进行模糊匹配，其中动向报文数据中和态势实体库文字描述不一定一致，通过相似计算和实体匹配表进行综合计算，找到动向实体与态势实体关联结果，参见图4所示。
76.在一些实施例中，本发明的基于动向态势融合的热点区域计算方法中步骤700还包括：对多个动向实体进行聚类得到不同动向实体在同一时间的空间聚类结果。
77.本实施例中可通过聚类算法对动向实体目标进行聚类，得到不同动向实体在发现时间模糊范围内的空间聚类结果。即得到每篇动向报文的{(实体目标、时间范围、经度、纬度、数据、灰度值)，
……
}数据集合。
78.需要说明的是聚类算法可以为k
‑
means算法，当然还可以为其他聚类算法，在此不一一例举说明。
79.另一方面，参见图2所示，本发明实施例还提供了一种基于动向态势融合的热点区
域计算装置1，包括：
80.数据获取模块10，被配置为从报文数据库中实时获取态势报文数据和动向报文数据并存入分布式消息总线中；
81.稀疏矩阵构建模块20，被配置为对从分布式消息总线中读取的态势报文数据进行网格计算得到多个态势区域，并分别统计单元时间内每个态势区域内的报文数据量以形成区域稀疏矩阵子集，多个区域稀疏矩阵子集构成全景稀疏统计矩阵；
82.分片计算模块30，被配置为基于spark数据计算引擎对从分布式消息总线中读取的第一设定时间内的态势数据和每个区域稀疏矩阵子集所包含的态势数据叠加后分别进行统计得到多个时间片的稀疏矩阵子集统计结果；
83.分组聚合模块40，被配置为对多个时间片的稀疏矩阵子集统计结果按时间进行分组聚合得到多个单一时间片的稀疏矩阵统计结果；
84.数据分片合成模块50，被配置为根据客户统计请求的时间标签选取多个单一时间片的稀疏矩阵统计结果进行分片合成以获取态势热点区域；
85.动向实体关联模块60，被配置为对动向报文数据进行实体识别得到包含多个动向实体的动向实体数据，并将动向实体数据与态势实体库数据进行匹配得到与每个动向实体相关联的态势实体标识，并根据态势实体标识获取态势实体以与动向实体相关联；
86.时空关联模块70，被配置为根据每个动向实体的时间标签从全景稀疏统计矩阵中获取与每个动向实体相关联的一个或多个区域稀疏矩阵子集，并根据相关联的一个或多个区域稀疏矩阵子集对应的态势区域得到每个动向实体的时空活动区域；
87.热点区域展示模块80，被配置为根据态势热点区域和多个动向实体的时空活动区域绘制动向态势热点区域分布图。
88.上述中基于动向态势融合的热点区域计算装置各模块的具体细节已经在对应的基于动向态势融合的热点区域计算方法中进行了详细的描述，因此此处不再赘述。
89.再一方面，本发明还提供了一种电子设备，包括：处理器和存储器，存储器上存储有计算机可读指令，计算机可读指令被处理器执行时实现如上述实施例所述的基于动向态势融合的热点区域计算方法。
90.又一方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述实施例所述的基于动向态势融合的热点区域计算方法。
91.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read
‑
only memory，rom)、随机存取器(random accessmemory，ram)、磁盘或光盘等。
92.应该指出，上述详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本技术所属技术领域的普通技术人员的通常理解所相同的含义。
93.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术所述的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或
“
包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
94.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本技术的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。
95.此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
96.为了便于描述，在这里可以使用空间相对术语，如“在
……
之上”、“在
……
上方”、“在
……
上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在
……
上方”可以包括“在
……
上方”和“在
……
下方”两种方位。该器件也可以其他不同方式定位，如旋转90度或处于其他方位，并且对这里所使用的空间相对描述作出相应解释。
97.在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。
98.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。