一种基于Hadoop和Flink的移动位置信令数据融合方法和系统与流程

一种基于hadoop和flink的移动位置信令数据融合方法和系统
技术领域
1.本发明属于大数据处理技术领域，尤其涉及一种基于hadoop和flink的移动位置信令数据融合方法和系统。


背景技术：

2.位置信息基于用户电信2g、3g、4g和5g网络位置信令、无线侧话单数据、wifi上网记录、用户上网行为记录中提取的gps数据及用户相关的属性数据。提供特定区域人口密度监测、人群归属地分析、人群特征分析、客流量预测、停留时长分析、客流对比分析、人群轨迹分析和目标区域关联的服务。运营商的移动位置数据来自各个不同的数据源，包括了2g/3g位置信令数据、4g s1-mme位置信令数据以及5g sa n1和n2口的位置信令数据，每日采集的数量在百亿条以上。但对于传统的通过数据入库结合后向分析的手段，或者单纯的利用hadoop或关系型数据库的处理模式，在数据膨胀、分析复杂度快速提升的的背景下，无法满足数据的处理速度和存储能力。因此需利用多种大数据分析组件进行数据分析处理。
3.flume是一个分布式、可靠和高可用的海量日志采集、聚合和传输的系统，具备良好的自定义扩展能力，可采集各种形式数据源如文件、socket数据包、kafka等，又能够将采集到的数据输出到hdfs、hbase、hive、kafka等外部存储系统中。
4.kafka是支持分区(partition)、多副本(replica)，基于zookeeper协调的分布式消息系统，其最大的特性就是能实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、flink流式处理、消息服务等。
5.elasaticsearch(es)是基于lucence开源分布式的搜索引擎，其特点是分布式、零配置、自动发现、索引自动分片、索引副本机制、restful风格接口、多数据源、自动搜索负载。es可通过简单的restful api来隐藏lucene的复杂性，可从海量数据中，快速找到相关的数据信息。
6.目前基于位置信令数据应用分析，大多采用结合hadoop和spark计算框架来实现海量数据的处理。在进行实时处理的过程中，虽然spark可以进行数据流式处理，但是spark并不是真正意义上的流处理，而是将流处理看作一种特殊的批处理，即微批处理。微批处理本质上是一种“先收集再处理”的计算模型，因而spark的流处理效率并不高。
7.另一方面，越来越多的用户使用5g业务，多数应用在使用移动位置信令数据进行分析时，多采用某种单一的位置信令数据(如5g、或者4g或者2g、3g数据)，该种情形未考虑到用户因移动信号回落的问题(如5g信号回落到4g信号甚至3g和2g信号)，从而导致数据分析出现偏差的问题。


技术实现要素：

8.本发明针对现有技术中的不足，提供一种基于hadoop和flink的移动位置信令数据融合方法和系统。
9.第一方面，本发明提供一种基于hadoop和flink的移动位置信令数据融合方法，包括：
10.利用flume集群实时采集移动位置信令数据，并对采集的移动位置信令数据进行清洗过滤以保留所需的字段；将清洗过滤后的移动位置信令数据推送至分布式消息队列kafka集群中；
11.根据分布式消息队列kafka集群配置的主题分区数设置flink集群消费kafka集群的并发数；利用flink集群状态机制更新基站信息，每次只保存一条用户最新的基站数据；根据位置信令数据准确度优先级进行移动位置信令数据的实时融合，生成全量的用户位置信令信息数据；基于flink集群事件时间的滚动窗口，进行每个目标时间段触发窗口计算生成全量的用户位置信令信息数据的切片数据；
12.将flink集群窗口机制下每个目标时间段生成全量的用户位置信令信息数据的切片数据存储至hdfs，hadoop基于hdfs中的切片数据分析离线历史数据。
13.进一步地，所述所需的字段包括imsi、经度、维度、加密后的号码、号码归属城市、号码归属省份、基站编号、基站类型、上报时间、上报城市、上报区县和上报街道。
14.进一步地，所述根据位置信令数据准确度优先级进行移动位置信令数据的实时融合，生成全量的用户位置信令信息数据，包括：
15.根据清洗过滤后的移动位置信令数据分析每位用户当前实时位置数据；
16.判断目标用户历史位置数据是否存在；
17.如过否，则将目标用户标记为新用户，并记录目标用户最新时刻的位置数据；
18.如果是，则计算最新时刻的位置数据更新时间和历史位置数据更新时间的差值；
19.计算最新时刻的位置和历史位置的距离；
20.如果最新时刻的位置数据更新时间和历史位置数据更新时间的差值和最新时刻的位置和历史位置的距离均满足对应的预设阈值范围，则将最新时刻的位置数据替换历史位置数据。
21.进一步地，所述计算最新时刻的位置和历史位置的距离，包括：
22.根据以下公式计算最新时刻的位置和历史位置的距离：
23.d＝r*arcos[cos(lat1)*cos(lat2)*cos(long
1-long2) sin(lat1)*sin(lat1)]；
[0024]
其中，d为最新时刻的位置和历史位置的距离；r＝6371.004km；lat1为历史位置的维度；long1为最新时刻的位置的经度；lat2为最新时刻的位置的维度；long2为历史位置的经度。
[0025]
第二方面，本发明提供一种移动位置信令数据融合系统，包括：
[0026]
数据采集预处理模块，用于利用flume集群实时采集移动位置信令数据，并对采集的移动位置信令数据进行清洗过滤以保留所需的字段；将清洗过滤后的移动位置信令数据推送至分布式消息队列kafka集群中；
[0027]
数据融合处理模块，用于根据分布式消息队列kafka集群配置的主题分区数设置flink集群消费kafka集群的并发数；利用flink集群状态机制更新基站信息，每次只保存一条用户最新的基站数据；根据位置信令数据准确度优先级进行移动位置信令数据的实时融合，生成全量的用户位置信令信息数据；基于flink集群事件时间的滚动窗口，进行每个目标时间段触发窗口计算生成全量的用户位置信令信息数据的切片数据；
[0028]
数据分层存储模块，用于将flink集群窗口机制下每个目标时间段生成全量的用户位置信令信息数据的切片数据存储至hdfs，hadoop基于hdfs中的切片数据分析离线历史数据。
[0029]
进一步地，所述数据融合处理模块，包括：
[0030]
分析单元，用于根据清洗过滤后的移动位置信令数据分析每位用户当前实时位置数据；
[0031]
判断单元，用于判断目标用户历史位置数据是否存在；
[0032]
标记记单元，用于在判断单元确定目标用户历史位置数据不存在的情况下，将目标用户标记为新用户，并记录目标用户最新时刻的位置数据；
[0033]
第一计算单元，用于在判断单元确定目标用户历史位置数据存在的情况下，计算最新时刻的位置数据更新时间和历史位置数据更新时间的差值；
[0034]
第二计算单元，用于在判断单元确定目标用户历史位置数据存在的情况下，计算最新时刻的位置和历史位置的距离；
[0035]
替换单元，用于在最新时刻的位置数据更新时间和历史位置数据更新时间的差值和最新时刻的位置和历史位置的距离均满足对应的预设阈值范围的情况下，将最新时刻的位置数据替换历史位置数据。
[0036]
进一步地，所述第二计算单元根据以下公式计算最新时刻的位置和历史位置的距离：
[0037]
d＝r*arcos[cos(lat1)*cos(lat2)*cos(long
1-long2) sin(lat1)*sin(lat1)]；
[0038]
其中，d为最新时刻的位置和历史位置的距离；r＝6371.004km；lat1为历史位置的维度；long1为最新时刻的位置的经度；lat2为最新时刻的位置的维度；long2为历史位置的经度。
[0039]
第三方面，本发明提供一种计算机设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现第一方面所述的基于hadoop和flink的移动位置信令数据融合方法的步骤。
[0040]
第四方面，本发明提供一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现第一方面所述的基于hadoop和flink的移动位置信令数据融合方法的步骤。
[0041]
本发明提供一种移动位置信令数据融合方法、系统、设备和和存储介质，其中方法包括利用flume集群实时采集移动位置信令数据，并对采集的移动位置信令数据进行清洗过滤以保留所需的字段；将清洗过滤后的移动位置信令数据推送至分布式消息队列kafka集群中；根据分布式消息队列kafka集群配置的主题分区数设置flink集群消费kafka集群的并发数；利用flink集群状态机制更新基站信息，每次只保存一条用户最新的基站数据；根据位置信令数据准确度优先级进行移动信令数据的实时融合，生成全量的用户位置信令信息数据；基于flink集群事件时间的滚动窗口，进行每个目标时间段触发窗口计算生成全量的用户位置信令信息数据的切片数据；将flink集群窗口机制下每个目标时间段生成全量的用户位置信令信息数据的切片数据存储至hdfs，hadoop基于hdfs中的切片数据分析离线历史数据。
[0042]
本发明解决了hadoop集群只能处理离线数据的不足，通过flume实时采集集群、
kafka数据分发集群、flink流式融合分析集群，es实时数据输出集群和hdfs离线分析存储，这一整个处理流程，实现数据海量存储和实时分析，数据分析结果可以达秒级，实现流处理、高吞吐和一致性的数据分析。
[0043]
本发明提供的基于2g/3g/4g/5g的移动位置信令数据融合方法，可准确分析出用户在不同手机信号下的准确位置，确保基于移动位置信令数据全面性和准确性。
[0044]
本发明根据移动位置信令数据的量级、用途进行分级存储的方法，通过es保存实时清单或实时统计级结果，利用hdfs中的离线全量数据或中间层数据结果，实现不同维度和颗粒度的数据分析和存储，也实现了实时数据的并行快速加载和快速分析，有力的提升了数据分析的时效性。
附图说明
[0045]
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0046]
图1为本发明实施例提供的一种基于hadoop和flink的移动位置信令数据融合方法的流程图；
[0047]
图2为本发明实施例提供的一种基于hadoop和flink的移动位置信令数据融合系统的结构示意图；
[0048]
图3为本发明实施例提供的一种基于hadoop和flink的移动位置信令数据融合系统的框架图；
[0049]
图4为本发明实施例提供的2g/3g/4g/5g位置信令融合流程图。
具体实施方式
[0050]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0051]
在一实施例中，如图1所示，本发明实施例提供一种移动位置信令数据融合方法，包括：
[0052]
步骤101，利用flume集群实时采集移动位置信令数据，并对采集的移动位置信令数据进行清洗过滤以保留所需的字段；将清洗过滤后的移动位置信令数据推送至分布式消息队列kafka集群中。
[0053]
数据源提供的实时数据源包括全量的2g/3g位置信令，4g s1-mme位置数据，5g sa位置信令数据。因数据源提供的方式有socket接口、kafka和ftp文件等多种方式，所以在使用flume集群时，会根据数据源配置不同的agent信息。此外，根据数据源数据量的大小和传输的方式的不同，每个agent中的sink、channel配置的信息也不尽相同。
[0054]
在flume集群中，根据数据融合处理模块中所需的字段，利用基站的工参信息数据、h码等基础信息数据，打上经纬度标签、来源省份城市标签以及信令上报城市/区县/街道等标签，同时对敏感数据字段进行脱敏处理，最终会保留所需的字段：imsi、经度、维度、
加密后的号码、号码归属城市、号码归属省份、基站编号、基站类型(2g/4g/5g基站)、上报时间、上报城市、上报区县和上报街道。此外，在flume集群source层中配置的拦截器，可实现对符合系统设定的数据通过拦截器，而不符合系统设定的数据将会被清理。如手机号码字段为空的数据，信令中鉴权失败的信令数据记录会直接被过滤；除融合所需的字段，其余信令中的字段被直接清除不做保留。source层实时处理完的数据推送至channel层并缓冲在内存中，sink层则从channel层中拉取处理后的实时数据，并将数据推送至分布式消息队列kafka集群中。在kafka集群中，每种数据源处理后的数据都会配置不同的消费主题topic，每个主题会设置相应的分区数和副本数。
[0055]
步骤102，根据分布式消息队列kafka集群配置的主题分区数设置flink集群消费kafka集群的并发数；利用flink集群状态机制更新基站信息，每次只保存一条用户最新的基站数据；根据位置信令数据准确度优先级进行移动位置信令数据的实时融合，生成全量的用户位置信令信息数据；基于flink集群事件时间的滚动窗口，进行每个目标时间段触发窗口计算生成全量的用户位置信令信息数据的切片数据。
[0056]
为了解决数据丢失和状态恢复，采用基于实时计算框架flink的状态机制，并在计算的过程中存储中间状态。根据数据采集预处理模块中kafka集群配置的主题分区数来设置flink消费kafka的并发数。利用状态机制实现更新基站信息，每次只保存一条用户最新的基站数据。基于rocksdbstatebackend状态后端的方式，存储所有用户近两个小时的状态数据；遵循数据准确度优先级，数据越精确优先级就越高，优先级高的数据会优先被使用(通常情况下5g sa数据的优先级高于4g s1-mme位置数据的优先级高于2g/3g位置数据的优先级)，同时结合位置信息的更新时间和与历史位置信息的距离三个方面综合考虑，基于flink面向流处理datastream用实现对2g/4g/5g移动位置信令数据的实时融合，生成全量的用户位置信息数据；基于事件时间语义和水印机制来规避数据延迟；基于flink集群事件时间的滚动窗口，进行每10分钟触发窗口计算生成全量的用户位置信令信息数据的切片数据。
[0057]
对于实时应用的场景，如基于城市维度分析当前时刻外来人口统计值或者清单；基于景区基站数据统计分析当前某个景区实时客流信息；基于某个区域的基站信息，实时计算并滚动更新区域范围内每个用户的停留时长数据等。对于离线数据的分析，主要是生成全量用户的位置切片数据，存储至hdfs中，用于后期业务的分析。
[0058]
根据位置信令数据准确度优先级进行移动信令数据的实时融合，生成全量的用户位置信令信息数据，包括：
[0059]
根据清洗过滤后的移动位置信令数据分析每位用户当前实时位置数据。
[0060]
判断目标用户历史位置数据是否存在。
[0061]
如过否，则将目标用户标记为新用户，并记录目标用户最新时刻的位置数据。
[0062]
如果是，则计算最新时刻的位置数据更新时间t1和历史位置数据更新时间t2的差值。
[0063]
计算最新时刻的位置和历史位置的距离。
[0064]
如果最新时刻的位置数据更新时间和历史位置数据更新时间的差值和最新时刻的位置和历史位置的距离均满足对应的预设阈值范围，则将最新时刻的位置数据替换历史位置数据。
[0065]
根据以下公式计算最新时刻的位置和历史位置的距离：
[0066]
d＝r*arcos[cos(lat1)*cos(lat2)*cos(long
1-long2) sin(lat1)*sin(lat1)]。
[0067]
其中，d为最新时刻的位置和历史位置的距离；r＝6371.004km；lat1为历史位置的维度；long1为最新时刻的位置的经度；lat2为最新时刻的位置的维度；long2为历史位置的经度。
[0068]
例如，1)如果最新时刻的数据是5g位置，则用本次的5g位置信息替换历史位置数据。
[0069]
2)如果最新时刻的数据是4g位置，则与上一次位置信息比较，若上一次位置信息为5g位置，则判断t
1-t2是否大于600s且最新位置信息与上次位置信息之间的距离d是否大于0.25km。若两个条件均满足，则用最新的4g位置信息更新上次的5g位置，否则不更新位置信息。若上次的位置信息是4g位置或者2g/3g位置信息，则直接用最新的4g位置信息替换上次的位置信息。
[0070]
3)如果最新时刻的数据是2g/3g位置数据，则与上次位置信息进行比较。若上一次位置信息为5g位置，则判断t
1-t2是否大于600s且最新位置信息与上次位置信息之间的距离d是否大于0.25km。若两者均满足，则用本次的2g/3g位置数据替换上一次的5g位置，否则不替换。若上一次的位置信息是4g位置，则判断t
1-t2是否大于600s且d是否大于1km，若均满足，则2g/3g替换4g位置数据，否则不替换。若上次位置信息是2g/3g位置信息，则直接用本次的2g/3g位置信息直接替换。
[0071]
步骤103，将flink集群窗口机制下每个目标时间段生成全量的用户位置信令信息数据的切片数据存储至hdfs，hadoop基于hdfs中的切片数据分析离线历史数据。
[0072]
根据数据存储所需空间的大小，数据在业务中的应用场景(离线分析或者实时分析)，以及数据在业务中需要存储的时间周期进行分级存储。
[0073]
对于分析时间周期较长，实时性不高的数据，会使用flink每10分钟生成的全量位置切片数据，该部分数据存储在hdfs中，结合业务离线分析场景，按业务需求生成相应的中间数据表。如按基站维度压缩，离线分析每天固定时间段内切片数量形成中间层数据。基于此中间数据可分析快速常住人口，过夜人口，居住地，工作地等分析。
[0074]
另一方面，根据业务的实时分析需求，基于业务场景分析的统计级数据或者是轻量级的清单数据的写入es中，以便上层应用实时调用。如基于城市维度分析当前时刻外来人口统计值或者清单；基于景区基站数据统计分析当前某个景区实时客流信息；基于某个区域的基站信息，实时计算并滚动更新区域范围内每个用户的停留时长数据等。
[0075]
本发明解决了hadoop集群只能处理离线数据的不足，通过flume实时采集集群、kafka数据分发集群、flink流式融合分析集群，es实时数据输出集群和hdfs离线分析存储，这一整个处理流程，实现数据海量存储和实时分析，数据分析结果可以达秒级，实现流处理、高吞吐和一致性的数据分析。
[0076]
本发明提供的基于2g/3g/4g/5g的移动位置信令数据融合方法，可准确分析出用户在不同手机信号下的准确位置，确保基于移动位置信令数据全面性和准确性。
[0077]
本发明根据移动位置信令数据的量级、用途进行分级存储的方法，通过es保存实时清单或实时统计级结果，利用hdfs中的离线全量数据或中间层数据结果，实现不同维度和颗粒度的数据分析和存储，也实现了实时数据的并行快速加载和快速分析，有力的提升
了数据分析的时效性。
[0078]
基于同一发明构思，本发明实施例还提供了一种移动位置信令数据融合系统，由于该系统解决问题的原理与前述一种移动位置信令数据融合方法相似，因此该系统的实施可以参见一种移动位置信令数据融合方法的实施，重复之处不再赘述。
[0079]
在另一实施例中，本发明一个实施例提供一种移动位置信令数据融合系统，如图2所示，包括：
[0080]
数据采集预处理模块10，用于利用flume集群实时采集移动位置信令数据，并对采集的移动位置信令数据进行清洗过滤以保留所需的字段；将清洗过滤后的移动位置信令数据推送至分布式消息队列kafka集群中；
[0081]
数据融合处理模块20，用于根据分布式消息队列kafka集群配置的主题分区数设置flink集群消费kafka集群的并发数；利用flink集群状态机制更新基站信息，每次只保存一条用户最新的基站数据；根据位置信令数据准确度优先级进行移动位置信令数据的实时融合，生成全量的用户位置信令信息数据；基于flink集群事件时间的滚动窗口，进行每个目标时间段触发窗口计算生成全量的用户位置信令信息数据的切片数据；
[0082]
数据分层存储模块30，用于将flink集群窗口机制下每个目标时间段生成全量的用户位置信令信息数据的切片数据存储至hdfs，hadoop基于hdfs中的切片数据分析离线历史数据。
[0083]
数据采集预处理模块如图3所示，包括数据实时采集处理的flume集群和数据消息队列kafka集群。flume集群共8台服务器，每台服务器的配置是256g内存，2*8core cpu，4*8t的硬盘。对于flume集群的配置是为每个数据源配置一个agent，source源的配置则根据数据源传输的方式进行配置，如kafka、socket接口等。channel的配置均为memorychannel，其中4g和5g中的capacity和transactioncapacity均设置为100000000。关于sink的配置clienttype均为kafka。对于拦截器部分，主要是过滤空值、异常值和其他不需要的字段，同时利用h码和基站工参信息，为每一条记录打上号码归属地、上报城市/区县/街道、经纬度信息以及对敏感字段脱敏加密。对于消息队列kafka集群，一共10台设备，配置为2*8core cpu、256g内存、2*300g，4*8t的硬盘。在数据处理时kafka为每种源数据配置一个主题(topic)，并根据数据量的大小分配不同的分区(partition),其中4g和5g是30个分区，3副本；2/3g是10分区，3副本。
[0084]
数据融合处理模块如图3所示，主要是flink集群，共计10台设备，每台设备的配置为2*8core cpu、256g内存、2*300g，4*8t的硬盘。flink作为一个消费者，其并发数与kafka中每个数据源的分区数保持一致。同时对于flink计算逻辑为按照10分钟的粒度开窗口进行计算，(time.minutes设置为10)，处理槽(slot)设置为每台服务器核数*4，且平分服务器内存。利用流处理对2g/3g/4g/5g位置信令数据进行融合，融合的方法如图4所示，得到融合后的位置信令数据，相应的字段为：imsi、经度、维度、加密后的号码、号码归属城市、号码归属省份、基站编号、基站类型、上报时间、上报城市、上报区县和上报街道。除此之外，flink也根据具体的业务场景基于基站信息进行分类统计。
[0085]
数据分层存储模块如图3所示，主要为es集群和hadoop集群。其中es集群由6台节点组成，每个配置为2*8core cpu、256g内存、2*300g，4*8t的硬盘。es集群主要用来存储flink中轻量级的清单数据，如基于城市维度分析当前时刻外来人口统计值或者清单；基于
景区基站数据统计分析当前某个景区实时客流信息；基于某个区域的基站信息，实时计算并滚动更新区域范围内每个用户的停留时长数据等等。hadoop集群由300台配置为2*8core cpu、128g内存、2*300g，4*10t的数据节点组成。flink每10分钟的切片位置清单数据会导出至hadoop集群存储在hdfs中。基于此离线清单位置数据，可根据业务需求分析数据形成中间结果数据，如按基站压缩，离线分析每天固定时间段内切片数量形成中间层数据。基于此中间数据可分析常住人口，过夜人口，居住地，工作地等。此外该部分还提供多种数据输出接口供上层应用调用，如ftp、api接口等。
[0086]
可选地，所述数据融合处理模块，包括：
[0087]
分析单元，用于根据清洗过滤后的移动位置信令数据分析每位用户当前实时位置数据；
[0088]
判断单元，用于判断目标用户历史位置数据是否存在；
[0089]
标记记单元，用于在判断单元确定目标用户历史位置数据不存在的情况下，将目标用户标记为新用户，并记录目标用户最新时刻的位置数据；
[0090]
第一计算单元，用于在判断单元确定目标用户历史位置数据存在的情况下，计算最新时刻的位置数据更新时间和历史位置数据更新时间的差值；
[0091]
第二计算单元，用于在判断单元确定目标用户历史位置数据存在的情况下，计算最新时刻的位置和历史位置的距离；
[0092]
替换单元，用于在最新时刻的位置数据更新时间和历史位置数据更新时间的差值和最新时刻的位置和历史位置的距离均满足对应的预设阈值范围的情况下，将最新时刻的位置数据替换历史位置数据。
[0093]
可选地，所述第二计算单元根据以下公式计算最新时刻的位置和历史位置的距离：
[0094]
d＝r*arcos[cos(lat1)*cos(lat2)*cos(long
1-long2) sin(lat1)*sin(lat1)]；
[0095]
其中，d为最新时刻的位置和历史位置的距离；r＝6371.004km；lat1为历史位置的维度；long1为最新时刻的位置的经度；lat2为最新时刻的位置的维度；long2为历史位置的经度。
[0096]
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
[0097]
在另一实施例中，本发明提供一种计算机设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现第一方面所述的基于hadoop和flink的移动位置信令数据融合方法的步骤。
[0098]
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0099]
在另一实施例中，本发明提供一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现第一方面所述的基于hadoop和flink的移动位置信令数据融合方法的步骤。
[0100]
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0101]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它
实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的系统、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0102]
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0103]
以上结合具体实施方式和范例性实例对本发明进行了详细说明，不过这些说明并不能理解为对本发明的限制。本领域技术人员理解，在不偏离本发明精神和范围的情况下，可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本发明的范围内。本发明的保护范围以所附权利要求为准。