一种基于Hadoop和Flink的移动位置信令数据融合方法和系统与流程

技术特征：
1.一种基于hadoop和flink的移动位置信令数据融合方法，其特征在于，包括：利用flume集群实时采集移动位置信令数据，并对采集的移动位置信令数据进行清洗过滤以保留所需的字段；将清洗过滤后的移动位置信令数据推送至分布式消息队列kafka集群中；根据分布式消息队列kafka集群配置的主题分区数设置flink集群消费kafka集群的并发数；利用flink集群状态机制更新基站信息，每次只保存一条用户最新的基站数据；根据位置信令数据准确度优先级进行移动位置信令数据的实时融合，生成全量的用户位置信令信息数据；基于flink集群事件时间的滚动窗口，进行每个目标时间段触发窗口计算生成全量的用户位置信令信息数据的切片数据；将flink集群窗口机制下每个目标时间段生成全量的用户位置信令信息数据的切片数据存储至hdfs，hadoop基于hdfs中的切片数据分析离线历史数据。2.根据权利要求1所述的移动位置信令数据融合方法，其特征在于，所述所需的字段包括imsi、经度、维度、加密后的号码、号码归属城市、号码归属省份、基站编号、基站类型、上报时间、上报城市、上报区县和上报街道。3.根据权利要求1所述的移动位置信令数据融合方法，其特征在于，所述根据位置信令数据准确度优先级进行移动位置信令数据的实时融合，生成全量的用户位置信令信息数据，包括：根据清洗过滤后的移动位置信令数据分析每位用户当前实时位置数据；判断目标用户历史位置数据是否存在；如过否，则将目标用户标记为新用户，并记录目标用户最新时刻的位置数据；如果是，则计算最新时刻的位置数据更新时间和历史位置数据更新时间的差值；计算最新时刻的位置和历史位置的距离；如果最新时刻的位置数据更新时间和历史位置数据更新时间的差值和最新时刻的位置和历史位置的距离均满足对应的预设阈值范围，则将最新时刻的位置数据替换历史位置数据。4.根据权利要求3所述的移动位置信令数据融合方法，其特征在于，所述计算最新时刻的位置和历史位置的距离，包括：根据以下公式计算最新时刻的位置和历史位置的距离：d＝r*arcos[cos(lat1)*cos(lat2)*cos(long
1-long2) sin(lat1)*sin(lat1)]；其中，d为最新时刻的位置和历史位置的距离；r＝6371.004km；lat1为历史位置的维度；long1为最新时刻的位置的经度；lat2为最新时刻的位置的维度；long2为历史位置的经度。5.一种基于hadoop和flink的移动位置信令数据融合系统，其特征在于，包括：数据采集预处理模块，用于利用flume集群实时采集移动位置信令数据，并对采集的移动位置信令数据进行清洗过滤以保留所需的字段；将清洗过滤后的移动位置信令数据推送至分布式消息队列kafka集群中；数据融合处理模块，用于根据分布式消息队列kafka集群配置的主题分区数设置flink集群消费kafka集群的并发数；利用flink集群状态机制更新基站信息，每次只保存一条用户最新的基站数据；根据位置信令数据准确度优先级进行移动位置信令数据的实时融合，生成全量的用户位置信令信息数据；基于flink集群事件时间的滚动窗口，进行每个目标时
间段触发窗口计算生成全量的用户位置信令信息数据的切片数据；数据分层存储模块，用于将flink集群窗口机制下每个目标时间段生成全量的用户位置信令信息数据的切片数据存储至hdfs，hadoop基于hdfs中的切片数据分析离线历史数据。6.根据权利要求5所述的移动位置信令数据融合系统，其特征在于，所述数据融合处理模块，包括：分析单元，用于根据清洗过滤后的移动位置信令数据分析每位用户当前实时位置数据；判断单元，用于判断目标用户历史位置数据是否存在；标记记单元，用于在判断单元确定目标用户历史位置数据不存在的情况下，将目标用户标记为新用户，并记录目标用户最新时刻的位置数据；第一计算单元，用于在判断单元确定目标用户历史位置数据存在的情况下，计算最新时刻的位置数据更新时间和历史位置数据更新时间的差值；第二计算单元，用于在判断单元确定目标用户历史位置数据存在的情况下，计算最新时刻的位置和历史位置的距离；替换单元，用于在最新时刻的位置数据更新时间和历史位置数据更新时间的差值和最新时刻的位置和历史位置的距离均满足对应的预设阈值范围的情况下，将最新时刻的位置数据替换历史位置数据。7.根据权利要求6所述的移动位置信令数据融合系统，其特征在于，所述第二计算单元根据以下公式计算最新时刻的位置和历史位置的距离：d＝r*arcos[cos(lat1)*cos(lat2)*cos(long
1-long2) sin(lat1)*sin(lat1)]；其中，d为最新时刻的位置和历史位置的距离；r＝6371.004km；lat1为历史位置的维度；long1为最新时刻的位置的经度；lat2为最新时刻的位置的维度；long2为历史位置的经度。8.一种计算机设备，其特征在于，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现权利要求1-4任一项所述的基于hadoop和flink的移动位置信令数据融合方法的步骤。9.一种计算机可读存储介质，其特征在于，用于存储计算机程序；计算机程序被处理器执行时实现权利要求1-4任一项所述的基于hadoop和flink的移动位置信令数据融合方法的步骤。

技术总结
本发明提供一种基于Hadoop和Flink的移动位置信令数据融合方法和系统，其中方法包括采集移动位置信令数据进行清洗过滤；将清洗过滤后的移动位置信令数据推送至分布式消息队列Kafka集群中；设置Flink集群消费Kafka集群的并发数；更新基站信息，每次只保存一条用户最新的基站数据；进行移动信令数据的实时融合，生成全量的用户位置信令信息数据；进行每个目标时间段触发窗口计算生成全量的用户位置信令信息数据的切片数据；将Flink集群窗口机制下每个目标时间段生成全量的用户位置信令信息数据的切片数据存储至HDFS。本发明准确分析出用户在不同手机信号下的准确位置，确保基于移动位置信令数据全面性和准确性。移动位置信令数据全面性和准确性。移动位置信令数据全面性和准确性。


技术研发人员：朱峰 黄凯翔 靳蔚瑶 周蓉 胡宏
受保护的技术使用者：江苏号百科技有限公司
技术研发日：2022.11.08
技术公布日：2023/2/3