基于实时计算的广告播放设备群体事件研判方法及系统与流程

1.本发明涉及实时计算、群体事件和flink的技术领域，具体地，涉及基于实时计算的广告播放设备群体事件研判方法及系统，尤其涉及一种基于实时计算的广告播放设备群体事件研判方法。


背景技术：

2.近年来物联网设备的能力不断提升，越来越多的设备已经能够实时生产和回传高质量数据。随之而来的是基于人流量，人群态势等进行研判的方式方法也开始层出不穷。但是目前还没有一个针对线下广告媒介(电子屏)进行群体事件研判的方法，而且在多数场景下，由于数据质量的问题或者客户端信号问题等导致了该种类的实时研判方法不可实施。所以需要多方因素共同支持基于实时计算的广告播放设备群体事件研判方法，需要设备实时数据回传能力，需要实时数据计算能力，需要实时模型的综合研判能力，这些能力所构建的设备群体事件研判方法能够用来经济且高效地指导设备维护工作。


技术实现要素：

3.针对现有技术中的缺陷，本发明的目的是提供一种基于实时计算的广告播放设备群体事件研判方法及系统。
4.根据本发明提供的一种基于实时计算的广告播放设备群体事件研判方法，所述方法包括如下步骤：
5.步骤s1：采集和汇总所有广告播放设备实时回传数据，构建实时数据汇聚中枢系统；
6.步骤s2：构建大数据实时处理管道，实时提供设备的群体行为判定计算能力；
7.步骤s3：搭建etl数据清洗管道，构建数据流向控制器；
8.步骤s4：设计并开发基于实时数据的广告设备群体事件研判应用；
9.步骤s5：收集并存储群体事件报警信息，完成数据的沉淀和对外输出，并通过线下反馈和历史数据打标完成准确率评估，并最终形成闭环；
10.步骤s6：根据闭环导向，动态修正广告播放设备群体报警事件模型的入参，不断根据业务新增，完成更多维度群体事件报警的识别扩展。
11.优选地，所述步骤s1通过播发通道将设备心跳数据和广告播放日志数据推送进入数据服务器消息队列管道，然后通过消息队列组件kafka构建数据上游的实时输出能力，根据数据类别，媒体类型构建不同的topic来完成上游数据管道的建立。
12.优选地，所述步骤s2利用apache flink构建大数据实时计算集群，并在大数据实时计算集群上进行精业务转化和逻辑编程，搭载实时数据处理应用和算法模型。
13.优选地，所述步骤s3中的数据流向控制器完成各类数据的汇集和分发，是控制数据流向的重要枢纽。
14.优选地，所述步骤s4中的应用完成协议解析、设备状态判定、动态参数加载、多流
合并、实时数据状态管理以及承载并运行群体事件预警模型，最终完成群体事件的定义和识别，并下发相应的报警信息。
15.本发明还提供一种基于实时计算的广告播放设备群体事件研判系统，所述系统包括如下模块：
16.模块m1：采集和汇总所有广告播放设备实时回传数据，构建实时数据汇聚中枢系统；
17.模块m2：构建大数据实时处理管道，实时提供设备的群体行为判定计算能力；
18.模块m3：搭建etl数据清洗管道，构建数据流向控制器；
19.模块m4：设计并开发基于实时数据的广告设备群体事件研判应用；
20.模块m5：收集并存储群体事件报警信息，完成数据的沉淀和对外输出，并通过线下反馈和历史数据打标完成准确率评估，并最终形成闭环；
21.模块m6：根据闭环导向，动态修正广告播放设备群体报警事件模型的入参，不断根据业务新增，完成更多维度群体事件报警的识别扩展。
22.优选地，所述模块m1通过播发通道将设备心跳数据和广告播放日志数据推送进入数据服务器消息队列管道，然后通过消息队列组件kafka构建数据上游的实时输出能力，根据数据类别，媒体类型构建不同的topic来完成上游数据管道的建立。
23.优选地，所述模块m2利用apache flink构建大数据实时计算集群，并在大数据实时计算集群上进行精业务转化和逻辑编程，搭载实时数据处理应用和算法模型。
24.优选地，所述模块m3中的数据流向控制器完成各类数据的汇集和分发，是控制数据流向的重要枢纽。
25.优选地，所述模块m4中的应用完成协议解析、设备状态判定、动态参数加载、多流合并、实时数据状态管理以及承载并运行群体事件预警模型，最终完成群体事件的定义和识别，并下发相应的报警信息。
26.与现有技术相比，本发明具有如下的有益效果：
27.1、本发明能够直接指导设备的维护，对设备生命周期管理提供了精细化的指导方案；
28.2、本发明设计的广告播放设备群体事件实时研判方法支持多维度研判的动态配置，无论是地理区域范围还是业务边界内都能够生成群体事件指标，并完成研判任务，任务结果带有维度标识；
29.3、本发明能够支持海量数据的实时请求，能够融合多种数据流进行union和jion等操作，对于设备数量的增长和回传数据量的增长能够进行相应扩容，完成计算能力的扩展；
30.4、本发明设计的大数据平台均使用开源社区框架和自研程序，没有软件成本，同时能够收敛维护范围，大大降低人工运维成本。
附图说明
31.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
32.图1为本发明的流程示意图；
33.图2为本发明的功能模块结构示意图；
34.图3为本发明的数据窗口处理逻辑示意图。
具体实施方式
35.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
36.本发明提供一种基于实时计算的广告播放设备群体事件研判方法，方法的实现和部署方式包括以下步骤：
37.步骤s1：采集和汇总所有广告播放设备实时回传数据，构建实时数据汇聚中枢系统，即通过播发通道将设备心跳数据和广告播放日志数据推送进入数据服务器消息队列管道。然后通过消息队列组件kafka构建数据上游的实时输出能力，根据数据类别，媒体类型构建不同的topic来完成上游数据管道的建立。
38.步骤s2：构建大数据实时处理管道，为设备的群体行为判定提供实时计算能力。利用apache flink构建大数据实时计算集群，并在该集群上进行精业务转化和逻辑编程，搭载实时数据处理应用和算法模型，该应用要能够承载100万设备的在线并发量，100亿/天的数据吞吐总量。
39.步骤s3：搭建etl数据清洗管道，构建数据流向控制器，该控制器类似于企业服务总线esb，可以完成各类数据的汇集和分发，是灵活控制数据流向的重要枢纽。
40.步骤s4：设计并开发基于实时数据的广告设备群体事件研判应用，该应用模型能够完成协议解析，设备状态判定，动态参数加载，多流合并，实时数据状态管理以及承载并运行群体事件预警模型，最终完成群体事件的定义和识别，并下发相应的报警信息。
41.步骤s5：收集并存储群体事件报警信息，完成数据的沉淀和对外输出，并通过线下反馈和历史数据打标完成准确率评估，并最终形成闭环。
42.步骤s6：根据闭环导向，动态修正广告播放设备群体报警事件模型的入参，提高群体事件识别的准确率和召回率，并不断根据业务新增，完成更多维度群体事件报警的识别扩展。
43.远端广告播放设备需要具有实时数据上传能力，并且不同数据的采集，要根据协议的不同和业务需求的不同，推送到不同的topic进行管理。实时数据计算能力需要能够连接kafka数据源，并拥有可编程接口，丰富的算子，精细化的时间定义和状态管理机制来保证复杂业务逻辑的无缝嵌入，并能够支持多种类数据源的融合，多个数据流管道的交互。大数据实时计算管道的数据上游依赖于各类数据源，存在着难管理，难维护的问题，所以需要化零为整的手段进行统一规范；数据下游则需要完成针对各种存储介质的持久化要求，针对各条业务线的数据输出需求。所以针对数据上游和数据下游的痛点，需要进一步降低实时数据管道对外部组件的依赖，将实时计算从各类外部数据库的交互中解耦出去。该部分所产生的数据结果会向应用端和验证端进行输出，该部分是数据下游的主干道。根据下游的数据反馈，能够提高整个闭环链路的准确性，最终实现一个实时性强，准确率高的广告播放设备群体事件识别方法。
44.本发明应用于海量设备实时回传数据群体态势研判的场景，根据数据设备报警规则，进行不同维度的聚合，根据设备基础信息维表，进行不同的参数阈值调整，最终完成多种类群体事件的实时识别需求。
45.现在的技术方案里并不存在与本专利相仿的对广告播放设备的群体事件实时研判方法，现行的技术方案通常使用离线的，基于移动设备或者人流的研判方法，数据延迟高，数据稳定性差，而且通常是辅助支撑业务，而该方法能够直接指导设备的维护，对设备生命周期管理提供了精细化的指导方案。
46.本发明人经过广泛而深入的研究，本方法首先要完成平台组件的搭建，然后完成实时计算任务和群体事件识别模型的开发，最后完成参数的优化和程序的迭代。
47.以广告播放设备的群体事件识别模型的设计和开发为例，首先如图2所示完成计算模型的设计，包括数据源的输入，数据流的融合，参数和阈值的确定，实时计算任务代码的开发以及数据结果的生成。该模型计算逻辑完全建立在apache flink框架之上，基于实时计算框架强有力的开发接口和丰富的算子，完成模型的嵌入，从而达到业务上的实时标准。
48.广告播放设备的回传数据通过实时消息队列组件kafka的topic进行存储，并实时流入到apache flink的任务中去，同时广告播放设备的维度指标表会通过etl清洗工具抽取到kafka并构建新的topic。topic的数据分为两大类，广告播放设备基础信息维表和设备回传数据表，设备的回传数据还包括广告播放日志和设备心跳数据。回传数据会通过apache flink的source接入后进行协议解析，不同协议的数据会进行汇总合并，并形成五元组(id，time，mark，endurance，alarm)该五元组分别代表设备id，数据时间，数据有效标志，持续时间和报警信息，其中报警种类包括协议字段报警，指标阈值报警，信号丢失报警等。报警结果会进入实时数据管道的下一阶段，即群体时间报警模型，该模型引入设备基础信息维度作为广播流，计算各种维度下的汇总值，包括城市，运营商，套装，项目等多个业务维度，广播流和报警数据汇总到模型窗口，10分钟作为滑动阈值，60分钟为窗口大小。报警值维度汇总结果作为分子，维度表汇总结果作为分母，当比例超过阈值便触发群体事件报警，也被称之为p级告警。该数据链路的处理流程如图3所示，同时群体事件的态势感知，可以优先于单事件告警，单体事件告警中有一个主要类目是无信号设备累积到一定阈值触发告警，在群体事件告警中信号丢失的概率分布较为均匀，一旦大规模的广告播放设备开始同时丢失信号，便可形成群体事件告警。该优化方法可以缩短原有阈值大小，降低60％预警时长。
49.以上仅为群体事件报警的设计和开发样例，其他各类型的维度汇总均是如此。
50.本发明搭建成本低廉，均使用开源社区框架；本发明通用性强，能适用于各种数据源，各类业务定制，并应用于不同场景；本发明扩展性强，针对数据的膨胀和缩减都能进行平台资源的动态调整，做到伸缩自如。
51.综上所述，本发明提供的基于实时计算的广告播放设备群体事件研判方法拥有十分广阔的应用前景。
52.需要说明的是，本发明在实施过程中，该方法除了需要搭建数据处理管道，数据实时计算框架，所有的数据清洗流程，数据计算逻辑和实时群体预测模型都需要进行定制化开发。
53.本发明还提供一种基于实时计算的广告播放设备群体事件研判系统，所述系统包括如下模块：
54.模块m1：采集和汇总所有广告播放设备实时回传数据，构建实时数据汇聚中枢系统；通过播发通道将设备心跳数据和广告播放日志数据推送进入数据服务器消息队列管道，然后通过消息队列组件kafka构建数据上游的实时输出能力，根据数据类别，媒体类型构建不同的topic来完成上游数据管道的建立。
55.模块m2：构建大数据实时处理管道，实时提供设备的群体行为判定计算能力；利用apache flink构建大数据实时计算集群，并在大数据实时计算集群上进行精业务转化和逻辑编程，搭载实时数据处理应用和算法模型。
56.模块m3：搭建etl数据清洗管道，构建数据流向控制器；数据流向控制器完成各类数据的汇集和分发，是控制数据流向的重要枢纽。
57.模块m4：设计并开发基于实时数据的广告设备群体事件研判应用；应用完成协议解析、设备状态判定、动态参数加载、多流合并、实时数据状态管理以及承载并运行群体事件预警模型，最终完成群体事件的定义和识别，并下发相应的报警信息。
58.模块m5：收集并存储群体事件报警信息，完成数据的沉淀和对外输出，并通过线下反馈和历史数据打标完成准确率评估，并最终形成闭环；模块m6：根据闭环导向，动态修正广告播放设备群体报警事件模型的入参，不断根据业务新增，完成更多维度群体事件报警的识别扩展。
59.本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
60.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。