流式数据处理方法和相关产品与流程
本发明涉及计算机,具体涉及一种流式数据处理方法和相关产品。
背景技术:
1、当前业界通常使用flink或者spark streaming框架处理流式数据。apache flink是一个真正的流处理引擎,采用事件驱动架构,支持毫秒级低延迟、精确一次(exactly-once)的状态一致性,并具备强大的窗口计算和事件时间处理能力,适合对实时性要求极高、需要复杂状态管理的场景,如实时风控、动态定价。spark streaming则基于微批次(micro-batch)模型,将连续数据流切分为小批量任务,依托spark强大的批处理生态,提供高吞吐量和容错机制,延迟通常在秒级,开发api与spark sql、mllib无缝集成,适合对延迟不敏感、但需要与批处理、机器学习等混合计算的业务,如实时报表、日志分析。两者各有侧重:flink专注实时流,spark streaming兼顾批流一体,企业可根据延迟需求和技术栈灵活选型。
2、flink或者spark streaming这些框架都无法在作业运行过程中随意对sql脚本进行增删改。如果需要对sql脚本进行增删改,则需要重启业务。这是因为flink或sparkstreaming框架在启动业务的时候,已经将sql脚本翻译成可执行模块。如果需要更新sql脚本,则需要卸载这些可执行模块。数据是实时的,对作业进行重启,很容易导致数据异常。
技术实现思路
1、本发明提供一种流式数据处理方法和相关产品,以实现在作业运行时,具有动态修改sql脚本的能力,提高安全性。
2、本发明提供如下技术方案:一种流式数据处理方法,包括:
3、数据源算子接收流式数据事件,并向数据持久化算子发送第一事件通知,所述第一事件通知指示当前流式数据事件;
4、所述数据持久化算子接收到所述第一事件通知后,将所述当前流式数据事件持久化进入内嵌kv库,并向数据分析算子发送第二事件通知,所述第二事件通知指示键信息;
5、所述数据分析算子基于sqlite引擎的虚拟表功能查询所述内嵌kv库中所述第二事件通知关联的目标事件;
6、所述数据分析算子基于所述sqlite引擎中执行的sql脚本对获得的所述第二事件通知关联的目标事件进行处理,得到结果事件。
7、在一些实施方式中,还包括对所述sql脚本的更新事件,
8、其中,执行所述sql脚本时,首先对所述sql脚本读锁定,然后执行所述sql脚本,在执行完所述sql脚本后,解除对所述sql脚本的读锁定;
9、其中,更新所述sql脚本时,首先对所述sql脚本写锁定,然后更新所述sql脚本,在更新完所述sql脚本后,解除对所述sql脚本的写锁定;
10、其中,所述执行所述sql脚本与所述更新所述sql脚本二者互斥;
11、其中,更新所述sql脚本在两次执行所述sql脚本的时间间隙完成。
12、在一些实施方式中,所述数据分析算子基于sqlite引擎的虚拟表功能查询所述内嵌kv库中所述第二事件通知关联的目标事件,包括:
13、运行所述sql脚本,获得读取所述虚拟表的需求;
14、调用所述回调函数,由所述回调函数查询所述kv库中第二事件通知关联的目标事件并写入所述虚拟表;
15、返回所述kv库中第二事件通知关联的目标事件;
16、其中,在所述流式数据处理方法的初始化阶段中,创建所述虚拟表,注册查询所述虚拟表的所述回调函数。
17、在一些实施方式中,所述第二事件通知还指示数据的有效期。
18、在一些实施方式中,所述当前流式数据事件指示的输入数据的来源为文件、消息队列或数据库。
19、在一些实施方式中,所述结果事件为用户标识和用户分类、为用户标识和交易风险、为设备标识和设备告警或者为电网调度决策。
20、本发明提供如下技术方案:一种流式数据处理装置,包括数据源模块、数据持久化模块和数据分析模块;
21、所述数据源模块配置为接收流式数据事件,并向所述数据持久化模块发送第一事件通知,所述第一事件通知指示当前流式数据事件;
22、所述数据持久化模块配置为接收到所述第一事件通知后,将所述当前流式数据事件持久化进入内嵌kv库,并向所述数据分析模块发送第二事件通知,所述第二事件通知指示键信息;
23、所述数据分析模块配置为基于所述sqlite引擎的虚拟表功能查询所述内嵌kv库中所述第二事件通知关联的目标事件,基于所述sqlite引擎中执行的sql脚本对获得的所述第二事件通知关联的目标事件进行处理,得到结果事件。
24、本发明提供如下技术方案:一种计算设备,包括存储器和处理器,所述存储器存储程序,所述处理器运行所述程序以执行上述的流式数据处理方法。
25、本发明提供如下技术方案:一种存储介质,所述存储介质存储程序,所述程序在运行时执行上述的流式数据处理方法。
26、本发明提供如下技术方案:一种程序产品,所述程序产品在运行时执行上述的流式数据处理方法。
27、本发明的流式数据处理方法,在更新sql脚本时,无需对业务进行重启,提高数据处理效率,减少对业务运行的干扰;并且sql脚本能够通过虚拟表功能直接访问内嵌kv库中的目标数据,无需加载入库操作,目标数据读取的效率提高。
1.流式数据处理方法,其特征在于,包括:
2.根据权利要求1所述的流式数据处理方法,其特征在于,还包括对所述sql脚本的更新事件,
3.根据权利要求1所述的流式数据处理方法,其特征在于,所述数据分析算子基于sqlite引擎的虚拟表功能查询所述内嵌kv库中所述第二事件通知关联的目标事件,包括:
4.根据权利要求1所述的流式数据处理方法,其特征在于,所述第二事件通知还指示数据的有效期。
5.根据权利要求1所述的流式数据处理方法,其特征在于,所述当前流式数据事件指示的输入数据的来源为文件、消息队列或数据库。
6.根据权利要求1所述的流式数据处理方法,其特征在于,所述结果事件为用户标识和用户分类、为用户标识和交易风险、为设备标识和告警或者为实时调度决策。
7.一种流式数据处理装置,其特征在于,包括数据源模块、数据持久化模块和数据分析模块;
8.一种计算设备,其特征在于,包括存储器和处理器,所述存储器存储程序,所述处理器运行所述程序以执行根据权利要求1至6中任一项所述的流式数据处理方法。
9.一种存储介质,其特征在于,所述存储介质存储程序,所述程序在运行时执行根据权利要求1至6中任一项所述的流式数据处理方法。
10.一种程序产品,其特征在于,所述程序产品在运行时执行根据权利要求1至6中任一项所述的流式数据处理方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com