一种可扩展的自助数据分析方法及系统与流程

技术特征：
1.一种可扩展的自助数据分析方法，其特征在于，包括以下步骤：s1、定义数据分析的底层结构，将数据分析的实体对象进行抽象，定义分析对象及各分析对象之间的联系，同时对分析操作进行抽象化，形成系统的基础架构模型；s2、基于微内核架构设计、封装核心层；所述核心层为分析引擎，负责将业务层的分析任务转换成数据查询任务并返回数据，以支撑不同业务场景的分析需求；核心层基于分布式架构开发扩展插件，将业务功能扩展的变化封装在插件里；s3、定义可扩展接口，根据核心层提供的分析能力，将扩展层各业务功能按标准接口形式进行开放；s4、将步骤s1所定义的分析对象及各分析对象之间的联系，以插件的形式设置为业务层；并根据实际业务计算逻辑开发分析对象中相应的分析模型，通过核心层进行校验和管理，核心层以事件的形式驱动插件运行。2.根据权利要求1所述的自助数据分析方法，其特征在于，步骤s1根据综合业务，对实体对象抽象后，定义的分析对象包括：分析看板、分析图形、分析窗口、分析节点、分析路径、分析模型及分析方法；其中，分析看板负责管理分析窗口，以及布局分析窗口的位置；分析路径负责记录分析节点之间的先后计算、依存关系；分析窗口负责将分析节点提供的数据以及图形配置展现出来；分析节点设有可扩展的分析模型以及分析方法，分析模型是分析算法的参数配置且可持久化存储，分析方法通过分析算法的业务逻辑代码实现，根据分析模型定义的参数配置执行实际的分析计算。3.根据权利要求2所述的自助数据分析方法，其特征在于，所述分析对象的数据通过分析操作和分析操作参数进行修改变动；对分析看板的任意改动将产生一个分析操作，每个分析操作均为可序列化的。4.根据权利要求3所述的自助数据分析方法，其特征在于，所有的分析对象具备两种序列化方式：基于protobuf的二进制序列化和基于json的序列化。5.根据权利要求4所述的自助数据分析方法，其特征在于，步骤s2的核心层选择raft算法，结合分析操作日志化，当一个分析操作被发起时，首先序列化为json文本，统一转发到leader，再由leader分发给相对的follower机器。6.根据权利要求3所述的自助数据分析方法，其特征在于，当一个分析操作被发起时，核心层对分析操作的接口调用包括以下步骤：前端根据需求选择分析模型及参数；将分析模型和对应参数封装成分析操作，发送给服务端；master节点调度，将分析操作发给对应的分析引擎，由分析引擎处理分析操作对分析看板的修改。7.根据权利要求1所述的自助数据分析方法，其特征在于，步骤s2的核心层还设置查询计算层，在查询计算层引入ai做资源调度，首先读取数据库的信息，再采集提供计算的机器的状态信息，由ai选择合适的机器来计算处理，动态调整调度策略。8.根据权利要求1所述的自助数据分析方法，其特征在于，步骤s3中扩展层支持的功能包括数据平台的自定义扩展、分析模型的扩展、分析算法的扩展、分析操作的扩展及图形渲染的扩展。9.一种可扩展的自助数据分析系统，其特征在于，包括：
底层结构定义模块，用于将数据分析的实体对象进行抽象，定义分析对象及各分析对象之间的联系，同时对分析操作进行抽象化，形成系统的基础架构模型；核心层设计模块，用于基于微内核架构设计、封装核心层；所述核心层为分析引擎，负责将业务层的分析任务转换成数据查询任务并返回数据，以支撑不同业务场景的分析需求；核心层基于分布式架构开发扩展插件，将业务功能扩展的变化封装在插件里；可扩展接口定义模块，用于根据核心层提供的分析能力，将扩展层各业务功能按标准接口形式进行开放；业务层设置模块，用于将底层结构定义模块所定义的分析对象及各分析对象之间的联系，以插件的形式设置为业务层；并根据实际业务计算逻辑开发分析对象中相应的分析模型，通过核心层进行校验和管理，核心层以事件的形式驱动插件运行。10.根据权利要求9所述的自助数据分析系统，其特征在于，底层结构定义模块根据综合业务，对实体对象抽象后，定义的分析对象包括：分析看板、分析图形、分析窗口、分析节点、分析路径、分析模型及分析方法；其中，分析看板负责管理分析窗口，以及布局分析窗口的位置；分析路径负责记录分析节点之间的先后计算、依存关系；分析窗口负责将分析节点提供的数据以及图形配置展现出来；分析节点设有可扩展的分析模型以及分析方法，分析模型是分析算法的参数配置且可持久化存储，分析方法通过分析算法的业务逻辑代码实现，根据分析模型定义的参数配置执行实际的分析计算；所述分析对象的数据通过分析操作和分析操作参数进行修改变动；对分析看板的任意改动将产生一个分析操作，每个分析操作均为可序列化的；当一个分析操作被发起时，核心层对分析操作的接口调用包括以下步骤：前端根据需求选择分析模型及参数；将分析模型和对应参数封装成分析操作，发送给服务端；master节点调度，将分析操作发给对应的分析引擎，由分析引擎处理分析操作对分析看板的修改。

技术总结
本发明涉及计算机和数据分析技术，为可扩展的自助数据分析方法及系统，其方法包括步骤：定义数据分析的底层结构，将数据分析的实体对象进行抽象，定义分析对象及各分析对象之间的联系，对分析操作进行抽象化，形成系统的基础架构模型；基于微内核架构设计、封装核心层，核心层基于分布式架构开发扩展插件，将业务功能扩展的变化封装在插件里；定义可扩展接口，根据核心层提供的分析能力，将扩展层各业务功能按标准接口形式进行开放；将分析对象及各分析对象之间的联系以插件的形式设置为业务层，根据分析对象中相应的分析模型，通过核心层进行校验和管理，核心层以事件的形式驱动插件运行。本发明系统结构稳定，具备高可用、数据零丢失的特点。据零丢失的特点。据零丢失的特点。


技术研发人员：姜磊 朱宏飞 杨钊 李成 钟颖欣
受保护的技术使用者：佰聆数据股份有限公司
技术研发日：2022.01.27
技术公布日：2022/5/20