一种报表生成方法、装置、电子设备及计算机可读介质与流程

1.本发明涉及数据处理技术领域，特别涉及一种报表生成方法、装置、电子设备及计算机可读介质。


背景技术：

2.商务智能(business intelligence，bi)，是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确地提供报表并提出决策依据，帮助企业做出明智的业务经营决策。在传统bi领域，一般是由技术人员使用专业的bi软件建设相关报表，建设周期长，建设和调整的总体消耗都比较大，建设结果的反馈周期比较长，无法快速响应一线需求。
3.随着金融业务的快速发展，业务的广度和深度都在增加。基于相应的业务场景，需要进行数据分析的需求内容也在不断增长；同时，由于数据分析的需求量增加，分析难度加大，且业务方对于需求落地的建设时效性提出了高要求。
4.以及,传统bi建设数据分析报表，指标杂乱不统一；海量数据支撑力度有限，遇到超多数据行，或分析维度多、维度组合多，或高基数维度时响应极慢或者无法响应。


技术实现要素：

5.为了解决现有技术的问题，本发明实施例提供了一种报表生成方法、装置、电子设备及计算机可读介质。所述技术方案如下：
6.第一方面，提供了一种报表生成方法，所述方法包括：
7.接收用户在web界面输入的指标配置信息；
8.建立所述指标配置信息与相应目标数据源的第一关联关系；
9.基于所述指标配置信息、所述目标数据源，通过与所述目标数据源匹配的预设模型生成所述报表。
10.在一种较佳的实施方式中，所述建立所述指标配置信息与相应目标数据源的第一关联关系，包括：
11.解析所述指标配置信息获得至少一个指标名称、至少一个指标维度、至少一个所述预设模型，每一所述预设模型与目标数据源相对应；
12.根据所述至少一个指标名称、所述至少一个指标维度建立至少一个关联组，任一所述关联组包括的指标名称与指标维度相关联；
13.建立任一所述关联组与所述预设模型的第二关联关系；
14.基于所述第二关联关系，建立所述关联组与所述目标数据源的第一关联关系。
15.在一种较佳的实施方式中，所述根据所述至少一个指标名称、所述至少一个指标维度建立至少一个关联组，任一所述关联组包括的指标名称与指标维度相关联，包括：
16.提取每一所述指标名称的指标编码，以及提取每一所述指标维度的维度编码；
17.根据预先构建的所述指标编码与维度编码的对应关系，建立至少一个所述关联
组。
18.在一种较佳的实施方式中，所述建立任一所述关联组与所述预设模型的第二关联关系，包括：
19.基于所述关联组，解析获得与所述预设模型对应的模型调用参数；
20.根据所述模型调用参数匹配相应的预设模型并构建第二关联关系。
21.在一种较佳的实施方式中，所述基于所述指标配置信息、所述目标数据源，通过与所述目标数据源匹配的预设模型生成所述报表，包括：
22.调用与所述目标数据源匹配的预设模型；
23.向所述目标数据源调用目标元数据；
24.基于所述指标配置信息、所述目标元数据，通过所述预设模型生成所述报表。
25.在一种较佳的实施方式中，所述目标元数据包括目标离线数据；所述向所述目标数据源调用目标元数据，包括：
26.按照预设频率向预设外部数仓获取目标离线数据并存储。
27.在一种较佳的实施方式中，所述目标元数据包括目标实时数据；所述向所述目标数据源调用目标元数据，包括：
28.向消息中间件实时获取flink进行实时指标计算后发送且为预设数据格式的目标实时数据。
29.第二方面，提供一种报表生成装置，所述装置包括：
30.接收模块，用于接收用户在web界面输入的指标配置信息；
31.关联模块，用于建立所述指标配置信息与相应目标数据源的第一关联关系；
32.生成模块，用于采用与所述目标数据源匹配的预设模型，基于所述指标配置信息、所述目标数据源生成所述报表。
33.第三方面，提供一种电子设备，包括
34.一个或多个处理器；以及
35.与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如第一方面任一所述的方法。
36.第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如第一方面任一所述的方法。
37.本发明实施例提供的技术方案带来的有益效果是：
38.本发明实施例提供一种报表生成方法、装置、电子设备及计算机可读介质，其通过将用户输入的指标配置信息和相应目标数据源建立第一关联关系，能迅速向相应的数据源获取数据，避免海量搜索，减小运算量，提高反应时间，且本技术的报表生成方法为web浏览器数据分析产品，相较于现有技术中此类产品直连目标数据库的方案，不影响目标数据库的性能优化；更重要的是，该方法对接不同数据源，且通过统一的出口对外提供服务，能有效满足快速提供异构源指标统一服务的需要。
附图说明
39.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是本发明实施例提供的报表生成方法流程图；
41.图2是本发明实施例提供的报表生成装置的结构示意图；
42.图3是本发明实施例提供的计算机系统结构示意图。
具体实施方式
43.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.如背景技术所述，对应于业务的发展，bi数据分析需求、处理量、难度也同步增大，为满足上述需求往往需要较长的处理时长。目前市面上的一些分析引擎(如druid、kylin、presto/impala等实时计算引擎、elasticsearch)或多或少存在一些缺憾，无法同时满足上述所有需求。druid采用预计算的技术，但无法做到精准去重，count distinct会存在一定误差，而且必须有一维和时间相关，业务上存在限制。kylin采用预计算的技术，但实时性不高，而且遇到大规模的指标体系，需要占用庞大的资源，并且预计算耗时很长。presto/impala等实时计算引擎实时计算响应时间较长，特别是复杂指标响应时间很长，无法满足秒级内响应的需要。elasticsearch无法精准去重，和druid一样存在精度误差，而且高基数维度组合(高桶数)支持不佳。
45.为满足业务方的时效性要求，本实施例提供一种报表生成方法、装置、电子设备及计算机可读介质，能有效解决bi领域的时效问题。
46.以下将结合具体实施例对本技术技术方案作进一步描述。
47.实施例一
48.如图1所示，本实施例提供一种报表生成方法，用于bi领域配合业务方提供决策依据。该方法包括如下步骤：
49.s1、接收用户在web界面输入的指标配置信息。
50.具体的，本实施例提供的报表生成方法是基于web浏览器建设的，用户可以直接通过普通web浏览器访问可视化设计页面，在指标可视化交互器页面设计输入所需要的指标内容，即输入指标内容配置信息。
51.示例性的，本实施例通过配置指标配置可视化交互器进行人机交互，接收用户设计的指标内容，以所见即所得的可视化界面提供用户操作，进行指标的设计以及相关指标的缓存配置。进一步，此处的缓存配置内容包括在各种维度组合下的的指标定义情况以及对应的缓存方法。
52.可以理解的是，在bi领域中，为配合业务需要，指标繁多且不统一，直接导致指标使用不方便甚至指标结果不一致。本实施例中的指标按照不同的指标维度的划分。
53.示例性的，指标维度划分如下：基础属性包括了名称、编码、类型、是否公共维度、父维度、状态等信息；业务属性包括业务口径、口径调整频率等信息；技术属性包括了对应表名、技术口径、维度对应字段、维值对应字段、父维度字段等信息；服务属性包括了缓存来
源、缓存存储信息等信息。
54.示例性的，在上述指标维度划分基础上，指标划分如下：基础属性包括名称、编码、类型、状态等信息。业务属性包括业务口径、口径调整频率、敏感等级等信息。技术属性包括了对应表名、技术口径、指标对应字段等信息。服务属性包括了缓存来源、缓存方式、缓存存储信息等信息。此外关键的是：以上内容是基于与不同维度组合下产生的一个结果映射，例如，某个统计合计值的指标，当维度关联分别为年度维度和月份维度时，实际的技术属性、服务属性可能是完全不同的两组信息。
55.因此，本实施例中的指标配置信息包括按照上述不同指标维度下的至少一个指标。本实施例通过指标、指标维度的组合配置，产生多组缓存实例的映射，对不同特性的内容分别处理，从而解决基于海量数据分析，分析数据量大、分析维度多、组合维度多、还涉及高基数维度的问题。
56.s2、建立指标配置信息与相应目标数据源的第一关联关系。
57.具体的，步骤s2包括：
58.s21、解析指标配置信息获得至少一个指标名称、至少一个指标维度、至少一个预设模型，每一预设模型与目标数据源相对应。
59.其中，预设模型包括海量批量指标缓存模块、精准去重指标缓存模块、海量单一指标缓存模块以及其他按功能需求自定义的模块。
60.s22、根据至少一个指标名称、至少一个指标维度建立至少一个关联组，任一关联组包括的指标名称与指标维度相关联。
61.进一步的，步骤s22包括：
62.提取每一指标名称的指标编码，以及提取每一指标维度的维度编码；
63.根据预先构建的指标编码与维度编码的对应关系，建立至少一个关联组。
64.s23、建立任一关联组与预设模型的第二关联关系。
65.具体的，步骤s23包括：
66.基于关联组，解析获得与预设模型对应的模型调用参数；
67.根据模型调用参数匹配相应的预设模型并构建第二关联关系。
68.s24、基于第二关联关系，建立关联组与目标数据源的第一关联关系。
69.s3、基于指标配置信息、目标数据源，通过与目标数据源匹配的预设模型生成报表。
70.具体的，步骤s3包括：
71.s31、调用与目标数据源匹配的预设模型；
72.s32、向目标数据源调用目标元数据。
73.在一种优选的实施方式中，目标元数据包括目标离线数据和/或目标实时数据中的至少一种。
74.当目标元数据为目标离线数据时，则步骤s32包括：按照预设频率向预设外部数仓获取目标离线数据并存储。
75.当目标元数据为目标实时数据时，则步骤s32包括：包括：
76.向消息中间件(如kafka)实时获取flink进行实时指标计算后发送且为预设数据格式的目标实时数据。如表名 字段名 实例数据的数据格式。
77.在数据写入时，根据数据模型的元数据信息，获取到表格主键，根据主键来进行数据的“更新”或是“插入”，避免录入重复无效的数据；另一方面，由于消息的时效性，在更新数据时，根据数据报文中的精准时间，对“最新”数据进行保留入库，“旧”数据直接丢弃处理。
78.s33、基于指标配置信息、目标元数据，通过生成报表。
79.在生成报表后，该方法还包括：通过统一端口将所生成的报表向用户输出以提供指标服务。
80.为了进一步描述该报表生成方法，本实施例结合具体应用场景作如下示例性描述。
81.本报表生成方法基于普通web浏览器对指标进行管理维护，基于部署在服务器上的模型信息管理器、指标配置可视化交互器、指标解析管理器、指标缓存加速模块集、指标服务模块等功能模块执行。
82.具体的，模型信息管理器用于对模型元数据进行管理，提供模型元数据信息的查询及存储功能。模型元数据包括模型的名称、编码、状态、维护信息、以及模型中所有字段的相关信息，如字段名、字段类型、字段长度等。基于此，用户可通过指定模型的唯一标识，查询这个模型下的所有字段信息；通过指定模型某个字段的唯一标识，查询这个字段的字段名称、字段类型、字段长度等信息。
83.指标配置可视化交互器用于人机交互，具体用于接收用户在web界面输入的指标配置信息，以实现所见即所得的可视化界面以供用户配置。
84.指标解析管理器获取用户在指标配置可视化交互器配置的指标配置信息，并进行解析，解析出至少一个指标名称、至少一个指标维度、至少一个预设模型，其中每一预设模型与目标数据源相对应。根据至少一个指标名称、至少一个指标维度建立至少一个关联组，任一关联组包括的指标名称与指标维度相关联。建立任一关联组与预设模型的第二关联关系，并基于第二关联关系，建立关联组与目标数据源的第一关联关系。
85.指标缓存加速模块集包含了指标缓存加速模块的集合，每个模块的技术特性不同，提供的服务能力也不同，至少包括支撑三种场景的模块，包括海量批量指标缓存类型加速模块、精准去重指标缓存类型加速模块、海量单一指标缓存类型加速模块。后续根据需要可以进行横向扩展。
86.海量批量指标缓存类型加速模块为核心主要模块，用于存储普通的指标缓存加速数据，大部分的指标都可以使用这个加速模块来存放，而且指标支持再加工处理，如进行求和、取最大值等，用来支撑报表等场景，示例性的，采用postgresql citus集群来达成目标，也可用druid等解决方案。
87.精准去重指标缓存类型加速模块用于存储需要在动态范围内精准去重(即count distinct)的指标缓存加速数据，少量指标有这个需求可以使用这个加速模块来存放，示例性的，采用是postgresql citus集群来达成目标。
88.海量单一指标类型加速模块：用于存储单体海量的指标，少量指标有这个需求可以使用这个加速模块来存放，示例性的，采用是hbase来达成目标。
89.指标服务模块向用户端提供统一的指标服务，本实施例中，可接收用户在web浏览器上设置的批量的指标配置信息并进行批量处理，并通过指标服务模块这对用户进行统一
扎口，从而有效解决异构源问题。
90.综上，本实施例提供一种报表生成方法通过将用户输入的指标配置信息和相应目标数据源建立第一关联关系，能迅速向相应的数据源获取数据，避免海量搜索，减小运算量，提高反应时间，且本技术的报表生成方法为web浏览器数据分析产品，相较于现有技术中此类产品直连目标数据库的方案，不影响目标数据库的性能优化。
91.实施例二
92.为执行实施例一中的报表生成方法，本实施例提供一种与之对应的报表生成装置，如图2所示，该装置包括：
93.接收模块，用于接收用户在web界面输入的指标配置信息。
94.关联模块，用于建立指标配置信息与相应目标数据源的第一关联关系。
95.所述关联模块包括：
96.解析单元，用于解析所述指标配置信息获得至少一个指标名称、至少一个指标维度、至少一个所述预设模型，每一所述预设模型与目标数据源相对应；
97.构建单元，用于根据所述至少一个指标名称、所述至少一个指标维度建立至少一个关联组，任一所述关联组包括的指标名称与指标维度相关联。
98.所述构建单元还用于：提取每一所述指标名称的指标编码，以及提取每一所述指标维度的维度编码；根据预先构建的所述指标编码与维度编码的对应关系，建立至少一个所述关联组。
99.第一关联单元，用于建立任一所述关联组与所述预设模型的第二关联关系。
100.所述第一关联单元还用于：基于所述关联组，解析获得与所述预设模型对应的模型调用参数；根据所述模型调用参数匹配相应的预设模型并构建第二关联关系。
101.第二关联单元，用于基于所述第二关联关系，建立所述关联组与所述目标数据源的第一关联关系。
102.生成模块，用于基于所述指标配置信息、所述目标数据源，通过与所述目标数据源匹配的预设模型生成所述报表。所述生成模块包括：
103.第一调用单元，用于调用与所述目标数据源匹配的预设模型
104.第二调用单元，用于向所述目标数据源调用目标元数据；
105.生成单元，用于基于所述指标配置信息、所述目标元数据，通过所述预设模型生成所述报表。
106.其中，所述目标元数据包括目标离线数据；所述第二调用单元用于：按照预设频率向预设外部数仓获取目标离线数据并存储。
107.所述目标元数据包括目标实时数据；所述第二调用单元用于：向消息中间件实时获取flink进行实时指标计算后发送且为预设数据格式的目标实时数据。
108.需要说明的是：上述实施例提供的报表生成装置在触发报表生成业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的报表生成装置与其提供的报表生成方法的实施例属于同一构思，即该装置是基于该方法的，其具体实现过程详见方法实施例，这里不再赘述。
109.另外对应于上述报表生成方法及装置，本实施例还提供一种电子设备，包括：
110.一个或多个处理器；以及
111.与一个或多个处理器关联的存储器，存储器用于存储程序指令,程序指令在被一个或多个处理器读取执行时，执行上述实施例公开的报表生成方法。
112.其中，图3示例性的展示出了计算机系统的架构，具体可以包括处理器310，视频显示适配器311，磁盘驱动器312，输入/输出接口313，网络接口314，以及存储器320。上述处理器310、视频显示适配器311、磁盘驱动器312、输入/输出接口313、网络接口314，与存储器320之间可以通过通信总线330进行通信连接。
113.其中，处理器310可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术所提供的技术方案。
114.存储器320可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器320可以存储用于控制电子设备300运行的操作系统321，用于控制电子设备300的低级别操作的基本输入输出系统(bios)。另外，还可以存储网页浏览器323，数据存储管理系统324，以及设备标识信息处理系统325等等。上述设备标识信息处理系统325就可以是本技术实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本技术所提供的技术方案时，相关的程序代码保存在存储器320中，并由处理器310来调用执行。
115.输入/输出接口313用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
116.网络接口314用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
117.总线330包括一通路，在设备的各个组件(例如处理器310、视频显示适配器311、磁盘驱动器312、输入/输出接口313、网络接口314，与存储器320)之间传输信息。
118.另外，该电子设备300还可以从虚拟资源对象领取条件信息数据库中获得具体领取条件的信息，以用于进行条件判断，等等。
119.需要说明的是，尽管上述设备仅示出了处理器310、视频显示适配器311、磁盘驱动器312、输入/输出接口313、网络接口314，存储器320，总线330等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本技术方案所必需的组件，而不必包含图中所示的全部组件。
120.特别地，根据本技术的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储器被安装，或者从rom被安装。在该计算机程序被处理器执行时，执行本技术的实施例的方法中限定的上述功能。
121.需要说明的是，本技术的实施例的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(radio frequency，射频)等等，或者上述的任意合适的组合。
122.上述计算机可读介质可以是上述服务器中所包含的；也可以是单独存在，而未装配入该服务器中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该服务器执行时，使得该服务器：响应于检测到终端的外设模式未激活时，获取终端上应用的帧率；在帧率满足息屏条件时，判断用户是否正在获取终端的屏幕信息；响应于判断结果为用户未获取终端的屏幕信息，控制屏幕进入立即暗淡模式。
123.可以以一种或多种程序设计语言或其组合来编写用于执行本技术的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
124.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
125.以上对本技术所提供的终端设备标识信息处理方法、装置及电子设备，进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据
本技术的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本技术的限制。
126.上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。