一种可视化简报文件的生成方法、系统及存储介质与流程

1.本发明涉及计算机技术领域，尤其是一种可视化简报文件的生成方法、系统、装置及存储介质。


背景技术：

2.现在使用的报表系统需要依据数据的各个维度进行前端梳理，并通过预先开发，才能展示相对固定报表内容，而对于其他场景类型的报表则需要进行单独开发。而传统的人工编写分析报告，受制于人员水平的高低、数据的获取通道多源性、准确性、及时性等方面影响，编写一份直观和详尽的报告，往往会耗费相当大的工作量，且在单位时间和易用性上效率都较为低下。
3.另外，在实际工作当中，还常常面临着不同业务层面的需求，工作具体要求不一致时，需要专业资深人员去跨越查询不同的报表，核对不同界面的接口数据后，再根据不同报表数据内容核对分析整理。整个流程较为繁琐，且操作过于复杂，不能快捷地汇整所需要的所有报表内容。最后，随着信息化的不断发展，横向、纵向业务的不断扩展及各个平台的深度整合，异构系统及异构数据库等众多问题也是妨碍综合性可视化多类型简报的快捷输出的技术瓶颈。


技术实现要素：

4.有鉴于此，为至少部分解决上述技术问题之一，本发明实施例目的在于提供一种配置更为灵活，能够满足多种多样的需求，并且输出结果更为直观的可视化简报文件的生成方法；同时本实施例还提供了对应的实现该方法的系统及计算机可读的存储介质。
5.第一方面，本技术的技术方案提供了一种可视化简报文件的生成方法，其步骤包括：
6.获取第一数据，将所述第一数据的数据字段进行标准化，得到第二数据；
7.根据所述第二数据构建可视化数据模型；
8.获取查询参数，根据所述查询参数通过所述可视化数据模型生成简报段落；
9.将所述简报段落进行异步加载至简报页面，生成简报报文。
10.在本技术方案的一种可行的实施例中，所述第一数据包括：数值类型数据、时间类型数据、代码类型数据以及空数据；所述获取第一数据，将所述第一数据的数据字段进行标准化，得到第二数据，其包括以下步骤至少之一：
11.统一所述数值类型数据的数据精度，确定数据类型的浮点数；
12.统一所述时间类型数据的时间格式；
13.根据预设的代码数值，对所述代码类型数据中的代码数值进行替换；
14.填充所述空数据。
15.在本技术方案的一种可行的实施例中，所述根据所述第二数据构建可视化数据模型，其包括：
16.从数据仓库中获取数据源，所述数据仓库由所述第二数据构建得到；
17.匹配所述数据源的表结构，将所述数据源进行条件组合，生成数据包；
18.所述数据包为所述可视化数据模型的输入；所述条件组合中的条件包括以下三者至少之一：关系条件、过滤条件以及运算条件。
19.在本技术方案的一种可行的实施例中，所述获取查询参数，根据所述查询参数通过所述可视化数据模型生成简报段落这一步骤，其包括：
20.根据所述查询参数触发数据处理指令；
21.响应所述数据处理指令，加载所述数据包；
22.根据所述查询参数生成运算任务，根据所述运算任务将所述数据包切分得到若干运算切片；
23.将所述运算切片的数据值进行自然语言处理，得到所述简报段落。
24.在本技术方案的一种可行的实施例中，将所述简报段落进行异步加载至简报页面，生成简报报文这一步骤，其包括：
25.根据所述查询参数确定简报报文的类型，根据所述简报报文的类型对所述简报段落进行配置，异步加载配置后的简报段落，得到所述简报报文；
26.所述配置的过程包括以下步骤至少之一：排名分析、同环比分析、组织机构分析、总计分析、数量分析以及时段分析。
27.在本技术方案的一种可行的实施例中，将所述简报段落进行异步加载至简报页面，生成简报报文这一步骤，其还包括：
28.生成简报报文模板，并将所述简报报文模板存储至本地；
29.所述简报报文模板中包括若干数据标签。
30.在本技术方案的一种可行的实施例中，所述生成方法还包括以下步骤：
31.通过图表展示所述可视化数据模型的数据分析指标；所述图表包括饼状图、柱状图、折线图、列表以及gis地图。
32.第二方面，本发明的技术方案还提供一种可视化简报文件的生成的软件系统，其包括：
33.数据整合单元，用于获取第一数据，将所述第一数据的数据字段进行标准化，得到第二数据；
34.模型构建单元，用于根据所述第二数据构建可视化数据模型；
35.任务获取单元，用于获取查询参数；
36.报文整合单元，用于根据所述查询参数通过所述可视化数据模型生成简报段落，将所述简报段落进行异步加载至简报页面，生成简报报文。
37.第三方面，本发明的技术方案还提供一种可视化简报文件的生成的硬件系统，其包括：
38.至少一个处理器；
39.至少一个存储器，用于存储至少一个程序；
40.当至少一个程序被至少一个处理器执行，使得至少一个处理器运行第一方面中的一种可视化简报文件的生成方法。
41.第四方面，本发明的技术方案还提供了一种存储介质，其中存储有处理器可执行
的程序，处理器可执行的程序在由处理器执行时用于运行第一方面中的方法。
42.本发明的优点和有益效果将在下面的描述中部分给出，其他部分可以通过本发明的具体实施方式了解得到：
43.本技术的技术方案将采集得到的数据通过可视化数据建模，从而根据任务需求的查询参数得到简报段落的文本内容，解决系统业务分析简报制作困难、复杂且耗时久等问题；然后根据得到的简报段落通过异步加载，组合得到简报报文，相较于手工制作简报或固定开发的模式，在配置上更灵活性且展示内容更加多样性，同时在数据分析统计上也更加高效。
附图说明
44.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1为本发明实施例提供的一种可视化简报文件的生成方法的步骤流程图；
46.图2为本发明实施例中一种可视化简报文件的生成方法的网络结构示意框图；
47.图3为本发明实施例提供的另一种可视化简报文件的生成方法的步骤流程图。
具体实施方式
48.下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
49.本技术的技术方案是通过可视化配置的方式自动生成word、html、pdf、ppt多类型的包含文字和/或图表简报文件。
50.在第一方面，如图1所示，本技术的技术方案提供了一种可视化简报文件的生成方法的实施例，其中，方法包括步骤s01
‑
s04：
51.s01、获取第一数据，将第一数据的数据字段进行标准化，得到第二数据。
52.其中，第一数据即为统计得到的各类数据；进而从海量的数据中可以确定数据的多个维度的属性字段。第二数据为第一数据进行数据预处理去除了数据中的噪声，并对离群值以及空值等错误数据进行删除或修正。
53.具体地，数据预处理可以为后续数据建模运算提供高质量数据保证，其包括但不限于：数据清洗、转换(标准化)、装载。在实施例中，需要将海量的数据聚类存储至不同的数据仓库，通过在数据同步仓库过程中，将来自不同业务系统的数据进行清洗处理，去除数据中的噪声数据，避免影响输出的可视化简报的内容。并将数据统一转换成标准字段，统一数值口径内容，防止出现运算错误。
54.在一些可选的实施例中，第一数据可以包括：数值类型数据、时间类型数据、代码类型数据以及空数据等类型的数据；在步骤s01、获取第一数据，将第一数据的数据字段进
行标准化，得到第二数据的过程中，可以包括更为细分的处理步骤s011
‑
s014：
55.s011、统一数值类型数据的数据精度，确定数据类型的浮点数；
56.s012、统一时间类型数据的时间格式；
57.s013、根据预设的代码数值，对代码类型数据中的代码数值进行替换；
58.s014、填充空数据。
59.具体地，针对数值类型数据，例如金额、人员年龄、人数等数据，需要统一转换数据精度，验证是否为对应的数据类型，防止运算浮点溢出。针对时间类型数据，例如时间、出生日期等数据，需要统一转换为时间格式，以防止运算类型不匹配。针对代码类型数据，例如单位组织机构代码、人员性别等数据，需要统一转换为对应的代码表数值，防止数据错误造成统计偏差。针对空类型数据，则可以采用均值或众数进行填充，数据中出现往往出现很多空格或者数据为空，需要防止空指针异常。
60.s02、根据第二数据构建可视化数据模型；
61.其中，可视化数据模型是用于将存储的数据进行可视化展示的模型，能够根据交互界面查询条件中的查询参数，根据查询参数，查询数据表和统计信息，自动生成为词句清晰规范的符合自然语义语法的目标简报。其中查询的数据表以及统计信息，是通过数据清洗以及标准化后的数据，即第二数据。
62.如图2所示，在一些可行的实施例中，步骤s02根据第二数据构建可视化数据模型这一过程，其可以进一步细分为步骤s021
‑
s022：
63.s021、从数据仓库中获取数据源，其中，数据仓库由第二数据构建得到；
64.示例性地，本技术实施例将异构数据库中的数据统一抽取到本地数据仓库；通过datax 框架服务构建支持mysql、oracle、postgresql、kafka、elasticsearch等数据源格式，可将这些类型数据源数据同步到本地数据仓库，并支持增量数据同步及定时同步策略，设置同步频次及时间点等策略，保证数据更新的实时性。
65.s022、匹配数据源的表结构，将数据源进行条件组合，生成数据包；
66.其中，数据包为可视化数据模型的输入；条件组合中的条件包括以下三者至少之一：关系条件、过滤条件以及运算条件。
67.具体地，在进行可视化数据建模的过程中，创建简报模板名称，根据功能需求或者指令，在新的报表中添加对应的功能信息项。再从数据仓库中选择需要使用的数据源，自动匹配展示对应数据源的表结构中选择所需的业务表，之后将自动匹配相应的数据表的数据列。然后依据所选的一个或多个数据列字段类型、长度、别名等信息，提供可视化的参数筛选条件配置，通过条件组合模式将为运算服务提取数据包。示例性地，条件组合模式中的条件如下所示：
68.关系条件分为：且、或关系，当为且关系时，表示必须满足a和b，当为或关系时，a 和b只要一方满足即可。
69.过滤条件包括10个维度模式：精准匹配、在列表中、等于、不等于、大于等于、小于等于、为空、不为空、包含以及不包含。
70.运算条件是满足多表关联运算规则，包括：左连接、右连接、内连接以及全连接；例如：通过以c表为基础，根据后给出表的条件将其表连接起来。结果会将c表所有的查询信息列出，而d表只列出条件与c表满足的部分。通过这些运算规则可以实现多表关联查询，满足
复杂业务统计运算的要求。
71.s03、获取查询参数，根据查询参数通过可视化数据模型生成简报段落；
72.其中，查询参数是通过交互界面获取得到的用户指令、进而从指令中提取得到的参数，根据参数生成任务请求，并将任务请求发送至建模运算基础分布式节点，该分布式节点接收任务请求后，同时向全网广播自身的业务状态信息，包括数据存储分片、空闲的任务数以及硬件计算资源的负载情况等等。然后，再通过etl数据交换工具将已经预处理的数据包中数据进行提取并装载到运算模型服务节点，由运算模型服务节点根据已经构建完成的可视化数据模型，转化得到若干简报段落。
73.在一些可行的实施例中，步骤s03、获取查询参数，根据查询参数通过可视化数据模型生成简报段落这一过程，其可以进一步细分为步骤s031
‑
s034：
74.s031、根据查询参数触发数据处理指令；
75.s032、响应数据处理指令，加载数据包；
76.s033、根据查询参数生成运算任务，根据运算任务将数据包切分得到若干运算切片；
77.s034、将切片中的数据值进行自然语言处理，得到简报段落。
78.具体地，当交互界面获取得到的用户指令，从指令中解析查询参数，同时触发数据处理指令，触发该指令之后，运算模型服务节点从数据仓库，加载数据的数据包输入至可视化数据模型，模型通过运算任务中所包含的查询参数，进行运算得到若干运算切片，在该运算切片中所包括的数据是通过可视化数据模型处理后得到的数据，例如可通过筛选的方式滤除与运算任务无关的其他数据，再经过自然语义处理，将数据值转换为可以阅读使用的简报段落。
79.s04、将简报段落进行异步加载至简报页面，生成简报报文。
80.具体地，由于显示的简报内容篇幅通常较长，需通过异步加载的方式，将简报内容按照段落进行分段加载，极大优化程序响应时间。在本技术的实施例中，是通过jquery.load()页面的方式，从运算服务节点获取段落运算模板，分段加载拼接在简报页面中，并将数据保存在缓存中。通过异步的加载模式，运算引擎将并发计算简报段落，加载运算数据，使得整体内容展现更加高效。
81.在一些可选的实施例中，步骤s04、将简报段落进行异步加载至简报页面，生成简报报文这一过程，可以进一步具体为：步骤s041、根据查询参数确定简报报文的类型，根据简报报文的类型对简报段落进行配置，异步加载配置后的简报段落，得到简报报文；其中，配置的过程包括以下步骤至少之一：排名分析、同环比分析、组织机构分析、总计分析、数量分析以及时段分析。
82.更为具体地，在将数据转换为可以阅读使用的简报段落后，本技术实施例还可以根据不同类型的简报进行配置，得到每种类型的简报语义配置。示例性地，配置的具体内容如下：
83.针对排名分析，获取排名前n的语句，通过输出的其转换前的切片数据e，对其进行大小排序，并当m总数量en小于n，则输出语句为排名前em逻辑语句。
84.针对同环比分析，获取同环比统计语句，本期总量为b，通过设置分析时间字段，调整同比查询时间为去年同期时间范围，输出总量为q，环比查询时间范围为上月同期时间范
围，输出总量为s，计算环比t＝(b
‑
s)/s*100％，同比h＝(b
‑
q)/q*100％。当同环比为负数时，语句显示为：
‘
下降’，正数则显示为：
‘
上升’，等于0则显示为：
‘
持平’。
85.针对组织机构分析，简报内容严格按照组织机构编码进行排序，当多个组织总量相同时，也以组织机构优先顺序进行排序，满足行业其本身业务体系的规范要求。
86.针对总计分析，输出合计总额，如针对总金额表述时，需满足转换数字为中文大写格式且转为自然语言数值格式，例如表述为“金额超过2亿元”。
87.针对数量分析，输出数据数量值，包括日均、月均计算规则。
88.针对时段分析，通过设置分析时间字段，按照每日24小时进行归档，计算每个时段数据情况，以列表明细形式输出每时段的业务分析。
89.在一些可选的实施例中，步骤s04、将简报段落进行异步加载至简报页面，生成简报报文这一过程，还可以包括步骤s042、生成简报报文模板，并将简报报文模板存储至本地；其中，简报报文模板中包括若干数据标签。
90.具体地，本技术实施例在配置完简报内容后，生产对应的xml文件，其中数据标签使用 ${template}标签格式，对应的标签序号采用哈希值生成，模板与简报的对应关系保存在服务器本地模板库中。
91.在一些可选的实施例中，可视化简报文件的生成方法还可以包括步骤s05、通过图表展示可视化数据模型的数据分析指标；其中图表包括饼状图、柱状图、折线图、列表以及gis地图。
92.具体地，本技术实施例除了显示简报文字统计之外，还以echarts框架制作图形图表方式显示数据分析指标，其包括但不限于：饼状图、柱状图、折线图、列表、gis地图等。其中，饼状图、柱状图、折线图、列表因数据格式相同，都是两维或三维的数据展示形式。可根据需求相互之间切换成不同类型的图表展示模式。另外，gis地图需要数据的点位数据、数据总量值，以便在地图插件上显示地点坐标位置、热力聚合情况。输出文件中涉及图表、gis 地图示例则通过canvas对象通过toblob()方法获取其对应的base64位的图片对象，再通过标签框架传递到xml模板中，使得生产的简报文件自身存储图表元素。
93.在一些其他可选的实施例中，本技术实施例还可以生成工作建议，将具有经验价值的工作意见保存数据仓库，在用户查看简报内容之后选择所对应的合适的工作建议，将整体内容除了数据分析内容，而且还针对性给出相应工作建议内容，使得简报的智能化程度、实战化水平更高。
94.此外，本技术实施例支持word、html、pdf、ppt文件格式的一键输出，通过采用 template模板框架。前后端标签绑定的形式将产生的后端数据内容绑定对应的${template}标签中，传递xml模板文件中所生产word、html、pdf、ppt对应格式的文件。
95.在第二方面，本技术所提供的一种用于第一方面中方法的一种可视化简报文件的生成系统，其包括：
96.数据整合单元，用于获取第一数据，将第一数据的数据字段进行标准化，得到第二数据；
97.模型构建单元，用于根据第二数据构建可视化数据模型；
98.任务获取单元，用于获取查询参数；
99.报文整合单元，用于根据查询参数通过可视化数据模型生成简报段落，将简报段
落进行异步加载至简报页面，生成简报报文。
100.如图3所示，在本技术的实施例中，模型构建单元可以进一步细分为简报命名模块、数据源模块、配置筛选模块、运算管理模块、自然语义服务模块以及模板文件模块；
101.其中，简报命名模块，用于创建简报模板名称,根据功能指令，向新的报表中添加对应的功能信息项；数据源模块，用于从数据仓库中选择需要使用的数据源，自动匹配展示对应数据源的表结构,从中选择所需的业务表，之后将自动匹配相应的数据表的数据列；配置筛选模块，依据所选的一个或多个数据列字段类型、长度、别名等信息，提供可视化的参数筛选条件配置,通过条件组合模式将为运算服务提取数据包。运算管理模块，该模块是建模运算基础分布式节点，其对内管理所属的算法运算服务和所需的硬件计算资源；对外接收发起的数据处理任务请求，同时向全网广播自身的业务状态信息，包括数据存储分片、空闲的任务数以及硬件计算资源的负载情况等等；模板文件模块，用于存储模板文件。
102.第三方面，本技术的技术方案还提供一种可视化简报文件的生成硬件系统，其包括至少一个处理器；至少一个存储器，用于存储至少一个程序；当至少一个程序被至少一个处理器执行，使得至少一个处理器运行如第一方面中的一种可视化简报文件的生成方法。
103.本发明实施例还提供了一种存储介质内存储有程序，程序被处理器执行，实现如第一方面中的方法。
104.从上述具体的实施过程，可以总结出，本发明所提供的技术方案相较于现有技术存在以下优点或优势：
105.1)本技术实施例解决系统业务分析简报制作困难、复杂且耗时久等问题，提出一种基于智能可视化简报制作的方法，相比以往手工制作简报或固定开发的模式，在配置上更灵活性且展示内容更加多样性，同时在数据分析统计上也更加高效。
106.2)本技术实施例通过本发明自动化智能简报输出支持word、html、pdf、ppt等多种类型，满足用户不同工具、不同场景下的阅览需求，且方便直接打印。
107.在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
108.此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
109.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用
于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
110.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
111.尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
112.以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。