可灵活更新数据的方法、装置、计算机设备及存储介质与流程

1.本发明涉及业务数据处理，更具体地说是一种可灵活更新数据的方法、装置、计算机设备及存储介质。


背景技术：

2.当前在企业发展迅速的背景下，业务迅速增长，而反映在数仓中，最明显的就是数据量的增长，并且之前模型规划中并不包含该业务逻辑，所以需要重新开发或者调整模型，并在adso中存储大量新业务数据(上亿级别)，导致不能一次性全量的更新到adso模型，在更新数据时，sap bw4不同于别的数仓，用于补数的dtp中，由于不能同时全量更新所有数据，此时需要手工在dtp中设置更新数据上载范围(一般按时间)，这时，由于adso模型的数量原因，让每次更新一个adso模型，需要手动调整一次dtp的数据上载范围，不仅效率低下，而且易出错。


技术实现要素：

3.本发明的目的在于克服现有技术的不足，提供可灵活更新数据的方法、装置、计算机设备及存储介质。
4.为实现上述目的，本发明采用以下技术方案：
5.第一方面，可灵活更新数据的方法，所述方法包括：
6.配置全局dtp filter参数；
7.从源系统数据库中提取数据；
8.根据配置的全局dtp filter参数对提取数据进行过滤和筛选；
9.使用se37程序执行临时处理链，将过滤和筛选后的数据更新至目标系统的adso中。
10.其进一步技术方案为：所述的配置全局dtp filter参数，具体包括：
11.创建自定义配置表；
12.设定过滤变量类型；
13.选择过滤变量类型的筛选范围。
14.其进一步技术方案为：所述过滤变量类型为时间类型。
15.其进一步技术方案为：所述的根据配置的全局dtp filter参数对提取数据进行过滤和筛选，具体包括：
16.运行配置的全局dtp filter参数；
17.使用abap语言读取过滤变量类型的筛选范围；
18.按照过滤变量类型的筛选范围选取数据。
19.第二方面，可灵活更新数据的装置，所述装置包括配置单元、提取单元、过滤和筛选单元以及更新单元；
20.所述配置单元，用于配置全局dtp filter参数；
21.所述提取单元，用于从源系统数据库中提取数据；
22.所述过滤和筛选单元，用于根据配置的全局dtp filter参数对提取数据进行过滤和筛选；
23.所述更新单元，用于使用se37程序执行临时处理链，将过滤和筛选后的数据更新至目标系统的adso中。
24.其进一步技术方案为：所述配置单元包括创建模块、设定模块以及选择模块；
25.所述创建模块，用于创建自定义配置表；
26.所述设定模块，用于设定过滤变量类型；
27.所述选择模块，用于选择过滤变量类型的筛选范围。
28.其进一步技术方案为：所述过滤变量类型为时间类型。
29.其进一步技术方案为：所述过滤和筛选单元包括运行模块、读取模块以及选取模块；
30.所述运行模块，用于运行配置的全局dtp filter参数；
31.所述读取模块，用于使用abap语言读取过滤变量类型的筛选范围；
32.所述选取模块，用于按照过滤变量类型的筛选范围选取数据。
33.第三方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的方法步骤。
34.第四方面，一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，使得所述处理器执行如上述的方法步骤。
35.本发明与现有技术相比的有益效果是：本发明通过配置的全局dtp filter参数，能够灵活设定全局dtp filter参数，灵活设置上载数据的范围，提高了数据处理的效率，有效节约人力成本和维护成本，避免了数据处理易出错的问题。
36.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征及优点能够更明显易懂，以下特举较佳实施例，详细说明如下。
附图说明
37.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明具体实施例提供的可灵活更新数据的方法的流程图一；
39.图2为本发明具体实施例提供的可灵活更新数据的方法的流程图二；
40.图3为为本发明具体实施例提供的可灵活更新数据的方法的流程图三；
41.图4为为本发明具体实施例提供的可灵活更新数据的装置的示意性框图一；
42.图5为为本发明具体实施例提供的可灵活更新数据的装置的示意性框图二；
43.图6为为本发明具体实施例提供的可灵活更新数据的装置的示意性框图三；
44.图7为为本发明具体实施例提供的一种计算机设备的示意性框图。
具体实施方式
45.下面将结合本发明具体实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.应当理解，当在本说明书和权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
47.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
48.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
49.图1为本发明具体实施例提供的可灵活更新数据的方法的流程图，如图1所示，可灵活更新数据的方法包括以下步骤：s10、s20、s30和s40。
50.s10、配置全局dtp filter参数。
51.转换定义了数据从源对象到目标对象进行转变的规则，而源数据进行转变并加载到目标对象这一动作的触发以及数据传输的具体方式则是由数据传输进程控制的。数据传输进程(简称dtp，data transfer process)总是与特定的转换相联系的，它规定了转换所定义的动作的具体实现方式。数据传输进程使数据仓库层的数据传输更具有透明性和可操作性。优化的并行传输机制提高了数据传输的性能。如果同一源对象同时更新多个目标对象，可以使用独立的数据传输进程进行分别的增量管理和数据筛选，互不干扰。数据传输进程可用于标准的数据传输，也可用于实时的数据获取和直接到源系统的数据访问。
52.数据传输进程所起的作用与信息包有相似之处，都起到了触发与控制数据传输动作的作用。所不同的是，信息包控制数据从源系统到bw系统的数据传输:而数据传输进程控制的是数据在bw系统内部不同数据对象之间的数据传输。转换定义了bw系统中不同对象之间的数据传输、变换的规则，例如，从数据源到adso从数据源到信息立方体、从adso到信息立方体等。作为对转换动作的控制者，数据传输进程相应地控制着不同的数据对象之间的数据传输。同时，数据传输进程也用于控制数据从sap bw系统到其他外部系统的数据传输。
53.如图2所示，步骤s10具体包括以下子步骤：s101、s102和s103。
54.s101、创建自定义配置表。
55.s102、设定过滤变量类型。
56.s103、选择过滤变量类型的筛选范围。
57.对于步骤s101、s102和s103，全局dtp filter参数可以自行配置，可以灵活设定过滤变量类型，例如过滤变量类型可以是时间类型，亦可以是关键字等等，本实施例中，过滤变量类型为时间类型，即本实施例中，是按照时间类型进行上载数据，时间类型为年月，例如开始时间为202101，截止时间为202108，那么通过此配置后，可以筛选出从202101到202108之间的数据。
58.s20、从源系统数据库中提取数据。
59.本实施例中，源系统为erp源系统，从erp源系统过来的底表数据，通过slt工具实时同步到sap bw4 hana数据库中，再基于逻辑将底表数据处理成hana视图。
60.s30、根据配置的全局dtp filter参数对提取数据进行过滤和筛选。
61.在adso模型的dtp上面进行对不需要的数据进行清洗，过滤，从而只取我们需要的数据。
62.如图3所示，步骤s30具体包括以下子步骤s301、s302和s303。
63.s301、运行配置的全局dtp filter参数；
64.s302、使用abap语言读取过滤变量类型的筛选范围；
65.s303、按照过滤变量类型的筛选范围选取数据。
66.对于步骤s301、s302和s303，通过运行配置的全局dtp filter参数，可知道数据筛选的类型和范围，从而可根据数据的类型和范围便可筛选出需要的数据。
67.s40、使用se37程序执行临时处理链，将过滤和筛选后的数据更新至目标系统的adso中。
68.临时处理链指的是该处理链用我们新增的可供灵活修改时间范围的dtp执行并同步数据，调用标准的功能函数rspc_api_chain_start执行。
69.使用本发明的方法后，在后续adso需要上载某一段时间内的数据，或者针对数据量极大的模型，可以简单的分步完成，在自建表中设置好数据上载范围即可。在流程上从最开始需要大量手工调整执行的步骤，到目前仅需要配置好自建表并后台执行处理链，目前几乎不存在时间成本，因此对于用户也好，开发人员也好，我们都可以进行灵活的配置自建表去更新数据，此步骤简单明了，易理解，易操作，有效节约人力成本，维护成本。
70.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
71.对应于上述的可灵活更新数据的方法，本发明具体实施例还提供了一种可灵活更新数据的装置。请参考图4，可灵活更新数据的装置100，包括配置单元110、提取单元120、过滤和筛选单元130以及更新单元140。
72.配置单元110，用于配置全局dtp filter参数。
73.提取单元120，用于从源系统数据库中提取数据。
74.过滤和筛选单元130，用于根据配置的全局dtp filter参数对提取数据进行过滤和筛选。
75.更新单元140，用于使用se37程序执行临时处理链，将过滤和筛选后的数据更新至目标系统的adso中。
76.进一步地，请参考图5，配置单元110包括创建模块111、设定模块112以及选择模块113。
77.创建模块111，用于创建自定义配置表。
78.设定模块112，用于设定过滤变量类型。
79.选择模块113，用于选择过滤变量类型的筛选范围。
80.其中，过滤变量类型为时间类型。
81.进一步地，请参考图6，过滤和筛选单元130包括运行模块131、读取模块132以及选
取模块133。
82.运行模块131，用于运行配置的全局dtp filter参数。
83.读取模块132，用于使用abap语言读取过滤变量类型的筛选范围。
84.选取模块133，用于按照过滤变量类型的筛选范围选取数据。
85.如图7所示，本发明具体实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的可灵活更新数据的方法步骤。
86.该计算机设备700可以是终端或服务器。该计算机设备700包括通过系统总线710连接的处理器720、存储器和网络接口750，其中，存储器可以包括非易失性存储介质730和内存储器740。
87.该非易失性存储介质730可存储操作系统731和计算机程序732。该计算机程序732被执行时，可使得处理器720执行任意一种可灵活更新数据的方法。
88.该处理器720用于提供计算和控制能力，支撑整个计算机设备700的运行。
89.该内存储器740为非易失性存储介质730中的计算机程序732的运行提供环境，该计算机程序732被处理器720执行时，可使得处理器720执行任意一种可灵活更新数据的方法。
90.该网络接口750用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。其中，所述处理器720用于运行存储在存储器中的程序代码，以实现以下步骤：
91.配置全局dtp filter参数；
92.从源系统数据库中提取数据；
93.根据配置的全局dtp filter参数对提取数据进行过滤和筛选；
94.使用se37程序执行临时处理链，将过滤和筛选后的数据更新至目标系统的adso中。
95.其进一步技术方案为：所述的配置全局dtp filter参数，具体包括：
96.创建自定义配置表；
97.设定过滤变量类型；
98.选择过滤变量类型的筛选范围。
99.其进一步技术方案为：所述过滤变量类型为时间类型。
100.其进一步技术方案为：所述的根据配置的全局dtp filter参数对提取数据进行过滤和筛选，具体包括：
101.运行配置的全局dtp filter参数；
102.使用abap语言读取过滤变量类型的筛选范围；
103.按照过滤变量类型的筛选范围选取数据。
104.应当理解，在本技术实施例中，处理器720可以是中央处理单元(central processing unit，cpu)，该处理器720还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，
asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
105.本领域技术人员可以理解，图7中示出的计算机设备700结构并不构成对计算机设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
106.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明中各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
107.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
108.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
109.在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
110.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
111.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替
换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。