数据处理方法、装置、设备及计算机存储介质与流程

1.本技术属于数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及计算机存储介质。


背景技术：

2.通常银行用来进行定价的收益率曲线分为两部分：从外部购入的市场曲线与业务人员自定义的手工曲线。但由于业务场景多样化等原因，这些曲线还需要进行一系列的复杂加工才可真正用于定价。因此，如何对曲线进行自动加工，成为曲线加工过程中亟待解决的问题。
3.现有技术中，主要通过业务人员手工计算曲线加工结果的方式，将曲线加工结果导入系统用于定价，然而，使用excel手工计算曲线容易出错，并且随着参数变更，计算使用的公式也会变更，存在操作繁琐和加工效率较低的问题。


技术实现要素：

4.本技术实施例提供一种数据处理方法、装置、设备及计算机存储介质，能够解决现有技术中进行曲线加工时操作繁琐和加工效率较低的问题。
5.第一方面，本技术实施例提供一种数据处理方法，该方法包括：
6.获取用于生成目标曲线的参数配置信息；
7.在根据所述参数配置信息确定曲线处理过程分为多个处理层级的情况下，按照所述多个处理层级对应的处理顺序，依次对每个处理层级执行如下步骤，得到所述目标曲线：
8.从所述参数配置信息中，获取当前处理层级对应的来源曲线信息、处理方式信息和处理参数信息；
9.根据所述处理方式信息，确定当前处理层级中是否存在互不依赖的多个曲线处理子过程；
10.在确定存在互不依赖的多个曲线处理子过程的情况下，根据所述来源曲线信息、处理方式信息和处理参数信息，调用多个线程并行执行所述多个曲线处理子过程；其中，一个线程用于执行一个曲线处理子过程，得到一个结果曲线，所述结果曲线用于作为所述当前处理层级的下一个处理层级对应的来源曲线。
11.在一种可选的实施方式中，所述根据所述来源曲线信息、处理方式信息和处理参数信息，调用多个线程并行执行所述多个曲线处理子过程，包括：
12.针对每个曲线处理子过程，从线程池中调用空闲线程，执行如下步骤：
13.根据所述来源曲线信息，获取目标来源曲线的曲线数据；其中，所述目标来源曲线为与当前曲线处理子过程关联的来源曲线；
14.根据所述处理方式信息和所述处理参数信息，对所述目标来源曲线的曲线数据进行处理，得到处理结果数据；
15.对所述处理结果数据进行拟合，得到目标结果曲线。
16.在一种可选的实施方式中，所述根据所述来源曲线信息，获取目标来源曲线的曲线数据，包括：
17.根据所述来源曲线信息，将所述目标来源曲线的曲线数据从曲线数据库中导出，得到第一数据文件；
18.通过所述第一数据文件，将所述目标来源曲线的曲线数据导入内存数据库；
19.从所述内存数据库中获取所述目标来源曲线的曲线数据。
20.在一种可选的实施方式中，在对所述处理结果数据进行拟合，得到目标结果曲线之后，所述方法还包括：
21.将所述目标结果曲线对应的曲线数据从所述内存数据库中导出，得到第二数据文件；
22.通过所述第二数据文件，将所述目标结果曲线对应的曲线数据存储至所述曲线数据库。
23.在一种可选的实施方式中，所述根据所述处理方式信息和所述处理参数信息，对所述目标来源曲线的曲线数据进行处理，得到处理结果数据，包括：
24.针对预设的多个处理逻辑，依次根据所述处理方式信息确定是否执行当前处理逻辑；
25.在确定执行所述当前处理逻辑的情况下，基于所述当前处理逻辑，根据所述处理参数信息对目标曲线数据进行处理，直至遍历完所述多个处理逻辑，得到处理结果数据；
26.其中，在所述当前处理逻辑为遍历的首个处理逻辑的情况下，所述目标曲线数据为所述目标来源曲线的曲线数据，在所述当前处理逻辑为除遍历的首个处理逻辑之外的其他处理逻辑的情况下，所述目标曲线数据为所述当前处理逻辑的上一个处理逻辑处理得到的曲线数据。
27.在一种可选的实施方式中，所述获取用于生成目标曲线的参数配置信息，包括：
28.按照预设周期扫描任务表，确定所述任务表中是否存在新添加的任务记录；
29.在所述任务表中存在新添加的任务记录的情况下，获取所述任务记录对应的所述参数配置信息。
30.在一种可选的实施方式中，在按照预设周期扫描任务表，确定所述任务表中是否存在新添加的任务记录之前，所述方法还包括：
31.接收用户的第一输入；
32.响应于所述第一输入，获取所述用户输入的用于生成目标曲线的所述参数配置信息；
33.根据所述参数配置信息，在所述任务表中添加新的任务记录。
34.第二方面，本技术实施例提供了一种数据处理装置，该装置包括获取模块和处理模块；
35.所述获取模块，用于获取用于生成目标曲线的参数配置信息；
36.所述处理模块，用于在根据所述参数配置信息确定曲线处理过程分为多个处理层级的情况下，按照所述多个处理层级对应的处理顺序，依次对每个处理层级执行如下步骤，得到所述目标曲线；
37.所述处理模块包括：
38.第一获取子模块，用于从所述参数配置信息中，获取当前处理层级对应的来源曲线信息、处理方式信息和处理参数信息；
39.第一确定子模块，用于根据所述处理方式信息，确定当前处理层级中是否存在互不依赖的多个曲线处理子过程；
40.调用子模块，用于在确定存在互不依赖的多个曲线处理子过程的情况下，根据所述来源曲线信息、处理方式信息和处理参数信息，调用多个线程并行执行所述多个曲线处理子过程；其中，一个线程用于执行一个曲线处理子过程，得到一个结果曲线，所述结果曲线用于作为所述当前处理层级的下一个处理层级对应的来源曲线。
41.在一种可选的实施方式中，所述调用子模块包括：
42.获取单元，用于从线程池中调用空闲线程，执行根据所述来源曲线信息，获取目标来源曲线的曲线数据；其中，所述目标来源曲线为与当前曲线处理子过程关联的来源曲线；
43.处理单元，用于根据所述处理方式信息和所述处理参数信息，对所述目标来源曲线的曲线数据进行处理，得到处理结果数据；
44.拟合单元，用于对所述处理结果数据进行拟合，得到目标结果曲线。
45.在一种可选的实施方式中，所述获取单元包括：
46.第一导出子单元，用于根据所述来源曲线信息，将所述目标来源曲线的曲线数据从曲线数据库中导出，得到第一数据文件；
47.导入子单元，用于通过所述第一数据文件，将所述目标来源曲线的曲线数据导入内存数据库；
48.获取子单元，用于从所述内存数据库中获取所述目标来源曲线的曲线数据。
49.在一种可选的实施方式中，所述装置还包括：
50.第二导出子单元，用于在对所述处理结果数据进行拟合，得到目标结果曲线之后，将所述目标结果曲线对应的曲线数据从所述内存数据库中导出，得到第二数据文件；
51.存储子单元，用于通过所述第二数据文件，将所述目标结果曲线对应的曲线数据存储至所述曲线数据库。
52.在一种可选的实施方式中，所述处理单元包括：
53.确定子单元，用于针对预设的多个处理逻辑，依次根据所述处理方式信息确定是否执行当前处理逻辑；
54.处理子单元，用于在确定执行所述当前处理逻辑的情况下，基于所述当前处理逻辑，根据所述处理参数信息对目标曲线数据进行处理，直至遍历完所述多个处理逻辑，得到处理结果数据；
55.其中，在所述当前处理逻辑为遍历的首个处理逻辑的情况下，所述目标曲线数据为所述目标来源曲线的曲线数据，在所述当前处理逻辑为除遍历的首个处理逻辑之外的其他处理逻辑的情况下，所述目标曲线数据为所述当前处理逻辑的上一个处理逻辑处理得到的曲线数据。
56.在一种可选的实施方式中，所述获取模块包括：
57.第二确定子模块，用于按照预设周期扫描任务表，确定所述任务表中是否存在新添加的任务记录；
58.第二获取子模块，用于在所述任务表中存在新添加的任务记录的情况下，获取所
述任务记录对应的所述参数配置信息。
59.在一种可选的实施方式中，所述获取模块还包括：
60.接收子模块，用于在按照预设周期扫描任务表，确定所述任务表中是否存在新添加的任务记录之前，接收用户的第一输入；
61.第三获取子模块，用于响应于所述第一输入，获取所述用户输入的用于生成目标曲线的所述参数配置信息；
62.添加子模块，用于根据所述参数配置信息，在所述任务表中添加新的任务记录。
63.第三方面，本技术实施例提供了一种电子设备，该电子设备包括：处理器以及存储有计算机程序指令的存储器；
64.处理器执行所述计算机程序指令时实现如第一方面的任一项实施例中所述的数据处理方法的步骤。
65.第四方面，本技术实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面的任一项实施例中所述的数据处理方法的步骤。
66.本技术实施例中的数据处理方法、装置、设备及计算机存储介质，通过根据参数配置信息确定曲线处理过程的多个处理层级，并按照多个处理层级对应的处理顺序，依次对每个处理层级进行如下处理：从参数配置信息中，获取当前处理层级对应的来源曲线信息、处理方式信息和处理参数信息；根据处理方式信息，确定当前处理层级中互不依赖的多个曲线处理子过程，并根据来源曲线信息、处理方式信息和处理参数信息，调用多个线程并行执行多个曲线处理子过程，最终得到目标曲线。这样，通过按照不同的配置参数，在原有曲线基础上，对曲线进行多线程的处理，从而实现对曲线的多线程自动加工，提高了曲线加工的效率和准确性，且简化了用户的操作过程。
附图说明
67.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
68.图1是本技术一实施例提供的数据处理方法的流程示意图之一；
69.图2是本技术一实施例提供的数据处理方法的流程示意图之二；
70.图3是本技术一实施例提供的数据处理方法的模块化示意图；
71.图4是本技术一实施例提供的数据处理方法的流程示意图之三；
72.图5是本技术一实施例提供的数据处理装置的结构示意图；
73.图6是本技术一实施例提供的电子设备的结构示意图。
具体实施方式
74.下面将详细描述本技术的各个方面的特征和示例性实施例，为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本技术进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本技术，而不是限定本技术。对于本领域技术人员来说，本技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对
实施例的描述仅仅是为了通过示出本技术的示例来提供对本技术更好的理解。
75.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
76.为了解决现有技术问题，本技术实施例提供了一种数据处理方法、装置、设备及计算机存储介质。该数据处理方法可以应用于对曲线进行加工的场景，例如对银行用来进行定价的收益率曲线进行加工，得到可以真正用于定价的定价曲线的场景。下面首先对本技术实施例所提供的数据处理方法进行介绍。
77.图1示出了本技术一实施例提供的数据处理方法的流程示意图。如图1所示，该数据处理方法具体可以包括如下步骤：
78.步骤110，获取用于生成目标曲线的参数配置信息。
79.步骤120，在根据参数配置信息确定曲线处理过程分为多个处理层级的情况下，按照多个处理层级对应的处理顺序，依次对每个处理层级执行如下步骤，得到目标曲线：
80.步骤1201，从参数配置信息中，获取当前处理层级对应的来源曲线信息、处理方式信息和处理参数信息。
81.步骤1202，根据处理方式信息，确定当前处理层级中是否存在互不依赖的多个曲线处理子过程。
82.步骤1203，在确定存在互不依赖的多个曲线处理子过程的情况下，根据来源曲线信息、处理方式信息和处理参数信息，调用多个线程并行执行多个曲线处理子过程；其中，一个线程用于执行一个曲线处理子过程，得到一个结果曲线，结果曲线用于作为当前处理层级的下一个处理层级对应的来源曲线。
83.由此，通过根据参数配置信息确定曲线处理过程的多个处理层级，并按照多个处理层级对应的处理顺序，依次对每个处理层级进行如下处理：从参数配置信息中，获取当前处理层级对应的来源曲线信息、处理方式信息和处理参数信息；根据处理方式信息，确定当前处理层级中互不依赖的多个曲线处理子过程，并根据来源曲线信息、处理方式信息和处理参数信息，调用多个线程并行执行多个曲线处理子过程，最终得到目标曲线。这样，通过按照不同的配置参数，在原有曲线基础上，对曲线进行多线程的处理，从而实现对曲线的多线程自动加工，提高了曲线加工的效率和准确性，且简化了用户的操作过程。
84.下面对上述步骤进行详细说明，具体如下所示：
85.涉及步骤110，本技术实施例中，参数配置信息可用于生成目标曲线，其中，目标曲线可以是由原始曲线经过加工得到的曲线，原始曲线可以是需要加工的曲线，可以是一条，也可以是多条。
86.在一个具体场景中，目标曲线例如可以是金融行业中最终用于定价的定价曲线，原始曲线例如可以是金融行业中原始的收益率曲线，具体可以包括从外部购入的市场曲线和业务人员自定义的手工曲线等。由于业务场景多样化等原因，这些原始的收益率曲线还
需要进行一系列的复杂加工才可真正用于定价，因此，可利用本技术实施例提供的数据处理方法对原始的收益率曲线进行加工处理，替代传统的由业务人员手工计算曲线加工结果再导入系统用于定价的过程。
87.参数配置信息可以包括进行曲线加工时所需要的来源曲线、处理参数以及处理方式等信息，获取参数配置信息的具体方式可以是接收用户输入的信息，也可以是接收其他系统发过来的曲线加工指令中携带的信息。
88.在一个具体例子中，在曲线加工任务触发后，获取该任务记录中的参数配置信息，进行备份、清理旧的曲线加工结果等操作，并进行原始曲线的初始化，准备进行加工。
89.基于此，在一种可选实施方式中，上述步骤110具体可以包括：
90.按照预设周期扫描任务表，确定任务表中是否存在新添加的任务记录；
91.在任务表中存在新添加的任务记录的情况下，获取任务记录对应的参数配置信息。
92.本技术实施例中，预设周期可以是用户根据实际需要任意设置的周期，例如可以是30s，任务表可以是用于记录多个曲线加工任务的表格。
93.在一个具体的例子中，用户在任务表中输入一条新添加的任务记录后，当每30秒一次的扫描发现该任务记录是任务表中新添加的任务记录时，该任务记录对应的曲线加工任务被触发，从而获取该任务记录对应的参数配置信息。
94.由此，通过按照预设周期扫描任务表，可以确定任务表中是否存在新添加的任务记录，当任务表中存在新添加的任务记录时，获取任务记录对应的参数配置信息，这样，可以对任务表中的任务起到监督的作用，快速调用曲线加工任务，提高了曲线处理的效率。
95.基于此，在一种可选实施方式中，在按照预设周期扫描任务表，确定任务表中是否存在新添加的任务记录之前，数据处理方法还可以包括：
96.接收用户的第一输入；
97.响应于第一输入，获取用户输入的用于生成目标曲线的参数配置信息；
98.根据参数配置信息，在任务表中添加新的任务记录。
99.本技术实施例中，第一输入可以是用户对参数配置信息的选择输入。
100.在一个具体的例子中，用户在曲线加工交互界面上输入用于曲线加工的参数配置信息之后，点击开始按钮，即可向曲线数据库的任务表中插入一条任务记录，该任务记录中包括参数配置信息，可以用于生成目标曲线。
101.由此，通过获取用户输入的用于生成目标曲线的参数配置信息，并根据参数配置信息，在任务表中添加新的任务记录，可以根据用户的选择调用相应的曲线加工任务，提高了用户的使用体验。
102.涉及步骤120，本技术实施例中，对于复杂的加工过程，可将整个处理过程分为多个层级进行处理。在根据参数配置信息确定曲线处理过程分为多个处理层级的情况下，按照多个处理层级对应的处理顺序，依次针对每个处理层级进行加工。其中，一个处理层级可以对应加工处于一个级别的曲线，进而将原始曲线从第一层开始逐层加工，经过每个层级生成多个中间曲线，直至最终经过最后一个处理层级得到目标曲线。
103.在一个具体的例子中，在调用一条曲线加工任务后，根据该任务中的参数配置信息，确定要得到曲线m，并且确定该曲线处理过程分为2个处理层级，第一层级：x＝a b；y＝c
d，第二层级：m＝x y，其中，x、y为互不相关的曲线，a、b、c、d为原始曲线。因此，可按照这2个处理层级对应的处理顺序，先从第一层开始加工，再对第二层级进行加工，最终得到加工后的曲线m。
104.涉及步骤1201，本技术实施例中，参数配置信息可以包括多个处理层级中每个处理层级对应的来源曲线信息、处理方式信息和处理参数信息。其中，来源曲线信息可以是能唯一标识来源曲线的编码或标识信息。处理方式信息可以包括对来源曲线进行加工的具体处理方式，例如可以包括点差处理、结息频率转换以及曲线深加工等处理方式。处理参数信息可以是对曲线加工所需的配置参数，例如每条曲线的权重信息，单位换算时的需要换算成的单位信息等。
105.涉及步骤1202，本技术实施例中，曲线处理子过程可以是同一处理层级中多个互不关联的曲线加工过程。
106.在一个具体的例子中，若某任务的曲线处理过程分为2个处理层级，第一层级：x＝a b，y＝c d，第二层级：m＝x y，其中，曲线x与曲线y为互不相关的曲线，则第一层级的x＝a b和y＝c d为互不依赖的两个曲线处理子过程。
107.涉及步骤1203，本技术实施例中，多个线程可以并行执行不同的曲线处理子过程，结果曲线可以是每个线程执行曲线处理子过程后得到的一个曲线。
108.另外，每个处理层级可处理得到一个或多个结果曲线，且每个结果曲线可作为当前处理层级的下一个处理层级对应的来源曲线。若结果曲线是由最后一个处理层级处理得到的曲线，则该结果曲线为目标曲线。
109.在一个具体的例子中，在确定x＝a b与y＝c d为互不依赖的两个曲线处理子过程的情况下，根据来源曲线编码、曲线的加工方式和处理参数，调用两个空闲线程并行执行两个曲线处理子过程，得到曲线x和曲线y，而曲线x和曲线y可作为下一处理层级对应的来源曲线，以继续进行曲线加工处理。
110.由此，通过根据参数配置信息确定曲线处理过程的多个处理层级，并按照多个处理层级对应的处理顺序，依次对每个处理层级进行如下处理：从参数配置信息中，获取当前处理层级对应的来源曲线信息、处理方式信息和处理参数信息；根据处理方式信息，确定当前处理层级中互不依赖的多个曲线处理子过程，并根据来源曲线信息、处理方式信息和处理参数信息，调用多个线程并行执行多个曲线处理子过程，最终得到目标曲线。这样，通过按照不同的配置参数，在原有曲线基础上，对曲线进行多线程并行处理，从而实现曲线多线程同时加工，提高了曲线加工的效率和准确性，且简化了用户的操作过程。
111.基于此，在一种可能的实施例中，如图2所示，上述步骤1203具体可以包括：针对每个曲线处理子过程，从线程池中调用空闲线程，执行步骤12031-步骤12033，具体如下所示：
112.步骤12031，根据来源曲线信息，获取目标来源曲线的曲线数据；其中，目标来源曲线为与当前曲线处理子过程关联的来源曲线。
113.这里，线程池中可以包括多个可调用的线程，空闲线程可以是线程池中没有被调用的线程。在每个处理层级中，可在线程池中调用空闲的线程分别执行各个曲线处理子过程。其中，目标来源曲线可以是根据来源曲线信息确定的与当前曲线处理子过程关联的曲线，曲线数据可以是构成目标来源曲线的多个离散的点对应的数据。
114.基于此，在一种可选实施方式中，上述步骤12031具体可以包括：
115.根据来源曲线信息，将目标来源曲线的曲线数据从曲线数据库中导出，得到第一数据文件；
116.通过第一数据文件，将目标来源曲线的曲线数据导入内存数据库；
117.从内存数据库中获取目标来源曲线的曲线数据。
118.这里，曲线数据库可以是关系型数据库管理系统，例如可以是oracle数据库，第一数据文件可以是从曲线数据库中导出的目标来源曲线的曲线数据文件，内存数据库可以是能支持执行基于java语言的高级计算方式的数据库，例如可以是h2内存数据库。
119.这样，通过根据来源曲线信息，将目标来源曲线的曲线数据从曲线数据库中导出，得到第一数据文件，并通过第一数据文件，将目标来源曲线的曲线数据导入内存数据库，可以利用内存数据库进行数据缓存，进而通过用java代码实现一些复杂算法，使得能够完成曲线的复杂加工过程，而不仅是局限于外部数据库的简单数据加工。
120.步骤12032，根据处理方式信息和处理参数信息，对目标来源曲线的曲线数据进行处理，得到处理结果数据。
121.这里，处理结果数据可以是对目标来源曲线对应的曲线数据，进行点差处理、结息频率转换和曲线深加工等处理后，得到的曲线数据。
122.基于此，在一种可选实施方式中，上述步骤12032具体可以包括：
123.针对预设的多个处理逻辑，依次根据处理方式信息确定是否执行当前处理逻辑；
124.在确定执行当前处理逻辑的情况下，基于当前处理逻辑，根据处理参数信息对目标曲线数据进行处理，直至遍历完多个处理逻辑，得到处理结果数据；
125.其中，在当前处理逻辑为遍历的首个处理逻辑的情况下，目标曲线数据为目标来源曲线的曲线数据，在当前处理逻辑为除遍历的首个处理逻辑之外的其他处理逻辑的情况下，目标曲线数据为当前处理逻辑的上一个处理逻辑处理得到的曲线数据。
126.这里，多个处理逻辑可以是预设的用于曲线加工的所有处理逻辑，处理方式信息可以包括用户从中选择的一个或多个处理逻辑。
127.在一个具体的例子中，针对预设的点差处理、结息频率转换以及曲线深加工等处理逻辑，依次根据处理方式信息确定每个处理逻辑是否执行，若根据处理方式信息确定执行点差处理，且点差处理为遍历的首个处理逻辑，则根据处理参数信息对目标来源曲线的曲线数据进行处理。若根据处理方式信息确定执行曲线深加工，且曲线深加工为遍历的第二个处理逻辑，则由于点差处理为曲线深加工的上一个处理逻辑，因此，可根据处理参数信息对点差处理后得到的曲线数据进行处理。以此类推，直至遍历完所有处理逻辑，得到最终的处理结果数据。
128.这样，通过依次根据处理方式信息确定是否执行当前处理逻辑，并在确定执行当前处理逻辑的情况下，根据处理参数信息对目标曲线数据进行处理，直至遍历完多个处理逻辑，得到处理结果数据，可以有针对性的对曲线进行加工，提高曲线处理的效率。
129.步骤12033，对处理结果数据进行拟合，得到目标结果曲线。
130.这里，目标结果曲线可以通过将处理结果数据对应的离散的点进行拟合得到，拟合的方式具体可以是高阶拟合系数求解。
131.基于此，在一种可选实施方式中，在上述步骤12033之后，该数据处理方法还可以包括：
132.将目标结果曲线对应的曲线数据从内存数据库中导出，得到第二数据文件；
133.通过第二数据文件，将目标结果曲线对应的曲线数据存储至曲线数据库。
134.这里，第二数据文件可以是从内存数据库中导出的目标结果曲线对应的曲线数据文件。
135.这样，通过将目标结果曲线对应的曲线数据从内存数据库中导出，得到第二数据文件，再通过第二数据文件，将目标结果曲线对应的曲线数据存储至曲线数据库，可以实现两个不同类型数据库中的数据的相互传输，将数据转存回曲线数据库，还可以避免内存数据库丢失加工后的数据，从而保证数据安全。
136.另外，如图3所示，本技术实施例还提供了一种曲线处理系统，该曲线处理系统中可包括曲线工厂主程序、曲线配置库、曲线计算核心等。
137.曲线工厂主程序中可以包括任务监控进程、数据清理与备份、获取曲线加工逻辑、分析曲线加工顺序、初始化基础曲线、计算任务分配、曲线卸载与加载等模块。
138.曲线工厂主程序与曲线配置库交互，获取曲线加工所需的源数据，并将最终的加工结果也存放在曲线配置库，其中，曲线配置库中可以包括曲线工厂任务表、曲线工厂配置表、曲线表、曲线初始化表以及曲线结果等模块。
139.曲线工厂主程序使用java多线程方式，可一次调起多个核心计算程序，核心计算程序利用逻辑处理模块实现曲线的加工过程，并利用数据加载模块和数据卸载模块实现曲线数据文件的卸载与加载功能，与内存数据库交互，每次计算取出部分曲线数据放入内存数据库，同时使用基于java语言的算法与sql语言进行复杂逻辑的加工，最终将计算结果生成数据文件，供曲线工厂主程序加载回曲线配置库。其中，曲线计算核心程序中可以包括移动平均、工作日延迟、自然日延迟、点差、派生、回归以及二阶差值等逻辑处理模块，以及数据文件加载和数据文件卸载等转存控制模块。
140.下面基于上述曲线处理系统，举一个具体例子，以更好地描述整个方案。
141.例如，如图4所示的数据处理方法流程图，在曲线工厂任务触发后，获取加工所需的参数配置信息。然后备份、清理内存数据库中旧的曲线加工结果，再进行基础曲线的初始化，准备进行加工。因为每一层加工得到的曲线之间存在依赖关系，所以需要从第一层开始逐层加工。核心计算部分多线程启动后，每个异步线程加工一条曲线，当前层全部加工完后进入下一层的加工。每条曲线在加工时，曲线工厂主程序会将该曲线对应数据从oracle数据库导出为数据文件，核心计算程序再将这些文件导入h2内存数据库。因为一些复杂算法无法用sql语言实现，所以还需要将其存放在java对象中进行计算。曲线加工逻辑可以有多种，如点差处理、结息频率转换、曲线深加工等，每一种加工逻辑都需判断是否进入。当所有加工逻辑结束后，进行高阶拟合系数求解，最终将计算结果存入h2内存数据库，并导出为数据文件，再导入oracle数据库的结果表。当所有层级的曲线加工完毕后，程序退出。
142.基于相同的发明构思，本技术还提供了一种数据处理装置，具体结合图3进行详细说明。
143.图3是根据一示例性实施例示出的一种数据处理装置300的结构示意图。
144.如图3所示，该数据处理装置300可以包括：
145.获取模块301，用于获取用于生成目标曲线的参数配置信息；
146.处理模块302，用于在根据参数配置信息确定曲线处理过程分为多个处理层级的
情况下，按照多个处理层级对应的处理顺序，依次对每个处理层级执行如下步骤，得到目标曲线；
147.处理模块302包括：
148.第一获取子模块3021，用于从参数配置信息中，获取当前处理层级对应的来源曲线信息、处理方式信息和处理参数信息；
149.第一确定子模块3022，用于根据处理方式信息，确定当前处理层级中是否存在互不依赖的多个曲线处理子过程；
150.调用子模块3023，用于在确定存在互不依赖的多个曲线处理子过程的情况下，根据来源曲线信息、处理方式信息和处理参数信息，调用多个线程并行执行多个曲线处理子过程；其中，一个线程用于执行一个曲线处理子过程，得到一个结果曲线，结果曲线用于作为当前处理层级的下一个处理层级对应的来源曲线。
151.下面对上述数据处理装置300进行详细说明，具体如下所示：
152.在其中一些实施例中，调用子模块3023包括：
153.获取单元，用于从线程池中调用空闲线程，执行根据来源曲线信息，获取目标来源曲线的曲线数据；其中，目标来源曲线为与当前曲线处理子过程关联的来源曲线；
154.处理单元，用于根据处理方式信息和处理参数信息，对目标来源曲线的曲线数据进行处理，得到处理结果数据；
155.拟合单元，用于对处理结果数据进行拟合，得到目标结果曲线。
156.在其中一些实施例中，获取单元包括：
157.第一导出子单元，用于根据来源曲线信息，将目标来源曲线的曲线数据从曲线数据库中导出，得到第一数据文件；
158.导入子单元，用于通过第一数据文件，将目标来源曲线的曲线数据导入内存数据库；
159.获取子单元，用于从内存数据库中获取目标来源曲线的曲线数据。
160.在其中一些实施例中，数据处理装置300还包括：
161.第二导出子单元，用于在对处理结果数据进行拟合，得到目标结果曲线之后，将目标结果曲线对应的曲线数据从内存数据库中导出，得到第二数据文件；
162.存储子单元，用于通过第二数据文件，将目标结果曲线对应的曲线数据存储至曲线数据库。
163.在其中一些实施例中，处理单元包括：
164.确定子单元，用于针对预设的多个处理逻辑，依次根据处理方式信息确定是否执行当前处理逻辑；
165.处理子单元，用于在确定执行当前处理逻辑的情况下，基于当前处理逻辑，根据处理参数信息对目标曲线数据进行处理，直至遍历完多个处理逻辑，得到处理结果数据；
166.其中，在当前处理逻辑为遍历的首个处理逻辑的情况下，目标曲线数据为目标来源曲线的曲线数据，在当前处理逻辑为除遍历的首个处理逻辑之外的其他处理逻辑的情况下，目标曲线数据为当前处理逻辑的上一个处理逻辑处理得到的曲线数据。
167.在其中一些实施例中，获取模块301包括：
168.第二确定子模块，用于按照预设周期扫描任务表，确定任务表中是否存在新添加
的任务记录；
169.第二获取子模块，用于在任务表中存在新添加的任务记录的情况下，获取任务记录对应的参数配置信息。
170.在其中一些实施例中，获取模块301还包括：
171.接收子模块，用于在按照预设周期扫描任务表，确定任务表中是否存在新添加的任务记录之前，接收用户的第一输入；
172.第三获取子模块，用于响应于第一输入，获取用户输入的用于生成目标曲线的参数配置信息；
173.添加子模块，用于根据参数配置信息，在任务表中添加新的任务记录。
174.由此，通过根据参数配置信息确定曲线处理过程的多个处理层级，并按照多个处理层级对应的处理顺序，依次对每个处理层级进行如下处理：从参数配置信息中，获取当前处理层级对应的来源曲线信息、处理方式信息和处理参数信息；根据处理方式信息，确定当前处理层级中互不依赖的多个曲线处理子过程，并根据来源曲线信息、处理方式信息和处理参数信息，调用多个线程并行执行多个曲线处理子过程，最终得到目标曲线。这样，通过按照不同的配置参数，在原有曲线基础上，对曲线进行多线程的处理，从而实现对曲线的多线程自动加工，提高了曲线加工的效率和准确性，且简化了用户的操作过程。
175.图6示出了本技术实施例提供的电子的硬件结构示意图。
176.在电子设备可以包括处理器601以及存储有计算机程序指令的存储器602。
177.具体地，上述处理器601可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
178.存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括硬盘驱动器(hard disk drive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器602可在综合网关容灾设备的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。
179.存储器可包括只读存储器(rom)，随机存取存储器(ram)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本技术的一方面的方法所描述的操作。
180.处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现上述实施例中的任意一种数据处理方法。
181.在一些示例中，电子设备还可包括通信接口603和总线610。其中，如图6所示，处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
182.通信接口603，主要用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。
183.总线610包括硬件、软件或两者，将曲线处理设备的部件彼此耦接在一起。举例来
说而非限制，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
184.该电子设备可以执行本技术实施例中的数据处理方法，从而实现结合图1和图3描述的数据处理方法和装置。
185.另外，结合上述实施例中的数据处理方法，本技术实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据处理方法。
186.需要明确的是，本技术并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本技术的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本技术的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
187.以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本技术的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
188.还需要说明的是，本技术中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本技术不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
189.上面参考根据本技术的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本技术的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
190.以上所述，仅为本技术的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本技术的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。