金融数据的处理方法、装置、设备及存储介质与流程

1.本发明涉及金融数据处理领域，尤其涉及一种金融数据的处理方法、装置、设备及存储介质。


背景技术：

2.私募基金是指以非公开方式向特定投资者募集资金并以特定目标为投资对象的证券投资基金。私募基金是以大众传播以外的手段招募，发起人集合非公众性多元主体的资金设立投资基金，进行证券投资。私募数据指的是和私募基金相关的数据，包括基金净值、基金产品、基金经理和基金公司等数据。多数据源为了保证私募数据的有效性和及时性，需要从多方数据源中获取私募基金数据，然后将其聚合处理，形成最终的数据。流式处理是一种数据处理方式，因为数据就像是流水一样，接收到什么数据就处理什么数据，所以叫做流式处理方式。
3.现有的多数据源处理技术，往往采用定时拉取目标数据的方法，在一个主流程中硬编码各种数据源的处理方式，灵活度不高。并且因为在同一个流程中加入了多个不同的处理逻辑，导致业务逻辑复杂，可维护性不高。


技术实现要素：

4.本发明的主要目的在于解决金融领域中多数据源的处理过程，维护性不高和灵活度较差的技术问题。
5.本发明第一方面提供了一种金融数据的处理方法，包括步骤：
6.获取n个数据库的金融数据，根据预置数据库排序，对所述n个数据库对应的金融数据进行排序组合处理，得到金融数据集，其中，n为正整数；
7.基于预置校验消息队列，队列判断所述金融数据集中的金融数据是否满足预置主校验格式；
8.若不满足主校验格式，则查询外接的子校验格式，判断所述金融数据是否满足所述外接的子校验格式；
9.若满足外接的子校验格式，则将所述金融数据标记为预置填充消息队列的数据；
10.若不满足外接的子校验格式，则对所述金融数据进行修复处理，得到修复的金融数据，将所述修复的金融数据标记为所述校验消息队列的数据；
11.若满足主校验格式，则将所述金融数据传输标记为预置填充消息队列的数据；
12.基于所述填充消息队列，对所述金融数据进行队列填充处理，得到填充金融数据；
13.将所述填充金融数据传输标记为预置合并消息队列的数据；
14.根据预置合并触发算法，对所述合并消息队列所有的填充金融数据进行合并处理，得到处理结果数据。
15.可选的，在本发明第一方面的第一种实现方式中，所述对所述金融数据进行修复处理，得到修复的金融数据包括：
16.对所述金融数据进行修复处理，得到修复中转数据和修复结果；
17.判断所述修复结果是否为修复成功；
18.若不为修复成功，则将所述修复中转数据标记为丢弃状态，停止处理所述修复中转数据；
19.若为修复成功，则将所述修复中转数据确定为修复的金融数据。
20.可选的，在本发明第一方面的第二种实现方式中，在所述获取n个数据库的金融数据，根据预置数据库排序，对所述n个数据库对应的金融数据进行排序组合处理，得到金融数据集之前，还包括：
21.监控n个数据库的日志数据；
22.判断所述日志数据是否存在变化；
23.若日志数据存在变化，则分析所述日志数据的变化，得到日志变动数据，将所述日志变动数据转换为日志消息队列数据，将所述日志消息队列数据加入至预置校验消息队列中。
24.可选的，在本发明第一方面的第三种实现方式中，在所述将所述日志消息队列数据加入至预置校验消息队列中之后，在所述获取n个数据库的金融数据，根据预置数据库排序，对所述n个数据库对应的金融数据进行排序组合处理，得到金融数据集之前，还包括：
25.触发n个数据库的金融数据的数据拉取指令
26.根据所述数据拉取指令，访问n个数据库的存储地址，以便获取n个数据库的金融数据。
27.可选的，在本发明第一方面的第四种实现方式中，所述根据预置合并触发算法，对所述合并消息队列所有的填充金融数据进行合并处理，得到处理结果数据包括：
28.读取所述合并消息队列中的排队待处理数值；
29.判断所述排队待处理数值是否达到预置触发阈值；
30.若达到所述触发阈值，则根据所述数据库排序，对所述合并消息队列所有的填充金融数据合并处理，得到处理结果数据。
31.可选的，在本发明第一方面的第五种实现方式中，所述基于所述填充消息队列，对所述金融数据进行队列填充处理，得到填充金融数据包括：
32.基于所述填充消息队列，判断所述金融数据是否存在空缺数据位；
33.若不存在空缺数据位，则将所述金融数据确定为填充金融数据；
34.若存在空缺数据位，则对所述金融数据进行填充处理，得到填充金融数据；
35.将所述填充金融数据标记为所述填充消息队列的数据。
36.可选的，在本发明第一方面的第六种实现方式中，所述对所述金融数据进行填充处理，得到填充金融数据包括：
37.对所述金融数据进行队列填充处理，得到填充中转数据和填充结果；
38.判断所述填充结果是否为填充成功结果；
39.若填充结果为填充成功结果，则将所述填充中转数据确定为填充金融数据；
40.若填充结果不为填充成功结果，则将所述填充中转数据标记为丢弃状态，停止处理所述填充中转数据。
41.本发明第二方面提供了一种金融数据的处理装置，所述金融数据的处理装置包
括：
42.获取模块，用于获取n个数据库的金融数据，根据预置数据库排序，对所述n个数据库对应的金融数据进行排序组合处理，得到金融数据集，其中，n为正整数；
43.主校验判断模块，用于基于预置校验消息队列，队列判断所述金融数据集中的金融数据是否满足预置主校验格式；
44.子校验判断模块，用于若不满足主校验格式，则查询外接的子校验格式，判断所述金融数据是否满足所述外接的子校验格式；
45.第一标记模块，用于若满足外接的子校验格式，则将所述金融数据标记为预置填充消息队列的数据；
46.修复模块，用于若不满足外接的子校验格式，则对所述金融数据进行修复处理，得到修复的金融数据，将所述修复的金融数据标记为所述校验消息队列的数据；
47.第二标记模块，用于若满足主校验格式，则将所述金融数据传输标记为预置填充消息队列的数据；
48.填充模块，用于基于所述填充消息队列，对所述金融数据进行队列填充处理，得到填充金融数据；
49.第三标记模块，用于将所述填充金融数据传输标记为预置合并消息队列的数据；
50.合并模块，用于根据预置合并触发算法，对所述合并消息队列所有的填充金融数据进行合并处理，得到处理结果数据。
51.本发明第三方面提供了一种金融数据的处理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述金融数据的处理设备执行上述的金融数据的处理方法。
52.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的金融数据的处理方法。
53.在本发明实施例中，提供了一种针对多数据源的数据流式处理的方法。本方法的优点是，在一个通用的数据处理框架之下，可以动态添加删除对不同数据源的处理规则，不需要修改现有的处理逻辑和代码，实现规则的动态插拔。同时采用流式数据处理方法可以平滑服务器处理数据的压力，并且能够保证数据处理的实时性。
附图说明
54.图1为本发明实施例中金融数据的处理方法的一个实施例示意图；
55.图2为本发明实施例中金融数据的处理方法的处理流程示意图；
56.图3为本发明实施例中金融数据的处理装置的一个实施例示意图；
57.图4为本发明实施例中金融数据的处理装置的另一个实施例示意图；
58.图5为本发明实施例中金融数据的处理设备的一个实施例示意图。
具体实施方式
59.本发明实施例提供了一种金融数据的处理方法、装置、设备及存储介质。
60.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第
四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
61.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中金融数据的处理方法的一个实施例包括：
62.101、获取n个数据库的金融数据，根据预置数据库排序，对n个数据库对应的金融数据进行排序组合处理，得到金融数据集，其中，n为正整数；
63.在本实施例中，可以参考图2展示的金融数据的处理方法的流程示意图，在初始过程中有a、b、c数据库，拉取a、b、c数据库的金融数据，根据a、b、c数据库的排序，将金融数据排序组合，得到{a：金融数据；b：金融数据；c：金融数据}的金融数据集。
64.进一步的，在101之前，还可以执行以下步骤：
65.1011、监控n个数据库的日志数据；
66.1012、判断日志数据是否存在变化；
67.1013、若日志数据存在变化，则分析日志数据的变化，得到日志变动数据，将日志变动数据转换为日志消息队列数据，将日志消息队列数据加入至预置校验消息队列中。
68.在1011-1013步骤中，所有的数据库记录的变动都会反映到数据库变动日志中，通过监听数据库变动日志，可以实时获取要关注的数据信息。当发现了某个数据库的日志数据多了几行，则多了几行的数据为日志变动数据。将这种日志变动数据转换格式为消息队列数据，得到日志消息队列数据，然后将该日志消息队列数据加入至预置校验消息队列中，以便后期校验队列数据。
69.进一步的，在1013之后，在102之前，还可以执行以下步骤：
70.1014、触发n个数据库的金融数据的数据拉取指令
71.1015、根据数据拉取指令，访问n个数据库的存储地址，以便获取n个数据库的金融数据。
72.在1014-1015步骤中，已经发现了n个数据库日志变动后，触发数据拉取指令，基于数据拉取数据，查询到n个数据库的存储地址，在存储地址中获取金融数据，这里是金融数据的实体数据。
73.102、基于预置校验消息队列，队列判断金融数据集中的金融数据是否满足预置主校验格式；
74.在本实施例中，可以参考图2中的主数据校验器，实际上采用消息队列的方式处理金融数据集，将金融数据集按照a、b、c的顺序进行处理，先校验数据类型，再校验数据格式，判断是否满足主数据校验器中的主校验格式。
75.消息队列是一种优秀的应用解耦工具。数据监控转换器只需要负责向消息队列中发送消息即可，并不需要知道消息被消费过后的结果，任务职责单一，结构清晰。
76.103、若不满足主校验格式，则查询外接的子校验格式，判断金融数据是否满足外接的子校验格式；
77.在本实施例，可以参考图2中的主数据校验器外接了子校验器，这里是为了增加扩展性和延展性，从子校验器中查询子校验格式，再次判断金融数据是否满足子校验格式。
78.104、若满足外接的子校验格式，则将金融数据标记为预置填充消息队列的数据；
79.在本实施例中，显然金融数据满足子校验格式标记成填充消息队列的数据，进入填充消息队列中进行队列处理。
80.105、若不满足外接的子校验格式，则对金融数据进行修复处理，得到修复的金融数据，将修复的金融数据标记为校验消息队列的数据；
81.在本实施例中，可以参考图2中的修复过程，对金融数据修复后，产生了新的数据，新的数据是不在校验消息队列中，也就是说修复的金融数据需要进一步标记为校验消息队列的数据，回到校验消息队列中进行校验。
82.进一步的，在“对金融数据进行修复处理，得到修复的金融数据”可以执行以下步骤：
83.1051、对金融数据进行修复处理，得到修复中转数据和修复结果；
84.1052、判断修复结果是否为修复成功；
85.1053、若不为修复成功，则将修复中转数据标记为丢弃状态，停止处理修复中转数据；
86.1054、若为修复成功，则将修复中转数据确定为修复的金融数据。
87.在1051-1054步骤中，对金融数据修复后，还会产生修复失败和修复成功两个修复结果，如果判断修复结果是修复成功，则将修复中转数据确定是修复的金融数据。但是，修复结果是失败则将修复中转数据标记为丢弃状态并停止处理，这种状态下可以由用户确认后将修复中转数据重新进入校验消息队列进行校验。
88.106、若满足主校验格式，则将金融数据传输标记为预置填充消息队列的数据；
89.在本实施例中，满足主校验格式，则将金融数据传输标记为预置填充消息队列的数据，这里数据依旧在处理系统中，因此送入到处理系统的填充消息队列中进行排序处理。
90.107、基于填充消息队列，对金融数据进行队列填充处理，得到填充金融数据；
91.在本实施例中，可以参考图2的主数据填充器前的队列消息为填充消息队列，将金融数据进行队列填充处理，生成填充金融数据。
92.进一步的，107可以执行以下步骤：
93.1071、基于填充消息队列，判断金融数据是否存在空缺数据位；
94.1072、若不存在空缺数据位，则将金融数据确定为填充金融数据；
95.1073、若存在空缺数据位，则对金融数据进行填充处理，得到填充金融数据；
96.1074、将填充金融数据标记为填充消息队列的数据。
97.在1071-1074步骤，先读取金融数据中是否有空缺数据位，如果金融数据的数据位都有数据填充，则将金融数据确定为填充金融数据。如果存在空缺数据位，金融数据进行填充，得到填充金融数据，将填充金融数据标记为填充消息队列的数据。
98.进一步的，1074可以执行以下步骤：
99.10741、对金融数据进行队列填充处理，得到填充中转数据和填充结果；
100.10742、判断填充结果是否为填充成功结果；
101.10743、若填充结果为填充成功结果，则将填充中转数据确定为填充金融数据；
102.10744、若填充结果不为填充成功结果，则将填充中转数据标记为丢弃状态，停止处理填充中转数据。
103.在10741-10744步骤，对金融数据填充处理，填充后得到填充中转数据和填充结果，填充结果有填充成功结果和填充失败结果两个情况。
104.如果填充结果是填充成功结果，则要将填充中转数据确定为填充金融数据，但是如果填充结果不是填充成功结果，将填充中转数据标记为丢弃状态并停止处理，这种状态下可以由用户确认后将填充中转数据重新进入填充消息队列进行校验。
105.108、将填充金融数据传输标记为预置合并消息队列的数据；
106.109、根据预置合并触发算法，对合并消息队列所有的填充金融数据进行合并处理，得到处理结果数据。
107.在108-109步骤中，填充金融数据标记为合并消息队列的数据后，填充金融数据在合并消息队列中进行合并处理。合并处理是需要有触发条件，当满足触发条件后，就对合并消息队列的数据进行合并，得到处理结果数据。
108.进一步的，在109可以执行以下步骤：
109.1091、读取合并消息队列中的排队待处理数值；
110.1092、判断排队待处理数值是否达到预置触发阈值；
111.1093、若达到触发阈值，则根据数据库排序，对合并消息队列所有的填充金融数据合并处理，得到处理结果数据。
112.在1091-1093步骤中，总共有100个数据库，按照数据库1-100进行标号，读取合并消息队列中的排队待处理数值是80，而触发阈值是85，则排队待处理数值80没有达到触发阈值85。当排队处理数值85达到触发阈值85时，则根据数据库1-100的排序标号，将合并消息队列中的填充金融数据进行排序合并，得到处理结果数据。
113.在本发明实施例中，提供了一种针对多数据源的数据流式处理的方法。本方法的优点是，在一个通用的数据处理框架之下，可以动态添加删除对不同数据源的处理规则，不需要修改现有的处理逻辑和代码，实现规则的动态插拔。同时采用流式数据处理方法可以平滑服务器处理数据的压力，并且能够保证数据处理的实时性。
114.上面对本发明实施例中金融数据的处理方法进行了描述，下面对本发明实施例中金融数据的处理装置进行描述，请参阅图3，本发明实施例中金融数据的处理装置一个实施例，所述金融数据的处理装置包括：
115.获取模块301，用于获取n个数据库的金融数据，根据预置数据库排序，对所述n个数据库对应的金融数据进行排序组合处理，得到金融数据集，其中，n为正整数；
116.主校验判断模块302，用于基于预置校验消息队列，队列判断所述金融数据集中的金融数据是否满足预置主校验格式；
117.子校验判断模块303，用于若不满足主校验格式，则查询外接的子校验格式，判断所述金融数据是否满足所述外接的子校验格式；
118.第一标记模块304，用于若满足外接的子校验格式，则将所述金融数据标记为预置填充消息队列的数据；
119.修复模块305，用于若不满足外接的子校验格式，则对所述金融数据进行修复处理，得到修复的金融数据，将所述修复的金融数据标记为所述校验消息队列的数据；
120.第二标记模块306，用于若满足主校验格式，则将所述金融数据传输标记为预置填充消息队列的数据；
121.填充模块307，用于基于所述填充消息队列，对所述金融数据进行队列填充处理，得到填充金融数据；
122.第三标记模块308，用于将所述填充金融数据传输标记为预置合并消息队列的数据；
123.合并模块309，用于根据预置合并触发算法，对所述合并消息队列所有的填充金融数据进行合并处理，得到处理结果数据。
124.在本发明实施例中，提供了一种针对多数据源的数据流式处理的方法。本方法的优点是，在一个通用的数据处理框架之下，可以动态添加删除对不同数据源的处理规则，不需要修改现有的处理逻辑和代码，实现规则的动态插拔。同时采用流式数据处理方法可以平滑服务器处理数据的压力，并且能够保证数据处理的实时性。
125.请参阅图4，本发明实施例中金融数据的处理装置的另一个实施例，所述金融数据的处理装置包括：
126.获取模块301，用于获取n个数据库的金融数据，根据预置数据库排序，对所述n个数据库对应的金融数据进行排序组合处理，得到金融数据集，其中，n为正整数；
127.主校验判断模块302，用于基于预置校验消息队列，队列判断所述金融数据集中的金融数据是否满足预置主校验格式；
128.子校验判断模块303，用于若不满足主校验格式，则查询外接的子校验格式，判断所述金融数据是否满足所述外接的子校验格式；
129.第一标记模块304，用于若满足外接的子校验格式，则将所述金融数据标记为预置填充消息队列的数据；
130.修复模块305，用于若不满足外接的子校验格式，则对所述金融数据进行修复处理，得到修复的金融数据，将所述修复的金融数据标记为所述校验消息队列的数据；
131.第二标记模块306，用于若满足主校验格式，则将所述金融数据传输标记为预置填充消息队列的数据；
132.填充模块307，用于基于所述填充消息队列，对所述金融数据进行队列填充处理，得到填充金融数据；
133.第三标记模块308，用于将所述填充金融数据传输标记为预置合并消息队列的数据；
134.合并模块309，用于根据预置合并触发算法，对所述合并消息队列所有的填充金融数据进行合并处理，得到处理结果数据。
135.其中，所述修复模块305具体用于：
136.对所述金融数据进行修复处理，得到修复中转数据和修复结果；
137.判断所述修复结果是否为修复成功；
138.若不为修复成功，则将所述修复中转数据标记为丢弃状态，停止处理所述修复中转数据；
139.若为修复成功，则将所述修复中转数据确定为修复的金融数据。
140.其中，所述金融数据的处理装置还包括监控模块310，所述监控模块310具体用于：
141.监控n个数据库的日志数据；
142.判断所述日志数据是否存在变化；
143.若日志数据存在变化，则分析所述日志数据的变化，得到日志变动数据，将所述日志变动数据转换为消息队列数据，将所述消息队列数据加入至预置校验消息队列中。
144.其中，所述金融数据的处理装置还包括触发模块311，所述触发模块311具体用于：
145.触发n个数据库的金融数据的数据拉取指令
146.根据所述数据拉取指令，访问n个数据库的存储地址，以便获取n个数据库的金融数据。
147.其中，所述合并模块309具体用于：
148.读取所述合并消息队列中的排队待处理数值；
149.判断所述排队待处理数值是否达到预置触发阈值；
150.若达到所述触发阈值，则根据所述数据库排序，对所述合并消息队列所有的填充金融数据合并处理，得到处理结果数据。
151.其中，所述填充模块307具体用于：
152.基于所述填充消息队列，判断所述金融数据是否存在空缺数据位；
153.若不存在空缺数据位，则将所述金融数据确定为填充金融数据；
154.若存在空缺数据位，则对所述金融数据进行填充处理，得到填充金融数据；
155.将所述填充金融数据标记为所述填充消息队列的数据。
156.其中，所述填充模块307还具体用于：
157.对所述金融数据进行队列填充处理，得到填充中转数据和填充结果；
158.判断所述填充结果是否为填充成功结果；
159.若填充结果为填充成功结果，则将所述填充中转数据确定为填充金融数据；
160.若填充结果不为填充成功结果，则将所述填充中转数据标记为丢弃状态，停止处理所述填充中转数据。
161.在本发明实施例中，提供了一种针对多数据源的数据流式处理的方法。本方法的优点是，在一个通用的数据处理框架之下，可以动态添加删除对不同数据源的处理规则，不需要修改现有的处理逻辑和代码，实现规则的动态插拔。同时采用流式数据处理方法可以平滑服务器处理数据的压力，并且能够保证数据处理的实时性。
162.上面图3和图4从模块化功能实体的角度对本发明实施例中的金融数据的处理装置进行详细描述，下面从硬件处理的角度对本发明实施例中金融数据的处理设备进行详细描述。
163.图5是本发明实施例提供的一种金融数据的处理设备的结构示意图，该金融数据的处理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对金融数据的处理设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在金融数据的处理设备500上执行存储介质530中的一系列指令操作。
164.基于金融数据的处理设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如windows serve，mac os x，unix，linux，free bsd等等。本领域技术人员可以理解，图5展示的金融数据的处理设备结构并不构成对基于金融数据的处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
165.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述金融数据的处理方法的步骤。
166.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
167.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
168.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。