一种银行数据库故障分析方法、装置、系统和介质与流程

1.本技术涉及计算机技术领域，特别涉及一种银行数据库故障分析方法、装置、系统和介质。


背景技术：

2.伴随着银行业务的快速发展，数据库的规模也保持着高速增长，数据库作为银行业务系统的重要组成部分，一旦出现问题，对业务造成的损失就会非常大。
3.然而，随着数据库规模的快速增长，出现问题的数量也大大增加，为了减少对银行业务所造成的损失，需要对数据库出现的故障异常问题及时进行分析与诊断。传统的数据库异常故障处理的处理能力不足，只能依赖专业dba(数据库管理员，database administrator)手动排查问题，故障处理时间较长，效率较低，用户的使用体验不强。
4.因此，如何缩短数据库故障分析时长，提高效率，增强用户的使用体验，是本领域需要解决的技术问题。


技术实现要素：

5.有鉴于此，本技术的目的在于提供一种银行数据库故障分析方法，可以缩短数据库故障分析时长，提高效率，增强用户的使用体验。
6.提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
7.为实现上述目的，本技术有如下技术方案：
8.第一方面，本技术实施例提供了一种银行数据库故障分析方法，包括：
9.采集银行业务系统的数据库当前数据；
10.获取函数模型的训练集，所述训练集包括：银行业务系统的数据库历史数据和所述银行业务系统的数据库历史数据中的历史故障数据；
11.利用所述训练集学习数据库数据和数据库数据中的故障数据的映射关系；
12.根据所述映射关系确定所述函数模型的模型参数；
13.将所述当前数据输入预先训练的所述函数模型，预先训练的所述函数模型输出所述当前数据中的当前故障数据。
14.在一种可能的实现方式中，所述采集银行业务系统的数据库当前数据，包括：
15.获取银行业务系统的数据库的初始数据；
16.对所述初始数据按照预先定义的特征进行特征提取，得到提取后的数据；
17.将所述提取后的数据作为所述银行业务系统的数据库当前数据。
18.在一种可能的实现方式中，所述初始数据，包括：
19.银行业务系统的数据库告警数据、性能数据、运行日志数据和操作日志数据。
20.在一种可能的实现方式中，所述方法还包括：
21.将所述当前故障数据保存，并进行展示。
22.第二方面，本技术实施例提供了一种银行数据库故障分析装置，包括：
23.采集单元，用于采集银行业务系统的数据库当前数据；
24.获取单元，用于获取函数模型的训练集，所述训练集包括：银行业务系统的数据库历史数据和所述银行业务系统的数据库历史数据中的历史故障数据；
25.学习单元，用于利用所述训练集学习数据库数据和数据库数据中的故障数据的映射关系；
26.确定单元，用于根据所述映射关系确定所述函数模型的模型参数；
27.输入单元，用于将所述当前数据输入预先训练的所述函数模型，预先训练的所述函数模型输出所述当前数据中的当前故障数据。
28.在一种可能的实现方式中，所述采集单元，具体用于：
29.获取银行业务系统的数据库的初始数据；
30.对所述初始数据按照预先定义的特征进行特征提取，得到提取后的数据；
31.将所述提取后的数据作为所述银行业务系统的数据库当前数据。
32.在一种可能的实现方式中，所述初始数据，包括：
33.银行业务系统的数据库告警数据、性能数据、运行日志数据和操作日志数据。
34.在一种可能的实现方式中，所述装置还包括：
35.保存展示单元，用于将所述当前故障数据保存，并进行展示。
36.第三方面，本技术实施例提供了一种银行数据库故障分析系统，包括：
37.存储器，用于存储计算机程序；
38.处理器，用于执行所述计算机程序时实现如上述所述银行数据库故障分析方法的步骤。
39.第四方面，本技术实施例提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述所述银行数据库故障分析方法的步骤。
40.与现有技术相比，本技术实施例具有以下有益效果：
41.本技术实施例提供了一种银行数据库故障分析方法、装置、系统和介质，可应用于人工智能领域、大数据领域或金融领域。该方法包括：采集银行业务系统的数据库当前数据，获取函数模型的训练集，训练集包括：银行业务系统的数据库历史数据和银行业务系统的数据库历史数据中的历史故障数据，利用训练集学习数据库数据和数据库数据中的故障数据的映射关系，根据映射关系确定函数模型的模型参数，将当前数据输入预先训练的函数模型，预先训练的函数模型输出当前数据中的当前故障数据。从而可以利用预先训练的函数模型自动定位故障，缩短数据库故障分析时长，提高效率，增强用户的使用体验。
附图说明
42.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
43.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
44.图1示出了本技术实施例提供的一种银行数据库故障分析方法的流程图；
45.图2示出了本技术实施例提供的一种银行数据库故障分析装置的框架图；
46.图3示出了本技术实施例提供的又一种银行数据库故障分析方法的流程图；
47.图4示出了本技术实施例提供的一种银行数据库故障分析装置的示意图。
具体实施方式
48.需要说明的是，本发明提供的一种银行数据库故障分析方法、装置、系统和介质，可应用于人工智能领域、大数据领域或金融领域。上述仅为示例，并不对本发明提供的一种银行数据库故障分析方法、装置、系统和介质的应用领域进行限定。
49.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
50.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
51.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
52.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
53.正如背景技术中的描述，经申请人研究发现，伴随着银行业务的快速发展，数据库的规模也保持着高速增长，数据库作为银行业务系统的重要组成部分，一旦出现问题，对业务造成的损失就会非常大。
54.然而，随着数据库规模的快速增长，出现问题的数量也大大增加，为了减少对银行业务所造成的损失，需要对数据库出现的故障异常问题及时进行分析与诊断。传统的数据库异常故障处理的处理能力不足，只能依赖专业dba(数据库管理员，database administrator)手动排查问题，故障处理时间较长，效率较低，用户的使用体验不强。
55.因此，如何缩短数据库故障分析时长，提高效率，增强用户的使用体验，是本领域需要解决的技术问题。
56.具体的，因数据库规模的快速增长，出现问题的数量也大大增加，完全依靠人力的被动分析与定位已经不堪重负。传统的数据库运维面临的主要矛盾是：实例规模增长与运维能力发展之间的不平衡，而主要矛盾体现在数据库稳定性要求较高与关键数据缺失。由于产品能力不足，只能依赖专业dba手动排查问题，异常处理时间较长。每个运维环节虽然都有相关的工具支撑，但能力又不够强，自助化和自动化能力也不足，工具虽多，但整个链条没有打通，未形成合力。不能解决实例规模增长与运维能力发展之间的不平衡和数据库
稳定性要求较高与关键数据缺失的问题。数据应用场景持续扩展，敏捷性、易用性、实时性、智能化要求有待于提升。
57.为了解决以上技术问题，本技术实施例提供了一种银行数据库故障分析方法、装置、系统和介质，可应用于人工智能领域、大数据领域或金融领域。该方法包括：采集银行业务系统的数据库当前数据，获取函数模型的训练集，训练集包括：银行业务系统的数据库历史数据和银行业务系统的数据库历史数据中的历史故障数据，利用训练集学习数据库数据和数据库数据中的故障数据的映射关系，根据映射关系确定函数模型的模型参数，将当前数据输入预先训练的函数模型，预先训练的函数模型输出当前数据中的当前故障数据。从而可以利用预先训练的函数模型自动定位故障，缩短数据库故障分析时长，提高效率，增强用户的使用体验。
58.示例性方法
59.参见图1所示，为本技术实施例提供的一种银行数据库故障分析方法的流程图，包括：
60.s101：采集银行业务系统的数据库当前数据。
61.在本技术实施例中，可以采集银行业务系统的数据库当前数据，采集数据的质量直接决定了整个系统的能力，主要是对银行业务系统的数据库的各种初始数据：告警数据、性能数据、运行日志数据和操作日志数据等进行采集。
62.举例来说，对于告警数据，可以用于进行告警预处理操作；对于性能数据，可以用于kpi(核心程序接口，kernel programming interface)异常检测；对于运行日志数据，可以用于日志日常检测；对于操作日志数据，可以用于高危和关联操作识别。
63.在数据采集方面，本技术实施例中除了可以使用kafka消息队列传输数据，平台还对不同类型数据采取了不同采集方式，比如，对于大部分核心业务系统数据采用被动采集的方式，以降低业务系统高峰期的计算压力，对于app的用户访问行为等数据，以及核心业务系统的数据库，则采用主动采集的方式。
64.参见图2所示，为本技术实施例提供的一种银行数据库故障分析装置的框架图，即本技术实施例采集的数据还可以包括操作日志数据、硬件指标数据、事务变更数据、访问类数据和生态系统数据。
65.在一种可能的实现方式中，可以获取银行业务系统的数据库的初始数据，对初始数据按照预先定义的特征进行特征提取，得到提取后的数据，将提取后的数据作为银行业务系统的数据库当前数据。
66.即为了后续处理的方便，节约系统的计算资源，可以从各类数据中提取特征，包括时序特征，文本特征，以及利用数据库知识提取的领域特征。
67.在一种可能的实现方式中，由于银行整个数据库实例数量和流量巨大，而且随着业务的快速发展，还呈现出快速增长的态势。所以，我们的设计不仅要满足当前，还要考虑未来5年及更长的时间也能够满足要求。同时，对数据库故障分析来说，数据的实时性和完备性是快速和高效定位问题的关键，而保证数据实时性和完备性需要的容量成本也不容忽视。因此，结合上述要求和其他方面的一些考虑，我们对该部分设计提出了一些原则，主要包括：
68.1)全内存计算：确保所有的计算都在单线程内或单进程内做纯内存的操作，追求
性能跟吞吐量的极致。
69.2)上报原始数据：实例上报的数据尽量维持原始数据状态，不做或者尽量少做数据加工。
70.3)数据压缩：由于上报量巨大，需要保障上报的数据进行压缩。
71.4)内存消耗可控：通过理论和实际压测保障几乎不可能会发生内存溢出。
72.5)最小化对实例的影响：计算尽量后置，不在服务器上做复杂计算，确保不对rds(关系型数据库服务，relational database service)实例生产较大影响。
73.参见图2所示，即本技术实施例采集的银行业务系统的数据库当前数据可以采集后进行数据存储操作，可以实时计算以进行数据解析、数据泛化、数据组装、数据缓存、数据扁平化和数据清理等处理操作，将处理后的数据再存储进数据库中。可选的，除了利用实时计算以外，还可以进行离线计算来处理上述数据。
74.s102：获取函数模型的训练集，所述训练集包括：银行业务系统的数据库历史数据和所述银行业务系统的数据库历史数据中的历史故障数据。
75.s103：利用所述训练集学习数据库数据和数据库数据中的故障数据的映射关系。
76.s104：根据所述映射关系确定所述函数模型的模型参数。
77.在本技术实施例中，当有了比较全的数据之后，接下来就是基于数据进行决策，准确快速的找出银行数据库故障。这部分我们使用了基于专家经验结合ai(人工智能，artificial intelligence)的方式。我们把演进路径化分为了四个阶段：第一阶段是完全以规则为主，积累领域经验，探索可行的路径。第二阶段是探索ai场景，但以专家经验为主，在少量低频场景上使用ai算法，验证ai能力。第三阶段是在专家经验和ai上齐头并进，专家经验继续在已有的场景上迭代和延伸，ai在新的场景上进行落地，通过双轨制保证原有能力不退化。第四阶段是完成ai对大部分专家经验的替换，以ai为主专家经验为辅，极致发挥ai能力。
78.参见图2所示，在分析决策阶段，第一阶段由专家经验指定规则作出决策，为了实现ai的替代，可以利用机器学习对历史数据进行数据清洗，提取特征(即特征工程)，对算法模型进行模型训练，模型评估，模型部署，最终用于预测故障。在进行机器学习时，可以对输入输出函数模型的数据即特征提取后的数据进行输入输出学习，以得到训练后的函数模型方便后续使用。
79.具体的，为了实现更加快速的确定银行数据库故障，可以对ai函数模型进行训练，以早日完成函数模型对专家经验的替换。
80.首先可以获取函数模型的训练集，训练集包括：银行业务系统的数据库历史数据和银行业务系统的数据库历史数据中的历史故障数据。
81.利用训练集学习数据库数据和数据库数据中的故障数据的映射关系，根据映射关系确定函数模型的模型参数，从而可以得到训练后的函数模型。
82.s104：将所述当前数据输入预先训练的所述函数模型，预先训练的所述函数模型输出所述当前数据中的当前故障数据。
83.在本技术实施例中，在完成数据采集后，平台可以采用模拟环境基于数据流框架，模拟复现数据库生产场景，并结合平台提供功能进行指标跟踪。
84.具体的，可以将当前数据输入预先训练的函数模型，预先训练的函数模型输出当
前数据中的当前故障数据。
85.参见图3所示，为本技术实施例提供的又一种银行数据库故障分析方法的流程图，包括将告警关联数据以及关联信息数据用于进行故障处理，关联信息包括全量sql(结构化查询语言，structured query language)、事务和活跃会话等和故障的关联关系。
86.利用函数模型ai算法可以确定根因即确定故障，确定故障后可以与故障知识库(包括基线和增量数据)进行规则匹配进行故障识别、故障分析和故障定位等处理，处理了故障后，运维人员可以对故障进行运营标注，以便后续进行故障知识库中的规则沉淀即规则补充。此外处理了故障后，还可以加入预先的训练集中以便对函数模型进行算法优化。
87.在一种可能的实现方式中，还可以将当前故障数据保存，并进行展示。
88.具体的，即可以确定了当前故障数据后，筛选有效信息供用户解决，并且可以将诊断结果通知用户，并提供诊断详情页面，用户可通过标注来提高诊断准确性。并且可以通过报表的产生检查验收故障改进的质量，以便持续改进报表的质量，提升可观测性。
89.在一种可能的实现方式中，本技术秉承平台化、自助化、智能化和自动化四步走的演进策略，本技术可以对故障(异常)进行异常预防、异常发现、异常分析、异常定位、异常恢复和异常复盘和改进等。
90.具体的，异常预防可以包括技术风险防范和变更风险防范，技术风险防范包括主被动健康诊断，变更风险防范包括变更风险识别、变更风险预防、变更风险应对和变更控制。
91.异常发现可以包括指标阈值识别、日志报错识别、bug识别、请求行为识别和业务报错识别；异常分析可以包括bug分析、日志分析、指标分析、变更日志分析、业务报错分析和日志分析；异常定位可以包括问题定位、操作定位和硬件定位；异常恢复可以包括自动限流、索引自动添加、磁盘自动清理和智能调参；异常复盘和改进可以包括异常盘查、异常复现和改进验收。
92.本技术实施例提供了一种银行数据库故障分析方法，可应用于人工智能领域、大数据领域或金融领域。该方法包括：采集银行业务系统的数据库当前数据，获取函数模型的训练集，训练集包括：银行业务系统的数据库历史数据和银行业务系统的数据库历史数据中的历史故障数据，利用训练集学习数据库数据和数据库数据中的故障数据的映射关系，根据映射关系确定函数模型的模型参数，将当前数据输入预先训练的函数模型，预先训练的函数模型输出当前数据中的当前故障数据。从而可以利用预先训练的函数模型自动定位故障，缩短数据库故障分析时长，提高效率，增强用户的使用体验。
93.示例性装置
94.参见图4所示，为本技术实施例提供的一种银行数据库故障分析装置的示意图，包括：
95.采集单元201，用于采集银行业务系统的数据库当前数据；
96.获取单元202，用于获取函数模型的训练集，所述训练集包括：银行业务系统的数据库历史数据和所述银行业务系统的数据库历史数据中的历史故障数据；
97.学习单元203，用于利用所述训练集学习数据库数据和数据库数据中的故障数据的映射关系；
98.确定单元204，用于根据所述映射关系确定所述函数模型的模型参数；
99.输入单元205，用于将所述当前数据输入预先训练的所述函数模型，预先训练的所述函数模型输出所述当前数据中的当前故障数据。
100.在一种可能的实现方式中，所述采集单元，具体用于：
101.获取银行业务系统的数据库的初始数据；
102.对所述初始数据按照预先定义的特征进行特征提取，得到提取后的数据；
103.将所述提取后的数据作为所述银行业务系统的数据库当前数据。
104.在一种可能的实现方式中，所述初始数据，包括：
105.银行业务系统的数据库告警数据、性能数据、运行日志数据和操作日志数据。
106.在一种可能的实现方式中，所述装置还包括：
107.保存展示单元，用于将所述当前故障数据保存，并进行展示。
108.本技术实施例提供了一种银行数据库故障分析装置，可应用于人工智能领域、大数据领域或金融领域。应用于该装置的方法包括：采集银行业务系统的数据库当前数据，获取函数模型的训练集，训练集包括：银行业务系统的数据库历史数据和银行业务系统的数据库历史数据中的历史故障数据，利用训练集学习数据库数据和数据库数据中的故障数据的映射关系，根据映射关系确定函数模型的模型参数，将当前数据输入预先训练的函数模型，预先训练的函数模型输出当前数据中的当前故障数据。从而可以利用预先训练的函数模型自动定位故障，缩短数据库故障分析时长，提高效率，增强用户的使用体验。
109.在上述实施例的基础上，本技术实施例提供了一种银行数据库故障分析系统，包括：
110.存储器，用于存储计算机程序；
111.处理器，用于执行所述计算机程序时实现如上述银行数据库故障分析方法的步骤。
112.在上述实施例的基础上，本技术实施例还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述银行数据库故障分析方法的步骤。
113.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述
的任意合适的组合。
114.上述计算机可读介质可以是上述系统中所包含的；也可以是单独存在，而未装配入该系统中。
115.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。
116.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
117.以上所述仅是本技术的优选实施方式，虽然本技术已以较佳实施例披露如上，然而并非用以限定本技术。任何熟悉本领域的技术人员，在不脱离本技术技术方案范围情况下，都可利用上述揭示的方法和技术内容对本技术技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本技术技术方案的内容，依据本技术的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本技术技术方案保护的范围内。