一种基于机器学习的数据库画像方法、系统与流程
本技术涉及数据库管理,具体涉及一种基于机器学习的数据库画像方法及系统。
背景技术:
1、数据库作为各类信息系统的核心组件,承担数据存储职能。在现代社会各领域的信息系统中,包括电子商务平台、社交媒体网络、医疗记录系统以及金融交易处理等,其每个业务流程的背后通常都依赖于一个或多个数据库的支撑。数据库在信息系统中具有重要地位。
2、随着业务复杂度提升和数据规模增长,数据库作为基础组件,对其性能要求也不断提高。高效的数据库能够在保障数据安全性的前提下,提供更好的查询响应性能和用户体验。维持数据库处于良好运行状态,对依赖数据库的业务十分重要。
3、在数据库运行状态监控领域,传统监控工具通常难以全面掌握数据库健康状态,也无法对数据库性能形成系统性综合评估。数据库画像系统通过对数据库关键性能指标的采集与分析,能够辅助数据库运维人员开展数据库的深度分析。具体表现在:数据库画像系统一方面可支持使用者及时识别数据库中潜在异常并触发告警,另一方面能够帮助开发人员定位低效查询模式,推动应用程序的及时优化。此外,数据库画像系统还可为数据库相关决策提供支撑,例如辅助筛选适配性最优的工作负载分布策略。构建数据库画像系统是应对复杂数据库管理工作的有效途径。
4、当前,数据库画像领域的研究方法已获得一定进展,现有方案主要通过集成基础监控功能实现数据库画像构建,可对中央处理器利用率、内存使用率、事务吞吐量(tps)、查询吞吐量(qps)等常规性能指标进行持续跟踪。部分高级方案进一步引入机器学习算法,有助于提高指标分析结果的准确性。
5、然而,采用机器学习算法开展数据库指标分析时,若仅将分析维度局限于指标的历史观测值与当前观测值,所得分析结果的时效性不足。数据库画像系统的核心目标是辅助数据库运维人员精准把握并优化数据库的性能状态,因此,该系统除分析指标的历史值与当前值外,更需要依托上述现有观测数据,实现对指标变化趋势与未来取值的预测。
6、此外,分组划分是数据库画像系统的一项常用功能,该功能通过聚类将性能特征相近的数据库归入同一分组,将性能特征差异显著的数据库划分至不同分组。然而现有数据库画像方法与系统大多仅针对当前时刻的数据库性能数据开展静态分组,该模式存在两点明显局限:其一,现有分组方式仅能实现部分维度指标的高相似性聚合,难以保证全维度指标的同质性;其二,在实际应用场景中,数据库的性能状态本身具有随时间推移动态演化的特性。据此,数据库分组结果需要具备更细的粒度,且能够随时间推移实现动态更新调整。
技术实现思路
1、本技术要解决的技术问题是:现有数据库画像方法仅依赖于性能指标的历史值和当前值进行分析,缺乏对未来趋势的预测能力;同时,现有的数据库分组方法仅基于当前时刻的数据进行静态分组,无法反映数据库性能状态随时间的动态变化,也难以识别在特定时间段和特定指标子集上的细粒度相似性模式。
2、为解决上述技术问题,本技术提供一种基于机器学习的数据库画像方法,包括以下步骤:
3、采集步骤:从多个数据库采集性能指标数据;
4、预测步骤:利用时间序列预测模型,基于所述性能指标的历史数据,预测所述性能指标的未来取值;
5、构建步骤:基于所述性能指标的历史值、当前值以及所述预测步骤得到的预测未来值,构建多维数据结构,所述多维数据结构以数据库、指标和时间点为维度组织数据;
6、种子生成步骤:在所述多维数据结构中检测局部一致性区域,生成若干候选种子块,每个候选种子块由数据库子集、指标子集和时间区间内的元素构成,其中所述数据库子集包含一个或多个数据库;
7、凝聚合并步骤:将各候选种子块作为初始聚类单元,迭代合并满足合并条件的候选种子块,并在合并过程中对重叠度过大的块执行合并消除或收缩处理,使块的数量逐渐减少、覆盖范围逐渐扩大,自动确定各块的数据库子集、指标子集和时间区间,得到分群结果;
8、预测段感知步骤:将所述时间点维度划分为历史段和预测段,分别计算子张量块在历史段和预测段上的数值水平一致性度量,当且仅当两者均满足各自预设阈值时判定该块为有效局部模式,并确定块的时间区间是否延伸至预测的未来时段;
9、画像生成步骤:基于所述分群结果,生成数据库画像。
10、进一步地,所述种子生成步骤中,所述多维数据结构为数据库-指标-时间点三维矩阵m,其中第一维对应数据库、第二维对应指标、第三维对应时间点;三维矩阵m中包含n个数据库、k个指标、t个时间点,矩阵元素xijt表示第i个数据库在第j个指标、第t个时间点的取值,其中,,;对第j个指标进行标准化,将其取值映射到区间[0,1],则第i个数据库第j个指标第t个时间点的标准化取值;对块内每个数据库-指标组合i、j,计算其在时间方向上的平均标准化取值,为块内该组合覆盖的时间点集合;再计算块内各平均标准化取值的方差作为一致性度量,、分别为块覆盖的数据库子集与指标子集,为块内所有平均标准化取值的均值;当低于预设阈值时,该块满足一致性条件。
11、进一步地,所述凝聚合并步骤中,以各候选种子块为初始聚类单元,对任意两个候选种子块、(),将其合并后所得块的一致性度量作为合并代价,每次合并时从所有块对的集合中选取合并代价最小的块对执行合并:
12、
13、其中按上述一致性度量的计算方式对合并所得块内的所有元素计算;若合并后所得块的一致性度量仍低于预设阈值,则接受该次合并,并以合并后的块作为新的聚类单元继续参与后续迭代,否则终止合并;重复上述过程直至不存在满足合并条件的块对或达到预设的块数量。
14、进一步地,所述凝聚合并步骤还包括对块间重叠的处理:基于交并比计算任意两个子张量块之间的重叠度,表示集合的元素个数;若重叠度超过预设阈值,则优先尝试将两者合并以消除重叠,若两者合并后整体一致性不满足预设条件,则对数值水平一致性度量较差的块执行收缩操作。
15、进一步地,所述预测段感知步骤中,设所述时间点维度划分为历史段与预测段,其中所述历史段包含指标的历史值与当前值对应的时间点,所述预测段包含预测未来值对应的时间点;对任一子张量块,将其在历史段的部分记为 ,在预测段的部分记为,分别按数值水平一致性度量的定义计算两部分的一致性度量与;当且仅当且时,所述子张量块被判定为有效局部模式,其中、分别为历史段与预测段的预设一致性阈值;当在预测段的一致性不满足预设条件时,的时间区间截止于历史段与预测段的分界处;当在历史段与预测段均一致时,的时间区间延伸至预测段所对应的未来时段,表明该局部模式在未来时段仍将持续,从而实现对数据库未来行为模式的感知与预警。
16、基于上述方法,本技术还提供一种基于机器学习的数据库画像系统,包括以下模块,各模块分别对应于前述方法中的各执行步骤:
17、采集模块,用于从多个数据库采集性能指标数据;
18、预测模块,用于利用时间序列预测模型,基于所述性能指标的历史数据,预测所述性能指标的未来取值;
19、构建模块,用于基于所述性能指标的历史值、当前值以及所述预测模块得到的预测未来值,构建多维数据结构,所述多维数据结构以数据库、指标和时间点为维度组织数据;
20、种子生成模块,用于在所述多维数据结构中检测局部一致性区域,生成若干候选种子块,每个候选种子块由数据库子集、指标子集和时间区间内的元素构成,其中所述数据库子集包含一个或多个数据库;
21、凝聚合并模块,用于将各候选种子块作为初始聚类单元,迭代合并满足合并条件的候选种子块,并在合并过程中对重叠度过大的块执行合并消除或收缩处理,使块的数量逐渐减少、覆盖范围逐渐扩大,自动确定各块的数据库子集、指标子集和时间区间,得到分群结果;
22、预测段感知模块,用于将所述时间点维度划分为历史段和预测段,分别计算子张量块在历史段和预测段上的数值水平一致性度量,当且仅当两者均满足各自预设阈值时判定该块为有效局部模式,并确定块的时间区间是否延伸至预测的未来时段;
23、画像生成模块,用于基于所述分群结果,生成数据库画像。
24、进一步地,所述种子生成模块中,所述多维数据结构为数据库-指标-时间点三维矩阵m,其中第一维对应数据库、第二维对应指标、第三维对应时间点;三维矩阵m中包含n个数据库、k个指标、t个时间点,矩阵元素xijt表示第i个数据库在第j个指标、第t个时间点的取值,其中,,;对第j个指标进行标准化,将其取值映射到区间[0,1],则第i个数据库第j个指标第t个时间点的标准化取值;对块内每个数据库-指标组合i、j,计算其在时间方向上的平均标准化取值,为块内该组合覆盖的时间点集合;再计算块内各平均标准化取值的方差作为一致性度量,、分别为块覆盖的数据库子集与指标子集,为块内所有平均标准化取值的均值;当低于预设阈值时,该块满足一致性条件。
25、进一步地,所述凝聚合并模块中,以各候选种子块为初始聚类单元,对任意两个候选种子块、(),将其合并后所得块的一致性度量作为合并代价,每次合并时从所有块对的集合中选取合并代价最小的块对执行合并:
26、
27、其中按上述一致性度量的计算方式对合并所得块内的所有元素计算;若合并后所得块的一致性度量仍低于预设阈值,则接受该次合并,并以合并后的块作为新的聚类单元继续参与后续迭代,否则终止合并;重复上述过程直至不存在满足合并条件的块对或达到预设的块数量。
28、进一步地,所述凝聚合并模块还包括对块间重叠的处理:基于交并比计算任意两个子张量块之间的重叠度,表示集合的元素个数;若重叠度超过预设阈值,则优先尝试将两者合并以消除重叠,若两者合并后整体一致性不满足预设条件,则对数值水平一致性度量较差的块执行收缩操作。
29、进一步地,所述预测段感知模块中,设所述时间点维度划分为历史段与预测段,其中所述历史段包含指标的历史值与当前值对应的时间点,所述预测段包含预测未来值对应的时间点;对任一子张量块,将其在历史段的部分记为 ,在预测段的部分记为,分别按数值水平一致性度量的定义计算两部分的一致性度量与;当且仅当且时,所述子张量块被判定为有效局部模式,其中、分别为历史段与预测段的预设一致性阈值;当在预测段的一致性不满足预设条件时,的时间区间截止于历史段与预测段的分界处;当在历史段与预测段均一致时,的时间区间延伸至预测段所对应的未来时段,表明该局部模式在未来时段仍将持续,从而实现对数据库未来行为模式的感知与预警。
30、与现有技术相比,本技术具有以下有益效果:
31、(1)通过在数据库画像过程中引入对未来指标值的预测,使得数据库画像不仅反映历史和当前状态,还能预判数据库性能的发展趋势,提高了画像的前瞻性和时效性。
32、(2)通过构建数据库-指标-时间点三维数据结构并进行三维聚类,能够同时在数据库、指标和时间点三个维度上发现相似性模式,实现了细粒度的动态分组。分组结果不仅告诉用户哪些数据库属于同一簇,还能指出它们在哪些指标和哪些时间段上表现出相似性,为用户提供了更为精确和可解释的分析结果。
33、(3)通过采用数值水平一致性度量,本技术能够将数值水平接近的数据库正确归入同一局部模式:对各指标进行标准化后,消除了不同指标之间的量纲与水平差异,再以块内各数据库-指标组合平均取值水平的方差作为一致性判据,使不同数值水平(如低负载、中等负载、高负载)的数据库自然分为不同的局部模式,负载水平相同的数据库聚合为同一模式。结合局部模式发现算法,子张量块的数量及其在数据库维度、指标维度和时间点维度上的覆盖范围均由数据自动确定,无需人工预设分组数量、时间窗口或指标子集,输出结果直接给出"哪些数据库在哪些指标、哪些时段上构成一个数值水平一致的局部模式",可解释性强,便于数据库运维人员直接依据画像结果进行决策。
34、(4)通过采用预测段感知判定,本技术将预测的未来时段纳入局部模式的识别与验证:只有同时满足历史段一致性和预测段一致性的子张量块,才被判定为有效的局部模式,其时间区间可延伸至预测的未来时段。由此,数据库画像不仅反映过去与当前的相似性模式,更能识别"哪些数据库在未来时段仍将维持相似行为模式",使运维人员可以据此提前规划资源、容量与负载均衡策略;对于预测段出现行为模式分化的数据库组合,本技术能够及时发出预警,提示其未来相似性即将终止,从而将数据库画像从"事后描述"提升为"事前预警",进一步提高了画像的前瞻价值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com