一种面向数据库的算力度量方法、装置、设备、介质和产品与流程
本发明涉及计算机,尤其涉及一种面向数据库的算力度量方法、装置、设备、介质和产品。
背景技术:
1、在算力网络架构中,算力度量是评估节点服务能力和支撑业务调度决策的技术基础。随着云计算、大数据和人工智能技术的快速发展,数据库作为一种重要的基础软件服务,其自身亦可作为算力资源对外提供数据服务,如何准确、高效地度量数据库算力已成为算力网络建设中的关键技术问题。
2、现有技术中,面向不同业务的统一算力度量体系已得到较为充分的研究。例如,相关行业标准提出了一种三层四面的算力度量架构,以计算、通信、存储、内存等异构资源度量为基础,以节点综合度量能力为支撑,以业务能力度量为接口,构建了较为完整的算力度量体系。
3、然而,上述统一度量体系在设计上过于强调通用性和总体性,主要面向所有计算机程序共同使用的计算、存储、通信等基础资源进行度量。虽然这种通用架构有利于不同业务在算力网络中的统一整合,但当面对数据库这类本身兼具算力资源提供者和算力资源消费者双重身份的业务时,现有分层架构缺乏针对数据库服务特性的定制化度量维度。这使得度量信息在面向数据库业务时精度不足,难以真实反映数据库节点在提供数据服务时的实际算力状态,进而影响算力寻址和调度的优化效果,造成不必要的资源浪费和性能损失。
4、针对上述问题,部分现有技术开始研究面向特定业务的定制化算力度量方案。例如,有专利方案针对用户侧的协处理器平台,通过监测算术运算调用的具体内容,分析基本操作的指标来表征用户消耗的协处理算力;也有方案以智能计算业务的吞吐量为指标,通过算力卡数据表预测资源使用和评估业务吞吐量。然而,这些定制化度量方案主要面向特定硬件平台或特定业务场景,并不能直接适用于数据库算力的度量需求。
技术实现思路
1、本发明实施例的目的是提供一种面向数据库的算力度量方法、装置、设备、介质和产品,其能够在保证度量通用性的前提下,针对数据库业务特点实现精准的算力感知与度量。
2、为实现上述目的,本发明实施例提供了一种面向数据库的算力度量方法,包括:
3、获取目标数据库在处理用户请求过程中所表现的外部服务维度的外部度量参数集合和内部算力消耗维度的内部度量参数集合;
4、根据所述外部度量参数集合和所述内部度量参数集合,采用熵权评价法分别计算得到第一算力度量值和第二算力度量值;
5、根据所述第一算力度量值和所述第二算力度量值,计算所述目标数据库的综合算力评价结果。
6、作为上述方案的改进,所述获取目标数据库在处理用户请求过程中所表现的外部服务维度的外部度量参数集合,包括:
7、通过预设的多个外部度量模块分别采集所述目标数据库在处理用户请求过程中的外部服务维度的运行参数,记为外部度量参数,以生成外部度量参数集合;
8、所述外部度量模块包括服务性能度量模块、运行状态度量模块和硬件资源度量模块;所述外部度量参数对应包括服务性能指标、运行状态指标和硬件资源指标。
9、作为上述方案的改进,所述服务性能指标包括请求响应时延、单位时间内的请求处理数量和容灾恢复能力指标中的一种或多种;
10、所述运行状态指标包括数据传输吞吐量、处理器占用率和内存占用率中的一种或多种;
11、所述硬件资源指标包括通信资源可用量、计算资源可用量、内存资源可用量和存储资源可用量中的一种或多种。
12、作为上述方案的改进,所述获取目标数据库在处理用户请求过程中所表现的内部算力消耗维度的内部度量参数集合,包括:
13、通过预设的多个内部度量模块分别采集所述目标数据库内部多个功能模块在处理所述用户请求过程中的算力消耗参数,记为内部度量参数,以生成内部度量参数集合;
14、所述功能模块包括请求感知模块,算子算力模块和通用算力模块;所述内部度量模块对应包括请求感知度量模块、算子算力度量模块和通用算力度量模块;所述内部度量参数包括所述请求感知模块、所述算子算力模块和所述通用算力模块的算力消耗参数。
15、作为上述方案的改进,所述请求感知模块用于对访问所述目标数据库的用户请求进行解析,识别所述用户请求的操作类型,并根据预设的操作类型与算力资源需求之间的第一映射关系,确定对应的算子算力模块和通用算力模块;则所述请求感知度量模块所采集的内部度量参数包括所述请求感知模块的解析算力消耗和识别算力消耗;
16、所述算子算力模块包括语言处理模块、日志处理模块和存储处理模块;所述语言处理模块用于对所述用户请求进行语法解析、语句重写和查询优化,并根据预设的算子算力资源与通用算力资源之间的第二映射关系,预测所需的通用算力资源需求,以生成执行计划;所述日志处理模块用于通过日志方式记录并同步相关数据库操作;所述存储处理模块用于对相关数据库数据进行分级存储和管理;则所述算子算力度量模块所采集的内部度量参数包括所述语言处理模块的语法解析消耗、语句重写消耗、查询优化消耗和计划执行消耗,及所述日志处理模块的日志记录消耗和日志同步消耗,及所述存储处理模块的数据读取消耗、数据写入消耗和缓存管理消耗;
17、所述通用算力模块用于根据所述执行计划中的通用算力资源需求,分配对应的通信资源、计算资源、内存资源和存储资源,对所述用户请求进行执行;则所述通用算力度量模块所采集的内部度量参数包括所述通用算力模块的通信资源消耗、计算资源消耗、内存资源消耗和存储资源消耗。
18、作为上述方案的改进,所述根据所述外部度量参数集合,采用熵权评价计算得到第一算力度量值,包括:
19、根据每一所述外部度量参数的当前数值及其所属的外部度量模块,计算每一所述外部度量参数在其所属的外部度量模块内的权重值;
20、根据每一所述外部度量参数在其所属的外部度量模块内的权重值,计算每一所述外部度量模块的熵值;其中,所述熵值用于表征所述外部度量模块内各个外部度量参数的离散程度;
21、根据所述外部度量模块的熵值和所述外部度量参数的权重值,计算所述外部度量参数集合的第一算力度量值。
22、作为上述方案的改进,所述根据所述内部度量参数集合,采用熵权评价计算得到第二算力度量值,包括:
23、根据每一所述内部度量参数的当前数值及其所属的内部度量模块,计算每一所述内部度量参数在其所属的内部度量模块内的权重值;
24、根据每一所述内部度量参数在其所属的内部度量模块内的权重值,计算每一所述内部度量模块的熵值;其中,所述熵值用于表征所述内部度量模块内各个内部度量参数的离散程度;
25、根据所述内部度量模块的熵值和所述内部度量参数的权重值,计算所述内部度量参数集合的第二算力度量值。
26、作为上述方案的改进,所述根据所述第一算力度量值和所述第二算力度量值,计算所述目标数据库的综合算力评价结果,包括:
27、按照预设的加权系数对所述第一算力度量值和所述第二算力度量值进行加权求和,生成所述综合算力评价结果。
28、本发明实施例还提供了一种面向数据库的算力度量装置,包括:
29、度量参数获取模块,用于获取目标数据库在处理用户请求过程中所表现的外部服务维度的外部度量参数集合和内部算力消耗维度的内部度量参数集合;
30、算力度量模块,用于根据所述外部度量参数集合和所述内部度量参数集合,采用熵权评价法分别计算得到第一算力度量值和第二算力度量值;
31、综合算力评价模块,用于根据所述第一算力度量值和所述第二算力度量值,计算所述目标数据库的综合算力评价结果。
32、本发明实施例还提供了一种面向数据库的算力度量设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上述任意一项所述的面向数据库的算力度量方法。
33、本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述的面向数据库的算力度量方法。
34、本发明实施例还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或计算机指令,所述计算机程序或所述计算机指令被处理器执行时实现如上述任意一项所述的面向数据库的算力度量方法。
35、与现有技术相比,本发明公开的面向数据库的算力度量方法、装置、设备、介质和产品,从数据库的外部服务能力和内部算力消耗两个相互独立但又相互关联的维度出发,从多层级、多维度全面捕获数据库算力特征,既涵盖了外部动态服务指标,也深入数据库内核解析算子级算力消耗,并通过熵权评价法客观地确定各维度内参数的权重,并最终融合得到一个综合算力评价结果,有效避免了传统统一度量体系因缺乏业务定制化维度而导致的度量信息失准问题,也避免了业务定制化度量体系导致的算力度量尺度不精准的问题,显著提高了面向数据库业务的算力度量精度。本发明能够更全面、更精确地反映数据库实例的真实算力水平,为算力网络的智能调度和决策提供了可靠的数据基础,从而有效避免了因度量信息不精准导致的资源浪费。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com