一种Flink状态存储优化方法及装置与流程

技术特征：
1.一种flink状态存储优化方法，其特征在于，该方法包括：性能采集器获取系统状态信息和数据库状态信息发送到调优控制器；调优控制器对系统状态信息和数据库状态信息进行分析，判断是否需要进行参数调优；若是则发送参数模型和调优规则给机器学习调优器；根据参数模型和调优规则，机器学习调优器利用知识库和机器学习，使用高斯过程回归模型结合贝叶斯优化算法，得出参数调整结果集并发送给调优控制器；调优控制器根据参数调整结果集，对rocksdb的配置参数进行动态调整。2.根据权利要求1所述的flink状态存储优化方法，其特征在于，所述高斯过程回归模型结合贝叶斯优化算法，得到如下算法函数：u(x)＝m(x) k*s(x)其中，x是样本参数值，m(x)是x的均值，s(x)是x的标准差，k是算法系数，k>0是可调的算法系数；通过上述算法函数，找出最大的u(x)即可。3.根据权利要求1所述的flink状态存储优化方法，其特征在于，所述调优控制器监控参数调整后rocksdb的状态，并判断此次参数调整是否有效，若有效则发送更新知识库指令到机器学习调优器，进行知识库的更新。4.根据权利要求1所述的flink状态存储优化方法，其特征在于，所述flink给每个资源并发度分配了一个rocksdb实例，在flink中的每个状态都是一个列族，不同的列族对应不同的sst文件/内存表。5.一种flink状态存储优化装置，其特征在于，该装置包括：性能采集器，用于获取系统状态信息和数据库状态信息发送到调优控制器；调优控制器，用于对系统状态信息和数据库状态信息进行分析，判断是否需要进行参数调优；若是则发送参数模型和调优规则给机器学习调优器；根据机器学习调优器发送的参数调整结果集，对rocksdb的配置参数进行动态调整；机器学习调优器，用于根据参数模型和调优规则，利用机器学习调优器利用知识库和机器学习，使用高斯过程回归模型结合贝叶斯优化算法，得出参数调整结果集并发送给调优控制器。6.根据权利要求5所述的flink状态存储优化装置，其特征在于，所述高斯过程回归模型结合贝叶斯优化算法，得到如下算法函数：u(x)＝m(x) k*s(x)其中，x是样本参数值，m(x)是x的均值，s(x)是x的标准差，k是算法系数，k>0是可调的算法系数；通过上述算法函数，找出最大的u(x)即可。7.根据权利要求5所述的flink状态存储优化装置，其特征在于，所述调优控制器监控参数调整后rocksdb的状态，并判断此次参数调整是否有效，若有效则发送更新知识库指令到机器学习调优器，进行知识库的更新。8.根据权利要求5所述的flink状态存储优化装置，其特征在于，所述flink给每个资源并发度分配了一个rocksdb实例，在flink中的每个状态都是一个列族，不同的列族对应不同的sst文件/内存表。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4任一项所述方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1-4任一项所述方法的计算机程序。

技术总结
本发明公开一种Flink状态存储优化方法及装置，其中，该方法包括：性能采集器获取系统状态信息和数据库状态信息发送到调优控制器；调优控制器对系统状态信息和数据库状态信息进行分析，判断是否需要进行参数调优；若是则发送参数模型和调优规则给机器学习调优器；根据参数模型和调优规则，机器学习调优器利用知识库和机器学习，使用高斯过程回归模型结合贝叶斯优化算法，得出参数调整结果集并发送给调优控制器；调优控制器根据参数调整结果集，对RocksDB的配置参数进行动态调整。该方法及装置通过动态调整RocksDB参数，以使其在更好的运行状态下发挥更加极致的性能。运行状态下发挥更加极致的性能。运行状态下发挥更加极致的性能。


技术研发人员：闫一帅 毛春阳
受保护的技术使用者：中盈优创资讯科技有限公司
技术研发日：2022.11.07
技术公布日：2023/2/3