一种连接池分池方法及装置与流程

1.本技术涉及计算机技术领域，具体而言，涉及一种连接池分池方法及装置。


背景技术：

2.目前，连接池是应用连接数据库非常重要的中间件。由于建立连接的代价太高，目前绝大多数的数据库应用系统都使用连接池作为应用访问数据库的媒介。应用先访问连接池，获取一个可用的连接，然后直接使用这个连接访问数据库，节约了数据库创建连接的开销。然而，在实践中发现，现有通过连接池访问数据库时，会存在慢sql查询请求，导致在一定时间段内连接池没有连接可用，从而导致应用无法连接到数据库，使得整个系统处于不可用状态。可见，现有技术中慢查询对系统影响大，导致应用无法连接到数据库，降低了数据库的可靠性和稳定性。


技术实现要素：

3.本技术实施例的目的在于提供一种连接池分池方法及装置，能够避免慢查询对系统的影响，从而避免应用无法连接到数据库的情况，提高了数据库的可靠性和稳定性。
4.本技术实施例第一方面提供了一种连接池分池方法，包括：
5.收集当前待优化服务器查询请求的执行统计信息；
6.使用聚类算法对所述执行统计信息进行聚类分析，得到分析结果；
7.根据所述分析结果，将连接池划分为多个子池，并为每个所述子池分配对应的连接数；
8.当接收到应用发起的目标查询请求时，根据多个所述子池为所述目标查询请求分配目标子池和目标连接；
9.通过所述目标子池、所述目标连接和目标查询请求连接数据库进行数据查询，得到查询结果。
10.在上述实现过程中，该方法可以优先收集当前待优化服务器查询请求的执行统计信息；然后使用聚类算法对执行统计信息进行聚类分析，得到分析结果；再然后根据分析结果，将连接池划分为多个子池，并为每个子池分配对应的连接数；当接收到应用发起的目标查询请求时，根据多个子池为目标查询请求分配目标子池和目标连接；最后再通过目标子池、目标连接和目标查询请求连接数据库进行数据查询，得到查询结果。可见，实施这种实施方式，能够避免慢查询对系统的影响，从而避免应用无法连接到数据库的情况，提高了数据库的可靠性和稳定性。
11.进一步地，所述根据多个所述子池为所述目标查询请求分配目标子池和目标连接，包括：
12.获取所述目标查询请求的查询语句参数；
13.通过预先构建的响应预测模型和所述查询语句参数，预估所述目标查询请求的预测执行信息；其中，所述预测执行信息包括所述目标查询请求的预测执行频率和所述目标
查询请求的预测响应时间；
14.根据所述预测执行信息从多个所述子池中为所述目标查询请求分配目标子池和目标连接。
15.进一步地，在所述通过预先构建的响应预测模型和所述查询语句参数，预估所述目标查询请求的预测执行信息之前，所述方法还包括：
16.获取查询语句样本；
17.通过预设算法和所述查询语句样本对原始模型进行训练，得到训练好的响应预测模型。
18.进一步地，在通过所述目标子池、所述目标连接和目标查询请求连接数据库进行数据查询，得到查询结果之后，所述方法还包括：
19.获取预设时间段内查询请求在实际进行数据查询时的实际执行信息；其中，所述实际执行信息包括所述目标查询请求在进行数据查询时的实际执行频率和所述目标查询请求在进行数据查询时的实际响应时间；
20.将所述实际执行信息添加至所述执行统计信息中，得到更新执行信息；
21.使用聚类算法对所述更新执行信息重新进行聚类分析，得到分析结果；并执行所述的根据所述分析结果，将连接池划分为多个子池。
22.进一步地，根据所述分析结果，将连接池划分为多个子池，并为每个所述子池分配对应的连接数，包括：
23.确定所述执行统计信息的类别和总类别数目；
24.将连接池划分为多个子池的子池数目为所述总类别数目；
25.根据系统的业务类型确定每个所述类别的类别权重；
26.根据所述执行统计信息，确定每个所述类别对应的所有执行频率和每个所述类别对应的所有响应时间；
27.根据所述所有执行频率、所述所有响应时间、所述类别权重以及预设的总共可配置连接数，计算每个所述子池配置的连接数。
28.本技术实施例第二方面提供了一种连接池分池装置，所述连接池分池装置包括：
29.收集单元，用于收集当前待优化服务器查询请求的执行统计信息；
30.聚类单元，用于使用聚类算法对所述执行统计信息进行聚类分析，得到分析结果；
31.分池单元，用于根据所述分析结果，将连接池划分为多个子池，并为每个所述子池分配对应的连接数；
32.分配单元，用于当接收到应用发起的目标查询请求时，根据多个所述子池为所述目标查询请求分配目标子池和目标连接；
33.查询单元，用于通过所述目标子池、所述目标连接和目标查询请求连接数据库进行数据查询，得到查询结果。
34.在上述实现过程中，该连接池分池装置可以通过收集单元来收集当前待优化服务器查询请求的执行统计信息；通过聚类单元使用聚类算法对执行统计信息进行聚类分析，得到分析结果；通过分池单元来根据分析结果，将连接池划分为多个子池，并为每个子池分配对应的连接数；通过分配单元在接收到应用发起的目标查询请求时，根据多个子池为目标查询请求分配目标子池和目标连接；再通过查询单元来通过目标子池、目标连接和目标
查询请求连接数据库进行数据查询，得到查询结果。可见，实施这种实施方式，能够避免慢查询对系统的影响，从而避免应用无法连接到数据库的情况，提高了数据库的可靠性和稳定性。
35.进一步地，所述分配单元包括：
36.获取子单元，用于当接收到应用发起的目标查询请求时，获取所述目标查询请求的查询语句参数；
37.预估子单元，用于通过预先构建的响应预测模型和所述查询语句参数，预估所述目标查询请求的预测执行信息；其中，所述预测执行信息包括所述目标查询请求的预测执行频率和所述目标查询请求的预测响应时间；
38.分配子单元，用于根据所述预测执行信息从多个所述子池中为所述目标查询请求分配目标子池和目标连接。
39.进一步地，所述连接池分池装置还包括：
40.获取单元，用于在通过所述目标子池、所述目标连接和目标查询请求连接数据库进行数据查询，得到查询结果之后，获取预设时间段内查询请求在实际进行数据查询时的实际执行信息；其中，所述实际执行信息包括所述目标查询请求在进行数据查询时的实际执行频率和所述目标查询请求在进行数据查询时的实际响应时间；
41.添加单元，用于将所述实际执行信息添加至所述执行统计信息中，得到更新执行信息；
42.所述聚类单元，还用于使用聚类算法对所述更新执行信息重新进行聚类分析，得到分析结果；并触发所述分池单元根据所述分析结果，将连接池划分为多个子池。
43.进一步地，所述分配单元还包括：
44.所述获取子单元，还用于在所述通过预先构建的响应预测模型和所述查询语句参数，预估所述目标查询请求的预测执行信息之前，获取查询语句样本；
45.训练子单元，用于通过预设算法和所述查询语句样本对原始模型进行训练，得到训练好的响应预测模型。
46.进一步地，所述分池单元包括：
47.确定子单元，用于确定所述执行统计信息的类别和总类别数目；
48.划分子单元，用于将连接池划分为多个子池的子池数目为所述总类别数目；
49.所述确定子单元，还用于根据系统的业务类型确定每个所述类别的类别权重；
50.所述确定子单元，还用于根据所述执行统计信息，确定每个所述类别对应的所有执行频率和每个所述类别对应的所有响应时间；
51.计算子单元，用于根据所述所有执行频率、所述所有响应时间、所述类别权重以及预设的总共可配置连接数，计算每个所述子池配置的连接数。
52.本技术实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本技术实施例第一方面中任一项所述的连接池分池方法。
53.本技术实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本技术实施例第一方面中任一项所述的连接池分池方法。
附图说明
54.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
55.图1为本技术实施例提供的一种连接池分池方法的流程示意图；
56.图2为本技术实施例提供的另一种连接池分池方法的流程示意图；
57.图3为本技术实施例提供的一种连接池分池装置的结构示意图；
58.图4为本技术实施例提供的另一种连接池分池装置的结构示意图。
具体实施方式
59.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
60.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
61.实施例1
62.请参看图1，图1为本技术实施例提供了一种连接池分池方法的流程示意图。其中，该连接池分池方法包括：
63.s101、收集当前待优化服务器查询请求的执行统计信息。
64.本实施例中，该方法可以收集当前待优化服务器查询请求的sql执行统计信息。
65.s102、使用聚类算法对执行统计信息进行聚类分析，得到分析结果。
66.本实施例中，该方法可以使用聚类算法对sql执行时间、频率做聚类分析，得到分析结果。
67.s103、根据分析结果，将连接池划分为多个子池，并为每个子池分配对应的连接数。
68.s104、当接收到应用发起的目标查询请求时，根据多个子池为目标查询请求分配目标子池和目标连接。
69.s105、通过目标子池、目标连接和目标查询请求连接数据库进行数据查询，得到查询结果。
70.本实施例中，连接池中的两个参数会直接影响到连接池的正常使用，该方法便用这两个参数作为分池依据。其中：
71.sq1执行频率：一条sql单位时间内的执行次数的平均值，用f表示。
72.sql响应时间：一条sql语句从应用发起请求到数据库返回所有结果花费的时间，用t表示。
73.具体的，该方法可以使用聚类分析算法对sql执行信息做聚类分析，比如knn，k-means，dbscan等，这里使用optics为例建立模型。
74.如果在数据样本中，有n个对象(f，t)，根据对象数量定义：
75.minpts＝c(n)；
76.其中，minpts为最少点数(对象数)。
77.最小半径为r
′
。
78.核心点：如果一个点的半径内包含点的数量不少于最少点数，则该点为核心点的核心距离：
[0079][0080]
可达距离：
[0081]
reachabilitydistance(q)＝max(coredistance(p)，d(p，q))；
[0082]
其中，d(p，q)为p，q的距离函数，可以使用euclidean distance或者manhattan distance等方法计算两个对象之间的距离。
[0083]
在数据样本中，使用optics对数据做聚类分析，得到所有聚类。
[0084]
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
[0085]
在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
[0086]
可见，实施本实施例所描述的连接池分池方法，能够通过数据库连接池智能分池，从而把慢查询占用的连接数控制在一定范围内，实现降低慢查询对数据库的影响，保证系统的正常运行，提高数据库的可靠性和稳定性的效果。同时，该方法还能够保证系统重要业务持续正常工作，减少系统故障，降低企业经济损失。
[0087]
实施例2
[0088]
请参看图2，图2为本技术实施例提供了一种连接池分池方法的流程示意图。其中，该连接池分池方法包括：
[0089]
s201、收集当前待优化服务器查询请求的执行统计信息。
[0090]
s202、使用聚类算法对执行统计信息进行聚类分析，得到分析结果。
[0091]
s203、确定执行统计信息的类别和总类别数目。
[0092]
s204、将连接池划分为多个子池的子池数目为总类别数目。
[0093]
s205、根据系统的业务类型确定每个类别的类别权重。
[0094]
s206、根据执行统计信息，确定每个类别对应的所有执行频率和每个类别对应的所有响应时间。
[0095]
本实施例中，执行频率为sql执行频率和响应时间为sql响应时间。
[0096]
s207、根据所有执行频率、所有响应时间、类别权重以及预设的总共可配置连接数，计算每个子池配置的连接数。
[0097]
本实施例中，如果数据样本被分为i个类s1，s2，s3……
si(其中聚类按照核心点与原点之间的距离的升序排列)，可以把连接池划分为i个子池。由于在生产系统中，特别是交易型系统中，执行频率高，执行时间短的sql主要是重要交易类sql，要优先保证这些sql的正常执行，所以该方法可以按照系统的业务类型，为每个类设置权重：p1，p2，p3……
pi。对于非常重要的查询，执行频率高，执行时间短，对这个类赋予的权重可以大于1，使其子池分配到较多的连接数；而对于执行慢的sql，对它的类赋予小于1的权重值，使其分配较少连接，进一步降低慢查询对应用系统的影响。
[0098]
如果连接池总共可配置连接数为m。某一个子池配置的连接数用这个聚类中所有
查询的频率和耗时来计算。公式如下：
[0099][0100]
cpj表示第j个子池配置的连接数；
[0101]
m表示预设的总共可配置连接数；
[0102]
f(s
ji
)表示第j个子池第i个类的所有执行频率；
[0103]
t(s
ji
)表示第j个子池第i个类的所有响应时间；
[0104]fi
表示，ti表示；
[0105]
pj表示第j个类的类别权重；
[0106]
n表示执行统计信息的总样本数目。
[0107]
s208、当接收到应用发起的目标查询请求时，获取查询语句样本和目标查询请求的查询语句参数。
[0108]
s209、通过预设算法和查询语句样本对原始模型进行训练，得到训练好的响应预测模型。
[0109]
本实施例中，预设算法为线性回归算法或者非线性回归算法。
[0110]
本实施例中，响应预测模型为sql响应时间模型。
[0111]
s210、通过预先构建的响应预测模型和查询语句参数，预估目标查询请求的预测执行信息；其中，预测执行信息包括目标查询请求的预测执行频率和目标查询请求的预测响应时间。
[0112]
s211、根据预测执行信息从多个子池中为目标查询请求分配目标子池和目标连接。
[0113]
本实施例中，该方法可以使用线性回归或者非线性回归，把sql的参数(即查询语句参数)作为输入的特征向量，预估sql响应时间(即预测响应时间)。然后，该方法再按照预测响应时间和频率，选择应该使用的子池。
[0114]
s212、通过目标子池、目标连接和目标查询请求连接数据库进行数据查询，得到查询结果。
[0115]
作为一种可选的实施方式，在通过目标子池、目标连接和目标查询请求连接数据库进行数据查询，得到查询结果之后，方法还包括：
[0116]
获取预设时间段内查询请求在实际进行数据查询时的实际执行信息；其中，实际执行信息包括目标查询请求在进行数据查询时的实际执行频率和目标查询请求在进行数据查询时的实际响应时间；
[0117]
将实际执行信息添加至执行统计信息中，得到更新执行信息；
[0118]
使用聚类算法对更新执行信息重新进行聚类分析，得到分析结果；并执行步骤s203。
[0119]
本实施例中，该方法可以使用子池完成数据库操作，并记录sql的信息(频率，响应时间)。具体的，该方法可以在每天的凌晨业务低峰期根据收集的sql信息，动态调整连接池配置。
[0120]
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例
中不作任何限定。
[0121]
在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
[0122]
可见，实施本实施例所描述的连接池分池方法，能够通过数据库连接池智能分池，从而把慢查询占用的连接数控制在一定范围内，实现降低慢查询对数据库的影响，保证系统的正常运行，提高数据库的可靠性和稳定性的效果。同时，该方法还能够保证系统重要业务持续正常工作，减少系统故障，降低企业经济损失。
[0123]
实施例3
[0124]
请参看图3，图3为本技术实施例提供的一种连接池分池装置的结构示意图。如图3所示，该连接池分池装置包括：
[0125]
收集单元310，用于收集当前待优化服务器查询请求的执行统计信息；
[0126]
聚类单元320，用于使用聚类算法对执行统计信息进行聚类分析，得到分析结果；
[0127]
分池单元330，用于根据分析结果，将连接池划分为多个子池，并为每个子池分配对应的连接数；
[0128]
分配单元340，用于当接收到应用发起的目标查询请求时，根据多个子池为目标查询请求分配目标子池和目标连接；
[0129]
查询单元350，用于通过目标子池、目标连接和目标查询请求连接数据库进行数据查询，得到查询结果。
[0130]
本实施例中，对于连接池分池装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
[0131]
可见，实施本实施例所描述的连接池分池装置，能够通过数据库连接池智能分池，从而把慢查询占用的连接数控制在一定范围内，实现降低慢查询对数据库的影响，保证系统的正常运行，提高数据库的可靠性和稳定性的效果。同时，该装置还能够保证系统重要业务持续正常工作，减少系统故障，降低企业经济损失。
[0132]
实施例4
[0133]
请参看图4，图4为本技术实施例提供的一种连接池分池装置的结构示意图。如图4所示，该连接池分池装置包括：
[0134]
收集单元310，用于收集当前待优化服务器查询请求的执行统计信息；
[0135]
聚类单元320，用于使用聚类算法对执行统计信息进行聚类分析，得到分析结果；
[0136]
分池单元330，用于根据分析结果，将连接池划分为多个子池，并为每个子池分配对应的连接数；
[0137]
分配单元340，用于当接收到应用发起的目标查询请求时，根据多个子池为目标查询请求分配目标子池和目标连接；
[0138]
查询单元350，用于通过目标子池、目标连接和目标查询请求连接数据库进行数据查询，得到查询结果。
[0139]
作为一种可选的实施方式，分配单元340包括：
[0140]
获取子单元341，用于当接收到应用发起的目标查询请求时，获取目标查询请求的查询语句参数；
[0141]
预估子单元342，用于通过预先构建的响应预测模型和查询语句参数，预估目标查
询请求的预测执行信息；其中，预测执行信息包括目标查询请求的预测执行频率和目标查询请求的预测响应时间；
[0142]
分配子单元343，用于根据预测执行信息从多个子池中为目标查询请求分配目标子池和目标连接。
[0143]
作为一种可选的实施方式，连接池分池装置还包括：
[0144]
获取单元360，用于在通过目标子池、目标连接和目标查询请求连接数据库进行数据查询，得到查询结果之后，获取预设时间段内查询请求在实际进行数据查询时的实际执行信息；其中，实际执行信息包括目标查询请求在进行数据查询时的实际执行频率和目标查询请求在进行数据查询时的实际响应时间；
[0145]
添加单元370，用于将实际执行信息添加至执行统计信息中，得到更新执行信息；
[0146]
聚类单元320，还用于使用聚类算法对更新执行信息重新进行聚类分析，得到分析结果；并触发分池单元根据分析结果，将连接池划分为多个子池。
[0147]
作为一种可选的实施方式，分配单元340还包括：
[0148]
获取子单元341，还用于在通过预先构建的响应预测模型和查询语句参数，预估目标查询请求的预测执行信息之前，获取查询语句样本；
[0149]
训练子单元344，用于通过预设算法和查询语句样本对原始模型进行训练，得到训练好的响应预测模型。
[0150]
作为一种可选的实施方式，分池单元330包括：
[0151]
确定子单元331，用于确定执行统计信息的类别和总类别数目；
[0152]
划分子单元332，用于将连接池划分为多个子池的子池数目为总类别数目；
[0153]
确定子单元331，还用于根据系统的业务类型确定每个类别的类别权重；
[0154]
确定子单元331，还用于根据执行统计信息，确定每个类别对应的所有执行频率和每个类别对应的所有响应时间；
[0155]
计算子单元333，用于根据所有执行频率、所有响应时间、类别权重以及预设的总共可配置连接数，计算每个子池配置的连接数。
[0156]
本实施例中，对于连接池分池装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
[0157]
可见，实施本实施例所描述的连接池分池装置，能够通过数据库连接池智能分池，从而把慢查询占用的连接数控制在一定范围内，实现降低慢查询对数据库的影响，保证系统的正常运行，提高数据库的可靠性和稳定性的效果。同时，该装置还能够保证系统重要业务持续正常工作，减少系统故障，降低企业经济损失。
[0158]
本技术实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本技术实施例1或实施例2中的连接池分池方法。
[0159]
本技术实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本技术实施例1或实施例2中的连接池分池方法。
[0160]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图
显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0161]
另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0162]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0163]
以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0164]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。
[0165]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。