一种服务器集群的数据同步编码域选择方法及系统与流程

1.本发明属于数据传输技术领域，特别是涉及一种服务器集群的数据同步编码域选择方法及系统。


背景技术：

2.云存储和云计算中分散在不同服务器中的大型数据集上的多个节点共同协作完成计算任务时，多服务局节点需要进行数据同步，常见的数据同步方法是任务发起节点通过广播的形式将所需同步的数据发送至其他节点。例如公开号为cn112445799a的专利《一种单源多节点的数据同步方法和系统》提出通过多个节点分别读取一个变化数据表中的多个变化数据，并选择变化数据中待同步数据进行同步，实现只产生一份数据源的触发数据，就可以将数据同步到任意一个节点，同时兼顾数据同步的及时性，减小数据库产生的垃圾数据及数据库压力。公开号为cn105471539b的专利《一种基于无源光网络实现同步数据采集的方法》提出多个无源光网络在一个pon主机或多个pon主机中，通过共享时钟或时钟同步的方法，实现各个无源光网络之间的同步，确保olt与olt之间具有统一的时钟计数器；以无源光网络为通讯媒介，依据olt端基准时钟计数器周期性的同步数据采集时间戳，采用测距和时延补偿技术，实现无源光网络各onu在同一时刻进行同步数据采集，从而实现全网同步数据采集。
3.上述数据同步方法所需的同步时隙多，数据同步效率低。目前减小数据同步时隙数量的方法是根据节点内留存的数据对同步数据进行编码以减少同步时隙数量，在高阶galois域的编码会提高同步效率，但同时会导致数据编码复杂度提高，也会带来一定的带宽损失。目前没有根据编码的效率、同步复杂度、编码所带来的同步损失等情况选择合适的数据同步编码域的技术方案。
4.为此，提出一种服务器集群的数据同步编码域选择方法及系统。


技术实现要素：

5.本发明为了解决上述问题，提出一种服务器集群的数据同步编码域选择方法及系统。
6.本发明的一种服务器集群的数据同步编码域选择方法，其特征在于，包括：
7.根据服务器集群的数据同步编码域对应的效率指标与同步效率的关系计算编码域的同步效率值并根据同步效率值为此次数据同步选择合适的编码域。
8.优选地，所述数据同步编码域包括二阶galois域gf(2)、高阶galois域gf(n)的任一项；所述效率指标包括完成数据同步所需的传输时隙数量、数据同步编码的恢复矩阵行数、数据映射带宽损失、编码冗余度的任一项。注：galois中文翻译为伽罗华。
9.优选地，所述根据服务器集群的数据同步编码域对应的效率指标与同步效率的关系计算编码域的同步效率值，包括步骤：
10.根据编码域对应的完成数据同步所需的传输时隙数量和/或数据同步编码的恢复
矩阵行数与同步效率的关系计算传输效率指示值；
11.根据编码域对应的数据映射带宽损失与同步效率的关系计算映射效率指示值；
12.根据编码域对应的编码冗余度与同步效率的关系计算编码效率指示值；
13.根据传输效率指示值和/或映射效率指示值和/或编码效率指示值计算编码域的同步效率值。
14.本发明的一种服务器集群的数据同步编码域选择方法，其特征在于，包括：
15.根据服务器集群的数据同步编码域对应的同步复杂度指标对数据同步复杂度的影响程度计算编码域的同步复杂度值并根据同步复杂度值为此次数据同步选择合适的编码域。
16.优选地，所述同步复杂度指标包括数据同步编码的校验矩阵计算复杂度、数据同步编码的恢复矩阵计算复杂度、数据映射计算复杂度的任一项或多项组合。
17.优选地，所述根据服务器集群的数据同步编码域对应的同步复杂度指标对数据同步复杂度的影响程度计算编码域的同步复杂度值，包括步骤：
18.根据编码域对应的数据同步编码的校验矩阵计算复杂度对数据同步整体复杂度的影响程度计算校验矩阵复杂度影响值；
19.根据编码域对应的数据同步编码的恢复矩阵计算复杂度对数据同步整体复杂度的影响程度计算恢复矩阵复杂度影响值；
20.根据编码域对应的数据映射计算复杂度对数据同步整体复杂度的影响程度计算映射复杂度影响值；
21.根据校验矩阵复杂度影响值和/或恢复矩阵复杂度影响值和/或映射复杂度影响值计算编码域的同步复杂度值。
22.本发明的一种服务器集群的数据同步编码域选择方法，其特征在于，包括：
23.根据服务器集群的数据同步编码域对应的损失量指标对同步带宽的影响程度计算编码域的同步带宽损失值并根据同步带宽损失值为此次数据同步选择合适的编码域。
24.优选地，所述损失量指标包括误码率增益、时延损失值的任一项或多项组合。
25.优选地，所述根据服务器集群的数据同步编码域对应的损失量指标对同步带宽的影响程度计算编码域的同步带宽损失值，包括步骤：
26.根据编码域对应的误码率增益对同步带宽的影响程度计算误码损失影响值；
27.根据编码域对应的时延损失值对同步带宽的影响程度计算时延损失影响值；
28.根据误码损失影响值和/或时延损失影响值计算编码域的同步带宽损失值。
29.本发明的一种服务器集群的数据同步编码域选择方法，其特征在于，包括：
30.根据如上所述的编码域的同步效率值和/或如上所述的编码域的同步复杂度值和/或如上所述的编码域的同步带宽损失值计算编码域的选择权重值并根据编码域的选择权重值为此次数据同步选择合适的编码域。
31.一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序被处理器执行时使计算机执行上述方法。
32.一种服务器集群的数据同步编码域选择系统，其特征在于包括：
33.控制平面；
34.存储器；
35.以及
36.一个或多个程序，其中所述一个或多个程序被存储在存储器中，并且被配置成由所述控制平面的处理器执行，所述程序使计算机执行上述方法。
37.本发明的方法及系统具有的优点是：
38.(1)根据不同编码域对应的同步数据的传输时隙数量和/或或恢复矩阵行数以及映射带宽损失和/或编码冗余度与同步效率的关系计算编码域的同步效率值并以此选择编码域，有助于选择服务器集群的数据同步效率高的编码域，有效提高数据同步的效率。
39.(2)根据编码域对应的校验矩阵计算复杂度以及恢复矩阵计算复杂度以及数据映射计算复杂度对数据同步整体复杂度的影响程度计算编码域的同步复杂度值并以此选择编码域，有助于选择服务器集群的数据同步复杂度低的编码域，有效降低数据同步的计算复杂度。
40.(3)根据编码域对应的误码率增益和/或时延损失值对同步带宽的影响程度计算编码域的同步带宽损失值并以此选择编码域，有助于选择服务器集群的数据同步带宽损失低的编码域，有效降低数据同步的错误率，提高数据同步带宽。
41.(4)根据编码域的同步效率值和/或同步复杂度值和/或同步带宽损失值计算编码域选择权重值并以此选择合适的编码域，可以有效综合同步效率、计算复杂度、带宽损失等多方面因素，为服务器集群的数据同步选择最合适的编码域。
附图说明
42.图1是本发明实施例的一种服务器集群的数据同步编码域选择方法流程图。
43.图2是本发明实施例的一种服务器集群的数据同步编码域选择系统的结构示意图。
具体实施方式
44.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
45.本发明的一种服务器集群的数据同步编码域选择方法的实施例，其特征在于，包括：
46.根据服务器集群的数据同步编码域对应的效率指标与同步效率的关系计算编码域的同步效率值并根据同步效率值为此次数据同步选择合适的编码域。
47.优选地，所述数据同步编码域包括二阶galois域gf(2)、高阶galois域gf(n)的任一项；所述效率指标包括完成数据同步所需的传输时隙数量、数据同步编码的恢复矩阵行数、数据映射带宽损失、编码冗余度的任一项。本实施例中，二阶galois域gf(2)中编码元素为0和1，n阶galois域gf(n)的编码元素为0，1，2
……
n-1。不同的服务器集群或不同任务所需的数据形式不同，根据不同数据形式进行编码的方法也不同，效率指标包括完成数据同步所需的传输时隙数量、数据同步编码的恢复矩阵行数、数据映射带宽损失、编码冗余度的任一项。
48.优选地，所述根据服务器集群的数据同步编码域对应的效率指标与同步效率的关系计算编码域的同步效率值，包括步骤：
49.根据编码域对应的完成数据同步所需的传输时隙数量和/或数据同步编码的恢复矩阵行数与同步效率的关系计算传输效率指示值；
50.根据编码域对应的数据映射带宽损失与同步效率的关系计算映射效率指示值；
51.根据编码域对应的编码冗余度与同步效率的关系计算编码效率指示值；
52.根据传输效率指示值和/或映射效率指示值和/或编码效率指示值计算编码域的同步效率值。
53.本实施例中，所述根据编码域对应的完成数据同步所需的传输时隙数量和/或数据同步编码的恢复矩阵行数与同步效率的关系计算传输效率指示值，是：根据编码域对应的完成数据同步所需的传输时隙数量与传输效率指示值的负相关关系计算传输效率指示值、根据数据同步编码的恢复矩阵行数与传输效率指示值的负相关关系计算传输效率指示值、根据编码域对应的完成数据同步所需的传输时隙数量和数据同步编码的恢复矩阵行数与传输效率指示值的负相关关系计算传输效率指示值的任一项，传输效率指示值用变量p表示。
54.所述根据编码域对应的数据映射带宽损失与同步效率的关系计算映射效率指示值是根据编码域对应的数据映射带宽损失与映射效率指示值的负相关关系计算映射效率指示值，映射效率指示值用变量q表示。
55.所述根据编码域对应的编码冗余度与同步效率的关系计算编码效率指示值是根据编码域对应的编码冗余度与编码效率指示值的负相关关系计算编码效率指示值，编码效率指示值用变量w表示。所述编码冗余度是根据冗余编码量占总编码量的比例。
56.所述根据传输效率指示值和/或映射效率指示值和/或编码效率指示值计算编码域的同步效率值是根据编码域的同步效率值与传输效率指示值和/或映射效率指示值和/或编码效率指示值的正相关关系计算编码域的同步效率值，编码域的同步效率值用变量a表示。
57.表a中a1～a7表示计算编码域的同步效率值的不同实施方式，其中表a中涉及的传输效率指示值p、映射效率指示值q、编码效率指示值w、采用上述实施方式中的公式得到。
58.表a计算编码域的同步效率值的不同实施方式
59.60.61.[0062][0063]
所述根据同步效率值为此次数据同步选择合适的编码域是：根据表a中任一项计算二阶galois域gf(2)到高阶galois域gf(n)的同步效率值并进行比较，选择同步效率值较高的galois域阶数n作为编码域。
[0064]
另一种优选实施方式中，本发明的一种服务器集群的数据同步编码域选择方法，包括：
[0065]
根据服务器集群的数据同步编码域对应的同步复杂度指标对数据同步复杂度的影响程度计算编码域的同步复杂度值并根据同步复杂度值为此次数据同步选择合适的编码域。
[0066]
优选地，所述同步复杂度指标包括数据同步编码的校验矩阵计算复杂度、数据同步编码的恢复矩阵计算复杂度、数据映射计算复杂度的任一项或多项组合。本实施例中，根据不同的服务器集群形式或数据类型，同步复杂度指标包括数据同步编码的校验矩阵计算复杂度、数据同步编码的恢复矩阵计算复杂度、数据映射计算复杂度的任一项或多项组合。
[0067]
优选地，所述根据服务器集群的数据同步编码域对应的同步复杂度指标对数据同步复杂度的影响程度计算编码域的同步复杂度值，包括步骤：
[0068]
根据编码域对应的数据同步编码的校验矩阵计算复杂度对数据同步整体复杂度的影响程度计算校验矩阵复杂度影响值；
[0069]
根据编码域对应的数据同步编码的恢复矩阵计算复杂度对数据同步整体复杂度的影响程度计算恢复矩阵复杂度影响值；
[0070]
根据编码域对应的数据映射计算复杂度对数据同步整体复杂度的影响程度计算映射复杂度影响值；
[0071]
根据校验矩阵复杂度影响值和/或恢复矩阵复杂度影响值和/或映射复杂度影响值计算编码域的同步复杂度值。
[0072]
本实施例中，所述根据编码域对应的数据同步编码的校验矩阵计算复杂度对数据同步整体复杂度的影响程度计算校验矩阵复杂度影响值，包括步骤：
[0073]
事先训练各编码域对应的事先设置的基准数据同步中计算校验矩阵所需的时延；
[0074]
计算各编码域对应的事先设置的基准数据同步的整体时延；
[0075]
计算基准数据同步中校验矩阵所需的时延与基准数据同步的整体时延的比值作为复杂度影响系数；
[0076]
根据校验矩阵复杂度影响值与复杂度影响系数的正相关关系计算校验矩阵复杂度影响值，校验矩阵复杂度影响值用变量m表示。
[0077]
所述根据编码域对应的数据同步编码的恢复矩阵计算复杂度对数据同步整体复杂度的影响程度计算恢复矩阵复杂度影响值是根据各编码域对应的事先设置的基准数据同步中计算恢复矩阵所需时延与整体时延的比值与恢复矩阵复杂度影响值的正相关关系计算恢复矩阵复杂度影响值，恢复矩阵复杂度影响值用变量n表示。
[0078]
所述根据编码域对应的数据映射计算复杂度对数据同步整体复杂度的影响程度计算映射复杂度影响值是根据各编码域对应的事先设置的基准数据同步中计算数据映射所需时延与整体时延的比值与映射复杂度影响值的正相关关系计算映射复杂度影响值，映射复杂度影响值用变量r表示。
[0079]
所述根据校验矩阵复杂度影响值和/或恢复矩阵复杂度影响值和/或映射复杂度影响值计算编码域的同步复杂度值是根据编码域的同步复杂度值与校验矩阵复杂度影响值和/或恢复矩阵复杂度影响值和/或映射复杂度影响值的正相关关系计算编码域的同步复杂度值，编码域的同步复杂度值用变量b表示。
[0080]
表b中b1～b7表示计算编码域的同步复杂度值的不同实施方式，其中表b中涉及的校验矩阵复杂度影响值m、恢复矩阵复杂度影响值n、映射复杂度影响值r、采用上述实施方式中的公式得到。
[0081]
表b计算编码域的同步复杂度值的不同实施方式
[0082]
[0083]
[0084]
[0085]
[0086][0087]
所述根据同步复杂度值为此次数据同步选择合适的编码域是：根据表b中任一项计算二阶galois域gf(2)到高阶galois域gf(n)的同步复杂度值并进行比较，选择同步复杂度值较低的galois域阶数n作为编码域。
[0088]
另一种优选实施方式中，本发明的一种服务器集群的数据同步编码域选择方法，包括：
[0089]
根据服务器集群的数据同步编码域对应的损失量指标对同步带宽的影响程度计算编码域的同步带宽损失值并根据同步带宽损失值为此次数据同步选择合适的编码域。
[0090]
优选地，所述损失量指标包括误码率增益、时延损失值的任一项或多项组合。所述误码率增益是指由数据编码所引起的误码率的增大程度，所述时延损失值是数据编解码所需的时延和/或数据映射所需的时延。
[0091]
优选地，所述根据服务器集群的数据同步编码域对应的损失量指标对同步带宽的
影响程度计算编码域的同步带宽损失值，包括步骤：
[0092]
根据编码域对应的误码率增益对同步带宽的影响程度计算误码损失影响值；
[0093]
根据编码域对应的时延损失值对同步带宽的影响程度计算时延损失影响值；
[0094]
根据误码损失影响值和/或时延损失影响值计算编码域的同步带宽损失值。
[0095]
本实施例中，所述根据编码域对应的误码率增益对同步带宽的影响程度计算误码损失影响值是计算各编码域对应的误码率增益并根据误码率增益与误码损失影响值的正相关关系计算误码损失影响值，误码损失影响值用变量u表示。
[0096]
所述根据编码域对应的时延损失值对同步带宽的影响程度计算时延损失影响值是根据各编码域对应时延损失与时延损失影响值的正相关关系计算时延损失影响值，时延损失影响值用变量v表示。
[0097]
所述根据误码损失影响值和/或时延损失影响值计算编码域的同步带宽损失值是根据编码域的同步带宽损失值与误码损失影响值和/或时延损失影响值的正相关关系计算编码域的同步带宽损失值，编码域的同步带宽损失值用变量c表示。
[0098]
表c中c1～c3表示计算编码域的同步带宽损失值c的不同实施方式，其中表c中涉及的误码损失影响值u、时延损失影响值v采用上述实施方式中的计算公式计算。
[0099]
表c计算编码域的同步带宽损失值的不同实施方式
[0100][0101]
所述根据同步带宽损失值为此次数据同步选择合适的编码域，是：根据表c中任一项计算二阶galois域gf(2)到高阶galois域gf(n)的同步带宽损失值并进行比较，选择同步带宽损失值较低的galois域阶数n作为编码域。
[0102]
另一种优选实施方式中，本发明实施例的一种服务器集群的数据同步编码域选择方法，流程图如图1所示，包括：
[0103]
根据服务器集群的数据同步编码域对应的效率指标计算编码域的同步效率值；
[0104]
根据服务器集群的数据同步编码域对应的同步复杂度指标计算编码域的同步复杂度值；
[0105]
根据服务器集群的数据同步编码域对应的损失量指标计算编码域的同步带宽损失值；
[0106]
根据编码域的同步效率值和/或同步复杂度值和/或同步带宽损失值计算编码域的选择权重值并根据编码域的选择权重值为此次数据同步选择合适的编码域。
[0107]
本实施例中，根据表a中任一项计算编码域的同步效率值a；根据表b中任一项计算编码域的同步复杂度值b；根据表c中任一项计算编码域的同步带宽损失值c。
[0108]
所述根据编码域的同步效率值和/或同步复杂度值和/或同步带宽损失值计算编码域的选择权重值是根据编码域的选择权重值与编码域的同步效率值的正相关关系、与同步复杂度值和/或同步带宽损失值的负相关关系计算编码域的选择权重值，编码域的选择权重值用变量x表示。
[0109]
表d中d1～d7表示计算编码域的选择权重值的不同实施方式，其中表d中涉及的编码域的同步效率值a、编码域的同步复杂度值b、编码域的同步带宽损失值c采用上述实施方式中的公式得到。
[0110]
表d计算编码域的选择权重值的不同实施方式
[0111]
[0112]
[0113]
[0114][0115]
所述根据编码域的选择权重值为此次数据同步选择合适的编码域，是：根据表d中任一项计算二阶galois域gf(2)到高阶galois域gf(n)的编码域的选择权重值并进行比较，选择编码域的选择权重值较大的galois域阶数n作为编码域。
[0116]
一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序被处理器执行时使计算机执行上述方法。
[0117]
本发明实施例的一种服务器集群的数据同步编码域选择系统，结构示意图如图2所示，其特征在于包括：
[0118]
控制平面；
[0119]
存储器；
[0120]
以及
[0121]
一个或多个程序，其中所述一个或多个程序被存储在存储器中，并且被配置成由所述控制平面的处理器执行，所述程序使计算机执行上述方法。
[0122]
当然，本技术领域中的普通技术人员应当认识到，以上实施例仅是用来说明本发明的，而并非作为对本发明的限定，只要在本发明的范围内，对以上实施例的变化、变型都将落入本发明的保护范围。