一种数据合并方法及装置与流程

1.本技术涉及数据库技术领域，尤其涉及一种数据合并方法及装置。


背景技术：

2.近年来，随着大数据、云计算等新兴技术的发展，大多应用后端需要处理的业务量日益增多，因而需要通过数据库来存储业务的实体数据。而在业务活动过程中，实体数据可能会产生大量的数据记录，这些数据记录过多就会占用大量资源，导致业务延时显著增加，进而影响业务效果。
3.针对这种情况，目前可以将这些数据记录进行幂等性合并操作，也就是执行一次合并操作和执行多次合并操作得到相同的合并结果。而由于数据合并存在缺陷，容易出现数据丢失的情况，从而会影响合并效率，出现合并安全问题。


技术实现要素：

4.本技术实施例提供了一种数据合并方法及装置，可以避免数据丢失，提高合并效率和合并安全性。
5.第一方面，本技术实施例提供了一种数据合并方法，包括：
6.确定当次数据合并所关联的当次标识信息；
7.利用所述当次标识信息对实体数据对应的多个待合并数据记录进行标记；
8.对所述多个待合并数据记录进行合并，得到已合并数据记录；
9.利用预先设定的通用标识信息，对所述已合并数据记录进行标记。
10.可选地，所述多个待合并数据记录通过如下步骤确定：
11.获取所述实体数据对应的多个数据记录；
12.在所述多个数据记录的数量大于或等于预设合并量时，将所述多个数据记录作为所述多个待合并数据记录。
13.可选地，所述确定当次数据合并所关联的当次标识信息，包括：
14.确定用于当次数据合并的第一执行单元；
15.获取所述第一执行单元关联的第一单元标识信息，并作为所述当次标识信息。
16.可选地，所述利用预先设定的通用标识信息，对所述已合并数据记录进行标记之后，所述方法还包括：
17.删除以所述当次标识信息标记的多个待合并数据记录。
18.可选地，所述删除以所述当次标识信息标记的多个待合并数据记录之前，所述方法还包括：
19.在所述第一执行单元切换为第二执行单元时，确定新的待合并数据记录；
20.更新所述当次标识信息而得到新的标识信息，并利用所述新的标识信息对所述新的待合并数据记录进行标记。
21.第二方面，本技术实施例提供了一种数据合并装置，包括：
22.标识信息确定模块，被配置为确定当次数据合并所关联的当次标识信息；
23.第一数据标记模块，被配置为利用所述当次标识信息对实体数据对应的多个待合并数据记录进行标记；
24.数据合并模块，被配置为对所述多个待合并数据记录进行合并，得到已合并数据记录；
25.第二数据标识模块，被配置为利用预先设定的通用标识信息，对所述已合并数据记录进行标记。
26.可选地，所述多个待合并数据记录通过如下模块确定：
27.数据记录获取模块，被配置为获取所述实体数据对应的多个数据记录；
28.第一数据记录确定模块，被配置为在所述多个数据记录的数量大于或等于预设合并量时，将所述多个数据记录作为所述多个待合并数据记录。
29.可选地，所述标识信息确定模块，具体包括：
30.第一执行单元确定模块，被配置为确定当次数据合并的第一执行单元；
31.当次标识信息确定模块，被配置为获取所述第一执行单元关联的第一单元标识信息，并作为所述当次标识信息。
32.可选地，所述装置还包括：
33.数据删除模块，被配置为删除以所述当次标识信息标记的多个待合并数据记录。
34.可选地，所述装置还包括：
35.第二数据记录确定模块，被配置为在所述第一执行单元切换为第二执行单元时，确定新的待合并数据记录；
36.第三数据标识模块，被配置为更新所述当次标识信息而得到新的标识信息，并利用所述新的标识信息对所述新的待合并数据记录进行标记。
37.从以上技术方案可以看出，本技术实施例具有以下优点：
38.本技术实施例中，在确定当次数据合并所关联的当次标识信息之后，可以利用当次标识信息对实体数据对应的多个待合并数据记录进行标记，并对多个待合并数据记录进行合并而得到已合并数据记录，再将已合并数据记录保存于实体数据关联的数据库，而后利用预先设定的通用标识信息，对已合并数据记录进行标记。如此，通过当次标识信息可以引入该次数据合并过程中唯一的标记信息，以对待合并数据记录进行标识，使得数据合并过程中仅会对当次标识信息所标识的数据记录进行处理，而不会对其他数据记录进行处理，如此，可以避免数据处理过程出现错误，避免数据丢失，从而提高合并效率和合并安全性。
附图说明
39.图1为本技术实施例提供的一种数据合并方法的流程图；
40.图2为本技术实施例提供的另一种数据合并方法的流程图；
41.图3为本技术实施例提供的一种数据合并装置的结构示意图。
具体实施方式
42.发明人在针对数据合并过程的研究中发现：对于数据合并技术来说，用于执行数
据合并的第一执行单元，可以将标记为合并状态的多个数据记录(多个数据记录分别以a1、a2和a3表示)进行幂等性合并操作。而在第一执行单元删除标记为合并状态的多个数据记录a1、a2和a3之前，若第一执行单元切换为用于执行数据合并的第二执行单元，则第二执行单元可以将上述合并后的数据记录b和其他新的数据记录(以c表示)标记为合并状态。此后，若第二执行单元又被切换为第一执行单元，此时第一执行单元将会继续执行删除操作，而将所有标记为合并状态的数据记录，也就是a1、a2、a3、b和c均删除。在这种情况下，一旦出现设备停机等导致第二执行单元执行中断的情况，第二执行单元中的数据未能正常保存，而由于第一执行单元已删除所有标记为合并状态的数据记录，因此，就会出现数据丢失的情况，从而影响合并效率，出现合并安全问题。
43.基于上述发现，本技术实施例提供了一种数据合并方法，该方法包括：在确定当次数据合并所关联的当次标识信息之后，可以利用当次标识信息对实体数据对应的多个待合并数据记录进行标记，并对多个待合并数据记录进行合并而得到已合并数据记录，再将已合并数据记录保存于实体数据关联的数据库，而后利用预先设定的通用标识信息，对已合并数据记录进行标记。
44.如此，通过当次标识信息可以引入该次数据合并过程中唯一的标记信息，以此对待合并数据记录进行标识，使得数据合并过程中仅会对当次标识信息所标识的数据记录进行处理，而不会对其他数据记录进行处理，如此，可以避免数据处理过程出现错误，避免数据丢失，从而提高合并效率和合并安全性。
45.为了使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
46.图1为本技术实施例提供的一种数据合并方法的流程图。结合图1所示，本技术实施例提供的数据合并方法，可以包括：
47.s101：确定当次数据合并所关联的当次标识信息。
48.这里，当次数据合并，可以指执行单元未发生切换的数据合并过程。也就是说，当执行单元发生切换时，可以认为当次数据合并暂停或终止，而进入下一次的数据合并过程。相应地，在本技术实施例中，具体可以以uuid(universally unique identifier，通用唯一识别码)作为当次标识信息。另外，在实际应用中，执行单元具体可以体现为线程和/或进程，针对于此，当次数据合并所关联的当次标识信息的确定方式，本技术实施例可不做具体限定，为了便于理解，下面结合一种可能的实施方式进行说明。
49.在一种可能的实施方式中，s101具体可以包括：确定当次数据合并的第一执行单元；获取第一执行单元关联的第一单元标识信息，并作为当次标识信息。如此，可以直接根据执行单元来确定标识信息，也就是根据线程关联的线程标识，和/或，进程关联的进程标识作为当次标识信息，从而便于后续对待合并数据进行标记，而避免执行单元切换导致的数据处理错误。
50.s102：利用当次标识信息对实体数据对应的多个待合并数据记录进行标记。
51.在本技术实施例中，多个待合并数据记录的确定方式，本技术实施例可不做具体限定，为了便于理解，下面结合一种可能的实施方式进行说明。
52.在一种可能的实施方式中，多个待合并数据记录可以通过如下步骤确定：获取实体数据对应的多个数据记录；在多个数据记录的数量大于或等于预设合并量时，将多个数据记录作为多个待合并数据记录。通过对多个数据记录的数量与预设合并量进行比较，多个数据记录大于或等于预设合并量时，便可进行作为待合并数据记录进行合并。如此，可以为数据合并提供较为合理的时机，避免持续进行数据合并而占用资源，也避免数据合并不及时而导致数据记录过多，从而导致业务延时显著增加，影响业务效果。
53.s103：对多个待合并数据记录进行合并，得到已合并数据记录。
54.在本技术实施例中，实体数据可以保存于数据库中，相应地，已合并数据亦可保存于数据库中。
55.s104：利用预先设定的通用标识信息，对已合并数据记录进行标记。
56.在本技术实施例中，对于预先设定的通用标识信息可不做具体限定，仅需要使该通用标识信息与当次标识信息不同即可。如此，采用与当次标识信息不同的通用标识信息对已合并数据记录进行标识，有助于后续对当次标识信息所标记的多个待合并数据记录进行删除时，不会影响已合并数据记录的存储。
57.结合以上s101-s104的相关内容可知，在本技术实施例中，在确定当次数据合并所关联的当次标识信息之后，可以利用当次标识信息对实体数据对应的多个待合并数据记录进行标记，并对多个待合并数据记录进行合并而得到已合并数据记录，再将已合并数据记录保存于实体数据关联的数据库，而后利用预先设定的通用标识信息，对已合并数据记录进行标记。如此，通过当次标识信息可以引入该次数据合并过程中唯一的标记信息，以此对待合并数据记录进行标识，使得数据合并过程中仅会对当次标识信息所标识的数据记录进行处理，而不会对其他数据记录进行处理，如此，可以避免数据处理过程出现错误，避免数据丢失，从而提高合并效率和合并安全性。
58.在上述实施例中，数据合并过程仅会对当次标识信息所标识的数据记录进行处理，而不会对其他数据记录进行处理。基于此，本技术实施例可以提供另一种数据合并方法，以对用于数据合并的执行单元发生切换时的场景进行说明。下面分别结合实施例和附图，对该数据合并方法进行描述。
59.图2为本技术实施例提供的另一种数据合并方法的流程图。结合图2所示，本技术实施例提供的数据合并方法，可以包括：
60.s201：确定当次数据合并所关联的当次标识信息。
61.s202：利用当次标识信息对实体数据对应的多个待合并数据记录进行标记。
62.s203：对多个待合并数据记录进行合并，得到已合并数据记录。
63.s204：利用预先设定的通用标识信息，对已合并数据记录进行标记。
64.在本技术实施例中，s201-s204的相关内容，请参见上述s101-s104的相关描述，在此不再赘述。
65.s205：在第一执行单元切换为第二执行单元时，确定新的待合并数据记录。
66.这里，新的待合并数据记录，可以与待合并数据记录相同，也就是待合并数据记录未发生变化。或者，新的待合并数据记录可以包括待合并数据记录和新的数据记录。或者，新的待合并数据记录可以仅包括新的数据记录。对此，本技术实施例可不做具体限定。
67.s206：更新当次标识信息而得到新的标识信息，并利用新的标识信息对新的待合
并数据记录进行标记。
68.在本技术实施例中，当执行单元发生切换，也就是第一执行单元切换为第二执行单元时，可以认为当次数据合并过程暂停或终止，而进入下一次的数据合并过程。因此，可以更新当次标识信息而得到新的标识信息，并利用新的标识信息对新的待合并数据记录进行标记。另外，对于当次标识信息的更新以及对新的待合并数据记录进行标记的过程，也就是s206，本技术实施例可不做具体限定。为了便于理解，下面结合一种可能的实施方式进行说明。
69.在一种可能的实施方式中，s206，具体可以包括：获取第二执行单元关联的第二单元标识信息作为新的标识信息，并利用新的标识信息对新的待合并数据记录进行标记。
70.s207：删除以当次标识信息标记的多个待合并数据记录。
71.如此，当需要删除待合并数据记录时，仅会对当次标识信息所标识的数据记录进行处理，而不会对其他标识信息对应的数据记录进行处理，因此可以避免数据丢失，提高合并效率和合并安全性。
72.结合以上s201-s207的相关内容可知，在本技术实施例中，在执行单元切换时，通过不同的标识信息对数据记录进行标识，便可使得数据合并过程中仅会对当次标识信息所标识的数据记录进行处理，而不会对其他数据记录进行处理，如此，可以避免数据处理过程出现错误，避免数据丢失，从而提高合并效率和合并安全性。
73.基于上述实施例提供的数据合并方法，本技术实施例还提供了一种数据合并装置。下面分别结合实施例和附图，对该数据合并装置进行描述。
74.图3为本技术实施例提供的一种数据合并装置的结构示意图。结合图3所示，本技术实施例提供的数据合并装置300，可以包括：
75.标识信息确定模块301，被配置为确定当次数据合并所关联的当次标识信息；
76.第一数据标记模块302，被配置为利用当次标识信息对实体数据对应的多个待合并数据记录进行标记；
77.数据合并模块303，被配置为对多个待合并数据记录进行合并，得到已合并数据记录；
78.第二数据标识模块304，被配置为利用预先设定的通用标识信息，对已合并数据记录进行标记。
79.在本技术实施例中，通过标识信息确定模块301、第一数据标记模块302、数据合并模块303以及第二数据标识模块304四者的配合，可以将当次标识信息作为该次数据合并过程中唯一的标记信息，以对待合并数据记录进行标识，使得数据合并过程中仅会对当次标识信息所标识的数据记录进行处理，而不会对其他数据记录进行处理，如此，可以避免数据处理过程出现错误，避免数据丢失，从而提高合并效率和合并安全性。
80.作为一种可能的实施方式，为了提高合并效率和合并安全性，多个待合并数据记录可以通过如下模块确定：
81.数据记录获取模块，被配置为获取实体数据对应的多个数据记录；
82.第一数据记录确定模块，被配置为在多个数据记录的数量大于或等于预设合并量时，将多个数据记录作为多个待合并数据记录。
83.作为一种可能的实施方式，为了提高合并效率和合并安全性，该标识信息确定模
块301，具体可以包括：
84.第一执行单元确定模块，被配置为确定当次数据合并的第一执行单元；
85.当次标识信息确定模块，被配置为获取第一执行单元关联的第一单元标识信息，并作为当次标识信息。
86.作为一种可能的实施方式，为了提高合并效率和合并安全性，该数据合并装置300，还可以包括：
87.数据删除模块，被配置为删除以当次标识信息标记的多个待合并数据记录。
88.作为一种可能的实施方式，为了提高合并效率和合并安全性，该数据合并装置300，还可以包括：
89.第二数据记录确定模块，被配置为在第一执行单元切换为第二执行单元时，确定新的待合并数据记录；
90.第三数据标识模块，被配置为更新当次标识信息而得到新的标识信息，并利用新的标识信息对新的待合并数据记录进行标记。
91.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
92.以上所述，仅为本技术的一种具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。