一种数据处理方法、装置、系统、电子设备及存储介质与流程

1.本公开涉及数据处理技术领域，尤其涉及大数据技术领域。


背景技术：

2.在分布式缓存系统中，当分布式缓存系统中的接收模块接收到更新后的资源内容数据时，可以将更新后的资源内容数据写入一个消息中间件。写入模块可以从该消息中间件中获取更新后的资源内容数据，将本次获取到的资源内容数据写入数据库，并将获取到的资源内容数据写入另一个消息中间件，以供缓存层获取更新后的资源内容数据。


技术实现要素：

3.本公开提供了一种数据处理方法、装置、系统、电子设备及存储介质。
4.根据本公开的一方面，提供了一种数据处理方法，所述方法应用于资源内容管理中心rcmc处理模块，所述方法包括：
5.接收rcmc接收模块发送的资源内容数据，所述资源内容数据携带消息标识nid，所述资源内容数据的nid与所述rcmc处理模块具有映射关系；
6.为接收到的资源内容数据的nid构造互斥锁，基于互斥锁将携带相同nid的资源内容数据依次写入数据库；
7.每完成对一条资源内容数据的写入，将该资源内容数据添加至本地队列中；
8.基于所述本地队列中每条资源内容数据的nid的互斥锁，将所述本地队列中的资源内容数据推送至所述本地队列对应的第一消息中间件，以使得缓存服务从所述第一消息中间件中获取并缓存资源内容数据。
9.根据本公开的第二方面，提供了一种数据处理装置，所述装置应用于资源内容管理中心rcmc处理模块，所述装置包括：
10.接收单元，用于接收rcmc接收模块发送的资源内容数据，所述资源内容数据携带消息标识nid，所述资源内容数据的nid与所述rcmc处理模块具有映射关系；
11.写入单元，用于为接收到的资源内容数据的nid构造互斥锁，基于互斥锁将携带相同nid的资源内容数据依次写入数据库；
12.添加单元，用于每完成对一条资源内容数据的写入，将该资源内容数据添加至本地队列中；
13.推送单元，用于基于所述本地队列中每条资源内容数据的nid的互斥锁，将所述本地队列中的资源内容数据推送至所述本地队列对应的第一消息中间件，以使得缓存服务从所述第一消息中间件中获取并缓存资源内容数据。
14.根据本公开的第三方面，提供了一种数据处理系统，包括：多个rcmc接收模块、多个rcmc处理模块、数据库、第一消息中间件和缓存服务；
15.每个rcmc接收模块，用于向与资源内容数据的nid具有映射关系的rcmc处理模块发送资源内容数据；
16.每个rcmc处理模块，用于执行上述第一方面所述的方法步骤；
17.所述缓存服务，用于从所述第一消息中间件中获取并缓存资源内容数据。
18.根据本公开的第四方面，提供了一种电子设备，包括：
19.至少一个处理器；以及
20.与所述至少一个处理器通信连接的存储器；其中，
21.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的方法。
22.根据本公开的第五方面，提供了了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述第一方面所述的方法。
23.根据本公开的第六方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述第一方面所述的方法。
24.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
25.附图用于更好地理解本方案，不构成对本公开的限定。其中：
26.图1为本公开实施例提供的一种写入模块的示意图；
27.图2为本公开实施例提供的一种数据处理方法的流程图；
28.图3为本公开实施例提供的rcmc处理模块向数据库写入数据的方法的示例性示意图；
29.图4为本公开实施例提供的rcmc接收模块向rcmc处理模块发送数据的方法的示例性示意图；
30.图5为本公开实施例提供的rcmc处理模块向第一消息中间件推送数据的方法的示例性示意图；
31.图6为本公开实施例提供的数据处理装置的结构示意图；
32.图7为本公开实施例提供的数据处理系统的框图；
33.图8是用来实现本公开实施例的数据处理方法的电子设备的框图。
具体实施方式
34.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
35.在相关技术中，写入模块从一个消息中间件中获取资源内容数据后，可将获取到的资源内容数据写入数据库，然后将已写入数据库的资源内容数据写入另一消息中间件，进而缓存服务从该消息中间件中获取并缓存资源内容数据。
36.由于资源内容数据不一定携带版本号，当同一资源的资源内容数据更新频率较高时，或者当写入模块出现机器抖动等故障时，会导致写入另一消息中间件的资源内容数据顺序与资源内容数据实际更新的顺序不一致，从而导致缓存服务缓存错误版本的资源内容
数据。
37.举例而言，如果同一资源的资源内容数据被频繁更新，假设该资源为一篇文章，该文章先被作者进行了一次修改，然后立刻被管理员屏蔽，那么写入模块可以获取到两条资源内容数据，第一条为作者对该文章的修改数据，第二条为该文章被管理员屏蔽的数据。
38.写入模块先将第一条数据写入数据库，然后将第二条数据写入数据库。由于第二条数据的数据量较小，可能会出现第二条数据先被处理完并先被推送至消息中间件，第一条数据后被处理完并后被推送至消息中间件，导致缓存服务先获取到第二条数据，然后获取到第一条数据，如此，缓存服务将缓存的第二条数据覆盖第一条数据，导致缓存服务缓存的数据版本与数据库中存储的数据版本不一致，缓存服务缓存的数据版本出现错误。进一步地，业务服务从缓存服务中获取到第二条数据后，将会根据第二条数据将文章展示为作者修改后的效果，导致该文章未被屏蔽，出现业务错误。
39.为了解决上述问题，本公开实施例提供了一种数据处理方法，该方法应用于资源内容管理中心(resource content management center，rcmc)处理模块，其中，该rcmc处理模块可以为数据处理系统中的任一rcmc处理模块。数据处理系统中包括多个rcmc接收模块、多个rcmc处理模块、数据库、第一消息中间件和缓存服务。
40.如图1所示，本公开实施例将现有技术中的写入模块拆分为rcmc接收模块和rcmc处理模块。图1中示例性地示出了3个rcmc接收模块和3个rcmc处理模块，实际实现中，数据处理系统中包括的rcmc接收模块和rcmc处理模块数量不限于此。
41.其中，rcmc接收模块用于接收资源流量，并将资源流量发送给rcmc处理模块。资源流量包括多条资源内容数据。资源内容数据可以为用户发布的文章、视频和评论消息等产生的数据，还可以为用户对已发布内容的修改操作、转发操作或点赞操作等各种可能出现的操作产生的数据，也可以为管理员对用户发布的内容的屏蔽或删除等操作产生的数据。
42.rcmc处理模块用于将接收到的资源内容数据写入数据库，然后推送至第一消息中间件，从而使得缓存服务从第一消息中间件中获取资源内容数据，并缓存于缓存层。
43.在本公开实施例中，rcmc接收模块可以为pre-rcmc，rcmc处理模块可以为rcmc实例。
44.以下对本公开实施例提供的数据处理方法进行详细介绍。
45.如图2所示，本公开实施例提供的数据处理方法包括：
46.s201、接收rcmc接收模块发送的资源内容数据，该资源内容数据携带消息标识(news identity，nid)，该资源内容数据的nid与rcmc处理模块具有映射关系。
47.其中，同一资源的所有资源内容数据携带相同的nid。
48.在本公开实施例中，资源内容数据的nid与rcmc处理模块具有预设的映射关系，进而，具有相同nid的资源内容数据可以被映射至同一rcmc处理模块。
49.s202、为接收到的资源内容数据的nid构造互斥锁，基于互斥锁将携带相同nid的资源内容数据依次写入数据库。
50.可选地，rcmc处理模块具有licache，本公开实施例可以通过licache为nid构造互斥锁。其中，licache为一种对外使用的缓存，具有构造互斥锁的功能。
51.为接收到的资源内容数据的nid构造互斥锁后，可以保证在同一时刻只有一个线程能够处理具有该nid的资源内容数据。也就是说，在同一时刻，rcmc处理模块只能处理具
有相同nid的多条资源内容数据中的其中一条，在完成对一条资源内容数据的写入后，才能继续处理具有相同nid的下一条资源内容数据，如此可以使得具有相同nid的多条资源内容数据被按照接收顺序写入数据库。
52.作为示例，如图3所示，rcmc处理模块1依次接收到属于同一资源的三条资源内容数据，分别简称为资源1”、资源1’和资源1。因这三条资源内容数据属于同一资源，所以具有相同的nid。
53.rcmc处理模块1先接收到资源1”，则为资源1”的nid构造互斥锁，将资源1”同步至数据库读写模块1，进而通过数据库读写模块1将资源”写入数据库。在此过程中，rcmc处理模块1接收到资源1’，因资源1’的nid与资源1”的nid具有相同的互斥锁，所以在资源1”被写入数据库后，rcmc处理模块1才可将资源1’写入数据库。同理，rcmc处理模块1将资源1’写入数据库后，才可以将资源1写入数据库，避免了顺序错乱。
54.同理，rcmc处理模块2可以基于资源2”、资源2’和资源2的nid的互斥锁，依次将资源2”、资源2’和资源2通过数据库读写模块2写入数据库。rcmc处理模块3可以基于资源3”、资源3’和资源3的nid的互斥锁，依次将资源3”、资源3’和资源3通过数据库读写模块3写入数据库。
55.可选地，本公开实施例中的数据库读写模块可以为全局内容管理服务(global content manager service，gcms)。
56.s203、每完成对一条资源内容数据的写入，将该资源内容数据添加至本地队列中。
57.s204、基于本地队列中每条资源内容数据的nid的互斥锁，将本地队列中的资源内容数据推送至本地队列对应的第一消息中间件，以使得缓存服务从第一消息中间件中获取并缓存资源内容数据。
58.在本公开实施例中，rcmc处理模块可以针对每个第一消息中间件生成一个本地队列，需要被推送至同一消息中间件中的资源内容数据可以被添加至同一本地队列中。
59.采用上述技术方案，rcmc处理模块可以接收到与自身具有映射关系的nid对应的资源内容数据，如此，可以使得具有同一nid的资源内容数据被同一rcmc处理模块接收。rcmc处理模块基于nid的互斥锁将携带同一nid的资源内容数据库依次写入，受互斥锁的限制，rcmc处理模块同一时刻只能处理具有相同nid的资源内容数据中的一条资源内容数据，可以避免同一资源后更新的资源内容数据先被写入，从而保证了同一资源的资源内容数据被顺序写入数据库及本地队列。因rcmc处理模块将本地队列中的资源内容数据推送至第一消息中间件时也利用了nid的互斥锁，所以保证了同一资源的资源内容数据被顺序推送至第一消息中间件，进而使得缓存服务可以按照正确的顺序获取并缓存同一资源的资源内容数据，避免了缓存层与数据库中的数据版本不一致，使得缓存层能够缓存正确版本的资源内容数据。
60.另外，如果缓存层缓存的数据版本错误，只能依赖手动更新缓存层缓存的数据，若未及时发现该错误并进行手动更新，会导致缓存数据长期错误，本公开实施例避免了缓存服务获取到的资源内容数据出现时序混乱的问题，可以避免缓存层长期缓存错误的数据。
61.在本公开实施例中，rcmc接收模块获取到的资源内容数据来自于第二消息中间件，第二消息中间件用于缓存更新后的资源内容数据。
62.当存在更新后的资源内容数据时，更新后的资源内容数据会被发布至第二消息中
间件，本公开实施例中的多个rcmc接收模块可以作为消费者消费第二消息中间件中的资源内容数据，第二消息中间件中的同一条资源内容数据只能被一个rcmc接收模块消费，当第二消息中间件中的一条资源内容数据被一个rcmc接收模块获取后，该资源内容数据将被从第二消息中间件中删除。
63.可选地，rcmc接收模块获取到资源内容数据后，可以先对资源内容数据进行基本校验和合法性校验，在校验通过后，将资源内容数据发送到rcmc处理模块。对资源内容数据进行校验的方法与现有技术中写入模块对资源内容数据进行校验的方法相同，此处不再赘述。
64.采用该方法，rcmc接收模块可以从第二消息中间件中获取资源内容数据，因消息中间件采用的是顺序存储机制，所以rcmc接收模块可以按照资源内容数据被更新的先后顺序获取到资源内容数据，使得rcmc接收模块后续可以按照资源内容数据被更新的先后顺序将各资源内容数据发送到rcmc处理模块。
65.在本公开另一实施例中，上述s201中rcmc处理模块接收到的资源内容数据为：rcmc接收模块对获取到的资源内容数据的nid进行一致性哈希运算得到哈希值后，所确定出的与rcmc处理模块具有预设映射关系的哈希值对应的资源内容数据。
66.其中，rcmc接收模块每获取到一条资源内容数据，可以对该资源内容数据的nid进行一致性哈希运算，得到该nid的哈希值。rcmc接收模块中预先存储了各哈希值与rcmc处理模块之间的预设映射关系，rcmc接收模块可从该预设映射关系中查找计算出的哈希值对应的rcmc处理模块，进而基于同步接口向该rcmc处理模块同步该资源内容数据。相当于rcmc接收模块可以按照nid的哈希值对接收到的资源内容数据进行分类，使得同一资源的资源内容数据始终由同一个rcmc处理模块处理。
67.示例性地，如图4所示，图4中的3个rcmc接收模块都可以接收到资源1的资源内容数据，这3个rcmc接收模块会将属于资源1的资源内容数据均发送到同一rcmc处理模块。
68.本公开实施例中采用的一致性哈希运算可以为任意一种一致性哈希算法，例如可以为除留余数法，将nid进行取余(mod)处理，将得到的余数作为该nid的哈希值。
69.当系统中的rcmc处理模块的数量发生变化的情况下(比如rcmc实例的增加或者迁移导致rcmc处理模块的数量发生变化)，可以重新确定各哈希值与rcmc处理模块之间的映射关系，使得在经过映射关系变换后，后续具有相同nid的资源内容数据仍然会被发送到同一rcmc处理模块。
70.采用该方法，本公开实施例中将接收功能与处理功能进行了分离，rcmc接收模块可以基于nid的哈希值与rcmc处理模块之间的映射关系将nid相同的资源内容处理模块发送到同一rcmc处理模块，可以避免不同的rcmc处理模块处理同一资源的不同资源内容数据，进而避免后更新的资源内容数据被先写入缓存层而导致的时序错乱的问题，使得同一资源的资源内容数据最终被顺序写入缓存层。
71.在本公开的一个实施例中，rcmc处理模块接收到的资源内容数据中存在需要被写入缓存层的资源内容数据和不需要被写入缓存层的资源内容数据，在此基础上，上述s203，具体可以实现为：
72.每完成对一条资源内容数据的写入，在该资源内容数据需要被写入缓存层的情况下，将该资源内容数据添加至与该资源内容数据所需被推送的第一消息中间件对应的本地
队列中，其中，多个第一消息中间件与rcmc处理模块中的多个本地队列具有一一对应的关系。
73.rcmc在将资源内容数据写入数据库后，还可以判断该资源内容数据是否需要被写入缓存层。其中，判断方法可以根据实际需求灵活设置，不需要通过缓存层分发的资源内容数据不需要被写入缓存层，比如可以设置指定nid的资源内容不需要被写入缓存层，或者指定类型的资源内容数据不需要被写入缓存层，对此本公开实施例不作具体限制。
74.在相关技术中，写入模块会基于资源内容数据包括的实际内容确定将该资源内容数据推送至哪一第一消息中间。本公开实施例中，rcmc处理模块中存在每个第一消息中间件对应的本地队列，进而，rcmc写入模块可以将需要被推送至同一消息中间件的资源内容数据写入同一第一消息中间件。
75.通过上述方法，每向数据库写入一条资源内容数据，则将该资源数据添加至与该资源内容数据需要被推送的第一消息中间件对应的本地队列中，可以保证需要推送至同一消息中间件的资源内容数据被按顺序写入本地队列，进而后续可以使得各资源内容数据被按顺序推送至第一消息中间件，避免推送至第一消息中间件的资源内容数据出现时序错乱。
76.在上述实施例的基础上，s204具体可以实现为：
77.通过预设数量个线程获取本地队列预设窗口中的每条资源内容数据，其中，预设窗口中包括本地队列中前预设数量条资源内容数据。
78.通过每个线程基于获取到的资源内容数据的nid的互斥锁，将获取到的资源内容数据推送至本地队列对应的第一消息中间件。
79.其中，预设窗口的大小可被灵活配置，本地队列的预设窗口包括的资源内容数据的数量，可以与rcmc处理模块中消费该本地队列中的资源内容数据的线程数相等。
80.示例性地，如图5所示，假设rcmc处理模块依次接收到三条资源内容数据，分别简称为资源1”、资源1’和资源2，这三条资源内容数据需要被推送至同一个消息中间件。
81.rcmc处理模块将资源1”写入数据库后，可以将资源1”添加至图5示出的本地队列中。然后将资源1’写入数据库后，将资源1’添加至本地队列中。将资源2写入数据库后，将资源2添加至本地队列中。
82.假设预设窗口为3，则本地队列的预设窗口中依次包括资源1”、资源1’和资源2，rcmc模块可通过3个线程将该预设窗口中的资源内容数据推送至第一消息中间件。
83.例如，线程1获取资源1”，线程2获取资源1’，线程3获取资源2。因为资源1”和1’具有相同的nid，所以线程1将资源1”写入第一消息中间件的过程中使用该nid的互斥锁，此时线程2无法对资源1’进行处理。但是线程3此时可以将资源2写入第一消息中间件中。当线程1的资源1”被写入第一消息中间件后，线程2可使用该nid的互斥锁将资源1写入第一消息中间件中，如此，第一消息中间件中的资源内容数据依次为资源1”、资源2、资源1’。
84.由于互斥锁的存在，属于同一资源的资源1”和资源1’之间的推送顺序不会发生错乱。可见，采用该方法可以实现在资源粒度对资源内容数据全局加锁进行入库和缓存，即全程都使用了nid的互斥锁将nid相同的资源内容数据依次写入数据库并依次推送至第一消息中间件，使得缓存层从第一消息中间件获取到相同nid的资源内容数据的顺序与数据库中的存储顺序一致，进而保证了缓存层与数据库中存储的数据版本一致。
85.对应于上述方法实施例，本公开实施例还提供一种数据处理装置，该装置应用于rcmc处理模块，如图6所示，该装置包括：
86.接收单元601，用于接收rcmc接收模块发送的资源内容数据，资源内容数据携带消息标识nid，资源内容数据的nid与rcmc处理模块具有映射关系；
87.写入单元602，用于为接收到的资源内容数据的nid构造互斥锁，基于互斥锁将携带相同nid的资源内容数据依次写入数据库；
88.添加单元603，用于每完成对一条资源内容数据的写入，将该资源内容数据添加至本地队列中；
89.推送单元604，用于基于本地队列中每条资源内容数据的nid的互斥锁，将本地队列中的资源内容数据推送至本地队列对应的第一消息中间件，以使得缓存服务从第一消息中间件中获取并缓存资源内容数据。
90.在本公开另一实施例中，推送单元604，具体用于：
91.通过预设数量个线程获取本地队列预设窗口中的每条资源内容数据，其中，预设窗口中包括本地队列中前预设数量条资源内容数据；
92.通过每个线程基于获取到的资源内容数据的nid的互斥锁，将获取到的资源内容数据推送至本地队列对应的第一消息中间件。
93.在本公开另一实施例中，添加单元603，具体用于：
94.每完成对一条资源内容数据的写入，在该资源内容数据需要被写入缓存层的情况下，将该资源内容数据添加至与该资源内容数据所需被推送的第一消息中间件对应的本地队列中，其中，多个第一消息中间件与rcmc处理模块中的多个本地队列具有一一对应的关系。
95.在本公开另一实施例中，rcmc处理模块接收到的资源内容数据为：rcmc接收模块对获取到的资源内容数据的nid进行一致性哈希运算得到哈希值后，所确定出的与rcmc处理模块具有预设映射关系的哈希值对应的资源内容数据。
96.在本公开另一实施例中，rcmc接收模块获取到的资源内容数据来自于第二消息中间件，第二消息中间件用于缓存更新后的资源内容数据。
97.对应于上述方法实施例，本公开实施例还提供了一种数据处理系统，如图7所示，该系统包括：多个rcmc接收模块、多个rcmc处理模块、数据库、第一消息中间件和缓存服务。
98.图7中示例性地示出了3个rcmc接收模块和3个rcmc处理模块，实际实现中，数据处理系统中包括各模块数量不限于此。
99.其中，每个rcmc接收模块，用于向与资源内容数据的nid具有映射关系的rcmc处理模块发送资源内容数据。
100.每个rcmc处理模块，用于实现上述方法实施例中由rcmc处理模块实现的方法步骤。
101.缓存服务，用于从第一消息中间件中获取并缓存资源内容数据。
102.其中，缓存服务可以接收业务服务的数据查询请求，缓存服务优先信任本地缓存的数据，若本地缓存的数据存在缺失，比如本地未缓存某一资源对应的资源内容数据，则缓存服务可向数据库进行穿透访问，从而获取该资源的最新资源内容数据。而如果本地缓存的数据版本存在错误，则缓存服务会向业务服务返回错误版本的数据，而不会触发向数据
库穿透访问的过程，将导致业务服务获取到错误版本的数据，进而导致业务执行错误。
103.采用本公开实施例提供的系统，可以使得同一资源的资源内容数据被发送到同一rcmc处理模块，rcmc处理模块基于互斥锁将同一资源的资源内容数据顺序写入数据库并顺序推送至第一消息中间件，即对于同一资源的多条资源内容数据，将严格按照接收顺序进行推送，避免了缓存服务从第一消息中间件获取资源内容数据的顺序错误而导致缓存错误版本的资源内容数据，在尽可能低的增加系统资源消耗的前提下，提升了系统中缓存层与数据库的存储的数据的一致性。
104.在本公开实施例中，每个rcmc接收模块，具体用于对获取到的每条资源内容数据的nid进行一致性哈希运算得到哈希值，向与该哈希值具有预设映射关系的rcmc处理模块发送该资源内容数据。
105.可选地，如图7所示，该系统还包括第二消息中间件。
106.第二消息中间件，用于缓存更新后的资源内容数据；
107.多个rcmc接收模块，用于从第二消息中间件中获取资源内容数据。
108.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
109.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
110.图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
111.如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
112.电子设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
113.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如数据处理方法。例如，在一些实施例中，数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程
序加载到ram 803并由计算单元801执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。
114.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
115.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
116.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
117.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
118.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
119.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计
算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
120.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
121.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。