一种消息系统服务装置及数据处理设备的制作方法

1.本发明涉及通信技术领域，特别是涉及一种消息系统服务装置及数据处理设备。


背景技术：

2.kafka是一种常用的分布式发布-订阅类型的消息系统，消息系统是数据生产装置与数据消费装置之间的介质，数据生产装置用于生成业务数据并将业务数据发送给消息系统，数据消费装置订阅消息系统并从消息系统中获取业务数据以便对业务数据进行分析处理等操作。传统设计方案中，数据生产装置和数据消费装置在利用消息系统进行数据处理之前需要额外设置安装有消息系统的客户端的处理器以便正常利用消息系统存储和消费数据，这就导致数据生产装置、数据消费装置与消息系统之间的耦合性比较强，并且由于消息系统的客户端使用起来具有一定的难度，因此会增加数据生产装置和数据消费装置的维护人员的工作负担。此外，传统设计方案中数据消费装置可以主动获取数据生产装置存储在消息系统中的所有业务数据，对数据生产装置来讲具有一定的安全风险。


技术实现要素：

3.本发明的目的是提供一种消息系统服务装置及数据处理设备，能够降低数据生产装置、数据消费装置以及消息系统之间的耦合性，不会增加数据生产装置和数据消费装置的维护人员的工作难度，且能够保证数据生产装置的安全。
4.为解决上述技术问题，本发明提供了一种消息系统服务装置，包括：
5.接口模块；
6.数据生产处理器，用于通过所述接口模块接收数据生产装置下发的业务数据，并将所述业务数据发送至数据存储模块；
7.数据消费处理器，用于从所述数据存储模块中获取所述业务数据，并通过所述接口模块将所述业务数据下发至数据消费装置以便所述数据消费装置对所述业务数据进行分析处理；
8.所述数据存储模块，用于存储所述业务数据。
9.优选的，所述数据存储模块还用于在检测到所述业务数据存储成功后生成存储成功信号，并将所述存储成功信号发送至所述数据生产处理器；
10.所述数据生产处理器还用于在接收到所述存储成功信号时向所述数据消费装置发送唤醒指令；
11.所述数据消费处理器具体用于在在接收到所述唤醒指令时从所述数据存储模块中获取所述业务数据，并通过所述接口模块将所述业务数据下发至所述数据消费装置。
12.优选的，所述数据存储模块还用于在检测到所述业务数据存储失败后生成存储失败信号，并将所述存储失败信号发送至所述数据生产处理器；
13.所述数据生产处理器还用于在接收到所述存储失败信号后重新向所述数据存储模块发送所述业务数据。
14.优选的，所述数据生产处理器还用于确定所述业务数据的数据类型，并确定所述数据存储模块中与所述数据类型对应的指定存储区域，将所述指定存储区域告知所述数据消费处理器以便所述数据消费处理器从所述指定存储区域获取所述业务数据；
15.所述数据存储模块具体用于将所述业务数据存储至所述指定存储区域中。
16.优选的，所述数据存储模块为kafka服务器。
17.优选的，所述数据生产处理器具体用于通过所述接口模块接收所述数据生产装置下发的分类业务数据，并将所述分类业务数据发送至所述数据存储模块，其中，所述分类业务数据为所述数据生产装置将所述业务数据按照所述数据消费装置的用户类型进行分类后得到的数据；
18.所述数据存储模块具体用于存储所述分类业务数据；
19.所述数据消费处理器具体用于从所述数据存储模块中获取所述分类业务数据，并通过所述接口模块中与所述分类业务数据对应的接口将所述分类业务数据下发至所述数据消费装置。
20.优选的，所述数据存储模块具体用于将所述分类业务数据存储在分类业务存储区域中，其中，所述分类业务存储区域与所述分类业务数据对应的数据消费装置的用户类型一一对应。
21.为解决上述技术问题本技术还提供了一种数据处理设备，包括上述的消息系统服务装置，还包括数据生产装置和数据消费装置；
22.所述数据生产装置用于向所述消息系统服务装置中的数据生产处理器下发业务数据；
23.所述数据消费装置用于在接收到所述消息系统服务装置中的数据消费处理器下发的所述业务数据后对所述业务数据进行分析处理。
24.优选的，所述数据生产装置具体用于按照预先与所述数据消费装置约定的数据类型将所述业务数据下发至所述数据生产处理器。
25.优选的，所述数据生产装置还用于将所述业务数据按照所述数据消费装置的用户类型进行分类并生成分类业务数据。
26.综上，本发明提供了一种消息系统服务装置及数据处理设备，包括接口模块、数据生产处理器、数据消费处理器以及数据存储模块。数据生产处理器通过接口模块将数据生产装置下发的业务数据发送给数据存储模块，数据消费处理器从数据存储模块中获取业务数据并通过接口模块将业务数据下发给数据消费装置。可见，数据生产装置与数据消费装置不需要分别设置安装有消息系统的客户端的处理器，能够降低彼此之间的耦合；数据生产装置与数据消费装置分别负责下发业务数据和接收业务数据即可，不会增加数据生产装置和数据消费装置的维护人员的工作负担。并且，数据消费装置无法主动从消息系统服务装置中获取业务数据，只能被动接收消息系统服务装置中存储的由数据生产装置下发的业务数据，提高了数据生产装置的安全性。
附图说明
27.为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施
例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明提供的一种消息系统服务装置的结构示意图；
29.图2为本发明提供的一种数据处理设备的对接模式示意图。
具体实施方式
30.本发明的核心是提供一种消息系统服务装置及数据处理设备，能够降低数据生产装置、数据消费装置以及消息系统之间的耦合性，不会增加数据生产装置和数据消费装置的维护人员的工作难度，且能够保证数据生产装置的安全。
31.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.请参照图1，图1为本发明提供的一种消息系统服务装置的结构示意图，该消息系统服务装置包括：
33.接口模块1；
34.数据生产处理器2，用于通过接口模块1接收数据生产装置下发的业务数据，并将业务数据发送至数据存储模块4；
35.数据消费处理器3，用于从数据存储模块4中获取业务数据，并通过接口模块1将业务数据下发至数据消费装置以便数据消费装置对业务数据进行分析处理；
36.数据存储模块4，用于存储业务数据。
37.传统设计方案中，数据生产装置和数据消费装置使用消息系统之前需要在各自的系统中额外引入消息系统的客户端，这就导致数据生产装置、数据消费装置以及消息系统之间的耦合性比较强，并且需要数据生产装置和数据消费装置的维护人员了解一定的消息系统基础知识，给维护人员增加了额外的工作负担。并且当由专门的消息系统服务方来负责管理消息系统时，数据生产装置和数据消费装置均需要与消息系统服务方进行直接对接，导致消息系统服务方不得不了解各方面相关的业务知识，增加了数据生产装置和数据消费装置与消息系统服务方之间的沟通成本。此外，由于数据消费装置可以主动从消息系统中的主动获取任何业务数据，而数据生产装置却无法控制数据消费装置可以消费哪些数据，给数据生产装置带来了一定的安全问题。
38.因此，本技术提供了一种消息系统服务装置，包括接口模块1、数据生产处理器2、数据消费处理器3以及数据存储模块4。在本技术中将数据生产处理器2和数据消费处理器3均集成在消息系统服务装置中，由消息系统服务装置负责业务数据的运维，并以接口的形式为数据生产装置和数据消费装置提供服务，从而无需再在数据生产装置的系统以及数据消费装置的系统中引入消息系统的客户端，降低了数据生产装置、数据消费装置以及消息系统服务方之间的耦合。
39.具体的，数据生产装置生成业务数据后通过接口模块1将业务数据下发给消息系统服务装置中的数据生产处理器2，需要说明的是，数据生产装置可以选择具体下发哪些业务数据，并不需要将所有的业务数据均通过接口模块1下发给数据生产处理器2。例如，当有
多个数据消费装置并且每个数据消费装置想要消费的业务数据不同时，数据生产装置可以选择与目标数据消费装置对应的业务数据下发至数据生产处理器2。
40.数据生产处理器2在接收到业务数据后会将业务数据发送给数据存储模块4，数据存储模块4接收到业务数据之后将业务数据进行存储。数据存储模块4可以为服务器中的数据存储器或者数据库等，本技术对此不作特别限定。并且，在类似于上文中提到的存在多个数据消费装置的情况下，数据存储器可以为每个数据消费装置划分唯一的存储区域，以便更好的对业务数据进行管理和下发。
41.数据消费处理器3从数据存储模块4中获取业务数据，并通过接口模块1将业务数据下发给数据消费装置，以便数据消费装置消费业务数据，例如对业务数据进行分析处理等操作。需要说明的是，当存在多个数据消费装置时，数据生产处理器2会提前告知数据消费处理器3从数据存储模块4中的指定存储区域内获取业务数据，避免出现业务数据下发错误的问题。
42.站在数据生产装置、数据消费装置以及消息系统服务方的宏观角度来看，数据生产装置只负责生产并下发业务数据，数据消费装置只需要被动接收业务数据并进行后的业务数据消费。因此，数据生产装置与数据消费装置各自的运维人员均不需要了解消息系统方面的相关知识，减轻了工作负担。并且由于数据消费装置只能被动接收数据生产装置通过消息系统服务方下发的数据，因此数据生产装置可以选择让数据消费装置消费哪些数据，保障了数据生产装置的安全。
43.综上，本发明提供了一种消息系统服务装置，包括接口模块1、数据生产处理器2、数据消费处理器3以及数据存储模块4。数据生产处理器2通过接口模块1将数据生产装置下发的业务数据发送给数据存储模块4，数据消费处理器3从数据存储模块4中获取业务数据并通过接口模块1将业务数据下发给数据消费装置。可见，数据生产装置与数据消费装置不需要分别设置安装有消息系统的客户端的处理器，能够降低彼此之间的耦合；数据生产装置与数据消费装置分别负责下发业务数据和接收业务数据即可，不会增加数据生产装置和数据消费装置的维护人员的工作负担。并且，数据消费装置无法主动从消息系统服务装置中获取业务数据，只能被动接收消息系统服务装置中存储的由数据生产装置下发的业务数据，提高了数据生产装置的安全性。
44.在上述实施例的基础上：
45.作为一种优选的实施例，数据存储模块4还用于在检测到业务数据存储成功后生成存储成功信号，并将存储成功信号发送至数据生产处理器2；
46.数据生产处理器2还用于在接收到存储成功信号时向数据消费装置发送唤醒指令；
47.数据消费处理器3具体用于在在接收到唤醒指令时从数据存储模块4中获取业务数据，并通过接口模块1将业务数据下发至数据消费装置。
48.考虑到数据存储模块4存储业务数据的过程中可能会出现意外情况导致业务数据存储失败，进而有可能会影响数据消费装置消费业务数据，因此，在本实施例中数据存储模块4还能够检测业务数据是否存储成功，在检测到业务数据存储成功后生成存储成功信号。在本实施例中存储成功信号会发送给数据生产处理器2，数据生产处理器2在接收到存储成功信号之后向数据消费者发送唤醒指令，然后数据消费处理器3才能从数据存储模块4中获
取业务数据，这进一步保证了处理业务数据的整个过程的安全性。数据消费装置获取到业务数据之后再通过接口模块1将业务数据下发给数据消费装置以便数据消费装置消费业务数据。
49.需要说明的是，本实施例中数据存储模块4在检测到业务数据存储成功后的存储成功信号也可以直接发送给数据消费装置，数据消费装置在接收到存储成功信号后再从数据存储模块4中获取业务数据，并通过接口模块1下发至数据消费装置。
50.综上，在本实施例中在数据存储模块4检测到数据存储成功之后数据消费处理器3才能获取业务数据，进一步保证了数据生产装置、数据消费装置与消息系统服务方整体构成的业务系统对业务数据处理的安全性。
51.作为一种优选的实施例，数据存储模块4还用于在检测到业务数据存储失败后生成存储失败信号，并将存储失败信号发送至数据生产处理器2；
52.数据生产处理器2还用于在接收到存储失败信号后重新向数据存储模块4发送业务数据。
53.考虑到数据存储模块4在存储业务数据时也可能会存储失败，进而可能会影响数据消费装置消费业务数据，因此，在本实施例中数据存储模块4在检测到数据存储失败时还会生成存储失败信号。同时，为了保证数据消费装置能够正常进行业务数据消费，数据存储模块4会将存储失败信号发送给数据生产处理器2，当数据生产处理器2接收到存储失败信号后会重新向数据存储模块4发送业务数据以便数据存储模块4再次将业务数据进行存储。
54.综上，在本实施例中数据存储模块4检测到数据存储失败后数据生产处理器2还能再次向数据存储模块4发送业务数据，保证业务系统的稳定运行。
55.作为一种优选的实施例，数据生产处理器2还用于确定业务数据的数据类型，并确定数据存储模块4中与数据类型对应的指定存储区域，将指定存储区域告知数据消费处理器3以便数据消费处理器3从指定存储区域获取业务数据；
56.数据存储模块4具体用于将业务数据存储至指定存储区域中。
57.在数据生产装置生产数据之前，数据生产装置与数据消费装置会提前约定好业务数据的数据类型，例如不同的数据类型对应不同的数据消费装置，因此数据生产处理器2还会在数据生产当生产出业务数据之后识别出业务数据的数据类型。并且为了实现将不同数据类型的业务数据提供给不同的数据消费装置的目的，数据存储模块4中还为不同数据类型的业务数据划分了不同的存储区域，数据生产处理器2确定业务数据的数据类型之后确定数据存储模块4中与数据类型对应的指定存储区域，并将指定存储区域告知数据消费处理器3，然后数据消费处理器3从指定存储区域中获取业务数据并将业务数据下发给数据消费装置。
58.在本实施例中，不同类型的业务数据存储不同的存储区域中，进一步优化了业务系统对业务数据的处理过程。
59.作为一种优选的实施例，数据存储模块4为kafka服务器。
60.在本实施例中，数据存储模块4为kafka服务器，业务数据可以存储在kafka服务器的数据存储器内。kafka消息系统具有高吞吐量、低延迟以及可靠性高等优点，进一步优化利用消息系统服务装置进行业务数据的处理过程。
61.还需要说明的是，业务数据可以存储在kafak服务器中指定的topic中或者指定的
partition中，本技术对此不作特别限定。
62.作为一种优选的实施例，数据生产处理器2具体用于通过接口模块1接收数据生产装置下发的分类业务数据，并将分类业务数据发送至数据存储模块4，其中，分类业务数据为数据生产装置将业务数据按照数据消费装置的用户类型进行分类后得到的数据；
63.数据存储模块4具体用于存储分类业务数据；
64.数据消费处理器3具体用于从数据存储模块4中获取分类业务数据，并通过接口模块1中与分类业务数据对应的接口将分类业务数据下发至数据消费装置。
65.为增强数据生产装置的安全性，数据生产装置下发的业务数据可以为分类业务数据，其中，分类业务数据是指数据生产装置按照数据消费装置的用户类型进行分类后得到的数据，通过指定不同的数据消费装置消费不同类型的分类业务数据实现数据生产装置对风险的把控，避免出现传统设计方案中数据消费装置可以从消息系统服务方中获取任何业务数据的风险。
66.具体的，数据生产装置生产出分类业务数据之后，数据生产处理器2通过接口模块1接收分类业务数据并将分类业务数据下发至数据存储模块4，数据存储模块4将分类业务数据进行存储。需要说明的是，数据存储模块4可以将不同种类的分类业务数据存储在不同的存储区域内，例如当数据存储模块4为kafka服务器时，kafka服务器可以将不同种类的分类业务数据存储在不同的topic中。
67.此外，数据生产装置与数据消费装置可以预先约定分类业务数据的传输类型以及接收格式，并且将不同种类的分类业务数据与接口模块1中不同的接口进行绑定，不同的接口对应的数据消费装置不同，因此数据消费处理器3在获取到分类业务数据之后通过接口模块1中与分类业务数据对应的接口将分类业务数据下发至数据消费装置。
68.综上，在本实施例，根据数据消费装置的用户类型将业务数据进行分类，并且通过与分类业务数据对应的接口将分类业务数据下发给数据消费者，保证了数据生产装置的安全性。
69.作为一种优选的实施例，数据存储模块4具体用于将分类业务数据存储在分类业务存储区域中，其中，分类业务存储区域与分类业务数据对应的数据消费装置的用户类型一一对应。
70.考虑到不同的数据消费装置对应不同的分类业务数据，为了便于数据消费处理器3获取与数据消费装置对应的分类业务数据，在本实施例中将数据存储模块4划分为多个区域，不同的分类业务数据存储在不同的分类业务存储区域内，且分类业务存储区域与分类业务数据对应的数据消费装置的用户类型一一对应，保证了利用消息系统服务装置进行业务数据的处理时的便捷性。
71.本技术还提供了一种数据处理设备，包括上述的消息系统服务装置，还包括数据生产装置和数据消费装置；
72.数据生产装置用于向消息系统服务装置中的数据生产处理器2下发业务数据；
73.数据消费装置用于在接收到消息系统服务装置中的数据消费处理器3下发的业务数据后对业务数据进行分析处理。
74.本发明提供了一种数据处理设备，包括消息系统服务装置、数据生产装置以及数据消费装置，其中消息系统服务装置包括接口模块1、数据生产处理器2、数据消费处理器3
以及数据存储模块4。数据生产处理器2通过接口模块1将数据生产装置下发的业务数据发送给数据存储模块4，数据消费处理器3从数据存储模块4中获取业务数据并通过接口模块1将业务数据下发给数据消费装置。可见，数据生产装置与数据消费装置不需要分别设置安装有消息系统的客户端的处理器，能够降低彼此之间的耦合；数据生产装置与数据消费装置分别负责下发业务数据和接收业务数据即可，不会增加数据生产装置和数据消费装置的维护人员的工作负担。并且，数据消费装置无法主动从消息系统服务装置中获取业务数据，只能被动接收消息系统服务装置中存储的由数据生产装置下发的业务数据，提高了数据生产装置的安全性。
75.对于本发明提供的一种数据处理设备的相关介绍请参照上述消息系统服务装置的实施例，本技术在此不做赘述。
76.在上述实施例的基础上：
77.作为一种优选的实施例，数据生产装置具体用于按照预先与数据消费装置约定的数据类型将业务数据下发至数据生产处理器2。
78.在本实施例中，数据生产装置会按照预先与数据消费装置约定的数据类型生成业务数据，以便数据生产处理器2在确定业务数据的数据类型之后将业务数据存储在指定存储区域内，进一步优化业务系统对业务数据的处理过程。
79.作为一种优选的实施例，数据生产装置还用于将业务数据按照数据消费装置的用户类型进行分类并生成分类业务数据。
80.在本实施例中，数据生产装置会按照数据消费装置的用户类型对业务数据进行分类并生成分类业务数据，数据生产装置生产出分类业务数据之后，数据生产处理器2通过接口模块1接收分类业务数据并将分类业务数据下发至数据存储模块4，数据存储模块4将分类业务数据进行存储。通过指定不同的数据消费装置消费不同类型的分类业务数据实现数据生产装置对风险的把控，避免出现传统设计方案中数据消费装置可以从消息系统服务方中获取任何业务数据的风险。
81.请参照图2，图2为本发明提供的一种数据处理设备的对接模式示意图。由数据生产装置、数据消费装置以及消息系统服务装置构成的数据处理设备对业务数据进行处理的流程大致可以为：数据生产装置与数据消费装置预先约定数据消费装置需要的数据类型，然后数据消费装置按照约定好的数据类型开发对应的接口并将接口提供给数据生产装置。为了满足消息系统服务装置向数据消费装置下发业务数据的需求，数据生产装置将接口以及数据类型的识别方式告知消息系统服务装置。完成上述准备过程之后，数据生产装置在生产出业务数据之后即可按照预先约定的数据类型通过开发出的接口向消息系统服务装置下发数据，消息系统服务装置再利用接口向数据消费装置下发业务数据，以便数据消费装置消费业务数据，完成业务数据处理的全过程。
82.综上，本技术提供的数据处理设备避免了数据生产装置和数据消费装置需要引入消息系统服务装置的客户端的问题，降低了数据处理设备之间的耦合，降低了数据处理设备的维护成本，避免了消息系统服务装置中的数据存储模块4内的数据泄露的风险，减轻了各方的沟通成本，降低了数据生产装置和数据消费装置的维护人员的技术门槛。并且，数据消费装置不再与消息系统服务装置进行数据交互，数据消费装置消费的数据完全由数据生产装置决定，提高了数据生产装置的安全性。
83.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
84.还需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
85.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。