一种实现storm对接非开源消息中间件的方法与流程

1.本发明涉及计算机软件应用技术领域，具体涉及一种实现storm对接非开源消息中间件的方法。


背景技术：

2.电信行业异步事件解析，storm流处理技术接收消息中间件的异步消息，快速处理解析消息内容，storm基于开源的kafka等有直接的对接方式，而对于非开源(如自研)消息中间件无法做到全部适配。
3.传统的storm对接非开源消息中间件的方式是通过异步调度方式接收非开源消息中间件后，再将消息发送到开源kafka中，而后storm对接kafka中的消息；但是，上述处理方式增加了中间环节和业务复杂度，加大了问题风险点。


技术实现要素：

4.针对现有技术中存在的上述问题，本发明提供一种实现storm对接非开源消息中间件的方法。
5.本发明公开了一种实现storm对接非开源消息中间件的方法，包括：
6.自定义hosts，连接消息中间件地址的实体对象；
7.自定义config类，创建消息中间件连接及配置信息；
8.自定义消费者，非开源消息中间件消费者实现；
9.自定义spout，接收消息中间件数据后发出storm消息。
10.作为本发明的进一步改进，通过hosts创建消息中间件连接及配置信息。
11.作为本发明的进一步改进，使用自定义config连接消息中间件，并实现消息的消费。
12.作为本发明的进一步改进，自定义spout继承storm内部基础类baserichspout，同时重写继承类的方法。
13.作为本发明的进一步改进，还包括：storm基础拓扑编写，使用自定义的spout接收消息。
14.与现有技术相比，本发明的有益效果为：
15.本发明的storm可直接对接非开源消息中间件，减少数据流转环节，减少数据流在中间过程环节的风险。
附图说明
16.图1为本发明一种实施例公开的实现storm对接非开源消息中间件的方法的流程图。
具体实施方式
17.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.下面结合附图对本发明做进一步的详细描述：
19.如图1所示，本发明提供一种实现storm对接非开源消息中间件的方法，其封装代码继承开源基础spout及spout，接收并消费闭源消息后通过storm拓扑进行数据流处理；具体包括：
20.步骤1、定义hosts类，连接消息中间件地址的实体对象；
21.步骤2、自定义config类，通过hosts创建消息中间件连接及配置信息；
22.步骤3、自定义消费者类，非开源消息中间件消费者实现，使用自定义config来连接消息中间件，并实现消息的消费；
23.步骤4、自定义spout类，接收消息中间件数据后发出storm消息，自定义spout要继承storm内部基础类baserichspout，同时重写继承类的方法：open、nexttuple、declareoutputfields、ack、fail；其中，
24.open方法：初始化自定义消费者；
25.nexttuple方法：读取一条消息发送给storm的接收者；
26.步骤5、storm基础拓扑编写，使用自定义的spout接收消息，与开源kafka接收消息方式一致。
27.本发明的优点为：
28.1.利用storm流处理机制，高效的处理非开源消息中间件数据；
29.2.减少数据中间过程环节，降低数据流转过程中的问题风险；
30.3.暴漏给storm拓扑的使用方式与开源消息中间件的使用方式一致，降低学习成本。
31.以上公开的本发明优选实施例只是用于帮助阐述本发明。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。


技术特征：
1.一种实现storm对接非开源消息中间件的方法，其特征在于，包括：自定义hosts，连接消息中间件地址的实体对象；自定义config类，创建消息中间件连接及配置信息；自定义消费者，非开源消息中间件消费者实现；自定义spout，接收消息中间件数据后发出storm消息。2.如权利要求1所述的方法，其特征在于，通过hosts创建消息中间件连接及配置信息。3.如权利要求1所述的方法，其特征在于，使用自定义config连接消息中间件，并实现消息的消费。4.如权利要求1所述的方法，其特征在于，自定义spout继承storm内部基础类baserichspout，同时重写继承类的方法。5.如权利要求1所述的方法，其特征在于，还包括：storm基础拓扑编写，使用自定义的spout接收消息。

技术总结
本发明公开了一种实现storm对接非开源消息中间件的方法，包括：自定义Hosts，连接消息中间件地址的实体对象；自定义Config类，创建消息中间件连接及配置信息；自定义消费者，非开源消息中间件消费者实现；自定义Spout，接收消息中间件数据后发出storm消息。本发明的storm可直接对接非开源消息中间件，减少数据流转环节，减少数据流在中间过程环节的风险。减少数据流在中间过程环节的风险。减少数据流在中间过程环节的风险。


技术研发人员：王大伟
受保护的技术使用者：北京思特奇信息技术股份有限公司
技术研发日：2021.07.28
技术公布日：2021/12/6