一种基于MQTT集群广播数据的系统的制作方法

技术特征：
1.一种基于mqtt集群广播数据的系统，其特征在于：包括，网络通讯层：基于netty，提供ip协议的tcp/udp，支持服务端和客户端两种模式；同时提供串口通讯的rs232/485支持以及无线的zigbee支持；基础组件层：包括引导程序模块、终端管理模块、权限认证模块、数据桥模块、路由规则模块、路由管理模块；所述引导程序模块用于定义公共的启动器bootstrap，支持tcp、upd、serial的客户端连接和服务端绑定及其运行参数配置项；所述终端管理模块用于定义抽象的终端基类，实现客户端的上下线以及认证管理和缓存功能；所述权限认证模块用于定义抽象的终端认证接口，定义黑名单、客户端有效性、用户密码认证、数据订阅的权限认证的标准接口；用于基于关系库，实现公用的终端认证服务；所述数据桥模块定义标准的数据桥接接口，实现到kafka、jdbc和nosql的数据桥接功能；用于基于关系库，实现数据桥的管理功能；所述路由规则模块用于定义标准的数据路由接口，实现到kafka、jdbc和nosql的数据路由功能；用于基于关系库，实现路由规则的管理功能；支持包括字段选择、公式条件过滤、计算字段在内的路由条件；所述路由管理模块用于提供数据缓冲池，加速消息处理；支持插件模式，实时拔插数据路由规则；采用线程池模式；数据处理层：包括数据桥接模块、数据路由模块、协议解析模块、消息处理模块、配置管理模块、运行监测模块、边缘计算模块、终端联动模块；所述数据桥接模块用于基于具体的协议，实例化通用的数据桥；用于根据业务需求，定义专用的数据桥；所述数据路由模块用于基于具体的协议，实例化数据路由规则，根据业务需求，定义专用的数据路由规则；所述协议解析模块用于定义通用的例如心跳检测、流量控制等处理器；用于根据具体的应用协议，定义标准应用层协议解析器；所述消息处理模块用于根据具体的应用协议，预定义标准消息处理器；所述配置管理模块用于基于关系库，实现包括设备管理、数据桥配置、路由规则配置在内的接口和业务功能；所述运行监测模块用于通过prometheus grafana的方式支持集群指标监控，并通过页面实时展示；集群指标包括节点状态、客户端连接，数据订阅、消息处理速度、线程池状态、缓冲区状态；所述边缘计算模块用于通过第三方注册工具，将broker信息注册上去；能够有效的支持单设备或者跨broker、集群，订阅不同终端的状态，通过配置公式进行计算后，将结果作为控制条件发送到终端；所述终端联动模块用于设备联动；设备间需要通过数据订阅，当被订阅设备状态发生变化时，将变化值发送到订阅终端，由终端自行处理相应动作；数据持久层：包括消息队列模块、ods数仓、客户端订阅模块；所述消息队列模块用于数据传输以及实时传输数据的存储；通过对消息队列基础配置
进行设置能够将数据持久化到文件或者数据库以及ods数仓中；所述ods数仓用于持久化消息队列模块中的数据，通过对消息队列模块中数据的存储为后续的仓库层提供准备，为dwd层提供原始数据，减少对业务系统的影响；所述客户端订阅模块用于支持客户端订阅需要的消息队列，通过客户端代码或配置自助实现订阅功能。2.根据权利要求1所述的基于mqtt集群广播数据的系统，其特征在于：系统中数据流转过程为，终端数据通过mqtt集群被采集起来，经过mqtt集群内部的协议解析模块和消息处理模块处理后依次经过数据路由模块以及数据桥接模块输出到mqtt broker中，或进入到已经订阅的客户端，或进入kafka容器和ods数仓中等待数据的进一步处理；在mqtt集群内部，数据能够在边缘计算模块中执行边缘计算，计算过后的结果数据返回到mqtt集群中。3.根据权利要求2所述的基于mqtt集群广播数据的系统，其特征在于：mqtt集群在采集终端数据的时候，每个broker都独立运行，不会互相通信；各个broker之间通过第三方服务进行注册，注册过后能够实现数据的相互订阅；mqtt集群采集的终端数据通过服务队列传输到客户端。

技术总结
本发明公开了一种基于MQTT集群广播数据的系统，包括，网络通讯层：提供IP协议的TCP/UDP、串口通讯的RS232/485支持以及无线的ZIGBEE支持；基础组件层：包括引导程序模块、终端管理模块、权限认证模块、数据桥模块、路由规则模块、路由管理模块；数据处理层：包括数据桥接模块、数据路由模块、协议解析模块、消息处理模块、配置管理模块、运行监测模块、边缘计算模块、终端联动模块；数据持久层：包括消息队列模块、ODS数仓、客户端订阅模块。优点是：对MQTT集群改进，在MQTT集群中间采用了无状态集群模式，大大提高了维护性能和线性扩展；该集群模式提供了满足数千万级的设备接入和每秒近千万级消息的处理能力，各终端之间能够实现数据的相互订阅。的相互订阅。的相互订阅。


技术研发人员：钱苏晋 吴琼 熊江舟 吴志勇 邓亮戈
受保护的技术使用者：北京恒泰实达科技股份有限公司
技术研发日：2022.10.27
技术公布日：2023/1/31