应用于配电自动化系统的跨区数据同步方法及系统与流程
本技术涉及电力系统安全防护领域,具体而言,涉及一种应用于配电自动化系统的跨区数据同步方法及系统。
背景技术:
1、在电力系统中,为了进行安全防护,通常会将电力系统划分成生产控制大区和管理信息大区。但是为了实现业务流程,需要进行生产控制大区和管理信息大区之间的数据同步。
2、现有技术基于成熟的消息队列中间件(如kafka、rocketmq)进行跨区同步。在一区(生产控制大区和管理信息大区中的其中一个)部署消息生产者,将同步消息发送至消息队列,通过定制的适配器将消息转换为隔离装置允许的消息传输至三区(生产控制大区和管理信息大区中的另一个)的消息同步接收器,消息同步接收器接收到消息后再发给三区消息中间件进行消息分发和处理。
3、但该种方法依赖组件多,内存和磁盘开销大,占用资源高,对于电力系统边缘节点或轻量化部署场景不友好。
技术实现思路
1、本技术实施例的目的在于提供一种应用于配电自动化系统的跨区数据同步方法及系统,用以解决相关技术存在着的,依赖消息队列中间件进行跨区数据同步依赖组件多的问题。
2、本技术实施例提供了一种应用于配电自动化系统的跨区数据同步方法,其特征在于,所述配电自动化系统包括部署于生产控制大区的第一服务器、隔离装置以及部署于管理信息大区的第二服务器,所述第一服务器包括同步服务模块、至少一个第一业务服务模块;所述同步服务模块包括隔离装置适配子模块;全部所述第一业务服务模块中均包括数据获取子模块;所述第二服务器包括跨区消息处理子模块和可靠传输管理子模块,所述方法包括:
3、所述第一服务器通过所述数据获取子模块从所属的第一业务服务模块中获取至少一个待同步数据、所述待同步数据的数据类型以及所述待同步数据的数据唯一标识;
4、所述第一服务器通过所述数据获取子模块基于所述待同步数据的数据唯一标识以及所述待同步数据的数据类型对所述待同步数据进行封装处理,获得所述待同步数据的同步消息;
5、所述第一服务器通过所述数据获取子模块将所述同步消息写入由内存队列和文件队列构成的本地缓冲队列,并按照先内存队列后文件队列的顺序将所述本地缓冲队列中的同步消息依次发送至所述同步服务模块;
6、所述第一服务器通过所述同步服务模块集中对所有接收到的同步消息进行基于所述数据唯一标识的去重校验,将通过校验的同步消息作为第一目标同步消息,并将所述第一目标同步消息按序存储至预设消息文件;通过所述同步服务模块按序从所述预设消息文件中读取所述第一目标同步消息,并调用所述隔离装置适配子模块将读取的第一目标同步消息发送至隔离装置,使所述隔离装置将所述第一目标同步消息发送至第二服务器;
7、所述第二服务器通过所述可靠传输管理子模块对接收到的第一目标同步消息进行基于所述数据唯一标识的去重校验,通过校验后的第一目标同步消息为第二目标同步消息,通过预设的消息处理子模块对所述第二目标同步消息进行处理,实现所述生产控制大区和所述管理信息大区的数据同步。
8、在上述实现方式中:
9、第一方面,通过采用同步服务模块替代消息队列中间件实现数据同步,数据同步的实现不依赖额外的中间件,从而可以减少对于其他组件的依赖,节约资源。
10、第二方面,通过在所有业务服务模块中分别部署数据获取子模块,由各数据获取子模块从所属业务服务模块中获取待同步数据,各数据获取子模块在物理与逻辑上保持了高度的独立性。即便某一业务服务模块中的数据获取子模块出现异常或故障,也仅局限于该特定业务服务模块内,不会影响其他业务服务模块的正常数据获取与同步。大幅提升了配电自动化系统的整体容错能力和高可用性。
11、第三方面,通过设置一个同步服务模块对所有数据获取子模块获取的待同步数据进行统一处理,可以将所有分散业务服务模块产生的待同步数据汇聚到一处。这避免了每个业务服务模块单独建立跨区连接导致的资源竞争和端口耗尽问题,大幅提升了跨区数据传输的吞吐量和效率。
12、第四方面,通过先将第一目标同步消息存储至预设消息文件,再从预设消息文件获取数据并发送至隔离装置。可以在系统出现故障的情况下,例如网络中断、隔离装置通信异常或同步服务模块意外重启的情况下,确保待同步数据不丢失,并在系统恢复后实现数据的自动续传,保障跨区数据同步的完整性与可靠性。
13、可选的,所述待同步数据的数据唯一标识根据所属第一业务服务模块的业务服务id、所属第一业务服务模块的业务服务实例序号、所述待同步数据的获取时间戳以及所述待同步数据在预设时间段的排列位置生成。
14、在上述实现方式中,由于每一待同步数据的数据唯一标识是根据所属的第一业务服务模块的业务服务id、所属的第一业务服务模块的业务服务实例序号、待同步数据的获取时间戳以及待同步数据在预设时间段的排列位置生成。因此,基于待同步数据的数据唯一标识即可确定该待同步数据的数据来源,生成时间等信息。在数据跨区同步链路中,一旦出现数据丢失、重复或异常,可以基于数据唯一标识迅速锁定故障发生的具体节点(实例序号)和时间窗口(时间戳)。有助于故障点追踪,并且,这也使得运维人员可以从海量日志中快速过滤出相关记录,将故障排查范围从全网排查缩小至单点排查,显著缩短故障排查时间。
15、可选的,所述第一服务器通过所述同步服务模块集中对所有接收到的同步消息进行基于所述数据唯一标识的去重校验,包括:
16、第一服务器通过所述同步服务模块对接收到的所述同步消息进行数据标识解析,获得所述同步消息的第一目标数据唯一标识;
17、第一服务器通过所述同步服务模块确定第一预设数据标识存储区域是否存在与所述第一目标数据唯一标识相同的数据标识;
18、若所述第一预设数据标识存储区域不存在与所述第一目标数据唯一标识相同的数据标识,所述同步消息通过校验;若所述第一预设数据标识存储区域存在与该第一目标数据唯一标识相同的数据标识,所述同步消息未通过校验。
19、在上述实现方式中,通过确定第一预设数据标识存储区域是否存在与该第一目标数据唯一标识相同的数据标识,可以确定同步服务模块在接收该同步消息之前是否接收到与该同步消息相同的同步消息。而仅在第一预设数据标识存储区域不存在与该第一目标数据唯一标识相同的数据标识的情况下,才将该同步消息发送至隔离装置,可以有效避免将多次发送相同同步消息至隔离装置的情况。
20、可选的,调用所述隔离装置适配子模块将读取的第一目标同步消息发送至隔离装置,包括:
21、获取所述预设消息文件中的所有第一目标同步消息的大小;
22、若所述第一目标同步消息的大小大于预设大小阈值,则将所述第一目标同步消息通过预设的内存映射机制映射至应用层内存;
23、若所述第一目标同步消息的大小小于预设大小阈值,则基于消费者进程中的数据读取滑动窗口在所述预设消息文件中定位目标地址,并将所述目标地址的第一目标同步消息直接获取至应用层内存中;所述数据读取滑动窗口用于定义在所述预设消息文件中的读取范围;
24、调用所述隔离装置适配子模块将所述应用层内存中的第一目标同步消息发送至所述隔离装置。。
25、在上述实现方式中,通过根据第一目标同步消息的大小选择不同的数据读取方式从预设消息文件读取第一目标同步消息,可以有效避免因第一目标同步消息的数据量过大而导致的数据读取失败的情况,从而可以实现高效的数据读取。
26、可选的,所述第一服务器通过所述数据获取子模块将所述同步消息写入由内存队列和文件队列构成的本地缓冲队列,包括:
27、第一服务器响应于获取到所述同步消息,确定所述内存队列是否具备可用容量;
28、在所述内存队列具备可用容量的情况下,通过所述数据获取子模块将所述同步消息写入所述内存队列;
29、在所述内存队列不具备可用容量的情况下,通过所述数据获取子模块将所述同步消息写入所述文件队列。
30、在上述实现方式中,通过结合内存队列和文件队列实现对同步消息的存储,不仅可以利用内存队列的高速读写性能,还可以利用文件队列的持久化特性。从而实现高速读写数据的同时,减少数据的丢失。
31、可选的,按照先内存队列后文件队列的顺序将所述本地缓冲队列中的同步消息依次发送至所述同步服务模块,包括:
32、通过所述消息消费模块从所述内存队列中读取同步消息;
33、若从所述内存队列中读取到同步消息,通过传输控制协议将读取到的同步消息发送至所述同步服务模块;
34、若未从所述内存队列读取到同步消息,则从所述文件队列读取同步消息至所述内存队列后,再从所述内存队列中读取同步消息。
35、在上述实现方式中,通过结合内存队列和文件队列实现对同步消息的存储,不仅可以利用内存队列的高速读写性能,还可以利用文件队列的持久化特性。从而实现高速读写数据的同时,减少数据的丢失。
36、可选的,所述跨区消息处理子模块包括多个消息处理子模块和协议解析子模块,各所述消息处理子模块所适配的数据协议互不相同;通过预设的消息处理子模块对所述第二目标同步消息进行处理,包括:
37、通过所述协议解析子模块对所述第二目标同步消息进行协议类型解析,获得所述第二目标同步消息的数据协议类型;
38、通过所述第二目标同步消息对应数据协议类型的消息处理子模块对所述第二目标同步消息进行处理,实现所述生产控制大区和所述管理信息大区的数据同步。
39、在上述实现方式中,通过将多个消息处理子模块集成在跨区消息处理子模块中,可以直接在跨区消息处理子模块中通过消息处理子模块实现对第一目标同步消息的处理。无需将第一目标同步消息发送至第二服务器中的第二业务服务模块,减少了跨区数据同步链路中的中间转发环节,降低了数据同步的端到端延迟,并有效减轻业务服务模块的计算负载。
40、可选的,所述第二服务器通过所述可靠传输管理子模块对接收到的第一目标同步消息进行基于所述数据唯一标识的去重校验,包括:
41、第二服务器响应于接收到所述第一目标同步消息,通过所述可靠传输管理子模块对所述第一目标同步消息进行数据标识解析,获得所述第一目标同步消息的第二目标数据唯一标识;
42、通过所述可靠传输管理子模块确定第二预设数据标识存储区域是否存在与所述第二目标数据唯一标识相同的数据标识;
43、若所述第二预设数据标识存储区域不存在与所述第二目标数据唯一标识相同的数据标识,所述第一目标同步消息为所述第二目标同步消息。
44、在上述实现方式中,通过确定第二预设数据标识存储区域是否存在与该第二目标数据唯一标识相同的数据标识,可以确定跨区消息处理子模块在接收该第一目标同步消息之前是否接收到与该第一目标同步消息相同的第一目标同步消息。而仅在第二预设数据标识存储区域不存在与该第二目标数据唯一标识相同的数据标识的情况下,才将该第一目标同步消息确定为第二目标同步消息,可以有效避免多次对相同的第一目标同步消息进行协议解析的情况,从而可以节约计算资源。
45、本技术实施例提供一种配电自动化系统,所述配电自动化系统包括隔离装置、部署于生产控制大区的第一服务器以及部署于管理信息大区的第二服务器,所述隔离装置用于所述生产控制大区和所述管理信息大区的数据隔离,所述第一服务器包括同步服务模块、至少一个第一业务服务模块;所述同步服务模块包括隔离装置适配子模块;所有所述第一业务服务模块中均包括数据获取子模块;所述第二服务器包括跨区消息处理子模块和可靠传输管理子模块,所述跨区消息处理子模块包括多个消息处理子模块和协议解析子模块,各所述消息处理子模块所适配的数据协议互不相同;其中:
46、所述数据获取子模块被配置为从所属的第一业务服务模块中获取至少一个待同步数据、所述待同步数据的数据类型以及所述待同步数据的数据唯一标识;基于所述待同步数据的数据唯一标识以及所述待同步数据的数据类型对所述待同步数据进行封装处理,获得所述待同步数据的同步消息;将所述同步消息写入由内存队列和文件队列构成的本地缓冲队列,并按照先内存队列后文件队列的顺序将所述本地缓冲队列中的同步消息依次发送至所述同步服务模块;
47、所述同步服务模块被配置为对所有接收到的同步消息进行基于所述数据唯一标识的去重校验,将通过校验的同步消息作为第一目标同步消息,并将所述第一目标同步消息按序存储至预设消息文件;通过所述同步服务模块按序从所述预设消息文件中读取所述第一目标同步消息,并调用所述隔离装置适配子模块将读取的第一目标同步消息发送至隔离装置;
48、所述隔离装置被配置为将所述第一目标同步信息发送至所述第二服务器;
49、所述可靠传输管理子模块被配置为对接收到的第一目标同步消息进行基于所述数据唯一标识的去重校验,通过校验后的第一目标同步消息为第二目标同步消息;
50、所述协议解析子模块被配置为对所述第二目标同步消息进行协议类型解析,获得所述第二目标同步消息的数据协议类型;
51、所述消息处理子模块被配置为对对应数据协议类型的第二目标同步消息进行处理,实现所述生产控制大区和所述管理信息大区的数据同步。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com