面向能源共享服务的多域数据一致性保障方法及系统与流程
本发明涉及数据处理,具体是面向能源共享服务的多域数据一致性保障方法及系统。
背景技术:
1、能源共享服务是一种将分布式能源进行统一整合与协同调度的新型能源服务模式。例如智能用电服务,在能源共享服务流程中,需要依次经过发电企业域、电网调度域、售电公司域、用户域、储能域、交易结算域、财务域等多个业务交互数据域;由于该过程涉及跨接口、跨系统、跨服务商和跨数据库的数据传输,任一环节出现错误,均会导致不同域之间的数据不一致。因此,如何提高能源共享服务全过程中跨域数据传输的一致性,是本领域亟待解决的技术问题。
技术实现思路
1、本发明的目的在于提供面向能源共享服务的多域数据一致性保障方法及系统,以解决现有技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:面向能源共享服务的多域数据一致性保障方法,该方法包括:
3、获取各业务交互数据域对应的业务数据和域间交互信息,根据所述域间交互信息梳理各业务交互数据域之间的数据传输链路,构建数据传输关联图;
4、获取各业务交互数据域发起的跨业务请求,将跨业务请求沿第一数据链进行传递,并在传递过程中记录各链上节点的交互状态;
5、在各业务交互数据域各自对应的第二数据链中记录业务明细数据,根据业务明细数据生成校验标识,并将所述校验标识同步至第一数据链完成关联绑定;
6、根据数据传输关联图定位跨业务请求对应的上下游业务交互数据域,依据第一数据链中的校验标识对上下游业务交互数据域对应的业务数据进行一致性校验;
7、获取一致性校验结果并判断业务数据状态,针对存在异常的业务数据,依据第一数据链和第二数据链联动调取存证数据进行数据溯源;
8、根据溯源结果对存在异常的业务数据进行修正,并将修正后的业务数据同步更新至第一数据链、第二数据链和数据传输关系图。
9、进一步的,数据传输关联图的构建过程包括:
10、按照数据采集周期分别对接每一个业务交互数据域的本地数据接口,逐条抓取各业务交互数据域实时产生的业务数据,同时调取各业务交互数据域本地存储的域间交互信息;其中,所述域间交互信息包括域身份、交互对象和数据流转方向;
11、上述的业务交互数据域包括但不限于发电企业域、电网调度域、售电公司域、用户域、储能域、交易结算域、财务域等多个业务交互数据域;
12、将每一个业务交互数据域作为独立节点,并为各节点分配节点编号;逐一解析每条域间交互信息,识别出数据发送端对应的源节点和数据接收端对应的目标节点,在源节点和目标节点之间建立定向传输边,并将当前源节点和目标节点进行域间交互时对应的业务数据和交互时间在对应节点处本地储存;其中,采用本地储存的方式即使离线也可以查看数据,可以应对网络不稳定的情况,通过系统会定期对本地存储的数据进行清理,防止内存不足;
13、将所有节点和对应的定向传输边进行汇总,生成数据传输关联图;
14、本发明通过将每个业务交互数据域抽象为独立节点,并依据域间交互信息建立定向传输边,构建出完整的数据传输关联图,使得多域间的数据流转关系清晰可视,为跨业务请求的路径追踪和一致性校验提供了精准的拓扑基础;同时,在各节点本地存储交互时的业务数据和交互时间,即使网络中断或系统离线,仍可查阅历史交互记录,显著增强了系统的容错能力和离线可用性。
15、进一步的,获取各业务交互数据域发起的跨业务请求,将跨业务请求沿第一数据链进行传递,并在传递过程中记录各链上节点的交互状态包括:
16、将数据传输关联图中的每个节点对应设置为第一数据链的链上节点,在各业务交互数据域本地部署对应链上节点的数据读写单元;
17、依据数据传输关联图中的定向传输边连接关系,在存在定向传输边的两个链上节点之间建立链上数据传输通道,所述通道方向与定向传输边的数据传输方向保持一致;
18、按照数据传输关联图中各数据传输链路的分组关系,将同一条数据传输链路对应的所有链上节点与链上传输通道划分为同一链支路,所有链支路共同构成第一数据链;
19、实时采集各业务交互数据域向外发起的跨业务请求,定位所述跨业务请求对应的起始业务交互数据域,在第一数据链中为所述业务交互数据域匹配所属的链支路,将跨业务请求和对应的交互状态写入对应链支路的起始链上节点;
20、跨业务请求沿对应数据传输链路向下游业务交互数据域依次流转时,每完成单个业务交互数据域的交互处理,所述业务交互数据域对应的链上节点即刻写入当前交互状态;其中,交互状态例如处理成功、处理失败、逻辑异常、超时挂起等;
21、本发明将数据传输关联图映射为第一数据链的链上节点和链上通道,并为每条数据传输链路独立划分链支路,实现了跨业务请求沿实际数据流向的同步记录;每个链上节点在交互完成后即时写入交互状态,确保了请求全流程的交互状态可追溯、可审计,为后续异常定位提供了完整的过程证据链。
22、进一步的,在各业务交互数据域各自对应的第二数据链中记录业务明细数据,根据业务明细数据生成校验标识,并将所述校验标识同步至第一数据链完成关联绑定包括:
23、针对每个业务交互数据域分别搭建对应的第二数据链,将对应业务交互数据域产生的业务明细数据按照生成时序依次写入第二数据链中进行本地存证;
24、提取第二数据链中当前跨业务请求所对应的业务明细数据,以数据字节量为横轴,以时间偏移量为纵轴,建立校验坐标系;
25、将所述业务明细数据按固定单位数据长度拆分为若干个连续的数据片段,以每个数据片段的字节总量为横轴取值,以每个数据片段的起始时间相对于所述业务明细数据起始时间的时间偏移量为纵轴取值,在校验坐标系中标定,得到若干个数据特征点;
26、按数据片段的先后顺序,依次连接所有数据特征点,再将首尾两个数据特征点相连,形成闭合的校验多边形;
27、计算所述校验多边形的面积值和所述校验多边形重心对应的横坐标值与纵坐标值,将所述面积值、横坐标值和纵坐标值进行编码组合,生成所述业务明细数据对应的校验标识;
28、将所述校验标识同步上传至第一数据链中对应业务交互数据域的链上节点,与所述链上节点内记录的交互状态进行关联绑定;
29、本发明在各业务交互数据域独立搭建第二数据链,将业务明细数据按固定长度分片并映射为校验坐标系中的特征点,通过连接形成闭合多边形并计算面积与重心坐标,生成紧凑且唯一的数据校验标识;该校验标识能够以几何特征高度概括数据内容,便于快速比对;同时第二数据链的本地存证保证了原始数据的真实性和完整性,为数据溯源提供了可靠依据;此外,第一数据链与第二数据链并行处理,大大缩短了数据校验时长。
30、进一步的,根据数据传输关联图定位跨业务请求对应的上下游业务交互数据域,依据第一数据链中的校验标识对上下游数据域对应的业务数据进行一致性校验包括:
31、根据待校验的跨业务请求,在数据传输关联图中匹配对应的数据传输链路,沿数据传输方向定位所述数据传输链路中相邻的上游业务交互数据域和下游业务交互数据域;
32、从第一数据链中分别提取上游业务交互数据域和下游业务交互数据域对应的校验标识,对校验标识进行解码,分别得到上游业务明细数据对应的校验多边形面积值和重心坐标值、下游业务明细数据对应的校验多边形面积值和重心坐标值;
33、根据解码得到的上游校验多边形的重心坐标,在校验坐标系中标定得到上游基准中心点;以上游基准中心点为几何中心,构建面积与上游校验多边形面积值相等的正方形,记为上游校验图形;
34、根据解码得到的下游校验多边形的重心坐标,在校验坐标系中标定得到下游基准中心点;以下游基准中心点为几何中心,构建面积与下游校验多边形面积值相等的正方形,记为下游校验图形;
35、计算上游校验图形与下游校验图形的重叠区域面积值和两个校验图形的并集区域面积值,将重叠区域面积值与并集区域面积值的比值记为数据一致度;
36、当所述数据一致度大于等于预设阈值时,判定上下游业务交互数据域对应的业务数据一致;当数据一致度小于预设阈值时,判定上下游业务交互数据域对应的业务数据不一致;
37、本发明利用校验标识解码得到的面积与重心坐标,将各域的业务数据等价转换为以重心为中心、面积相等的正方形,通过计算正方形重叠区域与并集区域的面积比值作为数据一致度,以阈值判断是否一致;该方法将复杂的数据比对转化为几何图形的交并比计算,大幅降低了计算复杂度,提高了校验效率,且对不同数据格式具有通用性。
38、进一步的,获取一致性校验结果并判断业务数据状态,针对存在异常的业务数据,依据第一数据链和第二数据链联动调取存证数据进行数据溯源包括:
39、接收一致性校验输出的结果,捕获出现业务数据不一致的目标跨业务请求和对应的上下游业务交互数据域;
40、结合数据传输关联图锁定目标跨业务请求所流经的数据传输链路,在第一数据链对应链支路中,调取所述跨业务请求全流程对应的交互状态与校验标识;
41、对调取的校验标识依次解码,还原得到各业务交互数据域对应的校验多边形面积值与重心坐标值,在校验坐标系中复现各节点对应的校验图形;
42、沿数据传输链路的流转方向,逐段比对相邻业务交互数据域对应的校验图形几何参数,若参数偏差超出预设范围,则对应的业务交互数据域即为异常业务交互数据域;
43、调取所述异常业务交互数据域的第二数据链,提取与目标跨业务请求对应的业务明细数据,按照固定单位数据长度拆分得到对应的数据片段;
44、将异常业务交互数据域对应的数据片段与上游业务交互数据域对应的数据片段进行逐段比对,若异常业务交互数据域的数据片段与上游业务交互数据域对应的数据片段在校验坐标系中的数据特征点位置坐标存在偏差,则将异常业务交互数据域对应的所述数据片段判定为异常数据片段;
45、本发明在校验不一致时,通过第一数据链调取全链路校验标识并复现各节点的校验图形,逐段比对相邻域的几何参数,能够快速锁定异常数据域;再结合第二数据链中的明细数据片段,与上游正常片段进行逐点坐标比对,精准定位到具体的异常数据片段;该两级溯源机制实现了从域级到片段级的细粒度异常检测,有效缩小排查范围,提升问题定位的准确性和效率。
46、进一步的,根据溯源结果对存在异常的业务数据进行修正,并将修正后的业务数据同步更新至第一数据链、第二数据链和数据传输关系图包括:
47、依据溯源确定的异常数据片段,选取上游正常业务交互数据域内对应的标准数据片段,以此为参照对异常数据片段进行替换修正,得到修正后的业务明细数据;
48、将修正后的业务明细数据写入对应业务交互数据域的第二数据链,覆盖原有异常数据片段,完成第二数据链的数据更新;
49、按照预设拆分规则对修正后的业务明细数据重新划分数据片段,在校验坐标系中标定对应的数据特征点,重构闭合的校验多边形;
50、重新计算所述校验多边形的面积值与重心坐标值,将面积值与重心坐标值组合编码生成新的校验标识,将新校验标识同步写入第一数据链对应的链上节点,替换原有校验标识并更新关联的交互状态;
51、提取修正后的业务数据对应的业务数据和交互时间,同步更新数据传输关联图中对应节点本地存储的业务数据和交互时间,完成数据传输关联图的内容更新;
52、本发明的上述闭环修正机制确保三个数据层面即第一链、第二链、关联图的一致性得到同步恢复,避免了数据孤岛,保障了整个多域系统的数据最终一致性。
53、进一步的,为了更好地实现上述方法还提供了面向能源共享服务的多域数据一致性保障系统,该系统包括:关联图构建模块、跨链请求处理模块、校验标识生成模块、一致性校验模块、异常溯源模块和数据更新模块;
54、关联图构建模块,用于获取各业务交互数据域对应的业务数据和域间交互信息,根据所述域间交互信息梳理各业务交互数据域之间的数据传输链路,构建数据传输关联图;
55、跨链请求处理模块,用于获取各业务交互数据域发起的跨业务请求,将所述跨业务请求沿第一数据链进行传递,并在传递过程中记录各链上节点的交互状态;
56、校验标识生成模块,用于在各业务交互数据域各自对应的第二数据链中记录业务明细数据,根据所述业务明细数据生成校验标识,并将所述校验标识同步至所述第一数据链完成关联绑定;
57、一致性校验模块,用于根据所述数据传输关联图定位所述跨业务请求对应的上下游业务交互数据域,依据所述第一数据链中的校验标识对上下游业务交互数据域对应的业务数据进行一致性校验;
58、异常溯源模块,用于获取一致性校验结果并判断业务数据状态,针对存在异常的业务数据,依据所述第一数据链和所述第二数据链联动调取存证数据进行数据溯源;
59、数据更新模块,用于根据溯源结果对存在异常的业务数据进行修正,并将修正后的业务数据同步更新至所述第一数据链、所述第二数据链和所述数据传输关系图。
60、与现有技术相比,本发明的有益效果是:
61、1、本发明通过构建数据传输关联图,将各业务交互数据域抽象为节点并建立定向传输边,同时将域间交互时的业务数据和交互时间在各节点处本地储存,使得即使网络离线也可查看数据,有效应对网络不稳定场景,提升了系统在复杂网络环境下的可用性。
62、2、本发明采用双链联动架构,通过第一数据链记录跨业务请求的交互状态,第二数据链存证各域的业务明细数据,并基于校验多边形面积与重心坐标生成校验标识实现两链关联绑定,既实现了跨域交互流程的全程可追溯,又保证了各域本地明细数据的独立存证,显著提升了数据溯源效率和一致性校验的准确性。
63、3、本发明通过计算上下游校验图形的重叠区域面积与并集区域面积比值来量化数据一致度,相比传统的逐字段比对方式,大幅降低了校验计算复杂度,提高了大规模多域场景下一致性校验的响应速度。
64、4、本发明通过在第一数据链中沿数据传输链路逐段比对相邻节点校验图形的几何参数偏差,能够精确定位异常业务交互数据域,再结合第二数据链中的数据特征点逐段比对,可精准识别到异常数据片段级别,为后续修正提供明确依据,降低了故障排查难度与运维成本。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com