面向探测数据的端到端可信传输校验方法与流程
本发明属于数据传输校验,具体涉及面向探测数据的端到端可信传输校验方法。
背景技术:
1、探测数据通常由连续采集形成,数据之间具有明确的源序列关系、时间区间关系和内容边界关系。在现有的端到端传输方案中,发送端一般按照网络报文长度或缓存容量将探测数据切分为若干数据包,并针对每个数据包计算校验码、摘要值或数字签名,将校验结果随数据包发送至接收端。接收端依据数据包编号恢复传输顺序,重新计算校验结果并与随包携带的校验结果进行比对,以判定数据包在传输过程中是否发生丢失、重复或内容篡改。部分面向连续数据流的方案进一步引入链式校验,将前一数据包的摘要值写入后一数据包,使多个数据包形成顺序关联的链式校验关系。此类方案以物理数据包为基本校验对象,适用于数据包边界保持稳定、传输节点不改变数据组织形式的情形,其校验结论主要反映发送端数据包与接收端数据包在字节层面的对应关系。
2、然而,在实际通信过程中,探测数据往往需要经历分片、合并、乱序转发、重传及去重等处理。现有网络节点通常依据最大传输长度、链路拥塞状态或缓存调度结果重新划分物理数据包,并通过序列号、偏移量和重组标识描述数据包之间的关系。接收端收到数据后,先按照序列号和偏移量完成重组,再对重组后的数据进行完整性校验。为保留处理痕迹,部分方案由各传输节点分别生成日志,记录输入输出数据包标识、处理时间与处理类型,以便异常发生后按序排查;另一些方案则在每个传输节点重新计算摘要值,并将当前摘要值与前一节点摘要值组合形成新的链式记录。尽管上述方式能够记录数据包经过的节点及处理次序,但其记录对象始终是各节点视角下的物理数据包,当数据包边界发生改变时,源端数据区间与中间节点输入输出数据之间需要依赖额外日志进行对应。
3、当前异常定位通常建立在端到端校验失败之后。接收端发现摘要值或签名不一致时,依据数据包序列号确定异常报文,再结合节点日志、重传记录和缓存记录判断异常发生位置。对于链式摘要方案,接收端可以沿摘要链查找首个不一致节点;对于多路径或存在合并操作的传输过程,则需要分别恢复各路径记录并比较节点输出。此类定位方式要求各节点日志完整、时间同步,并能与同一源数据建立稳定对应,否则可能出现日志连续而实际数据已被替换,或者数据内容未变但因合法分片、合并和乱序导致链式摘要断裂的情况。同时,由于重传实例、去重实例和原始实例可能具有相同内容而具有不同物理标识,现有方案仍需通过报文编号和时间戳排除重复记录,校验结果容易受到物理数据包边界和节点本地记录方式影响。
4、综上,现有端到端校验普遍以物理数据包或节点日志为依据,缺少贯穿源数据分片、传输变换关系和各处理阶段状态的统一可信关联机制。当探测数据在传输过程中发生分片、合并、乱序、重传或去重时,源端数据边界与中间节点处理边界发生变化,接收端既无法在同一验证结构中恢复源数据分片之间的因果关系,也难以证明各节点记录的输入输出数据确由同一源数据按照声明的传输操作演化而来。由此,在端到端校验出现不一致时,现有方案往往只能确认最终接收内容与发送内容不符,却无法有效区分合法传输变换造成的形式差异,也不能基于连续校验证据确定首次失去一致性的传输阶段及其对应的源数据区间,导致异常判定依赖人工比对多节点记录,且定位结论容易受到报文边界变化和日志缺失的影响。
技术实现思路
1、为解决上述技术问题,本发明提供了面向探测数据的端到端可信传输校验方法。
2、本发明所述的面向探测数据的端到端可信传输校验方法,包括:
3、依据源序列标识、采集时间区间及探测记录的完整边界,将待传输探测数据划分为源数据分片,针对各源数据分片生成包含内容摘要、前驱分片摘要集合及会话随机量的源端因果指纹;
4、依据传输过程中分片、合并、乱序、重传或去重形成的输入输出对应关系构建有向因果分片图;
5、在各传输处理阶段基于输入分片集合、输出分片集合、变换类型、摘要映射关系及前一阶段状态承诺生成路径状态承诺,并将所述路径状态承诺附加至对应因果边;
6、接收端依据所述源序列标识重构所述有向因果分片图,递推校验所述源端因果指纹、路径状态承诺及摘要映射关系的一致性,并根据校验不一致的因果边集合确定异常传输阶段和异常源数据区间。
7、优选地,有向因果分片图的构建,包括:
8、为每一源数据分片配置由源会话标识、源序列区间和分片内容摘要组成的源节点标识;
9、在传输处理阶段发生分片时,将一个输入源节点映射为具有互斥源序列子区间的多个输出节点;在发生合并时,将多个输入节点映射为覆盖对应源序列区间并集的输出节点;在发生乱序、重传或去重时保留所述源序列区间并分别记录顺序偏移、重复实例或消除实例;
10、依据输入节点标识、输出节点标识、传输操作类型及操作次序生成因果边标识,并以源序列区间覆盖关系约束不同因果边之间的连接关系。
11、优选地,路径状态承诺的生成包括:
12、对当前传输处理阶段接收的输入分片集合按照所述源序列区间排序,形成输入集合摘要;
13、对当前传输处理阶段输出的输出分片集合按照对应源序列区间排序,形成输出集合摘要;
14、将所述输入集合摘要、输出集合摘要、变换类型标识、摘要映射关系、阶段标识、前一阶段状态承诺及会话随机量进行联合编码,获得当前路径状态承诺;
15、对于具有多个前驱因果边的当前传输处理阶段,按照前驱因果边标识升序聚合多个前一阶段状态承诺,使当前路径状态承诺与全部前驱传输路径建立递推关联。
16、优选地,接收端递推校验包括:
17、按照所述源序列区间覆盖关系将接收分片归并为逻辑源分片集合,根据因果边标识恢复各逻辑源分片的前驱节点和后继节点;
18、从所述源端因果指纹对应的起始节点沿所述有向因果分片图逐层计算候选状态承诺,并与各传输处理阶段附加的路径状态承诺进行比对;
19、将首次出现承诺不一致的因果边以及与该因果边具有共同源序列覆盖区间的后继因果边组成候选不一致边集;
20、对于源序列覆盖区间被候选不一致边集中的上游因果边完全覆盖、且自该上游因果边至下游因果边的各条路径上的因果边均为候选不一致边的下游因果边,从所述候选不一致边集中删除,得到最小不一致割集。
21、优选地,所述源序列区间覆盖关系通过虚拟边界映射表进行维护,所述虚拟边界映射表记录每一输出节点对应的源数据起始偏移、源数据终止偏移、边界继承标识和实例状态;
22、当传输处理阶段改变物理数据包边界时,根据输入节点的源数据偏移将输出内容映射为一个或多个连续虚拟区段,并为跨越多个输入节点的输出内容建立区段拼接关系;
23、所述接收端按照所述虚拟区段而非物理数据包执行内容摘要重算,并将重传实例、去重实例及乱序实例归并至相同源节点标识下,以生成与传输包边界变化无关的逻辑源分片集合。
24、优选地,所述路径状态承诺包括阶段增量承诺和周期锚定承诺;
25、所述阶段增量承诺由当前传输处理阶段的输入集合摘要、输出集合摘要、变换类型标识及前一阶段增量承诺生成;
26、所述周期锚定承诺由预设数量的连续阶段增量承诺、对应因果边标识集合及最近一个周期锚定承诺生成;
27、当接收端缺少任一阶段增量承诺时,利用相邻周期锚定承诺限定缺失阶段对应的因果子图,并根据所述因果子图内已接收的阶段增量承诺重建候选承诺序列,将能够同时满足前一周期锚定承诺和后一周期锚定承诺的候选承诺序列作为递推校验序列。
28、优选地,所述摘要映射关系依据传输操作类型建立,包括用于分片操作的摘要区段继承映射、用于合并操作的摘要有序聚合映射、用于重传操作的摘要实例等价映射以及用于去重操作的摘要保留映射;
29、各传输处理阶段将实际输入摘要和实际输出摘要代入对应摘要映射关系,生成映射证明值并写入所述路径状态承诺;
30、接收端依据因果边中的传输操作类型选择对应摘要映射关系,对重构的输入摘要和输出摘要生成验证证明值,并在所述验证证明值与映射证明值不一致时,将对应因果边标记为未声明变换边。
31、优选地,所述异常源数据区间的确定,包括:
32、计算所述最小不一致割集中各因果边的源序列区间交集和并集,将具有内容摘要冲突且源序列区间相同的因果边标记为内容替换边;
33、将存在后继节点而缺少对应前驱节点的因果边标记为分片缺失边;
34、将具有相同源序列标识和源序列区间且实际接收实例数量超出因果边所记录重传实例数量的因果边标记为非法重复边;
35、将传输操作类型与所述摘要映射关系不匹配的因果边标记为映射冲突边;
36、按照各标记因果边在所述最小不一致割集中的拓扑层级确定最早异常传输阶段,并以对应源序列区间的并集作为所述异常源数据区间。
37、优选地,所述周期锚定承诺进一步关联边界映射版本摘要,所述边界映射版本摘要由周期内输出分片对应的源数据起始偏移、源数据终止偏移、边界继承标识以及新增、拆分、拼接和归并记录按照源序列区间排序后生成;
38、当物理数据包边界跨越周期锚定位置时,将跨周期源序列区间拆分为共享同一源序列标识的前段记录和后段记录,并分别纳入相邻周期的边界映射版本摘要;
39、接收端在重建所述候选承诺序列时同步验证前段记录与后段记录的边界连续性,仅保留所述路径状态承诺递推一致且相邻边界映射版本摘要能够连续衔接的候选承诺序列。
40、优选地,当同一源数据分片经由多个传输分支形成多个后继因果边并在后续传输处理阶段汇合时,分别依据各传输分支的路径状态承诺、摘要映射关系和源序列覆盖区间生成分支终态摘要,并在汇聚因果边中记录各分支终态摘要的有序集合;
41、接收端将各分支终态摘要追溯至最近共同前驱节点,逐层比较各传输分支自最近共同前驱节点之后的源序列覆盖区间,传输操作类型和摘要映射关系;
42、将最先出现源序列覆盖区间相同而分支终态摘要不同的因果边加入所述最小不一致割集,并依据有序集合与实际到达分支之间的对应关系标记分支缺失边或分支替换边。
43、本发明所述的有益效果为:
44、本发明依据源序列标识、采集时间区间和内容边界划分源数据分片,并由内容摘要、前驱分片摘要集合及会话随机量生成源端因果指纹,使每一分片与其来源关系形成固定关联;再依据分片、合并、乱序、重传和去重产生的输入输出对应关系构建有向因果分片图,将各传输处理阶段的输入集合摘要、输出集合摘要、变换类型、摘要映射关系和前一阶段状态承诺联合生成路径状态承诺。接收端能够按照源序列区间重构逻辑源分片和因果边,逐层验证源端因果指纹、路径状态承诺及摘要映射关系。物理数据包边界发生改变时,校验对象仍保持对源数据区间的连续引用,合法分片、合并和重传不会被直接视为内容异常;出现不一致时,可依据首次承诺不一致的因果边及最小不一致割集确定异常传输阶段和异常源数据区间,形成贯穿源端、传输处理阶段和接收端的连续校验依据;
45、本发明通过虚拟边界映射表记录输出节点对应的源数据起始偏移、终止偏移、边界继承标识和实例状态,使接收端能够按虚拟区段重算摘要,并将重传实例、去重实例及乱序实例归并至相同源节点标识,减少物理报文重组方式对校验结果的干扰。阶段增量承诺与周期锚定承诺形成分层递推记录,在部分阶段增量承诺缺失时,可利用相邻周期锚定承诺限定待恢复的因果子图,并从满足前后锚定关系的候选序列中恢复递推校验序列。摘要区段继承映射、有序聚合映射、实例等价映射和保留映射分别对应不同传输操作,接收端能够依据传输操作类型验证映射证明值;结合内容替换边、分片缺失边、非法重复边和映射冲突边的标记规则,可在同一因果分片图内区分不同异常形态,并在多分支汇聚时追溯至最近共同前驱节点,保持异常判定范围与实际受影响的源序列区间对应。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com