地下电缆探测多源数据分层聚合封装方法与流程

摘要: 本发明属于通信数据处理与传输封装,具体涉及地下电缆探测多源数据分层聚合封装方法。背景技术:1、在地下电缆探测作业中,需要对不同来源的探测数据进行同步采集、汇聚和...
地下电缆探测多源数据分层聚合封装方法与流程

本发明属于通信数据处理与传输封装,具体涉及地下电缆探测多源数据分层聚合封装方法。

背景技术:

1、在地下电缆探测作业中,需要对不同来源的探测数据进行同步采集、汇聚和传输。现有系统通常按照数据来源分别建立数据记录,将探测波形、空间坐标、采集时间、设备姿态、校准参数及质量标识写入独立数据包,并通过任务编号、时间戳或位置编号建立关联;发送端一般采用固定字段表或预设报文格式完成封装,接收端则依据字段偏移恢复数据,再按时间或空间顺序将各类数据重新组合。对于来源数量较多或采样频率差异较大的数据,常规做法是先在缓存区内进行时间对齐,再以固定时间窗口或固定空间区段为单位形成聚合数据包。此类方案实现方式明确,便于在既有通信协议中部署,但其数据联系主要局限于同属一个任务、窗口或区段,未对不同数据在候选电缆位置形成过程中的支撑、约束、修正及排斥关系作进一步区分。

2、为改善异构数据的组织效率,部分技术采用分层封装方式,将定位结果、原始探测数据、校准信息和校验信息分别写入不同数据层,并在包头中记录层级标识、数据长度和解析顺序;接收端可先解析位置结果,再按需读取原始数据或校准信息,以减少一次性加载的数据量。还有方案在各层之间设置索引表,以统一编号指示同源数据在不同层中的存放位置。此类方式能够实现数据分类存储和分级解析,但层级划分往往基于数据类型或处理阶段预先固定,同一数据在特定探测区段内究竟充当基础定位依据、辅助证据还是偏差修正依据,无法随数据之间的实际依赖关系变化;接收端获得某一层后,通常只能判断所述层是否完整,难以确定缺失数据会影响哪些候选位置及后续流程,也难以识别内容完整但层间对应关系已错位的封装结果。

3、针对传输过程中的丢包、乱序和重复问题,现有通信方案通常配置分片编号、循环校验、确认重传或冗余编码。发送端将大数据包拆分为若干片段,并对每个片段或整包生成校验值;接收端根据序号重排片段,在校验失败或片段缺失时请求重传。对于多源探测数据,也有方案设置主数据和附属数据,将候选位置作为主数据,波形或校准内容作为附属数据,以便在带宽受限时优先发送主数据。此类方案能够处理报文层面的缺失与乱序,但保护对象仍限于数据片段本身,未将探测数据之间的依赖关系纳入封装和校验过程。当修正数据晚于基础数据到达,或者同一时间窗口内存在相互冲突的探测结果时,接收端通常按照时间戳覆盖、固定优先级选择或整包丢弃,无法依据数据对候选电缆位置的实际作用范围进行局部重构。

4、综上,现有封装方式缺乏随探测证据关系动态变化的跨源依赖表达,致使数据内容与数据之间的支撑、约束、修正及排斥关系相互分离。仅依靠时间戳、任务编号、固定层级或数据类型进行聚合时,采样频率差异、传输时延波动或局部数据缺失,都会使接收端无法确认某一候选电缆位置由哪些数据共同形成,也难以判断缺失数据对特定空间区段及后续解析链的影响范围。即使各数据片段本身通过完整性校验,错误的跨层组合仍可能被当作有效结果继续处理;当后到修正数据需要作用于先前结果时,亦缺少明确的作用对象、适用时间范围和空间范围。因此,现有方案难以在部分数据到达或局部关系受损的条件下,保持探测结果的可解析性和跨源对应关系的一致性。

技术实现思路

1、为解决上述技术问题,本发明提供了地下电缆探测多源数据分层聚合封装方法,能够动态表达数据间证据关系,实现按实际作用范围组织与校验的多源分层聚合。

2、本发明所述的地下电缆探测多源数据分层聚合封装方法,包括:

3、获取同一探测作业区间内的多源探测数据,并按照采集时间、空间位置及探测对象标识形成数据单元集合;

4、基于各数据单元之间的时间重叠关系、空间邻接关系、探测特征一致关系及校准参数适用关系构建跨源证据依赖图;

5、依据所述跨源证据依赖图中各数据单元对候选电缆位置的基础描述、证据支撑、偏差修正及完整性约束关系,将所述数据单元集合划分为基础定位层、探测证据层、可信修正层及完整性校验层;

6、为各层数据单元生成包含前置依赖标识、作用对象标识、有效空间范围及有效时间范围的层间依赖描述符;

7、按照层级顺序、依赖拓扑顺序及层间依赖描述符对各层数据单元进行聚合封装,生成可渐进解析的探测数据封装包。

8、优选地,构建跨源证据依赖图,包括:

9、将各数据单元分别映射为带有来源类型、采样时刻、空间覆盖范围、特征指纹及校准版本的图节点;

10、对任意两个图节点计算采样区间交叠度、空间覆盖交叠度、特征指纹相合度及校准版本兼容度;

11、依据各计算结果确定该两个图节点之间的候选关联;

12、根据所述候选关联中一方数据对另一方数据所形成的定位支撑、边界约束、参数修正或冲突排斥关系配置有向边类型;

13、对形成循环依赖的有向边集合按照数据生成时序和修正生效时序进行拆分;保留能够表征证据先后关系的无环依赖子图,并将被拆分关系记录为延迟修正边。

14、优选地,对所述候选关联配置有向边类型,包括:

15、针对表征同一候选电缆区段且来源不同的图节点,依据特征指纹之间的相互印证关系配置定位支撑边;

16、针对空间覆盖范围相邻且候选电缆延伸方向连续的图节点配置空间延续边;

17、针对校准版本变化前后的图节点配置参数修正边,并在所述参数修正边中写入修正参数适用的起始采样时刻、终止采样时刻及空间边界;

18、针对同一空间区段内相互不相容的候选位置描述配置冲突排斥边,并将冲突涉及的数据来源组合及冲突字段位置写入边属性;

19、按照所述定位支撑边、空间延续边、参数修正边及冲突排斥边的边属性生成对应的依赖解析次序。

20、优选地,将所述数据单元集合划分为基础定位层、探测证据层、可信修正层及完整性校验层,包括:

21、提取能够独立表征候选电缆空间位置、延伸方向及探测区间的数据单元作为基础定位层;

22、提取与候选电缆空间位置具有直接证据关联的原始探测片段、特征描述及来源标识作为探测证据层;

23、提取用于限定时间偏移、坐标偏差、姿态漂移、校准差异及数据质量变化适用范围的数据单元作为可信修正层;

24、对各层内容摘要、跨层依赖边摘要、封装顺序摘要及层级缺失标记进行组合,形成完整性校验层;

25、对同时满足多个层级条件的数据单元按照其对候选电缆位置重构的最早介入阶段确定唯一主层级,并在其他关联层中写入跨层引用标识。

26、优选地,确定所述唯一主层级,包括:

27、针对同时具有基础定位属性和证据支撑属性的数据单元,提取其中能够独立恢复候选电缆位置的最小字段集合写入基础定位层,并将剩余探测字段写入探测证据层;

28、针对同时具有证据支撑属性和偏差修正属性的数据单元,将原始观测字段写入探测证据层,将修正参数、适用边界及修正版本写入可信修正层;

29、为经字段拆分形成的各层数据片段配置共同的源数据标识及片段序列标识;

30、依据所述源数据标识建立跨层绑定记录,并在完整性校验层中写入各数据片段的组合摘要、字段位置映射及重组顺序,以限定同一源数据拆分后的跨层对应关系。

31、优选地,所述层间依赖描述符还包括依赖强度标识、缺失传播范围及替代数据索引;

32、其中,选择所述数据单元集合中的任一数据单元作为目标数据单元,数据单元集合中其他数据单元作为候选数据单元;依据所述目标数据单元被移除后所述跨源证据依赖图中可达节点数量及候选电缆位置描述变化程度生成所述依赖强度标识;

33、沿所述跨源证据依赖图中的有向边追踪受所述目标数据单元影响的下游数据单元,并将对应空间区段、时间区段及层级范围编码为缺失传播范围;

34、在与所述目标数据单元具有重叠空间覆盖、相容探测特征及一致校准版本的数据单元中确定替代候选,并按照依赖路径长度和关联类型生成替代数据索引;

35、将所述依赖强度标识、缺失传播范围及替代数据索引与前置依赖标识共同写入目标数据单元的封装头。

36、优选地,所述替代数据索引的生成,包括:

37、对所述目标数据单元的特征字段按照空间位置字段、探测响应字段、校准关联字段及质量描述字段进行分组;

38、分别在所述跨源证据依赖图中检索能够覆盖对应字段组的候选数据单元;

39、将单个候选数据单元可覆盖的字段组形成直接替代项,将多个所述候选数据单元经依赖路径组合后可共同覆盖的字段组形成组合替代项;

40、为所述直接替代项记录替代数据标识和字段映射关系,为所述组合替代项记录数据标识序列、组合顺序及中间状态摘要;

41、依据所述目标数据单元与各替代项之间的空间覆盖差异、时间间隔及校准版本差异生成替代约束标签,并将所述直接替代项和组合替代项按依赖路径层数写入所述替代数据索引。

42、优选地,所述组合替代项的生成,还包括:

43、依据各候选数据单元对应的字段覆盖集合构建替代覆盖图,其中所述候选数据单元作为替代节点,共同恢复同一目标字段且校准版本相容的替代节点之间建立组合边;

44、从所述替代覆盖图中筛选字段覆盖集合包含所述目标数据单元全部必要字段组的连通子图;

45、按照所述连通子图中的依赖路径总长度、跨来源数量及中间状态摘要数量确定组合序列;

46、对所述组合序列中存在字段重叠的数据单元,依据其与所述目标数据单元的空间覆盖交叠度及采样区间交叠度确定字段保留位置;

47、通过确定性摘要运算生成组合完成状态摘要,所述确定性摘要运算采用哈希运算或循环冗余校验运算;

48、将所述组合序列、字段保留位置、组合边关系及组合完成状态摘要共同编码为可验证组合替代记录,并关联至所述目标数据单元的替代数据索引。

49、优选地,按照所述层级顺序、依赖拓扑顺序及所述层间依赖描述符进行聚合封装,包括:

50、以所述基础定位层为首层建立主封装段,并按照候选电缆空间区段生成多个定位子段;

51、将所述探测证据层中与各定位子段具有作用对象关联的数据单元按照依赖拓扑顺序写入对应证据子段;

52、将所述可信修正层中的数据单元按照有效时间范围和有效空间范围分别链接至受影响的定位子段及所述证据子段;

53、将所述完整性校验层划分为层内校验区和跨层校验区,所述层内校验区记录各子段内容摘要,所述跨层校验区记录层间依赖描述符序列摘要及拓扑顺序摘要,在各子段封装表头中写入可独立定位的字节偏移、前置依赖集合及缺失传播范围。

54、优选地,所述跨层校验区的生成,包括:

55、按照所述基础定位层、探测证据层及可信修正层的层级顺序,对各层数据单元的内容摘要与对应层间依赖描述符进行成对编码,形成层级关联摘要;

56、按照所述跨源证据依赖图的拓扑顺序将多个所述层级关联摘要连接为依赖摘要链;

57、针对存在延迟修正边的数据单元,在依赖摘要链中设置修正接入位置,并记录修正前状态摘要和修正后预期摘要;

58、针对具有组合替代项的数据单元,将可验证组合替代记录摘要并入对应依赖摘要节点;

59、基于所述依赖摘要链、修正接入位置及替代记录摘要生成跨层校验根,并将所述跨层校验根、各层级关联摘要的索引位置及对应封装字节偏移写入所述完整性校验层。

60、本发明所述的有益效果为:

61、1)本发明通过将同一探测作业区间内的数据单元映射为跨源证据依赖图,并依据时间重叠、空间邻接、探测特征一致及校准参数适用关系建立支撑边、延续边、修正边和排斥边,封装过程能够保留候选电缆位置形成所依赖的数据关系;基础定位层、探测证据层、可信修正层和完整性校验层按照依赖拓扑顺序组织,各数据单元同时携带前置依赖标识、作用对象标识、有效时间范围、有效空间范围、依赖强度和缺失传播范围;接收端据此能够在仅获得基础定位层时恢复候选位置,在探测证据层和可信修正层到达后按照指定对象和指定范围更新对应结果;出现局部缺失时,可根据缺失传播范围限定受影响的空间区段、时间区段和层级范围,而不必将整个探测作业区间判定为不可用。由此解决多源数据内容与跨源证据关系分离所造成的错误聚合问题,使部分数据条件下的解析结果仍保持明确的依赖边界;

62、2)通过对兼具多种属性的数据进行字段级拆分,并以共同源数据标识、片段序列标识、字段位置映射和重组顺序维持跨层绑定关系,可避免同一来源数据在不同层内重复存放或被错误对应;替代数据索引进一步记录直接替代项和组合替代项,将空间覆盖、时间间隔、校准版本及字段映射纳入替代约束,在目标数据缺失时能够定位可用于恢复必要字段的数据组合;各层数据单元的内容摘要与层间依赖描述符成对编码形成层级关联摘要,再按照依赖顺序构成依赖摘要链,并将延迟修正位置、修正前状态摘要、修正后预期摘要及组合替代记录摘要写入跨层校验区;接收端由此能够同时检查数据内容、封装顺序和跨层对应关系,区分数据片段损坏与依赖关系错位,并对存在延迟修正或替代恢复的数据执行对应位置校验,减少无关数据重复解析和整包重传。