一种海洋多源观测数据的融合处理服务方法及系统与流程

摘要: 本发明涉及数据处理,尤其涉及一种海洋多源观测数据的融合处理服务方法及系统。背景技术:1、随着固定观测站、浮标、船舶、海洋滑翔机、岸基雷达和遥感卫星等海洋观测平台...
一种海洋多源观测数据的融合处理服务方法及系统与流程

本发明涉及数据处理,尤其涉及一种海洋多源观测数据的融合处理服务方法及系统。

背景技术:

1、随着固定观测站、浮标、船舶、海洋滑翔机、岸基雷达和遥感卫星等海洋观测平台的持续运行,海洋观测数据在采样周期、空间覆盖范围、观测深度、数据精度和数据变化尺度方面存在明显差异。现有技术通常按照预设时间窗口和空间范围对不同来源的观测数据进行时间同步、坐标统一和数据匹配,并采用固定权重、距离加权、插值计算或预设融合模型生成融合结果。由于现有处理过程中的时间窗口、空间匹配尺度和数据源权重通常预先设定,难以根据服务请求对应的目标海域、目标时段和数据产品类型动态调整参与融合的数据范围,导致低时空关联度的数据进入融合过程,或者高关联度数据因匹配尺度不适配而未被有效利用,从而降低融合结果的时空对应性、准确性和稳定性。

2、当多个观测源在同一时空范围内形成差异较大的观测数据时,现有技术通常采用固定优先级、直接加权或阈值剔除方式进行处理,难以结合观测数据的当前质量、时空覆盖关系、组内差异程度及相邻时空区域的数据变化连续性,对设备状态异常、尺度差异和海洋要素局部变化所形成的数据冲突进行有效区分,容易造成异常数据对融合结果产生干扰,或者将反映局部变化的有效数据错误削弱或删除。同时,新增观测数据或修正观测数据到达后,现有技术难以依据原有融合结果与参与观测数据之间的关联关系确定受影响范围,容易对未受影响的时空数据重复执行匹配、质量评价和融合处理,降低融合结果的更新效率。因此如何提升海洋多源观测数据的服务需求适配能力、时空匹配准确性、动态质量评价能力、冲突数据识别能力及融合结果更新效率,成为了亟待解决的问题。

技术实现思路

1、本发明提供一种海洋多源观测数据的融合处理服务方法及系统,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供的一种海洋多源观测数据的融合处理服务方法,包括:

3、步骤1、对所接收的海洋数据服务请求和多源海洋观测数据进行服务要素提取,得到请求要素和观测要素,并根据所述请求要素对所述观测要素进行约束关联,得到服务约束观测记录集;

4、步骤2、根据所述服务约束观测记录集中的约束条件确定时空匹配窗口,将落入同一时空匹配窗口的观测记录归并至同一时空匹配记录组;

5、步骤3、提取所述时空匹配记录组中各观测记录的观测质量特征,并根据所述观测质量特征对所述观测记录进行可信评定,得到所述时空匹配记录组的当前可信标记集;

6、步骤4、基于所述当前可信标记集,对所述时空匹配记录组中观测记录之间的观测偏差进行冲突分型,得到观测冲突类别;

7、步骤5、基于所述观测冲突类别,对所述时空匹配记录组进行差异化融合,得到融合服务数据,并构建所述融合服务数据与参与融合的观测记录之间的融合依赖关系;

8、步骤6、获取新接收的海洋观测数据,依据所述融合依赖关系限定所述海洋观测数据的影响范围,并对所述影响范围内的融合服务数据进行局部更新,得到更新后的融合服务数据。

9、优选地,所述对所接收的海洋数据服务请求和多源海洋观测数据进行服务要素提取,得到请求要素和观测要素,并根据所述请求要素对所述观测要素进行约束关联,得到服务约束观测记录集,包括:

10、接收用户终端发起的海洋数据服务请求,并获取由多个海洋观测平台提供的多源海洋观测数据;

11、对所述海洋数据服务请求中的请求描述字段进行层级拆分,得到请求要素,并根据所述请求要素之间的限定关系构建请求约束序列;

12、对所述多源海洋观测数据中的观测描述字段进行属性抽取,得到观测要素,并基于所述观测要素与所述多源海洋观测数据之间的映射关系构建观测要素索引;

13、基于所述请求约束序列,对所述观测要素索引进行约束匹配,以筛选出符合所述请求约束序列中约束条件的匹配观测要素;

14、根据所述观测要素索引,从所述多源海洋观测数据中提取所述匹配观测要素对应的原始观测记录;

15、以所述请求要素中的时空范围限定信息和数据产品类型信息为依据,对所述原始观测记录进行筛选整编,得到服务约束观测记录集。

16、优选地,所述根据所述服务约束观测记录集中的约束条件确定时空匹配窗口,将落入同一时空匹配窗口的观测记录归并至同一时空匹配记录组,包括:

17、提取所述服务约束观测记录集中各观测记录的观测时间和观测位置,并获取所述服务约束观测记录集对应的时空范围限定信息;

18、对所述时空范围限定信息中的时间范围和空间范围分别进行有序划分,得到时间匹配区间和空间匹配区域;

19、将每一所述时间匹配区间分别与各所述空间匹配区域按照划分顺序逐一组合,得到时空匹配窗口,并为所述时空匹配窗口配置窗口标识;

20、根据所述观测时间和所述观测位置,对所述观测记录进行双重归属判定,以确定所述观测记录所属的时空匹配窗口,并将所述窗口标识关联至所述观测记录;

21、根据所述窗口标识,对所述观测记录进行分组归并,得到时空匹配记录组。

22、优选地,所述提取所述时空匹配记录组中各观测记录的观测质量特征,并根据所述观测质量特征对所述观测记录进行可信评定,得到所述时空匹配记录组的当前可信标记集,包括:

23、从所述时空匹配记录组中的各观测记录中分别提取观测值字段、采集时刻和质量控制标识;

24、对所述观测值字段进行缺失分布分析,并根据分析结果保留未有缺失的有效字段,核验所述有效字段的连续覆盖情况,得到字段可用状态;

25、将所述采集时刻对应至所述观测记录所属的时间匹配区间,并校验所述采集时刻在所属时间匹配区间内的时序位置,得到时效偏离状态;

26、对所述质量控制标识进行等级语义映射,得到质量等级状态,并将所述质量等级状态与所述字段可用状态和所述时效偏离状态进行关联整合,得到所述观测记录的观测质量特征;

27、根据所述观测质量特征,对所述时空匹配记录组内的各观测记录进行综合对比排序,并根据排序结果确定各观测记录的当前可信标记,汇集为所述时空匹配记录组的当前可信标记集。

28、优选地,所述根据所述观测质量特征,对所述时空匹配记录组内的各观测记录进行综合对比排序,并根据排序结果确定各观测记录的当前可信标记,汇集为所述时空匹配记录组的当前可信标记集,包括:

29、将所述观测质量特征中的字段可用状态、时效偏离状态和质量等级状态分别量化为字段可用值、时效偏离值和质量等级值;

30、根据所述字段可用值、所述时效偏离值和所述质量等级值,对各观测记录进行综合评定,得到各观测记录的可信排序值,其中,所述可信排序值的计算公式如下:

31、;

32、其中,表示第条观测记录的可信排序值,表示第条观测记录的字段可用值,表示第条观测记录的时效偏离值,表示第条观测记录的质量等级值;

33、将所述可信排序值进行降序编排,并按编排位次对各观测记录进行赋值标定,得到各观测记录的当前可信标记;

34、将所述当前可信标记与对应的观测记录进行绑定归集,得到所述时空匹配记录组的当前可信标记集。

35、优选地,所述基于所述当前可信标记集,对所述时空匹配记录组中观测记录之间的观测偏差进行冲突分型,得到观测冲突类别,包括:

36、基于所述当前可信标记集,将所述观测记录划分为有效可信组和争议可信组,并对所述有效可信组的观测值字段进行中心趋势统计,得到所述时空匹配记录组的基准观测值;

37、将所述争议可信组中各争议观测记录的观测值字段与所述基准观测值进行偏差比对,得到各争议观测记录的偏离度和偏离方向;

38、若单一来源争议观测记录的偏离度高于组内其余争议观测记录的偏离度,且所述争议观测记录的偏离方向与前序时空匹配记录组中同源记录的偏离方向不一致,则判定为来源异常型冲突;

39、若多条未判定为所述来源异常型冲突的争议观测记录具有一致的偏离方向,且多条争议观测记录的观测位置在相邻时空匹配记录组间形成空间连续覆盖,则判定为局部变化型冲突;

40、若未归入前述两类冲突的争议观测记录与同组其他争议观测记录之间存在覆盖尺度差异,且所述偏离度处于所述覆盖尺度差异对应的偏离范围,则判定为尺度差异型冲突;

41、汇集所述争议观测记录的冲突类型判定结果,得到所述争议观测记录的观测冲突类别。

42、优选地,所述基于所述观测冲突类别,对所述时空匹配记录组进行差异化融合,得到融合服务数据,并构建所述融合服务数据与参与融合的观测记录之间的融合依赖关系,包括:

43、从所述争议可信组中剔除观测冲突类别为来源异常型冲突的争议观测记录,保留观测冲突类别为局部变化型冲突或尺度差异型冲突的争议观测记录作为待融合观测记录集,并将所述待融合观测记录集中的争议观测记录按照观测冲突类别分别记为局部变化型记录或尺度差异型记录;

44、将所述时空匹配窗口作为目标融合窗口,当存在所述局部变化型记录时,将所述目标融合窗口缩小至所述局部变化型记录形成的连续覆盖区域;

45、将所述尺度差异型记录的观测值字段统一至所述目标融合窗口对应的覆盖尺度,得到尺度统一记录;

46、提取所述有效可信组中落入所述目标融合窗口的观测记录,基于各观测记录的当前可信标记确定融合权重,并对提取的所述观测记录、所述局部变化型记录和所述尺度统一记录的观测值字段进行加权汇总,得到融合服务数据;

47、建立所述融合服务数据与参与融合的各观测记录之间的融合依赖关系。

48、优选地,所述获取新接收的海洋观测数据,依据所述融合依赖关系限定所述海洋观测数据的影响范围,并对所述影响范围内的融合服务数据进行局部更新,得到更新后的融合服务数据,包括:

49、从所述新接收的海洋观测数据中提取观测时间、观测位置、观测值字段、质量控制标识和来源信息,得到新增观测记录,并确定所述新增观测记录所属的目标时空匹配记录组;

50、将所述目标时空匹配记录组及相邻时空匹配记录组中的观测记录汇集为影响候选记录集;

51、依据所述融合依赖关系,查找与所述影响候选记录集中的观测记录对应的融合服务数据,得到待更新融合服务数据集,并以所述待更新融合服务数据集限定所述影响范围;

52、将所述新增观测记录并入所述目标时空匹配记录组,对所述影响候选记录集及所述新增观测记录重新确定当前可信标记和观测冲突类别,并基于重新确定的观测冲突类别进行局部融合,得到局部更新数据;

53、以所述局部更新数据更新所述待更新融合服务数据集,保持所述影响范围外的融合服务数据不变,并更新对应的融合依赖关系,得到更新后的融合服务数据。

54、优选地,所述依据所述融合依赖关系,查找与所述影响候选记录集中的观测记录对应的融合服务数据,得到待更新融合服务数据集,并以所述待更新融合服务数据集限定所述影响范围,包括:

55、依次将所述影响候选记录集中的各观测记录作为检索记录;

56、从所述融合依赖关系中查找以所述检索记录为依赖对象的融合服务数据,得到候选更新数据;

57、对所述候选更新数据进行去重汇集,得到所述待更新融合服务数据集;

58、将所述待更新融合服务数据集中的融合服务数据确定为所述影响范围。

59、为了解决上述问题,本发明还提供一种海洋多源观测数据的融合处理服务系统,所述系统包括:

60、要素关联模块,用于对所接收的海洋数据服务请求和多源海洋观测数据进行服务要素提取,得到请求要素和观测要素,并根据所述请求要素对所述观测要素进行约束关联,得到服务约束观测记录集;

61、时空归并模块,用于根据所述服务约束观测记录集中的约束条件确定时空匹配窗口,将落入同一时空匹配窗口的观测记录归并至同一时空匹配记录组;

62、可信评定模块,用于提取所述时空匹配记录组中各观测记录的观测质量特征,并根据所述观测质量特征对所述观测记录进行可信评定,得到所述时空匹配记录组的当前可信标记集;

63、冲突分型模块,用于基于所述当前可信标记集,对所述时空匹配记录组中观测记录之间的观测偏差进行冲突分型,得到观测冲突类别;

64、差异融合模块,用于基于所述观测冲突类别,对所述时空匹配记录组进行差异化融合,得到融合服务数据,并构建所述融合服务数据与参与融合的观测记录之间的融合依赖关系;

65、局部更新模块,用于获取新接收的海洋观测数据,依据所述融合依赖关系限定所述海洋观测数据的影响范围,并对所述影响范围内的融合服务数据进行局部更新,得到更新后的融合服务数据。

66、与现有技术相比,本发明具有以下有益效果:

67、1.本发明通过对海洋数据服务请求和多源海洋观测数据进行服务要素提取与约束关联,依据请求对应的时空范围和数据产品类型形成服务约束观测记录集,并通过时空匹配窗口完成观测记录归并,使参与后续处理的观测数据与服务需求保持一致。进一步结合字段可用状态、时效偏离状态和质量等级状态对观测记录进行可信评定,并根据观测偏差、来源连续性和空间覆盖关系区分不同观测冲突类别,有利于提高海洋多源观测数据的时空匹配准确性、质量评价可靠性和冲突识别准确性。

68、2.本发明基于观测冲突类别对来源异常型记录、局部变化型记录和尺度差异型记录实施差异化处理,并结合当前可信标记确定融合权重,有利于保留反映局部海洋变化的有效数据,降低异常观测数据和覆盖尺度差异对融合结果的影响,提高融合服务数据的准确性、连续性和稳定性。同时,通过构建融合服务数据与参与融合的观测记录之间的融合依赖关系,在接收新增海洋观测数据时限定受影响的融合服务数据范围并进行局部更新,有利于减少非影响范围内的数据重复处理,提高融合服务数据的更新效率和前后结果一致性;其中,当前可信标记既作为观测冲突分型的分组依据,又用于确定融合权重;观测冲突类别分别触发来源异常型记录剔除、目标融合窗口缩小和覆盖尺度统一,融合依赖关系则用于将新增观测记录的重算对象限定为与其存在依赖的融合字段。