一种水利模型数据语义底座构建与适配方法及系统与流程

摘要: 本发明涉及水利信息化、水文水动力数值模拟及多源数据处理,具体涉及一种水利模型数据语义底座构建与适配方法及系统。背景技术:1、在洪水预报、流域产汇流计算、河道水动...
一种水利模型数据语义底座构建与适配方法及系统与流程

本发明涉及水利信息化、水文水动力数值模拟及多源数据处理,具体涉及一种水利模型数据语义底座构建与适配方法及系统。

背景技术:

1、在洪水预报、流域产汇流计算、河道水动力模拟和工程调度中,模型所用数据通常来自不同的测站系统、历史数据库、气象产品和地理空间文件。不同来源往往采用不同的测站编码、变量名称、计量单位和时间标记方式:降水字段可能表示某一时段的累计深度,也可能表示平均强度;流量既可能以立方米每秒表示,也可能以特定集水面积上的径流深表示;水位可能相对于地方高程基准,而计算所用地形采用另一高程基准。

2、不同模型对输入的要求同样存在差异。水文模型通常接收流域小时面降水,神经网络模型通常接收固定长度的多变量序列及缺测掩码,水动力模型则需要特定边界断面的流量过程线以及统一高程基准下的地形。仅使字段名称和数组形状一致,并不能保证输入的物理含义一致。累计降水被当作瞬时量插值、测站流量被绑定到错误河段,或者预报运行读取了起报之后才到达的订正值时,即使程序正常运行结束,其结果也可能无法代表所要求的物理过程或预报条件。

3、一类常见的实现路线是以数据仓库或文件目录配合专用转换脚本:先把多源数据抽取到统一的表或文件中,再由各模型的脚本分别完成列名映射、单位换算和时间重采样。这种方式便于针对单一任务实施,但每个模型各自维护处理逻辑时,同一标准变量可能出现不同的转换口径;运行记录往往只保存文件路径,事后难以确定当次实际读取的内容及其转换依据。

4、另一类路线是采用水文数据交换标准和标准化的模型接口。水文观测数据交换标准为时间序列等水文观测数据提供了统一的表达方式,面向地表过程模型的基础模型接口及标准变量命名规范为模型的查询、控制和变量描述提供了公共接口。这些技术可以作为数据接入或表达的基础,但针对某一次具体的模型运行,仍需另行确定选用哪些对象、允许哪些物理转换路径、哪些数据在起报时已经可用,以及如何固定实际使用的输入。

5、此外,以知识图谱等方式对水利对象、变量及其关系进行语义建模的技术,能够支持数据的语义组织、关联和查询。但语义查询返回的是“相关数据”,模型脚本仍需另行判断数组维度、允许缺测、边界方向和数据角色,数据通过目录检索并不等于通过模型输入校验。

6、综上所述,在未建立完整的契约执行及依赖冻结机制的实现中,存在以下不足:(1)以文件路径或来源测站编码作为关联键时,文件迁移、编码变更及同名对象容易导致引用失效或错误关联,空间对象更新版本后,旧权重或旧边界仍可能被复用;(2)仅依据字段名或数值格式进行匹配,难以区分累计量、平均量、瞬时量以及不同的空间支撑域,普通单位换算也不能替代需要集水面积、积分时长或高程改正模型的派生计算;(3)数据检索条件与模型约束脱节,数据通过目录检索并不意味着满足模型的输入要求;(4)只按观测发生时间筛选数据,会把晚到观测、事后订正值或未来实测量带入历史预报,只记录数据集名称及路径又无法恢复当时的观测版本、几何版本和转换规则;(5)源数据或空间几何改变时,若只更新时序文件,依赖该文件的面积权重、模型输入包及结果资格可能继续沿用旧状态,造成不同版本之间的隐性混用。

技术实现思路

1、本发明所要解决的技术问题是:针对多源水利数据向不同水利模型提供输入时,对象、物理量、时间统计方式、空间基准及可用时刻不一致的问题,提供一种水利模型数据语义底座构建与适配方法及系统,由模型的数据契约反向确定数据依赖,依据物理与时空约束选择并执行转换,把数据的可用时刻纳入修订版本的选择,并在校验通过后冻结完整依赖,使模型只能读取依据明确、可以追溯和重放的输入,数据迁移、订正及模型升级后的输入依据仍可追溯。

2、为解决上述技术问题,本发明采用如下技术方案。

3、一种水利模型数据语义底座构建与适配方法,由计算机设备执行以下步骤:

4、建立将多源水利数据的字段及属性映射至标准变量的第一层来源映射,及将所述标准变量映射至目标水利模型的字段的第二层模型绑定;

5、根据所述目标水利模型的数据契约中各必需字段的语义签名,经所述第一层来源映射从所述多源水利数据中筛选可用时刻不晚于模型运行请求指定的截止时刻且数据角色被所述数据契约允许的数据记录,所述可用时刻为所述数据记录的修订版本首次可被运行系统读取的时刻,并从算子注册表中搜索前置条件得到满足的转换算子,动态编译生成有向无环图执行计划;其中,所述有向无环图执行计划的各节点表示所述转换算子的一次调用,以所述数据记录或其他节点的转换结果为输入并产生转换结果,所述有向无环图执行计划的每条边表示其起点节点的转换结果作为其终点节点的输入;

6、执行各所述节点,将与各所述必需字段对应的转换结果作为模型输入数据,对所述模型输入数据实施联合校验,校验其与相应必需字段的语义签名是否各项均一致;

7、所述模型输入数据均通过所述联合校验后,从产生所述模型输入数据的节点沿所述有向无环图执行计划的边进行反向遍历,得到包括所遍历节点调用的转换算子及其所引用参数的版本和所遍历节点输入的所述数据记录的修订版本的完整依赖闭包;

8、将所述模型输入数据连同所述完整依赖闭包及其各项内容的散列值冻结为带有不可变的散列值清单的模型输入包,所述模型输入包冻结完成后方可按所述第二层模型绑定被所述目标水利模型读取。

9、上述方法所构建的数据语义底座,是以稳定对象身份、物理量定义、时空语义、数据角色、版本和来源关系为核心的计算机数据组织及处理层,既描述数据含义,也为模型输入的检索、转换和校验提供可执行约束。语义签名是对一项数据的对象、变量、量纲、单位、时段语义、空间支撑、坐标基准、数据角色及可用性规则的结构化描述;数据契约是由计算机解析的约束集合,规定某一模型版本所需的变量、对象范围、单位、时间步长、时间窗口、空间基准、数据角色、缺测处理和准入条件。可用时刻不同于观测发生时刻或预报有效时刻,以其作为筛选依据,可以排除截止时刻之后才到达的晚到观测及事后订正值。有向无环图执行计划的每个节点对应一次确定版本的转换算子调用,节点之间的边记录实际的数据依赖,因此模型输入数据在形成的同时也形成了可以反向遍历的依赖结构。完整依赖闭包不仅包括数据记录的修订版本,还包括转换算子及其所引用参数的版本,例如面积权重、集水面积和高程改正模型;模型输入包仅在冻结完成后对目标水利模型可读,从而将联合校验的结论、实际使用的依赖和模型的读取入口绑定为一体。

10、优选地,所述动态编译生成有向无环图执行计划的步骤包括:依据所述第二层模型绑定,将各所述必需字段展开为标准变量需求及相应的对象、时间窗口、空间与高程基准约束;以所述数据记录的语义签名为起点、以相应必需字段的语义签名为终点,在所述算子注册表中搜索由所述转换算子构成的转换路径,所述前置条件至少依据相应转换算子输入的语义签名、所需参数的可获得性及所述数据契约的许可进行判定。

11、优选地,存在多条所述转换路径时,按所述数据契约规定的来源优先级、填补点数、重采样次数及转换算子数量构成的排序元组,以字典序确定优先路径;仍无法唯一确定且所述数据契约未规定决胜规则,或不存在所述转换路径时,停止生成所述有向无环图执行计划并输出错误记录;搜索所述转换路径时限定最大路径长度并记录已访问的语义签名。

12、优选地,所述截止时刻为所述模型运行请求指定的起报时刻;对于数据角色为实测且对应同一观测的多个所述数据记录,选取修订顺序最新者;对于数据角色为预报的数据记录,允许其有效时间晚于所述起报时刻,但其产品发布时间不晚于所述起报时刻。

13、优选地,对涉及面积、几何或高程基准改正的所述转换算子,递归展开其所引用参数,将适用的几何版本、空间权重及改正模型版本作为所引用参数予以绑定;所述完整依赖闭包还包括所使用的所述第一层来源映射及所述第二层模型绑定的版本。

14、优选地,所述各项包括对象、物理量、时间、空间、基准、角色及可用性,所述联合校验要求各项同时判定为一致,不得以其他项的匹配程度抵消任一项的不一致;对于跨越目标时段边界的累计量或平均量,时间项的判定要求所述数据契约明确允许相应的拆分或时段常值假设,且相互重叠的支持区间未被重复累计;空间项的判定要求有效源空间单元与目标几何的交叠面积之和占所述目标几何面积之比不低于所述数据契约规定的最低覆盖率。

15、优选地,所述数据角色至少包括实测、预报、插补及模型输出,且不因通过所述联合校验而被改写;所述转换算子包括缺测填补算子,所述缺测填补算子在所述数据契约允许填补时,采用人工智能预测模型或数值插值算法生成填补值,将填补区间内的数据标记为插补角色并生成逐点掩码,采用所述人工智能预测模型时,所述完整依赖闭包还包括其模型版本及训练数据范围;所述数据契约不允许插补角色时,含有插补角色数据的模型输入数据不通过所述联合校验。

16、优选地,所述冻结为带有不可变散列值清单的模型输入包的步骤依次包括:准备阶段,以一致性读视图确定资源目录及所涉数据的版本,将所述模型输入数据写入不可变临时资源;验证阶段,读取所述不可变临时资源,分别计算其中各文件及所述散列值清单的散列值并予以核对,重新执行所述联合校验,其中,当源过程与目标过程表示同一完整时段的累计量时,按所述数据契约中保存的容差进行累计量守恒检查;提交阶段,在同一数据库目录事务中一次性登记所述模型输入包的资源位置、所述散列值清单及合格状态;所述目标水利模型仅读取状态为已提交的所述模型输入包。

17、优选地,当所述数据记录被订正或撤销,或者所述转换算子或其所引用参数被更新时,依据各所述完整依赖闭包反向定位对象、变量及时段均与所述订正、撤销或更新相匹配的派生资源,仅对所定位的派生资源重新计算,后续组包时重新选择版本,并对依赖被撤销数据记录的模型输入包追加资格撤销标记;对于重放已完成模型运行的请求,按所述已完成模型运行所用模型输入包的散列值清单所记载的版本及散列值读取原版本内容,不查询当前最新版本。

18、本发明还提供一种水利模型数据语义底座构建与适配系统,包括用于执行上述水利模型数据语义底座构建与适配方法的以下模块:语义注册与映射模块,用于执行建立第一层来源映射和第二层模型绑定的步骤;契约驱动编译模块,用于执行筛选数据记录、搜索转换算子及动态编译生成有向无环图执行计划的步骤;转换与执行处理模块,用于执行各节点并得到模型输入数据;多维联合校验模块,用于执行联合校验;依赖冻结模块,用于执行反向遍历得到完整依赖闭包及冻结模型输入包的步骤;模型适配模块,用于在所述模型输入包冻结完成后将其提供给目标水利模型读取。

19、本发明还提供一种计算机设备,包括存储器和处理器,所述存储器保存语义目录、转换规则、数据契约及计算机程序,所述处理器执行所述计算机程序时实现上述水利模型数据语义底座构建与适配方法。

20、本发明还提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述水利模型数据语义底座构建与适配方法。

21、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述水利模型数据语义底座构建与适配方法。

22、与现有技术相比,本发明具有下列有益效果。

23、第一,模型的输入要求被转化为数据契约中各必需字段的语义签名,并由带前置条件的转换算子编译为有向无环图执行计划,对象、物理量、统计时段、空间支撑及基准的检查直接参与数据的选择和计算。累计量被当作瞬时量插值、降水深被直接当作流量、不同高程基准的水位被直接使用等已知的语义冲突,在模型执行之前即被阻止,而不是依赖各模型脚本分别发现。

24、第二,来源字段经第一层来源映射对应到标准变量,标准变量再经第二层模型绑定对应到模型字段,两层映射分别版本化。来源侧和模型侧的变化各自只需局部调整,已确认的变量定义和转换规则可以被多个模型复用,减少了多个模型各自维护不同处理口径的情况。

25、第三,候选数据按修订版本的可用时刻与截止时刻比较后选取,晚到观测、事后订正值和未来实测量不会进入以早先时刻起报的模型输入;同一时段在不同起报时刻组建的模型输入包分别绑定当时可用的修订,后到的订正不改写已组建的包。

26、第四,联合校验要求各项同时判定为一致,任一项不一致均不能由其他项的匹配程度抵消。缺测、覆盖不足、时段拆分未获许可、角色不被准入等不合格的输入不会交付模型,失败时保留机器可读的错误证据以便修正后以新版本重新处理。

27、第五,完整依赖闭包由有向无环图执行计划的边反向遍历得到,既包括数据记录的修订版本,也包括转换算子及其所引用的集水面积、面积权重、改正模型和两层映射的版本,并与散列值一同冻结。模型实际读取的数据、规则、几何和参数均有明确的版本依据,数据订正、几何更新或存储位置迁移之后,仍可以按原版本重放旧输入,内容被篡改时可由散列值不符发现。

28、第六,模型输入包仅在冻结完成后可读,冻结又按准备、验证及提交三个阶段在同一目录事务中完成,校验与读取之间的内容变化以及部分组建的包对模型可见的情况均被避免。

29、第七,数据被订正、撤销或者规则参数被更新时,依据完整依赖闭包只定位对象、变量及时段均相匹配的派生资源重新计算,已封存的历史快照继续保留,被撤销来源所影响的模型输入包被追加资格撤销标记,既避免无差别的全量重算,又防止错误数据继续被业务使用。

30、第八,实测、预报、插补及模型输出等数据角色不因通过联合校验而被改写,插补数据带有逐点掩码及方法依赖,是否准入由具体模型的数据契约决定,插补值、预报值或模型输出不会被当作实测数据使用。

31、上述效果来自具体的约束与执行机制,实际的组包耗时、存储开销及对预报业务的改善幅度,需在相应的工程条件下验证;输入语义正确也不等同于模型预报误差必然减小,后者还受模型结构、参数和观测质量的影响。