一种三维地学数据湖仓索引调度方法与流程

本发明属于地学信息与大数据，具体涉及一种三维空间数据湖仓索引调度方法。

背景技术：

1、随着自然资源调查、地质建模、遥感解译、地下空间分析和数字孪生地球等业务的发展，三维地学数据的规模和异构程度持续上升。实际业务中的数据对象不再局限于二维栅格或单表记录，而是同时包含体素模型、钻孔曲线、三维地层面、断层拓扑、时序遥感影像、属性表、点云以及派生分析结果。这类数据通常呈现多源、多尺度、多坐标参考以及多存储介质并存的特征：热数据可存于对象存储或列式引擎以支持并行分析，冷数据保留于文件湖，结构化属性和任务日志存于关系库，而空间边界、分块摘要和统计信息则分散于元数据目录。对于检索系统而言，困难不在于是否存在可访问的数据，而在于如何在查询发起时识别请求是几何定位型、属性过滤型、跨尺度拼接型还是时空耦合型，并据此选择不同的索引路径。若仍采用单一表目录或单维空间索引，查询优化器只能在不完整状态下做局部决策，容易出现候选块过度扩张、跨层级重复扫描、冷热数据无差别回源等问题，进而导致i/o页读取量放大、元数据遍历深度过深以及三维范围查询中空间相邻却语义无关的数据被一并拉取。

2、在湖仓一体架构中，数据管理的重点已从统一存储格式逐步转向统一检索入口下的异构索引协同。尤其在三维地学场景中，空间对象具有明显的层级嵌套、地质体切割、垂向非均匀采样和跨尺度表达特点。例如，同一目标区可能同时需要米级数字高程模型切片、十米级遥感影像、钻孔柱状图和区域级地层框架模型。此时，如果索引仅描述文件级位置或二维包围盒，就难以表达垂向覆盖关系、体元密度差异和地质语义邻接关系；如果调度仅依据静态规则拉取数据，则无法根据请求类型动态决定是先走属性过滤再做空间裁剪，还是先走三维空间候选缩减再回表验证。进一步地，三维地学数据的垂向采样通常并不均匀，钻孔、地层体和剖面线之间还存在断层切割与层位中断关系，二维平面相邻并不等同于剖面连续；相同平面范围内的数据块还可能因版本、层位或尺度不同而对应不同解释结果。因此，三维地学数据湖仓的技术问题已经从单纯的数据组织，演化为面向查询意图识别、联合索引选择和差异化拉取策略联动的调度问题。

3、为解决处理过程中的具体问题，现有技术进行了一些探索。依据其技术流派，主要可分为两类：一类是聚焦于湖仓数据的统一组织与跨域管理，另一类是着眼于地学场景中的特征表达与物理先验建模。

4、第一类，即湖仓数据的统一组织与跨域管理。例如中国专利cn202511568408.3公开了一种基于社区搜索的面向联邦数据湖仓的客户运营方法及系统，其通过多模态异构客户图建模、联邦协同图嵌入对齐以及社区搜索机制，解决跨域数据不出域条件下的客户群体识别与运营问题。该类技术的重点在图表示学习与隐私合规下的信息融合，作用边界落在域间关系挖掘和社区级搜索层面，并不面向三维地学对象的空间分块、体元候选收缩和实时查询路径切换。又如中国专利cn202310390219.6公开了一种基于湖仓一体式的多源遥感时空大数据处理方法和装置，其通过解析原始遥感时空数据生成元数据目录、构建数据资产文件快照并形成统一表格式，以支持计算引擎统一查找。该类技术的核心在于统一表格式与元数据目录驱动的数据发现，其默认查询入口主要围绕表格式目录进行解析，适合分钟级或批式的数据整理与统一查找，但对于三维地学场景中交互式范围检索、属性过滤与空间候选联合收缩的调度深度仍然不足。

5、第二类，即地学场景中的特征表达与物理先验建模。例如中国专利cn202610807884.4公开了一种基于地学物理先验与跨模态解耦增强的遥感滑坡分割方法及系统，其通过坡度场构建、异构共构输入张量和物理先验约束提升滑坡识别精度。该类技术的处理对象是影像与数字高程模型融合后的栅格特征，作用边界集中在灾害识别模型推理阶段。该类方法能够说明地学场景中物理约束的重要性，但并未涉及湖仓体系下三维地学数据块的索引组织、查询意图识别、访问代价预测和差异化数据拉取，因此无法直接解决三维湖仓检索链路中的索引调度问题。

6、上述现有技术在实际应用中至少存在以下不足。

7、统一目录可查找但不可调度。上述第一类方法虽然能够提升数据发现能力，但其检索入口本质上仍是目录驱动的静态查找模式。该模式默认先定位表，再访问数据，缺少对三维范围约束、垂向层位约束、属性选择性和跨尺度拼接需求的联合建模。这意味着查询优化过程没有建立请求语义、候选块缩减与实际拉取代价之间的关联关系，只能在粗粒度元数据上做路径决策，导致候选结果集在进入底层湖仓扫描前就已经过度膨胀。

8、索引结构单轨运行导致时空语义失配。普通关系型数据库索引更擅长单表属性过滤，单维空间索引更擅长平面包围盒筛选，但三维地学请求往往同时包含空间位置、垂向区间、尺度等级、地质类型和时间版本。若这些条件被串行拆开处理，就会出现空间相邻但地层不一致、剖面上被断层切割分离、或版本不同的数据块提前进入候选集，或者属性满足但三维覆盖不足的数据块反复回表验证。上述现有技术均未解决三维湖仓中空间邻接关系与地学语义关系不同步带来的索引失配问题。

9、数据拉取策略静态化导致i/o页读取量放大与冷热失衡。现有方案大多默认查询命中后按统一方式回源拉取，缺乏针对请求类型的差异化调度。例如，概览型查询只需要低分辨率摘要块，剖面分析型查询更依赖垂向连续块，而精查型查询需要局部高分辨率体元及其邻接属性。如果仍按静态数据拉取方式执行，则系统会在普通查询中拉取过多明细数据，在精细查询中又因预取不足而频繁二次访问。上述第一类方法解决的是统一组织问题而非动态调度问题，无法在访问前预测哪条索引路径和哪种拉取粒度更适合当前请求，因此难以抑制跨尺度检索中的i/o页读取量放大。

10、因此，本领域需要一种能够在湖仓统一入口下，对三维地学请求进行请求类型识别、联合索引候选收缩、路径代价评估以及差异化数据拉取的三维地学数据湖仓索引调度方法。

技术实现思路

1、本发明的目的在于提供一种三维地学数据湖仓索引调度方法，以解决现有技术中统一目录只能支撑静态查找而无法面向三维地学请求进行索引路径联动选择的问题，解决关系型属性索引、单维空间索引与三维地学语义关系割裂的问题，并解决数据拉取按静态规则执行、难以适应不同请求模式的问题。

2、为实现上述目的，本发明提供一种三维地学数据湖仓索引调度方法，由计算机设备执行，所述计算机设备至少包括处理器、存储器、网络接口以及与对象存储、元数据目录库、关系型属性库和索引服务相连的总线接口。所述方法围绕请求类型识别、联合索引候选收缩、调度路径分配、差异化数据拉取以及反馈更新的处理主线展开，包括如下步骤。

3、步骤s1，请求接入与统一状态构建：接收三维地学查询请求，解析得到属性约束、三维空间范围、垂向区间、时间版本约束和尺度需求；将所述查询请求拆分为属性原子项、三维空间原子项、垂向原子项、时间原子项和尺度原子项；将三维空间原子项转换为三维最小包围范围，将垂向原子项转换为深度上界和深度下界，将时间原子项转换为逻辑时间戳，将尺度原子项转换为目标分辨率等级；并对所述三维空间范围和时间版本约束执行统一参考对齐，构建包含查询语义特征、空间范围特征、垂向特征、尺度特征、冷热分布特征、版本密度特征、连接复杂度特征和历史访问平滑统计量的请求状态。

4、步骤s2，请求类型识别与模板选择：基于所述请求状态识别请求类型，并根据识别结果生成对应的调度模板；其中，请求类型至少包括概览型请求、范围分析型请求、剖面连续型请求和局部精查型请求；当请求类型识别的不确定性满足预设条件时，生成混合型请求对应的并行候选路径模板，以使边界型请求在正式明细回源前先进行多路径比较；当请求类型识别的不确定性不满足所述预设条件时，依据主类型生成单路径调度模板。

5、步骤s3，联合索引候选收缩：调用通过统一块标识关联的块级三维包围索引、地学语义邻接索引和属性统计索引，针对候选数据块计算综合候选得分；所述综合候选得分由请求范围与块包围信息的空间重叠关系、属性约束与块级统计摘要的匹配关系、地学语义邻接关系以及块回源代价共同确定；并根据所述综合候选得分执行阈值筛选、排序、候选截断和邻接稀疏化，得到候选块集合。

6、步骤s4，调度路径分配与差异化数据拉取：针对属性优先路径、空间优先路径、垂向链优先路径和摘要预览路径分别计算路径代价；所述路径代价至少由预估响应时间、预估i/o页读取量、候选块冗余率和路径不确定性共同确定；根据路径代价选择主路径；在所述混合型请求对应的并行候选路径模板下，对至少两条候选路径执行摘要预取后再进行二次裁决；并依据选定路径、候选块集合、请求类型、候选密度和冷热分布确定数据拉取粒度。

7、步骤s5，结果返回与反馈更新：按确定的数据拉取粒度拉取目标数据块并返回检索结果，记录真实响应指标和实际访问结果，更新所述历史访问平滑统计量及索引统计信息，并在模型在线更新后性能劣化满足回滚条件时回滚至上一稳定版本。

8、进一步地，所述步骤s1中的请求状态生成过程包括：根据查询请求的查询长度、三维空间包围体量、垂向区间长度、时间范围长度、目标分辨率等级、各类约束数量、冷热数据占比、版本密度、连接复杂度以及历史命中文件数、历史拉取页数、历史响应时延的平滑统计量，生成统一维度的请求状态。通过将不同来源、不同尺度和不同语义类型的约束映射到统一输入维度，可使后续请求类型识别与路径调度在同一数值空间内进行。

9、进一步地，所述步骤s1还包括原位缺失编码。当空间范围特征、垂向特征或时间特征中的任一项缺失时，将对应状态分量置为预设空值编码，所述预设空值编码优选为零值编码；将与缺失项对应的约束计数项置为零值；并在连接复杂度特征中叠加与缺失项对应的复杂度补偿量，以反映后续路径选择的不确定性。在不增加额外输入维度的条件下保持请求状态的输入维度恒定，以避免训练阶段与在线推理阶段出现输入结构不一致。

10、进一步地，所述步骤s2中的请求类型识别包括：将所述请求状态输入请求类型识别模型，输出对应概览型请求、范围分析型请求、剖面连续型请求和局部精查型请求的类型概率；选取最大类型概率对应的请求类型作为主类型；当所述最大类型概率低于预设阈值时，将当前请求标记为混合型请求，并触发至少两条候选路径的并行评估；当所述最大类型概率不低于预设阈值时，依据主类型生成单路径调度模板。

11、进一步地，所述地学语义邻接索引至少记录地层编号、断层关联编号、主题资产类别、版本族标记和邻接块关系中的至少一种；且所述地学语义邻接索引中的候选邻接关系按照以下规则建立：候选块之间满足空间接触关系或空间距离不超过预设容差；候选块之间满足版本一致性约束或属于同一有效版本族；候选块之间满足地层编号一致、断层编号相邻中的至少一种语义约束；当请求为剖面连续型请求时，将连续带内上下相邻的块标记为垂向优先邻接边。通过将空间邻接、版本关系和地学语义关系协同纳入邻接建立规则，可抑制仅因投影接近而进入候选集的无效块。

12、进一步地，所述综合候选得分至少由空间重叠度、属性匹配度、语义连续度和回源代价共同生成。其中，所述空间重叠度由查询包围范围与数据块包围范围的相交体量相对于并集体量的占比确定；所述属性匹配度由属性谓词与块级统计摘要的相容程度确定；所述语义连续度至少由地层一致性评分、断层关联一致性评分和邻接连续性评分中的两项确定；所述回源代价由数据块的热层命中程度、块大小和远程传输层级共同确定。由此，候选块并非仅凭空间接近或单一属性命中进入结果集，而是经由空间、属性、语义和代价多维约束共同收缩。

13、进一步地，所述根据综合候选得分执行候选收缩包括：对候选数据块按照综合候选得分进行降序排序；保留综合候选得分不低于预设保留阈值的候选数据块；在阈值筛选后的候选数据块中保留前预设数量个候选数据块；仅对满足空间相接触、版本一致且地层编号相同或断层编号相邻的候选块对建立邻接边，并限制每个候选数据块保留的邻接块数量，以完成邻接稀疏化。通过先阈值筛选再候选截断的双重约束，可在保留有效候选块的同时控制邻接图复杂度。

14、进一步地，所述步骤s4中的路径代价包括各候选路径的预估响应时间、预估i/o页读取量、候选块冗余率和路径不确定性；并基于所述预估响应时间、预估i/o页读取量、候选块冗余率和路径不确定性生成各候选路径的路径代价；选择路径代价最小的候选路径作为主路径；当当前请求为混合型请求时，选择路径代价最小的至少两条候选路径执行首批摘要预取，并根据首批摘要预取的命中密度和路径代价执行二次裁决。这样能够使请求识别阶段的不确定性在轻量预取阶段被进一步消解，而不是直接进入高代价的明细回源。

15、进一步地，所述按确定的数据拉取粒度拉取目标数据块包括：当请求类型为概览型请求时，拉取摘要块、统计块和低分辨率块中的至少一种；当请求类型为范围分析型请求时，先拉取候选数据块的头部摘要，再对高得分候选数据块执行明细回源；当请求类型为剖面连续型请求时，按照垂向相邻顺序串行拉取连续命中段对应的数据块；当请求类型为局部精查型请求时，对目标数据块及其一阶邻接块执行高分辨率拉取，并同步拉取属性明细。

16、进一步地，当主路径预估超时、索引服务不可用或候选命中密度低于预设阈值时，退化为摘要块先行的局部增量回源模式；当属性统计摘要缺失率超过预设阈值时，跳过属性先筛并采用空间约束与语义约束联合收缩。该异常退化机制嵌入于路径执行阶段，用于在索引服务异常、摘要不完整或候选密度异常时仍输出可用结果。

17、进一步地，请求类型识别模型采用离线训练、在线推理和受控增量更新的部署方式。训练样本来源于历史三维地学查询日志、真实调度日志、地下空间调查平台历史任务记录以及仿真构造样本。对于缺少显式标签的样本，可根据查询后的实际访问轨迹生成弱标签。在线更新触发后，仅在滚动验证性能满足预设条件时替换当前稳定版本；若更新后平均响应时间未改善或劣化满足回滚条件，则回滚至上一稳定版本。通过受控更新机制，可抑制在线学习对调度稳定性的破坏。

18、本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种三维地学数据湖仓索引调度方法的步骤。

19、与现有技术相比，本发明具有如下有益效果。

20、其一，本发明针对现有技术中目录驱动静态查找导致候选块在检索起始阶段即发生膨胀的问题，通过构建包含三维空间范围、垂向区间、时间版本、尺度需求、冷热分布、版本密度和历史访问统计的统一请求状态，并在候选块评分阶段同时引入空间重叠关系、属性匹配关系、语义连续关系和回源代价，使候选块在实际拉取前即被排序、筛选和稀疏化。因此，候选集不再仅由粗粒度目录定位决定，而是在进入底层明细扫描前完成多约束同步收缩。在矿区三维综合查询场景中，平均候选块数量由420块降至168块。

21、其二，本发明针对现有技术中固定检索路径和静态拉取方式导致跨尺度检索中i/o页读取量放大、冷热数据无差别回源的问题，通过在请求发起阶段先识别概览型、范围分析型、剖面连续型和局部精查型请求，再结合路径代价在属性优先路径、空间优先路径、垂向链优先路径和摘要预览路径之间选择主路径，并依据请求类型和候选密度调整摘要块、低分辨率块或高分辨率块的拉取粒度。由此，调度路径与请求语义保持一致，减少了不必要的明细拉取和重复访问。在多源跨尺度检索任务中，平均i/o页读取量由12500页降至7400页，平均响应时间由2.84秒降至1.67秒。

22、其三，本发明针对现有技术中空间邻接与地学语义不一致导致剖面连续查询和局部精查查询中重复回表频繁、时延波动较大的问题，通过设置地学语义邻接索引，将地层一致性、断层关联一致性、邻接连续性以及版本一致性共同纳入候选块排序，并在混合型请求中采用双路径摘要预取后的二次裁决机制，使系统能够在剖面连续性与局部精查性并存的边界场景下抑制错误主路径选择。在地下剖面连续查询场景中，有效块占比由58.0%提升至81.0%，95分位响应时间由3.90秒降至2.26秒。