一种面向可信数据空间的多维度数据计价方法及系统与流程

本发明涉及数据处理与计费，具体涉及一种面向可信数据空间的多维度数据计价方法及系统。

背景技术：

1、可信数据空间是面向跨主体数据共享与价值流转的基础设施，强调数据不出域、可用不可见、用途可控可计量。数据编织技术通过统一元数据与目录，实现异构数据源（如关系型数据库、大数据仓库、搜索引擎、对象存储等）的逻辑整合与联合查询。在可信数据空间场景下，一次联邦查询既涉及数据提供方的数据生产子系统因计算下推而产生的硬件资源消耗，又涉及数据编织平台执行的编织服务与隐私计算，还涉及数据本身的价值，因此需要按多个维度分别计量并汇总计价。

2、现有的数据计费方式主要包括三类，包括：订阅制计费、按查询或作业计费和按数据资产价值整体计价。此外，硬件服务通常按中央处理器、内存、网络等资源的使用量计价，软件服务则包含专业业务价值。

3、但是，在现有计价工作中，执行代价的估计误差沿执行计划累积放大，例如，联邦查询的执行计划由多个连接算子构成，每个连接算子都有误差的情况下，误差叠加，越后的数据越不可靠，如果只通过计费结束进行验证，误差的积累无法发现。

4、另外，查询执行时，查询内部的资源消耗在算子之间不可分离，通常查询的多个算子在执行时共享扫描阶段、共享数据缓冲区，并常以流水线方式并行推进。如果查询存在资源约束，已经发生的资源消耗就无法清晰的划分，通常采用预设比例和整体用量计算资源消耗，对于跨主体的可信数据空间，无法判断计价是否准确，要么接受计价结果，要么存在争议。争议的处理，通常是重新执行，费用复算，但是造成了更大的消耗。

5、对于查询任务，通常还会进行降低资源消耗，实现优化，但是，资源优化的手段大部分需要牺牲结果的准确性，因此，现有计价技术均以结果为精确结果为前提，未考虑结果精度被降低的情形。

技术实现思路

1、本技术提出了一种面向可信数据空间的多维度数据计价方法及系统，用于解决现有技术中计价粒度与查询执行进度脱钩、查询被中断或降级时无法精确分段落账的技术问题。

2、为了达到上述目的，本技术提供了如下技术方案：

3、第一方面，本技术提出了一种面向可信数据空间的多维度数据计价方法，应用于数据编织平台，包括步骤：

4、接收联邦查询，确定执行计划；

5、根据所述执行计划，将所述联邦查询拆分为多个子查询，分别下发至多个数据子系统执行；

6、根据所述执行计划中基数估计的累积方差，确定所述执行计划中的多个代价锚点，并以所述代价锚点将所述执行计划划分为多个结算段；

7、对每个结算段，获取对应结算段内各子查询执行后的运行时统计信息，确定对应结算段的段计价值；

8、在所述代价锚点处，当已完成结算段的段计价值与剩余结算段的估计计价值之和大于预设的计价值上限时，对所述剩余结算段所对应的子查询执行降级改写后下发执行，并按降级改写后的实际资源消耗确定所述剩余结算段的段计价值；

9、将各结算段的段计价值按所述代价锚点的先后顺序汇总，生成所述联邦查询的统一计价值。

10、上述方案中，在执行查询任务时，将查询对象的计价结果可信度和沿计划累加的估计方差。

11、结合第一方面，所述根据所述执行计划中基数估计的累积方差，确定所述执行计划中的多个代价锚点，包括：

12、根据所述执行计划的执行顺序，在每个连接算子处累加对应连接算子的基数估计的方差，确定累计方差；

13、当所述累计方差大于预设的方差阈值时，在对应连接算子之后设置一个代价锚点，并将所述累计方差置零后继续累加；其中，

14、所设置的代价锚点的总数不大于预设的锚点数量上限。

15、结合第一方面，所述方差阈值根据预设的违约概率上界与预设的误差比例阈值确定，使任一结算段的估计计价值偏离其期望值的相对量超过所述误差比例阈值的概率不大于所述违约概率上界。

16、结合第一方面，所述确定对应结算段的段计价值，包括：

17、根据所述运行时统计信息，确定各子查询的实际资源消耗，并基于各数据子系统对应的资源校正因子将所述实际资源消耗映射为统一资源代价；

18、根据结算段所涉及的数据对象的数据单价与参与计价的数据规模确定数据自身价值；

19、根据所述数据编织平台执行编织服务和隐私计算所处理的数据规模及对应的服务单价，确定平台服务代价；

20、将所述统一资源代价、所述数据自身价值与所述平台服务代价求和，确定对应结算段的段计价值；其中，

21、所述资源校正因子根据各数据子系统处理资源的能力确定，并基于所述运行时统计信息进行更新。

22、结合第一方面，所述根据所述执行计划，将所述联邦查询拆分为多个子查询，包括：

23、根据所述执行计划，为每个子查询生成唯一的子查询标识，

24、根据所述联邦查询所涉及的算子类型、各数据子系统对应的资源校正因子以及各数据对象的数据单价，生成所述联邦查询的计价口径标识；

25、将所述计价口径标识与所述子查询标识绑定，并将绑定后的所述子查询标识与所述计价口径标识以注释形式附加于查询语句后，分别下发至多个数据子系统执行。

26、结合第一方面，所述对所述剩余结算段所对应的子查询执行降级改写后下发执行，包括：

27、在预设的多个降级档位中，选取使所述剩余结算段所对应的预测计价值不大于所述计价值上限、且降级程度最低的一个降级档位，按所选取的降级档位执行降级改写；其中，

28、每个所述降级档位对应一个抽样率与一个下推数据规模上限。

29、结合第一方面，所述按所选取的降级档位执行降级改写，包括：

30、将所述剩余结算段所对应的子查询中的精确聚合算子替换为基于分层抽样的近似聚合算子；其中，

31、所述近似聚合算子的抽样率等于所选取的降级档位所对应的抽样率；

32、将所述剩余结算段所对应的子查询的下推数据规模上限设置为所选取的降级档位所对应的下推数据规模上限；其中，

33、所述降级改写保持所述联邦查询的结果数据模式不变。

34、结合第一方面，所述方法还包括：

35、当存在结算段完成时，生成对应结算段的增量结算凭证；其中，

36、所述增量结算凭证包括段序号、该结算段的段计价值、该结算段起止处的代价锚点的位置标识、以及该结算段之前一个结算段的增量结算凭证的摘要；

37、执行生成对应结算段的增量结算凭证，包括：

38、根据所述段序号依次比对每一增量结算凭证中的摘要与对应增量结算凭证之前一个结算段的增量结算凭证的摘要是否一致，在校验通过后将对应增量结算凭证中的段计价值累加；其中，

39、各数据提供方在一个结算段内的实际资源消耗占对应结算段内全部数据子系统的实际资源消耗之和的比例，将对应结算段的统一资源代价分摊至各数据提供方。

40、结合第一方面，所述方法还包括：

41、根据所述统一计价值，判断是否存在结算段异议；其中，

42、当所述联邦查询的统一计价值中任一个结算段的异议，根据被提出异议的结算段起止处的代价锚点的位置标识，确定该结算段所对应的子查询的边界，并将对应结算段所对应的子查询重新执行，确定对应结算段的复算计价值；其中，

43、所述统一计价值由多个结算段的段计价值按所述结算段的先后顺序汇总得到；

44、所述结算段由所述联邦查询的执行计划中按基数估计的累积方差所设置的代价锚点划分得到；

45、每个结算段的段计价值固化于对应结算段的增量结算凭证中；

46、所述增量结算凭证包括段序号、段计价值、以及该结算段起止处的代价锚点的位置标识；

47、将所述复算计价值与该结算段在所述增量结算凭证中的段计价值比对，当二者偏差大于预设偏差阈值时，以所述复算计价值替换对应结算段的段计价值，并修正所述统一计价值；

48、其中，当所述异议由数据提供方提出、且指向分摊至数据提供方的统一资源代价时，仅对数据提供方在该结算段内所对应的子查询重新执行，并根据重算结果调整分摊至数据提供方的统一资源代价。

49、第二方面，本技术提出一种面向可信数据空间的多维度数据计价系统，包括：

50、查询接收模块，接收联邦查询，确定执行计划；

51、查询拆分模块，根据所述执行计划，将所述联邦查询拆分为多个子查询，分别下发至多个数据子系统执行；

52、结算段划分模块，根据所述执行计划中基数估计的累积方差，确定所述执行计划中的多个代价锚点，并以所述代价锚点将所述执行计划划分为多个结算段；

53、段计价值确定模块，对每个结算段，获取对应结算段内各子查询执行后的运行时统计信息，确定对应结算段的段计价值；

54、预算控制模块，在所述代价锚点处，当已完成结算段的段计价值与剩余结算段的估计计价值之和大于预设的计价值上限时，对所述剩余结算段所对应的子查询执行降级改写后下发执行，并按降级改写后的实际资源消耗确定所述剩余结算段的段计价值；

55、汇总模块，将各结算段的段计价值按所述代价锚点的先后顺序汇总，生成所述联邦查询的统一计价值。

56、本发明的有益效果在于：

57、本技术因为在每一个代价锚点处、在剩余子查询下发执行之前，均将已完成结算段的段计价值之和与剩余结算段的估计计价值之和同计价值上限进行比较，并仅在总和不大于上限时才按原计划继续执行，使得统一计价值不会超过计价值上限，且该性质由执行流程本身保证，不依赖于统计信息、环境假设或经验参数。结算段的估计计价值具有可控的误差概率上界，使锚点位置不再是任意选取的分段点，而是预算校验可靠性的控制点。本技术提出的降级改写虽降低了结果精度，但本技术按降级比例对数据自身价值进行折减，而折减不作用于统一资源代价与平台服务代价。使得资源消耗控制与计价准确度在同一机制下同时达成，且通过折减规则消解降低精度与如实计价之间的冲突。由于段计价值随增量结算凭证逐段固化，对任一结算段的争议只需重新执行该段所对应的子查询，争议复算所涉及的数据量存在构造性下界改善。另外，本技术中，每一增量结算凭证携带前一凭证的摘要，对历史段计价值的任何修改都会改变该凭证摘要，进而导致其后所有凭证的摘要比对失败，使得分段计费结果具备防篡改性。

58、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、以及附图中所特别指出的结构来实现和获得。

59、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。