基于部署变化元数据的推理过程验证方法及装置
本申请属于推理过程验证,更具体地说,是涉及一种基于部署变化元数据的推理过程验证方法及装置。
背景技术:
1、语音交互、数字人等实时交互应用普遍采用由语音识别、语言模型、语音合成和视频生成等模型级联构成的推理流水线,并运行于图形处理器(graphics processingunit,gpu)计算集群。为降低时延、提升吞吐量,需对流水线实施节点迁移、多卡拆分、流式分块等部署变更。然而,此类变更会改变数据的物理分块边界、到达顺序和随机数消耗方式,使变更后的输出存在合理差异:逐元素比对易将合理差异误判为变更失败,仅比对最终语义又无法发现数据丢失、乱序等真实故障,变更后的推理过程是否正确因此难以可靠验证。因此,如何对部署变更前后的推理过程进行可靠验证,为实时交互应用的部署变更提供可验证的质量保障,成为亟待解决的问题。
技术实现思路
1、本申请的目的在于提供一种基于部署变化元数据的推理过程验证方法及装置,可以为实时交互应用的部署变更提供可验证的质量保障。
2、本申请实施例的第一方面,提供了一种基于部署变化元数据的推理过程验证方法,包括:
3、获取实时交互应用的参考推理流水线、对参考推理流水线执行部署变化得到的候选推理流水线、以及表征受部署变化影响的节点及变化内容的部署变化元数据;
4、基于部署变化元数据建立参考推理流水线的参考节点与候选推理流水线的候选节点之间的映射关系,得到映射节点组,并为各映射节点组生成节点级验证契约,节点级验证契约表征归一化规则、校验条件和比对方式;
5、采集参考推理流水线和候选推理流水线的运行事件,运行事件携带表征所属请求、节点和逻辑位置的配对标识信息;按照归一化规则分别将物理切分方式或到达顺序不同的运行事件重组为参考推理流水线和候选推理流水线各自的逻辑位置窗口,并基于配对标识信息对参考推理流水线的逻辑位置窗口与候选推理流水线的逻辑位置窗口进行配对;
6、对于包含随机操作的映射节点组,基于随机数派生协议的固定测试向量对随机数派生协议执行一致性校验;校验通过时,派生供参考推理流水线和候选推理流水线执行配对运行的确定性随机子流;校验未通过时禁止映射节点组配对,并将相应运行事件的比较证据置为无效;
7、对完成配对且比较证据未被置为无效的逻辑位置窗口,依据校验条件执行约束核验,依据比对方式执行比较核验,输出通过、不通过和无法判定三种验证状态之一。
8、本申请实施例的第二方面,提供了一种基于部署变化元数据的推理过程验证装置,包括:
9、获取模块,用于获取实时交互应用的参考推理流水线、对参考推理流水线执行部署变化得到的候选推理流水线、以及表征受部署变化影响的节点及变化内容的部署变化元数据;
10、契约生成模块,用于基于部署变化元数据建立参考推理流水线的参考节点与候选推理流水线的候选节点之间的映射关系,得到映射节点组,并为各映射节点组生成节点级验证契约,节点级验证契约表征归一化规则、校验条件和比对方式;
11、重组配对模块,用于采集参考推理流水线和候选推理流水线的运行事件,运行事件携带表征所属请求、节点和逻辑位置的配对标识信息;按照归一化规则分别将物理切分方式或到达顺序不同的运行事件重组为参考推理流水线和候选推理流水线各自的逻辑位置窗口,并基于配对标识信息对参考推理流水线的逻辑位置窗口与候选推理流水线的逻辑位置窗口进行配对;
12、随机校验模块,用于对于包含随机操作的映射节点组,基于随机数派生协议的固定测试向量对随机数派生协议执行一致性校验;校验通过时,派生供参考推理流水线和候选推理流水线执行配对运行的确定性随机子流;校验未通过时禁止映射节点组配对,并将相应运行事件的比较证据置为无效;
13、第一验证模块,用于对完成配对且比较证据未被置为无效的逻辑位置窗口,依据校验条件执行约束核验,依据比对方式执行比较核验,输出通过、不通过和无法判定三种验证状态之一。
14、本申请实施例的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的基于部署变化元数据的推理过程验证方法的步骤。
15、本申请实施例的第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述的基于部署变化元数据的推理过程验证方法的步骤。
16、本申请实施例提供的基于部署变化元数据的推理过程验证方法及装置的有益效果在于:
17、本申请实施例基于部署变化元数据建立节点映射并生成节点级验证契约,使验证规则与部署变化内容直接对应;按归一化规则将物理分块或到达顺序不同的运行事件重组为逻辑位置窗口并完成配对,使物理实现差异被消除在比对之前,避免分块和调度差异被误判为不等价;对包含随机操作的映射节点组,配对前以固定测试向量校验随机数派生协议,通过才派生确定性随机子流,未通过则禁止配对并将比较证据置为无效,阻断虚假等价证据进入结论;再依据校验条件和比对方式执行约束核验与比较核验,输出三种验证状态之一,使证据不足以无法判定独立呈现而非被强行二值化。综上,本申请实施例实现了与物理部署形态无关、证据可靠且结论严谨的推理过程自动化验证,为实时交互应用的部署变更提供可验证的质量保障。
1.一种基于部署变化元数据的推理过程验证方法,其特征在于,包括:
2.如权利要求1所述的基于部署变化元数据的推理过程验证方法,其特征在于,所述基于所述部署变化元数据建立所述参考推理流水线的参考节点与所述候选推理流水线的候选节点之间的映射关系,得到映射节点组,并为各所述映射节点组生成节点级验证契约,包括:
3.如权利要求1所述的基于部署变化元数据的推理过程验证方法,其特征在于,所述派生供所述参考推理流水线和所述候选推理流水线执行配对运行的确定性随机子流,包括:
4.如权利要求1所述的基于部署变化元数据的推理过程验证方法,其特征在于,所述将相应运行事件的比较证据置为无效之后,还包括:
5.如权利要求1所述的基于部署变化元数据的推理过程验证方法,其特征在于,所述对完成配对且比较证据未被置为无效的逻辑位置窗口,依据所述校验条件执行约束核验,依据所述比对方式执行比较核验,输出通过、不通过和无法判定三种验证状态之一,包括:
6.如权利要求5所述的基于部署变化元数据的推理过程验证方法,其特征在于,响应于输出不通过,还包括:
7.如权利要求6所述的基于部署变化元数据的推理过程验证方法,其特征在于,所述得到包含意义上的极小差异子图之后,所述方法还包括:
8.如权利要求5所述的基于部署变化元数据的推理过程验证方法,其特征在于,所述参考推理流水线和所述候选推理流水线分别包括用于处理不同模态数据的多个节点,所述不同模态数据包括音频数据、视频数据和文本数据中的至少两种;所述节点级验证契约表征的所述校验条件还包括跨模态同步条件,所述跨模态同步条件表征在统一媒体时钟下约束不同模态数据对应的运行事件之间时间偏移的条件;
9.一种基于部署变化元数据的推理过程验证装置,其特征在于,包括:
10.如权利要求9所述的基于部署变化元数据的推理过程验证装置,其特征在于,
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com