桥式流匹配与语义控制的视觉实现方法、设备及介质与流程

摘要: 本发明涉及人工智能,尤其涉及一种桥式流匹配与语义控制的视觉实现方法、设备及介质。背景技术:1、现有技术中,视觉基础模型依据目标任务类型分化出生成式与判别式两类主...
桥式流匹配与语义控制的视觉实现方法、设备及介质与流程

本发明涉及人工智能,尤其涉及一种桥式流匹配与语义控制的视觉实现方法、设备及介质。

背景技术:

1、现有技术中,视觉基础模型依据目标任务类型分化出生成式与判别式两类主流技术路线:生成式模型以随机噪声为初始状态,通过多步迭代采样实现图像或视频的开放生成;判别式模型则以源观测为输入,单向前馈输出深度、分割等稠密语义标注。两类模型在参数架构、训练目标和推理机制上存在根本性差异,导致生产环境中需为不同任务分别部署和维护独立模型体系,显著提升了工程复杂度与资源消耗;且生成式预训练积累的通用视觉表征无法直接作用于判别任务,判别任务的后训练亦无法反哺生成能力,生成与感知难以互利。

2、此外,虽已有文献将生成骨干的干净潜向量在插值时间步恒为零处单步前馈回归为稠密标注,证明了生成式预训练骨干对感知任务的迁移优势;但其仅占据“以源观测为输入、插值时间步恒为零”的单点配置,本质上仍是判别式微调流程:不执行插值轨迹全程的桥式训练,桥式感知与噪声起点生成未统一于同一目标函数,亦无噪声起点生成模式共存与模式嵌入路由,未涉及两种模式混合训练固有的负迁移治理。同时确定性感知与随机采样生成的边界亦缺乏机制化处理。

3、进一步地,实践表明,统一桥式混合训练存在固有的方向病与尺度病:确定性感知与开放性生成两类监督信号在插值终点附近因插值状态分布重叠而产生平均化效应,且两类信号的数值尺度可相差约两个数量级,多目标梯度在同一参数空间中相互干扰、小量级信号的优化过程极易被大量级信号覆盖,导致任务性能此消彼长,从而迟滞整体任务性能的共同提升。

4、同时,现有视觉基础模型缺乏基于语义控制的视觉记忆与回忆能力:依赖上下文窗口的工作记忆或依赖检索工程的外挂存储,记忆内容无法固化于模型权重,无法由模型自主决定记忆内容并按文本语义精确回忆。

技术实现思路

1、本发明提供了一种桥式流匹配与语义控制的视觉实现方法、设备及介质,旨在解决现有技术中视觉感知与生成模型割裂、桥式感知与噪声起点生成缺乏统一目标函数、统一桥混合训练存在方向病与尺度病负迁移而缺乏系统治理方案、确定性感知与随机采样生成的边界亦缺乏机制化处理、以及缺乏基于语义控制的视觉记忆与回忆能力的技术问题,提供一种能够在单一权重下统一多种视觉任务、并保障各类任务性能同步收敛且相互增益的解决方案。

2、第一方面,本发明提供了一种桥式流匹配与语义控制的视觉实现方法,其包括:

3、构建包含理解分支与生成分支的双流模型,所述理解分支用于根据文本指令与视觉输入生成包含路由指示的思维链文本,所述生成分支用于在视觉表征空间执行条件速度场回归;

4、获取训练样本,所述训练样本包括源观测、目标观测和任务类型信息,按路由指示确定所述训练样本对应的插值起点类型,其中,当所述插值起点类型为桥起点类型时,以所述源观测为插值起点,当所述插值起点类型为噪声起点类型时,以高斯噪声为插值起点,所述目标观测作为插值终点,在插值时间步下,基于所述插值起点与所述插值终点按线性插值构造插值状态,并确定从所述插值起点到所述插值终点的条件速度场作为监督信号,向所述训练样本注入与所述插值起点类型对应的模式嵌入;

5、以所述插值状态、插值时间步、文本指令、条件上下文及所述模式嵌入作为条件输入,以所述监督信号为回归目标,以统一速度回归损失训练所述生成分支预测所述条件速度场,并以所述路由指示作为训练目标,以下一词元预测交叉熵损失训练所述理解分支,总损失为所述统一速度回归损失与所述下一词元预测交叉熵损失的加权和;

6、响应于接收到推理请求,所述理解分支根据所述推理请求中的文本指令与视觉输入生成所述思维链文本,解析所述思维链文本得到所述路由指示,根据所述路由指示确定对应的所述插值起点类型并设定对应的所述模式嵌入构造所述插值起点,当所述路由指示对应的所述插值起点类型为所述桥起点类型时,所述生成分支在插值时间步为0处执行单步回归,得到目标观测输出;当所述路由指示对应的所述插值起点类型为所述噪声起点类型时,所述生成分支执行多步常微分方程采样,得到所述目标观测输出。

7、可选地,所述双流模型包括理解分支和生成分支,所述理解分支与所述生成分支共享多头自注意力骨干,二者的注意力交互共享、qkv投影与前馈网络按模态分流:统一序列上的全注意力交互由两分支共享,所述理解分支与所述生成分支的qkv投影及前馈网络参数解耦、分别激活;

8、所述多头自注意力骨干用于接收统一拼接序列,所述统一拼接序列由文本指令对应的文本词元、可学习查询词元、视觉输入对应的源观测词元和zt插值状态编码词元拼接后标记三维旋转位置编码得到,所述zt插值状态编码词元为目标观测图像的插值状态zt经分块编码得到的词元;

9、所述理解分支包括文本分词器、第一patch编码、所述多头自注意力骨干、第一前馈网络层和文本解码器:所述文本分词器用于将所述文本指令切分为文本词元,所述第一patch编码用于将所述视觉输入编码为源观测词元,所述第一前馈网络层用于接收所述多头自注意力骨干输出的统一特征表示,所述文本解码器用于根据所述第一前馈网络层的输出生成所述思维链文本;所述生成分支包括第二patch编码、所述多头自注意力骨干、第二前馈网络层和patch解码像素回归头:所述第二patch编码用于将目标观测位置的插值状态编码为zt插值状态编码词元,所述第二前馈网络层用于接收所述统一特征表示,所述patch解码像素回归头用于根据所述第二前馈网络层的输出得到预测像素值;

10、可选地,所述双流模型还包括起点编码器、起点开关网络与模式嵌入生成网络:所述起点编码器的输入为所述理解分支在所述可学习查询词元查询位的输出张量,用于将查询位输出张量映射为与目标观测分辨率相匹配的插值起点;所述起点开关网络的输入为所述理解分支在可学习路由查询词元查询位的输出张量,用于输出在源观测起点、记忆插值起点与高斯噪声起点之间切换的起点选择信号及路由置信度;所述模式嵌入生成网络的输入为所述理解分支在查询位的输出张量,用于生成与所述插值起点类型对应的模式嵌入,所述模式嵌入与插值时间步嵌入叠加后经时间步嵌入通道加性注入所述生成分支的视觉词元,所述模式嵌入的取值还可由数据构造管线标注或经思维链解析程序按模式词元设定,两种设定方式经同一加性通道注入;

11、所述方法的语义控制按三层通道协同:符号决策层由所述思维链文本中的控制词元经思维链解析程序解析执行路由与决策;权重控制层由追加于所述理解分支文本输入末尾的所述可学习查询词元在查询位的输出张量经所述起点编码器、所述起点开关网络与所述模式嵌入生成网络等功能头网络生成控制量,训练梯度经查询位输出穿过所述理解分支回流;连续条件层由所述统一拼接序列经全注意力交互承担内容供给;三层接口解耦、可独立升级。

12、可选地,所述模式嵌入为强制注入的可学习嵌入,至少包括桥起点嵌入与噪声起点嵌入两种取值;所述模式嵌入与插值时间步嵌入叠加后注入所述生成分支,用于在插值时间步t趋近于1、两种插值起点类型的插值状态分布重叠时,防止所述条件速度场对两种插值起点类型的监督信号进行平均而产生模式污染;

13、所述模型训练中,插值时间步按插值起点类型分别采样:桥起点类型的插值时间步从偏向0端的分布采样、且以预设概率精确取t=0形成原子化采样,噪声起点类型的插值时间步从logit-正态分布采样;按所述插值起点类型和所述插值时间步分桶,通过指数滑动平均在线估计所述监督信号的条件方差,根据所述条件方差的倒数确定所述统一速度回归损失中每类训练样本的损失权重,使各插值起点类型的样本对总梯度的噪声贡献份额相均衡、高方差类型的监督信号不再主导梯度更新;

14、将属于所述桥起点类型的样本和属于所述噪声起点类型的样本分别组成纯批次进行前向传播与反向传播,并各自累积得到对应的第一梯度与第二梯度;计算所述第一梯度与所述第二梯度在所述共享多头自注意力骨干的参数上的余弦相似度,若所述余弦相似度为负且其统计显著性超过自适应阈值,则将所述第一梯度与所述第二梯度分别投影至对方梯度的法平面后组合,若所述余弦相似度为非负,则按预设配比加权组合所述第一梯度与所述第二梯度,并将组合后的梯度作为更新所述共享多头自注意力骨干的参数的梯度。

15、可选地,所述第二前馈网络层中的至少一层包括共享专家与模式专家:所述共享专家对全部插值起点类型的输入生效,所述模式专家以所述模式嵌入为路由键确定,桥起点类型的样本激活桥专家、噪声起点类型的样本激活噪声专家,所述路由键为模式嵌入而非词元内容;所述路由经查表确定、不经过可学习的路由网络,或者,所述路由经以所述模式嵌入为输入的可学习路由网络确定、且对每个样本稀疏选择单一模式专家;所述模式专家的输出投影以零初始化,使配置完成时刻所述生成分支的输入输出映射与配置前逐点一致;或者,所述生成分支的至少一个权重矩阵叠加按所述模式嵌入选择的低秩支路,所述低秩支路以零初始化,使同一权重矩阵在不同插值起点类型下实现不同的有效变换;由此两种插值起点类型在专家或支路参数子空间上的梯度严格正交,梯度冲突被限制于所述共享多头自注意力骨干的参数子空间;

16、在上述配置之上,输出侧采用桥模式私有输出分支:复制所述patch解码像素回归头作为桥模式私有输出分支并以预训练权重初始化,仅桥起点类型的样本经所述私有输出分支前向传播并更新其参数,噪声起点类型的样本恒经冻结的原始输出层前向传播,使感知监督对生成分布的扰动在构造上为零;或者,桥起点类型的输出侧叠加秩-β低秩残差支路:主干表征经降维至β维再升维的零初始化残差支路后接所述patch解码像素回归头,挂载时刻输入输出映射与挂载前一致,感知监督由所述低秩残差支路吸收。

17、可选地,所述路由指示以思维链词元形式实现:所述思维链文本中包含指示插值起点类型的模式词元,由思维链解析程序按词元标识解析所述模式词元得到所述路由指示,所述模式词元由所述理解分支自回归生成、起点模式切换由所述思维链解析程序执行;所述思维链文本中还包含帧索引词元,解析所述帧索引词元得到目标帧与源帧之间的配对关系,并按所述配对关系构造插值起点;所述理解分支的训练标签由数据构造管线获得:训练样本的插值起点类型与配对关系在样本构造时已知或由自动标注管线估计,序列化为所述模式词元与所述帧索引词元后作为所述下一词元预测交叉熵损失的监督目标;所述文本指令经提示词增强得到增强文本条件,所述增强文本条件作为条件输入注入所述生成分支,同时提升文生图与编辑效果及感知精度;

18、所述路由指示还以权重级方式实现:所述理解分支的文本输入末尾追加可学习路由查询词元,取所述理解分支在查询位的输出张量,经起点开关网络生成起点选择信号,在源观测起点、记忆插值起点与高斯噪声起点之间切换;所述起点开关网络与所述生成分支叠加的可扩展低秩支路或可学习路由稀疏专家联合训练,训练梯度经查询位输出穿过所述理解分支回流;训练期所述起点选择信号以软门控或经直通估计器硬化的门控参与构造所述插值起点,推理期硬化为独热选择,使训练与推理经同一路由通道;所述模式嵌入的取值与所述起点选择信号同步确定并强制注入所述生成分支;所述起点开关网络还输出路由置信度,所述路由置信度低于阈值时回退至以高斯噪声为所述插值起点的生成模式;作为逐帧扩展,所述可学习路由查询词元叠加逐帧嵌入后经一次所述理解分支前向获得各目标帧的起点选择信号与指向所配对源帧的指针输出;所述权重级路由与所述思维链词元路由并联使用或相互替代。

19、可选地,所述方法还包括文本语义驱动的视觉记忆与回忆步骤,所述步骤包括记忆选择、记忆写入与记忆回忆三个步骤:所述记忆选择为所述理解分支在所述思维链文本中对输入视觉内容输出写入词元或跳过词元,自主决定待记忆的视觉内容,输出所述写入词元时携带记忆键与保留等级;所述记忆写入为响应于所述写入词元,将当前视觉内容及其上下文表征与所述记忆键关联写入工作记忆,并以所述统一速度回归损失与起点重建锚定损失的加权和训练起点编码器与所述生成分支的可扩展低秩支路或可学习路由稀疏专家,使记忆内容固化于所述起点编码器与所述可扩展低秩支路或可学习路由稀疏专家的权重;

20、所述记忆回忆为响应于包含回忆词元与所述记忆键的推理请求,所述理解分支的文本输入末尾追加可学习查询词元,取所述理解分支在查询位的输出张量,经所述起点编码器生成与目标观测分辨率相匹配的插值起点,使视觉记忆的写入与回忆支持多分辨率图像,所述生成分支以所述插值起点执行所述单步回归,输出所记忆的视觉内容;各所述记忆键互不相同,使所述记忆键到所记忆视觉内容的映射为确定性映射;当所述记忆键校验失败时,所述生成分支退化至所述噪声起点类型执行所述多步常微分方程采样。

21、可选地,所述视觉记忆与回忆步骤还包括周期梯度巩固步骤:响应于所述思维链文本中的巩固词元或达到预设巩固周期,对所述工作记忆中存储的记忆迹执行周期梯度巩固,所述周期梯度巩固将所述记忆迹从所述工作记忆蒸馏入所述起点编码器与所述生成分支的可扩展低秩支路或可学习路由稀疏专家的权重,各所述记忆迹按照所述保留等级确定执行所述周期梯度巩固的优先级,经巩固的记忆由所述权重承载长期回忆。

22、可选地,所述获取训练样本中,当所述源观测为n帧源帧序列、所述目标观测为m帧目标帧序列时,按配对关系确定每个目标帧的插值起点:存在配对源帧的目标帧以所配对源帧为插值起点,不存在配对源帧的目标帧以高斯噪声为插值起点;各目标帧的插值时间步允许取互不相同的值,且已知帧作为条件帧固定于插值时间步t=0,待生成帧在推理时自插值时间步t=0积分至t=1;所述模式嵌入按帧或按词元注入;所述插值起点还可按可调混合系数构造为源观测与高斯噪声的组合,所述混合系数的取值按训练样本所属任务的不适定程度调度确定,监督信号保持不变,使源观测起点、高斯噪声起点及二者之间的连续中间构型在同一条件速度场与同一统一速度回归损失下训练;空间级任务中,所述插值起点按词元级掩码确定,掩码确定的插值起点参与所述监督信号的回归训练,并经所述模式嵌入与所述思维链文本的路由统一调度。

23、可选地,所述根据所述路由指示确定对应的所述插值起点类型之后,所述方法还包括一致性校验步骤:判断所述路由指示指定的插值起点类型和配对关系是否与所述推理请求中的输入源可用性和帧序列号范围一致,所述配对关系为所述推理请求中目标帧与源帧的对应关系;若不一致,则将所述路由指示强制修正为所述噪声起点类型,使所述生成分支以高斯噪声作为全部目标观测的插值起点执行所述多步常微分方程采样,输出保持有界;所述模型训练中还包括错配增广:以预设概率将模式嵌入与插值起点类型不一致的错配样本注入训练,使各模式通道对失配输入输出有界的降级结果;

24、所述模型训练还包括基座回放锚定:以冻结的预训练基座副本为锚定教师,训练损失叠加锚定项,约束噪声起点类型样本的输出与所述锚定教师在同一输入下的输出一致。

25、第二方面,本发明还提供了一种计算机设备,其包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法。

26、第三方面,本发明还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序当被处理器执行时可实现上述方法。

27、与现有技术相比,本发明的有益效果在于:以统一速度回归损失将桥起点模式的确定性感知与噪声起点模式的开放性生成统一于同一组权重,单一模型即可承载感知、生成、记忆、联想、编辑、恢复与视频关键帧摘要等多种视觉能力,并以生成先验反哺感知、感知训练锚定生成,实现生成与感知互利;其中确定性感知、恢复与精确回忆任务在插值时间步t=0处单步前馈输出,无需多步采样,而常规扩散采样需32~50步、经蒸馏亦需4~8步,推理开销大幅降低。

28、进一步地,本发明提供系统的负迁移治理方案:强制注入的模式嵌入消除两类监督信号在插值终点附近的平均化效应,防止模式污染;按插值起点类型分别采样插值时间步、组成纯批次的分模式梯度管理消除方向病与尺度病,所述监督信号的条件方差经在线分桶估计与监测,可选按其倒数对损失加权以进一步配平尺度;共享专家与模式专家、低秩支路及桥模式私有输出分支在构造上保证治理组件对基座能力零扰动;其中模式嵌入、分模式时间步采样、分模式梯度管理、低秩支路与桥模式私有输出分支在80亿参数级双流基座上经实验验证,双模式同步收敛且相互增益。

29、此外,思维链控制词元将任务路由从人工规则表内化为模型的语言能力,配合权重级起点开关与一致性校验回退机制,路由错误时输出有界;协议化的视觉记忆按文本语义精确回忆,记忆策略无需手工规则;视频任务按帧配对关系逐帧确定混合起点,联合训练下单项任务性能无损。