基于因果性与自适应更新的特征编解码方法与系统

本发明涉及特征编码与分布式训练的交叉，尤其涉及一种基于因果性与自适应更新的特征编解码与系统。

背景技术：

1、随着大模型参数规模和训练数据规模持续增长，单一计算节点通常难以独立承担完整训练任务。边云协同训练通过在边端计算节点和云端计算节点之间划分模型，将前部网络部署在边端，将后部网络部署在云端，使训练数据能够先在边端完成部分网络计算，再将模型切分位置产生的中间特征传输至云端继续计算。该方式能够保护边端的数据隐私的同时利用云端的强大计算能力，但模型切分位置形成了新的通信接口和通信开销。

2、模型切分位置的中间特征通常具有较长的序列长度和较高的特征维数，并且会在连续训练步骤中反复传输。当边云之间的带宽有限且训练规模较大时，中间特征传输将成为影响训练效率的主要瓶颈。为降低通信开销，现有方案通常采用低精度量化、稀疏化的方法压缩中间特征。但是这些方法压缩特征强度有限，且目前没有提出结合编码的方案，而直接把推理时的特征编解码器方案用于训练又存在以下两个方面问题。

3、自回归大模型要求第t个token（词元）位置的预测只能依赖第1个至第t个token位置的信息。为使特征压缩传输不破坏上述信息依赖关系，特征编解码器在生成第t个token位置的编码特征和重建特征时，同样不应利用第t个位置之后的中间特征。即使模型前部网络自身采用因果注意力，若特征编解码器沿token序列维度使用对称卷积、双向注意力或其他能够访问未来位置的变换，则当前位置的编码特征或重建特征仍可能混入第t个位置之后的信息。该信息泄露会破坏大模型原有的前缀因果关系，并造成训练过程与自回归推理过程之间的不一致。

4、另一方面，大模型训练会持续更新前部网络参数，模型切分位置的中间特征分布也会随训练进程发生变化。仅利用正式训练前的中间特征训练一次并固定使用的特征编解码器，可能逐渐偏离当前特征分布，从而导致特征重建误差增大、熵模型匹配程度下降且实际传输码率升高。

5、现有技术尚未提出一种能够时满足以下要求的边云协同大模型训练特征编解码方案：在token序列维度上严格保持当前位置仅依赖当前及历史位置的前缀因果关系；根据训练过程中中间特征分布的变化进行动态更新。因此，有必要提出一种兼顾因果保持、动态适应和低通信开销的真正用于大模型训练场景的特征编解码技术。

6、有鉴于此，特提出本发明。

技术实现思路

1、本发明的目的是提供一种基于因果性与自适应更新的特征编解码方法与系统，将前缀因果约束与基于历史特征的自适应更新机制统一应用于边云协同大模型训练的中间特征编解码过程，使特征压缩传输不改变自回归大模型原有的信息依赖关系，并使特征编解码器能够随训练过程中的特征分布变化进行受控更新。

2、本发明的目的是通过以下技术方案实现的：

3、一种基于因果性与自适应更新的特征编解码方法，包括：

4、将待训练的大模型划分为前部网络和后部网络，并部署于不同计算节点，并将前部网络与后部网络之间的位置确定为模型切分位置，采集前部网络在模型切分位置输出的中间特征序列并对包含前缀因果变换的特征编解码器进行训练，获得初始特征编解码器；其中，初始特征编解码器的编码侧参数部署于前部网络所在计算节点，重建侧参数部署于后部网络所在计算节点；

5、在大模型训练过程中，获取前部网络在模型切分位置输出的当前中间特征序列以及截至第t个token位置的特征前缀，并利用初始特征编解码器以第t个token位置的特征前缀做为限制，基于编码侧参数对当前中间特征序列进行前缀因果编码变换，再进行量化与熵编码获得传输码流后传输至后部网络所在计算节点；后部网络所在计算节点对传输码流进行熵解码与反量化，基于重建侧参数通过前缀因果重建变换重建出当前中间特征序列，再输入至后部网络；

6、利用获取的当前中间特征序列与重建的当前中间特征序列计算特征重建误差，利用传输码流的数据量计算实际传输码率，并与分别与对应参考值进行比较，根据比较结果对初始特征编解码器进行自适应更新。

7、一种基于因果性与自适应更新的特征编解码系统，用于实现前述的方法，包括：

8、初始特征编解码器训练单元，用于将待训练的大模型划分为前部网络和后部网络，并部署于不同计算节点，并将前部网络与后部网络之间的位置确定为模型切分位置，采集前部网络在模型切分位置输出的中间特征序列并对包含前缀因果变换的特征编解码器进行训练，获得初始特征编解码器；其中，初始特征编解码器的编码侧参数部署于前部网络所在计算节点，重建侧参数部署于后部网络所在计算节点；

9、中间特征编码与重建单元，用于在大模型训练过程中，获取前部网络在模型切分位置输出的当前中间特征序列以及截至第t个token位置的特征前缀，并利用初始特征编解码器以第t个token位置的特征前缀做为限制，基于编码侧参数对当前中间特征序列进行前缀因果编码变换，再进行量化与熵编码获得传输码流后传输至后部网络所在计算节点；后部网络所在计算节点对传输码流进行熵解码与反量化，基于重建侧参数通过前缀因果重建变换重建出当前中间特征序列，再输入至后部网络；

10、特征编解码器自适应更新单元，用于利用获取的当前中间特征序列与重建的当前中间特征序列计算特征重建误差，利用传输码流的数据量计算实际传输码率，并与分别与对应参考值进行比较，根据比较结果对初始特征编解码器进行自适应更新。

11、由上述本发明提供的技术方案可以看出：1）通过在编码侧和重建侧同时施加前缀因果约束，使每个token位置的编码特征及重建特征均不受未来位置特征影响，保持了大模型训练所要求的因果关系，减少了因特征压缩导致的训练与推理信息依赖不一致；2）根据特征重建误差和实际码率监测训练过程中间特征分布的变化，并仅使用更新触发时刻之前已经产生的历史数据进行参数更新和验证，能够在不引入未来训练数据的条件下动态恢复特征编解码性能；3）将前缀因果特征变换、自适应更新和完整的量化熵编码链路相结合，在保持模型训练效果的同时降低边云协同大模型训练的通信开销，形成在因果保持、动态适应和通信压缩协同方面具备业界领先水平的综合技术能力。

1.一种基于因果性与自适应更新的特征编解码方法，其特征在于，包括：

2.根据权利要求1所述的一种基于因果性与自适应更新的特征编解码方法，其特征在于，所述采集前部网络在模型切分位置输出的中间特征序列并对包含前缀因果变换的特征编解码器进行训练，获得初始特征编解码器包括：

3.根据权利要求1所述的一种基于因果性与自适应更新的特征编解码方法，其特征在于，所述包含前缀因果变换的特征编解码器包括：编码部分与解码部分；

4.根据权利要求1所述的一种基于因果性与自适应更新的特征编解码方法，其特征在于，所述利用初始特征编解码器以第t个token位置的特征前缀做为限制，基于编码侧参数对当前中间特征序列进行前缀因果编码变换包括：

5.根据权利要求4所述的一种基于因果性与自适应更新的特征编解码方法，其特征在于，所述量化与熵编码通过下述方式实现：

6.根据权利要求5所述的一种基于因果性与自适应更新的特征编解码方法，其特征在于，所述基于重建侧参数通过前缀因果重建变换重建出当前中间特征序列表示为：

7.根据权利要求1所述的一种基于因果性与自适应更新的特征编解码方法，其特征在于，所述利用获取的当前中间特征序列与重建的当前中间特征序列计算特征重建误差，利用传输码流的数据量计算实际传输码率表示为：

8.根据权利要求1所述的一种基于因果性与自适应更新的特征编解码方法，其特征在于，所述分别与对应参考值进行比较，根据比较结果对初始特征编解码器进行自适应更新包括：

9.根据权利要求8所述的一种基于因果性与自适应更新的特征编解码方法，其特征在于，所述当判定满足更新条件时，启动初始特征编解码器更新流程包括：

10.一种基于因果性与自适应更新的特征编解码系统，用于实现权利要求1~9任一项所述的方法，其特征在于，包括：