一种基于词元定制的AI模型制品管理与服务系统的制作方法

本发明涉及大模型多租户服务，具体地说，涉及一种基于词元定制的ai模型制品管理与服务系统。

背景技术：

1、随着生成式大模型在saas服务场景的广泛落地，大量行业租户存在自定义词元定制需求，现有多租户词元定制方案主要分为两类，一类为每个租户训练并部署独立的定制化全量模型，不同租户的模型实例互相独立，该方案下每个模型实例体积可达数十gb，随租户数量增长硬件成本线性提升，中小租户难以承担使用成本，且模型重复加载会造成大量显存资源浪费，另一类方案将所有租户的自定义词元统一合并入全局词表，所有租户共享修改后的词表和模型，该方案会导致全局词表随租户数量增加持续膨胀，推理性能持续下降，且不同租户的同形异义词会出现识别冲突，难以满足租户专属语义识别需求，同时现有方案普遍缺乏完善的版本兼容校验机制，词元制品与基础模型版本不匹配时易出现语义识别错误，影响服务稳定性，为了解决这一技术问题，于是我们提供了一种基于词元定制的ai模型制品管理与服务系统。

技术实现思路

1、本发明的目的在于提供一种基于词元定制的ai模型制品管理与服务系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，提供了一种基于词元定制的ai模型制品管理与服务系统，包括：

3、词元增量制品管理单元设置于模型注册中心，将租户自定义的词元定制内容从全量模型中拆分，作为与基础模型制品解耦的词元定制增量制品单独存储，对注册的词元定制增量制品进行与基础模型的版本兼容性校验，输出校验通过并可挂载使用的词元定制增量制品；

4、基础模型常驻服务单元部署于图形处理器，仅单次加载通用基础模型实例，保留通用基础模型自带的原始词表与原始嵌入层，接收词元增量制品管理单元输出的校验结果，仅允许挂载校验通过的词元定制增量制品，为所有租户提供共享的基础推理能力；

5、请求级虚拟词表构建单元接收携带租户标识的用户推理请求，根据租户标识从词元增量制品管理单元拉取对应租户专属的词元定制增量制品，仅在当前请求的处理周期内临时拼接基础词表与租户专属词元，构建仅对当前请求生效的临时虚拟词表，输出当前请求专属的词表映射关系，不修改全局基础词表；

6、请求隔离推理单元基于基础分词器结合当前请求的临时虚拟词表完成文本分词，将租户自定义词元映射为当前请求内有效的局部标识，拼接基础模型原始嵌入向量与租户词元对应的嵌入向量完成模型前向计算，输出结果时将局部标识映射回对应词元字符串，当前请求处理完成后销毁对应临时虚拟词表，实现不同租户的自定义词元请求级隔离。

7、与现有技术相比，本发明的有益效果：

8、本发明通过将租户自定义词元内容从全量模型中拆分形成独立的kb/mb级词元增量制品，并与基础模型解耦存储，降低了词元定制制品的存储和传输成本，通过单份基础模型常驻图形处理器显存为所有租户提供共享推理服务，避免了多实例重复加载导致的显存浪费，单卡可支持数百租户的词元定制服务，硬件成本相比独立部署方案降低两个数量级，通过请求级临时虚拟词表机制，在单请求生命周期内动态拼接词表并实现词元隔离，不修改全局词表和基础模型权重，既避免了全局词表膨胀导致的性能下降，又解决了不同租户同形异义词的识别冲突问题，通过多层版本兼容性校验机制，从文件完整性、词元标识和嵌入空间多维度校验制品兼容性，避免版本不匹配导致的语义错误，实现了租户间数据的硬隔离，保障了租户自定义内容的安全性。

1.一种基于词元定制的ai模型制品管理与服务系统，其特征在于，包括：

2.根据权利要求1所述的一种基于词元定制的ai模型制品管理与服务系统，其特征在于：所述将租户自定义的词元定制内容从全量模型中拆分的具体步骤为：

3.根据权利要求2所述的一种基于词元定制的ai模型制品管理与服务系统，其特征在于：所述对注册的词元定制增量制品进行与基础模型的版本兼容性校验的具体步骤为：

4.根据权利要求3所述的一种基于词元定制的ai模型制品管理与服务系统，其特征在于：所述基础模型常驻服务单元的具体操作流程为：

5.根据权利要求4所述的一种基于词元定制的ai模型制品管理与服务系统，其特征在于：所述根据租户标识从词元增量制品管理单元拉取对应租户专属的词元定制增量制品的具体步骤为：

6.根据权利要求5所述的一种基于词元定制的ai模型制品管理与服务系统，其特征在于：所述临时拼接基础词表与租户专属词元的具体步骤为：

7.根据权利要求6所述的一种基于词元定制的ai模型制品管理与服务系统，其特征在于：所述构建仅对当前请求生效的临时虚拟词表的具体步骤为：

8.根据权利要求7所述的一种基于词元定制的ai模型制品管理与服务系统，其特征在于：所述基于基础分词器结合当前请求的临时虚拟词表完成文本分词的具体步骤为：

9.根据权利要求8所述的一种基于词元定制的ai模型制品管理与服务系统，其特征在于：所述将租户自定义词元映射为当前请求内有效的局部标识的具体步骤为：

10.根据权利要求9所述的一种基于词元定制的ai模型制品管理与服务系统，其特征在于：所述拼接基础模型原始嵌入向量与租户词元对应的嵌入向量完成模型前向计算，输出结果时将局部标识映射回对应词元字符串，当前请求处理完成后销毁对应临时虚拟词表的具体步骤为：