一种工业大模型分层动态推理加速方法、装置及设备

本发明涉及人工智能推理、工业互联网和计算机资源调度，尤其涉及一种工业大模型分层动态推理加速方法、装置及设备。

背景技术：

1、工业大模型可用于设备故障诊断、工艺参数分析、生产异常处置和安全风险识别等任务。不同任务在复杂度、时限、安全风险和资源消耗方面差异显著。

2、现有推理服务通常采用固定模型深度、量化精度和解码策略：简单任务会产生不必要计算，复杂或高风险任务又可能因计算不足而降低可靠性。

3、现有量化、剪枝、连续批处理、键值缓存、提前退出和投机解码等加速方法，未将工业状态、风险、工艺约束、控制时限和资源状态共同用于推理层级的动态确定；层级切换还可能带来状态重建开销，且工业规则校验通常与加速控制相互分离。

技术实现思路

1、要解决的技术问题：本发明的目的在于提供一种工业大模型分层动态推理加速方法、装置及设备，以解决现有技术中固定模型执行策略造成计算资源浪费、静态层级选择不能适应推理过程变化、模型切换需要重复计算、请求调度未考虑工业风险和截止时间，以及推理加速与工业规则验证相互分离的问题。

2、本发明的目的在于提供一种工业大模型分层动态推理加速方法、装置及设备，以解决现有技术中固定模型执行策略造成计算资源浪费、静态层级选择不能适应推理过程变化、模型切换需要重复计算、通用缓存复用不能反映工业状态版本变化、请求调度未同时考虑工业风险和截止时间，以及推理加速与工业规则验证相互分离的问题。

3、为实现上述目的，本发明提供一种工业大模型分层动态推理加速方法，由工业大模型推理服务系统执行，包括以下步骤：

4、s101、获取工业推理请求

5、获取工业推理请求以及与所述工业推理请求关联的工业上下文信息和计算资源状态。

6、所述工业推理请求至少包括输入数据、请求类型、目标输出类型和最大允许响应时长。

7、所述工业上下文信息至少包括设备标识、设备运行状态、工艺阶段、报警等级、数据敏感等级、安全风险等级和工业知识版本中的一种或多种。

8、所述计算资源状态至少包括图形处理器利用率、图形处理器存储器利用率、推理请求队列长度、边缘节点负载、网络往返时延和可用缓存容量中的一种或多种。

9、s102、构建请求特征向量

10、对所述工业推理请求进行分词、数据类型识别、模态识别、实体识别、设备关联和工业知识检索，构建请求特征向量:

11、

12、其中:

13、 表示输入长度和预测输出长度特征;

14、 表示任务类型特征;

15、 表示输入模态特征;

16、 表示知识检索命中率和知识新颖度特征;

17、 表示设备运行状态特征;

18、 表示安全风险和数据敏感特征;

19、 表示截止时间特征;

20、 表示计算资源和排队状态特征;

21、 表示历史缓存命中特征。

22、s103、计算推理决策参数

23、根据所述请求特征向量计算任务复杂度值  、工业风险值 、资源压力值 和截止时间余量  。

24、在一种实施方式中，任务复杂度值按照下式计算:

25、

26、其中，  为归一化函数，  为从请求特征向量中提取的复杂度相关子向量， 为复杂度权重，  为复杂度偏置。

27、工业风险值按照下式计算:

28、

29、其中，  为依据工业安全规则确定的风险值，  为风险相关子向量。

30、资源压力值按照下式计算:

31、

32、其中:

33、 为计算单元利用率;

34、 为存储器利用率;

35、 为归一化队列长度;

36、 为归一化网络时延;

37、 为缓存占用率;

38、 至  为权重，且权重之和为1。

39、截止时间余量按照下式计算:

40、

41、其中，  为最大允许响应时长，  为已经消耗的时间，  为预测剩余推理时间。

42、s104、确定初始推理层级

43、从缓存复用层、轻量推理层、标准推理层和高可靠推理层中确定初始推理层级；对于每一候选推理层级，结合设备状态版本、工业知识版本、工艺阶段、安全风险等级、工业约束校验条件和截止时间余量建立层级可执行条件。

44、缓存复用层记为l0，用于对非状态改变型请求复用历史推理结果或历史前缀状态；复用前需核验缓存项的设备状态版本、工业知识版本、有效期限和工业约束校验状态均满足预设条件。

45、轻量推理层记为l1，用于调用轻量工业模型，或者调用工业大模型的部分共享模型层和提前退出头，以低位量化精度完成低风险、非控制型推理。

46、标准推理层记为l2，用于调用工业大模型的标准模型深度，采用投机解码、混合精度计算和连续批处理完成需要常规工业约束校验的推理。

47、高可靠推理层记为l3，用于调用完整工业大模型，执行全部模型层、增强知识检索、至少一次结果验证以及工业约束校验；涉及安全联锁、状态改变或控制指令的结果在满足控制指令输出条件前不予下发。

48、对每一候选推理层级计算代价函数:

49、

50、其中:

51、 为层级  的预测时延；

52、 为预测能耗;

53、 为预测存储器占用;

54、 为预测计算成本；

55、 为违反精度约束、风险约束或截止时间约束时设置的惩罚项。

56、将满足风险约束、精度约束、截止时间约束和层级可执行条件且代价函数最小的推理层级确定为初始推理层级。

57、当工业风险值高于第一风险阈值时，禁止选择缓存复用层；当工业风险值高于第二风险阈值时，初始推理层级不得低于标准推理层；当工业风险值高于第三风险阈值时，初始推理层级确定为高可靠推理层。

58、s105、配置层级计算预算

59、根据所述初始推理层级配置计算预算，所述计算预算包括以下参数中的至少两项:

60、1. 模型层数;

61、2. 权重量化位宽;

62、3. 激活值量化位宽;

63、4. 草稿模型类型;

64、5. 投机标记长度;

65、6. 最大输出标记数;

66、7. 检索文档数量;

67、8. 验证模型数量;

68、9. 结果验证次数;

69、10. 批处理类别;

70、11. 推理执行节点;

71、12. 键值缓存容量。

72、对于轻量推理层，模型层数设置为第一模型深度  ; 对于标准推理层，模型层数设置为第二模型深度  ; 对于高可靠推理层，模型层数设置为完整模型深度  ，其中:

73、

74、s106、执行分层推理

75、根据确定的推理层级和计算预算，将工业推理请求发送至对应推理执行引擎。

76、推理执行引擎包括共享分词器、共享工业实体编码器、一个或多个共享前缀模型层、多个提前退出头、标准推理模型、验证模型和工业规则校验器。

77、对于采用投机解码的推理层级，使用草稿模型生成候选标记序列，并使用目标模型并行验证所述候选标记序列。

78、投机标记长度  根据最近预设数量解码窗口的候选标记接受率动态确定:

79、

80、其中，  为候选标记接受率，  为任务复杂度值，  为资源压力值。

81、s107、监测解码状态并计算层级调整分值

82、在生成每个解码窗口后，采集中间推理状态，并将所述中间推理状态输入具有升级阈值和降级阈值的层级状态机。

83、所述解码窗口包括一个或多个连续输出标记，所述中间推理状态至少包括:

84、输出概率熵  ;

85、第一候选标记与第二候选标记的概率间隔  ;

86、投机标记接受率  ;

87、检索证据一致性  ;

88、工业约束违例状态  ;

89、当前工业风险值  ;

90、当前截止时间余量  。

91、根据所述中间推理状态计算层级升级分值:

92、

93、其中，  至  为分值权重。

94、当层级升级分值大于升级阈值，或者工业约束违例状态表示存在高风险违例时，将当前推理层级升级至少一级；存在高风险违例时，忽略对当前解码窗口作出的降级判断。

95、当层级升级分值连续多个解码窗口低于降级阈值、工业风险值低于降级风险阈值、截止时间余量大于余量阈值，且当前已生成内容未包含待校验的控制指令时，在语义段边界处将当前推理层级降低一级。

96、所述升级阈值大于所述降级阈值，以构成具有滞回区间的层级状态机，避免推理层级频繁切换。

97、s108、迁移推理状态

98、当推理层级发生变化时，迁移当前推理状态，所述当前推理状态包括输入标记序列、已生成标记序列、检索证据索引、工业实体状态、共享模型层键值缓存和约束校验状态。

99、当升级前后的推理模型的分词器版本、模型嵌入层版本一致且共享至少部分模型层时，直接复用共享模型层对应的键值缓存和约束校验状态，仅计算新增模型层对应的键值状态。

100、当升级前后的推理模型不共享键值缓存数据结构时，将输入标记序列、已生成标记序列、检索证据索引和压缩语义状态发送至目标推理模型，由目标推理模型重建未共享的键值缓存。

101、所述压缩语义状态包括设备实体向量、工艺阶段向量、报警关系向量、检索证据向量和已生成文本摘要向量中的一种或多种。

102、s109、执行分级缓存管理

103、将推理缓存划分为热缓存、温缓存和冷缓存。

104、热缓存设置于推理加速器存储器中，用于存储当前执行请求、近期高频工业前缀和高优先级请求对应的键值缓存块。

105、温缓存设置于主存储器中，用于存储被暂时挂起的请求、低频工业前缀和可在预定时长内恢复的键值缓存块。

106、冷缓存设置于非易失性存储介质或分布式缓存中，用于存储历史结果、历史检索证据和可复用工业提示模板。

107、缓存标识至少包括模型版本、分词器版本、设备标识、设备状态版本、工业知识版本、提示前缀哈希值和工业约束校验状态。

108、当设备状态版本或工业知识版本发生变化时，将与旧版本关联的历史推理结果缓存项标记为不可直接复用，并在再次通过工业约束校验后方可更新为可复用状态。

109、s110、执行截止时间感知批调度

110、根据请求推理层级、执行图结构、输入长度、预测输出长度、截止时间、风险等级、缓存相似度和待执行的工业约束校验类型对请求进行分组。

111、对每一请求计算调度优先级:

112、

113、其中:

114、 为请求剩余截止时间;

115、 为风险等级;

116、 为缓存复用收益;

117、 为执行图兼容程度;

118、 为预计占用计算资源；

119、 为防止分母为零的正数。

120、将执行图相同、推理层级相同、待执行的工业约束校验类型相同且序列长度差异小于长度阈值的请求组成动态批次。

121、当高风险请求的预测完成时间超过其截止时间，或者高风险请求在推理过程中由低层级切换至高可靠推理层时，拆分当前批次，优先执行所述高风险请求。

122、s111、执行工业约束校验

123、对推理结果执行工业约束校验，所述工业约束包括以下至少一项:

124、1. 设备参数上下限约束;

125、2. 单位一致性约束;

126、3. 工艺物料平衡约束;

127、4. 能量守恒约束;

128、5. 设备状态机转换约束;

129、6. 安全联锁约束;

130、7. 操作权限约束;

131、8. 维修步骤顺序约束;

132、9. 工业知识证据一致性约束;

133、10. 禁止操作约束。

134、当推理结果未通过工业约束校验或者不满足控制指令输出条件时，执行下列操作中的至少一种：

135、提升推理层级;

136、增加知识检索数量;

137、调用验证模型;

138、重新生成推理结果;

139、返回安全拒答结果;

140、转交人工确认;

141、禁止向工业控制设备发送操作指令；

142、当推理结果通过工业约束校验且满足控制指令输出条件时，输出推理结果、推理层级、证据索引、置信度和约束校验结果。

143、装置方案：本发明还提供一种工业大模型分层动态推理加速装置，包括请求获取模块、层级可执行条件确定模块、层级确定与预算配置模块、缓存核验模块、分层推理与动态监测模块、层级状态机模块、状态迁移模块、缓存管理模块、批调度模块、约束校验模块和结果输出模块；各模块协同执行上述以工业状态版本和工业约束校验为闭环的分层推理方法。

144、设备方案：本发明还提供一种电子设备，包括处理器、推理加速器、用于存储热缓存的推理加速器存储器、用于存储温缓存的主存储器、用于存储冷缓存的非易失性存储介质、通信接口以及存储于所述存储器中并能够在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时，实现上述工业大模型分层动态推理加速方法。

145、有益效果：与固定使用完整工业大模型的方案相比，本发明根据任务复杂度、工业风险、截止时间、资源状态以及设备状态版本和工业知识版本分配计算预算；通过对缓存复用设置工业状态版本和工业约束校验状态的联合核验，减少因历史结果失效导致的重复推理或不安全复用。

146、本发明在解码过程中将输出不确定性、证据一致性、工业约束违例状态和截止时间余量输入具有滞回区间的层级状态机；高风险违例优先触发升级，并通过共享模型层键值缓存和约束校验状态降低层级切换时的重复计算；

147、本发明依据工业约束校验类型进行批调度，并将工业规则校验结果反馈至推理控制过程；在违反设备范围、工艺关系或安全联锁规则，或者不满足控制指令输出条件时触发升级、安全回退、人工确认或控制指令阻断，从而兼顾推理效率和工业安全性。