实现半导体应答系统的模型部署方法、设备及计算机程序产品与流程

摘要: 本技术涉及人工智能,尤其是涉及一种实现半导体应答系统的模型部署方法、设备及计算机程序产品。背景技术:1、半导体晶圆的制造过程包含大量工序,工序相关的参数通常由软...
实现半导体应答系统的模型部署方法、设备及计算机程序产品与流程

本技术涉及人工智能,尤其是涉及一种实现半导体应答系统的模型部署方法、设备及计算机程序产品。

背景技术:

1、半导体晶圆的制造过程包含大量工序,工序相关的参数通常由软件工程师预先配置到生产用的机台设备中,机台设备按照这些参数对晶圆进行处理。

2、相关技术中,经常出现机台设备的工序处理结果不满足要求的情况,目前常用解决方式是由生产现场的制造工程师向软件工程师传达问题及需求,软件工程师到达现场尝试现场解决,该方法耗时从分钟至数小时不等,且耗费大量人力,延缓了晶圆制造工序的进程。

技术实现思路

1、鉴于上述问题而提出了本技术。本技术提供了一种实现半导体应答系统的模型部署方法、设备及计算机程序产品。

2、根据本技术的第一个方面,提供了一种实现半导体应答系统的模型部署方法,包括:

3、获取用于训练基于自注意力机制架构的通用大语言模型的大数据训练集数据;

4、训练所述通用大语言模型并得到预训练模型文件;

5、从晶圆代工厂本地获取用于训练和部署本地模型的结构化数据和非结构化数据;

6、对所述结构化数据和所述非结构化数据,进行序列化处理,获得序列化数据;

7、在图检索增强数据库中采用分块策略对所述序列化数据进行处理得到分块数据集合,并对所述分块数据集合进行json数据结构化处理,获得json数据和json数据集合化后的训练集;其中,所述训练集用于训练、测试以及验证所述本地模型,所述json数据在所述图检索增强数据库中的索引值还保存在国产关系型数据库中,以便在所述本地模型的推理阶段通过所述国产关系型数据库中的所述索引值调用所述json数据;

8、采用所述训练集对所述本地模型进行自监督训练,在训练过程中调用所述预训练模型文件中的权重参数的对所述本地模型进行权重影响和加速计算,获得检索大语言模型;

9、将所述检索大语言模型部署至所述晶圆代工厂的本地数据中心服务器集群中。

10、根据本技术第一个方面所述的实现半导体应答系统的模型部署方法,对所述结构化数据和所述非结构化数据,进行序列化处理,获得序列化数据,包括:

11、调用实体抽取方法、语义标签抽取方法、二元关系抽取方法、多元关系抽取方法或时间抽取方法,整合所述结构化数据和所述非结构化数据,获得所述序列化数据。

12、根据本技术第一个方面所述的实现半导体应答系统的模型部署方法,所述本地模型包括卷积训练模块和递归推理模块,所述卷积训练模块和递归推理模块的每种模块均包括嵌入层、预归一化层、输入投影层、主路径卷积层、跳跃连接路径投影层、主路径激活层、跳跃连接激活层、门控、选择性扫描结构化状态空间模型、输出投影层、输出归一化层、线性层和softmax层;

13、其中,选择性扫描结构化状态空间模型采用以下算法实现:

14、连续信号化离散序列算法、局部依赖算法、长距离依赖算法、结构化掩码注意力机制、选择性扫描算法和对偶结构化状态空间算法。

15、根据本技术第一个方面所述的实现半导体应答系统的模型部署方法,采用所述训练集对所述本地模型进行自监督训练,包括:

16、采用所述嵌入层对所述训练集进行令牌化处理,获得二维矩阵参数,所述二维矩阵参数包括序列长度参数和配置通道参数;所述配置通道参数包括特征高和特征宽;所述配置通道参数的通道数量是预先配置的;

17、采用所述预归一化层对基于所述配置通道参数得到的内部通道参数进行时间步缩放并归一化处理,获得归一化二维矩阵;

18、采用所述输入投影层对所述归一化二维矩阵进行线性变换,获得投影二维矩阵;

19、采用所述主路径卷积层对所述投影二维矩阵沿时间维度逐通道卷积核进行一维卷积,获得卷积二维矩阵,所述卷积二维矩阵包括时间步参数和加权通道参数;

20、采用所述主路径激活层对所述卷积二维矩阵进行激活函数计算,获得第一激活二维矩阵;

21、采用所述跳跃连接激活层对所述投影二维矩阵进行激活函数计算,获得第二激活二维矩阵;

22、采用所述门控利用所述激活函数的计算特性,从所述第一激活二维矩阵和所述第二激活二维矩阵动态筛选门控激活二维矩阵;

23、采用所述选择性扫描结构化状态空间模型对门控激活二维矩阵进行卷积或递归的处理,获得状态二维矩阵;

24、采用输出投影层将所述状态二维矩阵进行卷积处理,获得当前时间步的二维矩阵;或,采用输出投影层将所述状态二维矩阵进行递归处理,获得所有时间步的二维矩阵;

25、采用所述输出归一化层将所述所有时间步的二维矩阵逐时间步进行均方根归一化计算,得到固定缩放分布的二维矩阵;

26、采用线性层通过线性变换将所述固定缩放分布的二维矩阵映射为一维向量,采用softmax层将所述一维向量映射为概率分布。

27、根据本技术第一个方面所述的实现半导体应答系统的模型部署方法,采用所述嵌入层对所述训练集进行令牌化处理,获得包括序列长度参数和通道参数的二维矩阵参数,包括:

28、通过所述嵌入层中的分词器对所述训练集进行令牌化处理,获得离散化的令牌索引序列;

29、将所述令牌索引序列转化为包括所述序列长度参数和配置通道参数的所述二维矩阵参数。

30、根据本技术第一个方面所述的实现半导体应答系统的模型部署方法,采用输入投影层对所述归一化二维矩阵进行线性变换,获得投影二维矩阵,包括:

31、获取所述本地模型预先配置的时间步、训练批次和训练世代;

32、根据所述时间步、所述训练批次和所述训练世代获得的动态维度参数和所述归一化二维矩阵进行乘积计算,获得所述投影二维矩阵。

33、根据本技术第一个方面所述的实现半导体应答系统的模型部署方法,采用所述主路径卷积层对所述投影二维矩阵沿时间维度逐通道卷积核进行一维卷积,获得卷积二维矩阵,包括:

34、采用所述主路径卷积层中预先配置的一维矩阵乘以所述投影二维矩阵,获得卷积二维矩阵;

35、对所述卷积二维矩阵沿时间维度逐通道实现加权双层求和,获得所述二维矩阵。

36、根据本技术第一个方面所述的实现半导体应答系统的模型部署方法,采用所述选择性扫描结构化状态空间模型对门控激活二维矩阵进行卷积或递归的处理,获得状态二维矩阵,包括:

37、采用连续信号化离散序列算法对所述门控激活二维矩阵进行离散化处理,获得连续性信号令牌序列和序列化状态空间模型;所述连续性信号令牌序列包括时间状态表示和步长信息;所述序列化状态空间模型包括状态输入方程、输出方程、初始化状态向量参数;

38、采用所述选择性扫描算法将所述状态输入方程、所述输出方程和所述初始化状态向量参数逐时间步动态计算,在所述卷积训练模块中使所述序列化状态空间模型获得连续性,在所述递归推理模块中所述序列化状态空间模型获得选择性;

39、在卷积训练模块中通过维度分割门控激活二维矩阵获得多头参数集合,所述多头参数集合中的每个头参数是门控激活二维矩阵的子集,每个头参数运行一个所述连续性的序列化状态空间模型,每个头参数是门控激活矩阵参数的子集,每个头参数运行一个序列化状态空间模型;通过结构化掩码注意力机制将所述连续性的序列化状态空间模型展开为卷积核,通过对偶结构化状态空间算法获得选择性扫描结构化状态空间模型,并行计算后合并多个头参数得到包含连续的所有时间步的合并得到所述状态二维矩阵;

40、在递归推理模块中通过第一线性变换算法将门控激活二维矩阵逐时间步映射到标量、状态维度参数,每个标量运行一个所述选择性的序列化状态空间模型;通过第二线性变换算法将多个标量映射得到状态二维矩阵。

41、根据本技术的第二个方面,提供了一种计算设备,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现第一个方面所述方法的步骤。

42、根据本技术的第三个方面,提供了一种计算机可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现第一个方面所述方法的步骤。

43、根据本技术的第四个方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现第一个方面所述方法的步骤。

44、如以下将详细描述的,根据本技术实施例的实现半导体应答系统的模型部署方法,通过对从晶圆代工厂本地获取结构化数据和非结构化数据进行序列化处理,获得序列化数据,对序列化数据进行处理得到训练集,采用训练集并借助预训练模型文件对本地模型进行自监督训练,获得检索大语言模型,将检索大语言模型部署至晶圆代工厂本地数据中心服务器集群中。在本地端的生产制造过程中,生产现场的制造工程师可以向本地数据中心部署的半导体应答系统寻求解决方案,相较于传统晶圆制造厂的非人工智能技术,减少了等待软件工程师、设备工程师、工艺工程师、厂商工程师等到达现场的时间,并且无需耗费大量人力物力。

45、要理解的是,前面的一般描述和下面的详细描述两者都是示例性的,并且意图在于提供要求保护的技术的进一步说明。