一种基于安全生产专属数据集的垂直领域大语言模型的构建方法与流程

本发明涉及垂直领域大语言模型构建，具体为一种基于安全生产专属数据集的垂直领域大语言模型的构建方法。

背景技术：

1、当前通用大语言模型在安全生产垂直领域的应用存在明显局限性。通用模型未针对安全生产场景进行专项适配，缺乏对生产现场动态环境状态的实时感知能力，生成的操作指令常与实际环境状态脱节，无法直接用于现场安全作业指导。

2、现有面向安全生产的垂直模型多以静态规程文本为核心训练数据，训练过程未引入环境状态转移的因果约束机制，当现场环境条件发生扰动变化时，模型生成内容的安全合规性会出现显著下降。

3、同时，现有模型的偏好对齐阶段多依赖人工标注的文本偏好数据，缺少基于状态机可达性的量化安全约束，无法从生成源头主动规避可能引发事故的危险操作路径，整体安全可靠性难以满足安全生产场景的严苛要求。

4、因此，针对上述问题提出一种基于安全生产专属数据集的垂直领域大语言模型的构建方法。

技术实现思路

1、本发明的目的在于提供一种基于安全生产专属数据集的垂直领域大语言模型的构建方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于安全生产专属数据集的垂直领域大语言模型的构建方法，包括以下步骤：

4、s1：获取安全生产环境的静态规程文本与动态环境状态机转移序列，基于动态环境状态机转移序列进行因果干预，生成改变环境前置条件的反事实状态转移序列，将静态规程文本、真实的动态环境状态机转移序列以及反事实状态转移序列进行对齐，构建包含安全操作正样本与引发环境冲突负样本的因果干预安全生产专属数据集；

5、s2：构建包含transformer层与状态感知交叉注意力层交替堆叠的基座模型，状态感知交叉注意力层以静态规程文本的token嵌入作为查询向量，以动态环境状态机转移序列的状态转移矩阵作为键向量和值向量，用于在文本自回归生成过程中动态计算文本指令与环境状态的耦合注意力权重；

6、s3：利用因果干预安全生产专属数据集对基座模型进行训练，在训练过程中引入反事实安全对比损失函数，通过状态感知交叉注意力层分别提取真实环境下的第一隐状态表示与反事实环境下的第二隐状态表示，计算第一隐状态表示与第二隐状态表示之间的因果解耦散度，强制基座模型学习独立于环境扰动的安全操作本质特征；

7、s4：基于动态环境状态机有向图的危险状态节点构建偏好数据集，采用融合状态机可达性惩罚项的直接偏好优化算法对训练后的基座模型进行对齐；状态机可达性惩罚项的触发条件为：将模型生成的候选指令序列映射为动态环境状态机的状态转移路径，若状态转移路径通过可达性分析触及危险状态节点，则动态增大候选指令序列的负对数似然权重，得到垂直领域大语言模型。

8、由上述本发明提供的技术方案可以看出，本发明提供的一种基于安全生产专属数据集的垂直领域大语言模型的构建方法，有益效果是：

9、构建包含安全操作正样本与环境冲突负样本的因果干预安全生产专属数据集，通过反事实状态转移序列提供对偶监督信号，为模型的因果鲁棒性训练提供高质量的数据基础；

10、采用transformer层与状态感知交叉注意力层交替堆叠的基座模型架构，可在文本自回归生成过程中动态计算文本指令与环境状态的耦合注意力权重，实现指令生成与环境状态转移的同步约束；

11、训练阶段引入反事实安全对比损失函数，结合因果解耦散度强制分离规程语义与环境状态特征，促使模型学习独立于环境扰动的安全操作本质规律，有效提升复杂扰动环境下的生成稳定性；

12、对齐阶段采用融合状态机可达性惩罚项的直接偏好优化算法，可根据路径危险程度动态调整负对数似然权重，主动抑制高风险生成路径，从源头降低生成指令引发安全事故的概率。

1.一种基于安全生产专属数据集的垂直领域大语言模型的构建方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于安全生产专属数据集的垂直领域大语言模型的构建方法，其特征在于：获取安全生产环境的静态规程文本与动态环境状态机转移序列，基于动态环境状态机转移序列进行因果干预，生成改变环境前置条件的反事实状态转移序列；具体包括：

3.根据权利要求2所述的基于安全生产专属数据集的垂直领域大语言模型的构建方法，其特征在于：将静态规程文本、真实的动态环境状态机转移序列以及反事实状态转移序列进行对齐，构建包含安全操作正样本与引发环境冲突负样本的因果干预安全生产专属数据集；具体包括：

4.根据权利要求1所述的基于安全生产专属数据集的垂直领域大语言模型的构建方法，其特征在于：构建包含transformer层与状态感知交叉注意力层交替堆叠的基座模型；具体包括：

5.根据权利要求4所述的基于安全生产专属数据集的垂直领域大语言模型的构建方法，其特征在于：状态感知交叉注意力层以静态规程文本的token嵌入作为查询向量，以动态环境状态机转移序列的状态转移矩阵作为键向量和值向量，用于在文本自回归生成过程中动态计算文本指令与环境状态的耦合注意力权重；具体包括：

6.根据权利要求1所述的基于安全生产专属数据集的垂直领域大语言模型的构建方法，其特征在于：利用因果干预安全生产专属数据集对基座模型进行训练，在训练过程中引入反事实安全对比损失函数；具体包括：

7.根据权利要求6所述的基于安全生产专属数据集的垂直领域大语言模型的构建方法，其特征在于：通过状态感知交叉注意力层分别提取真实环境下的第一隐状态表示与反事实环境下的第二隐状态表示，计算第一隐状态表示与第二隐状态表示之间的因果解耦散度，强制基座模型学习独立于环境扰动的安全操作本质特征；具体包括：

8.根据权利要求1所述的基于安全生产专属数据集的垂直领域大语言模型的构建方法，其特征在于：基于动态环境状态机有向图的危险状态节点构建偏好数据集，采用融合状态机可达性惩罚项的直接偏好优化算法对训练后的基座模型进行对齐；具体包括：

9.根据权利要求8所述的基于安全生产专属数据集的垂直领域大语言模型的构建方法，其特征在于：状态机可达性惩罚项的触发条件为：将模型生成的候选指令序列映射为动态环境状态机的状态转移路径，若状态转移路径通过可达性分析触及危险状态节点，则动态增大候选指令序列的负对数似然权重，得到垂直领域大语言模型；具体包括：