基于空间语义聚焦解析的生产作业行为分析方法及系统与流程

本发明属于生产作业监测，具体涉及一种基于空间语义聚焦解析的生产作业行为分析方法及系统。

背景技术：

1、近年来，人工智能技术快速发展，其中视觉语言大模型技术的进步尤为突出。凭借其可以依据任务提示词文本对图像与视频内容进行精准语义理解的能力，视觉语言大模型已在生产作业行为分析领域中引发了广泛关注。然而，现有的生产作业行为分析方法，无论是基于yolo等传统目标检测模型，还是通用的视觉语言大模型，均存在一定局限：传统目标检测模型仅能识别预设的简单行为类别，缺乏对图像中物体间关系等潜在语义信息的建模能力，难以准确理解复杂行为；而通用视觉语言大模型虽能较好地捕捉图像的全局语义信息，即整体的场景理解，但在对特定物体或局部区域的细节感知与语义解析方面仍存在不足，易产生误报。

技术实现思路

1、本发明目的在于提供一种基于空间语义聚焦解析的生产作业行为分析方法及系统，以解决现有生产作业行为分析方法容易出现误报的问题。

2、一方面，本发明提供一种基于空间语义聚焦解析的生产作业行为分析方法，包括：

3、获取生产作业场景的视觉数据；

4、将所述视觉数据输入第一级空间感知网络，通过所述第一级空间感知网络对所述视觉数据执行目标空间定位与动态显著性建模，输出目标的语义化空间锚点以及所述语义化空间锚点所指示区域内的动态显著性图；

5、基于所述动态显著性图，对所述视觉数据中与所述语义化空间锚点对应的区域执行非均匀空间重采样，提取区域语义聚焦特征；

6、将所述区域语义聚焦特征与任务语义提示共同输入第二级跨模态语义解码网络，通过所述第二级跨模态语义解码网络以自回归方式生成结构化推理链并输出；其中，所述结构化推理链包含事实观察层、语义要素层、规则比对层和综合结论层。

7、进一步地，所述第一级空间感知网络包含预处理模块、空间定位模块与显著性生成模块；

8、所述预处理模块，用于对所述视觉数据进行尺寸缩放、像素归一化与像素标准化，获取预处理之后的视觉数据；

9、所述空间定位模块，用于提取预处理之后的视觉数据的多尺度特征并执行目标空间定位，输出语义化空间锚点；

10、所述显著性生成模块，用于对所述语义化空间锚点所指示区域内的每一个空间位置计算显著性值，生成所述动态显著性图。

11、进一步地，所述显著性生成模块包括显著性预测头，所述显著性预测头由三个卷积层堆叠构成；

12、提取预处理之后的视觉数据的多尺度特征并执行目标空间定位，输出语义化空间锚点，包括：

13、将所述语义化空间锚点的归一化坐标映射至所述空间定位模块输出的融合特征图的空间维度上，从所述融合特征图中裁剪出区域特征，将所述区域特征输入所述显著性预测头；

14、通过所述显著性预测头的输出经s型激活函数映射后，得到初始显著性图；

15、将所述初始显著性图通过双线性插值上采样至统一空间分辨率，得到所述动态显著性图。

16、进一步地，基于所述动态显著性图，对所述视觉数据中与所述语义化空间锚点对应的区域执行非均匀空间重采样，包括：

17、将所述动态显著性图转换为二维概率密度函数，使得所有空间位置上的概率值之和为1；

18、基于所述二维概率密度函数采用重要性采样算法生成非均匀分布的空间采样点集；

19、对每个所述空间采样点，从区域特征图中通过双线性插值提取对应的采样点特征，得到采样点特征矩阵。

20、进一步地，提取区域语义聚焦特征，包括：

21、将所述采样点特征矩阵输入采样点特征聚合网络，所述采样点特征聚合网络包含多头自注意力层与前馈网络；

22、通过所述多头自注意力层将所述采样点特征矩阵的特征空间划分为若干个注意力头，通过所述若干个注意力头对所述采样点特征矩阵执行全局上下文建模；

23、通过所述前馈网络对所述多头自注意力层的输出执行特征变换；

24、对经过所述多头自注意力层和所述前馈网络处理后的特征沿采样点维度执行平均池化，得到所述区域语义聚焦特征。

25、进一步地，将所述区域语义聚焦特征与任务语义提示共同输入第二级跨模态语义解码网络，包括：

26、将所述区域语义聚焦特征输入投影器，通过所述投影器将所述区域语义聚焦特征映射为图像令牌嵌入向量；

27、将所述任务语义提示输入所述第二级跨模态语义解码网络的分词器，通过所述分词器将所述任务语义提示处理为文本令牌序列；

28、将所述图像令牌嵌入向量与所述文本令牌序列沿序列维度拼接，并对拼接后的序列施加位置编码，得到多模态输入序列；

29、将所述多模态输入序列输入所述第二级跨模态语义解码网络。

30、进一步地，通过所述第二级跨模态语义解码网络以自回归方式生成结构化推理链并输出，包括：

31、通过所述第二级跨模态语义解码网络对多模态输入序列执行多层transformer解码器堆叠处理，得到最终隐状态；

32、以所述最终隐状态中序列最后一个位置的隐状态向量作为起始解码特征，通过线性输出层映射至词表空间，以自回归方式逐令牌预测生成文本；

33、当预测的令牌为结束标记或生成长度达到预设最大长度时停止生成；所生成的文本包含按照所述事实观察层、所述语义要素层、所述规则比对层和所述综合结论层排列的结构化推理链。

34、进一步地，还包括：

35、通过基于正则表达式的规则解析器对所述结构化推理链进行结构化解析，分别提取所述事实观察层的事实观察列表、所述语义要素层的语义要素列表、所述规则比对层的规则比对列表及每条规则的状态标签、所述综合结论层的结论标签和违规类型列表，得到解析结果；

36、在所述多层transformer解码器的交叉注意力计算中，记录文本令牌对图像令牌的注意力权重，将所述注意力权重分解至各空间采样点，取注意力权重最高的10个空间采样点映射回原始图像空间中的像素坐标，作为所述结构化推理链中对应令牌的证据锚点；

37、将所述解析结果与所述证据锚点联合输出为结构化分析报告。

38、进一步地，所述第二级跨模态语义解码网络经过三阶段递进式预训练：

39、第一阶段冻结图像编码器与所述第二级跨模态语义解码网络中的大语言模型的全部参数，仅训练投影器；

40、第二阶段保持所述图像编码器冻结，训练所述投影器与所述第二级跨模态语义解码网络中的大语言模型的全部参数；

41、第三阶段解冻全部参数，对所述图像编码器、所述投影器与所述第二级跨模态语义解码网络中的大语言模型进行端到端联合优化；

42、在所述三阶段递进式预训练之后，冻结所述图像编码器与所述投影器的全部参数，仅对所述第二级跨模态语义解码网络中的大语言模型的注意力层施加低秩自适应增量更新，在生产作业行为数据集上进行微调。

43、另一方面本发明提供一种基于空间语义聚焦解析的生产作业行为分析系统，包括：

44、视觉数据采集模块，用于获取生产作业场景的视觉数据；

45、数据初始感知模块，用于将所述视觉数据输入第一级空间感知网络，通过所述第一级空间感知网络对所述视觉数据执行目标空间定位与动态显著性建模，输出目标的语义化空间锚点以及所述语义化空间锚点所指示区域内的动态显著性图；

46、区域语义聚焦模块，用于基于所述动态显著性图，对所述视觉数据中与所述语义化空间锚点对应的区域执行非均匀空间重采样，提取区域语义聚焦特征；

47、行为分析推理模块，用于将所述区域语义聚焦特征与任务语义提示共同输入第二级跨模态语义解码网络，通过所述第二级跨模态语义解码网络以自回归方式生成结构化推理链并输出；其中，所述结构化推理链包含事实观察层、语义要素层、规则比对层和综合结论层。

48、本发明的有益效果如下：

49、本发明提供了一种基于空间语义聚焦解析的生产作业行为分析方法及系统，包括：获取生产作业场景的视觉数据；将视觉数据输入第一级空间感知网络，输出目标的语义化空间锚点及该锚点区域内的动态显著性图；基于动态显著性图对视觉数据中与空间锚点对应的区域执行非均匀空间重采样，提取区域语义聚焦特征；将区域语义聚焦特征与任务语义提示共同输入第二级跨模态语义解码网络，生成并输出包含事实观察层、语义要素层、规则比对层和综合结论层的结构化推理链，具有感知精准、聚焦高效和推理可解释的优点。