基于多模态强化学习的数控机床智能代码生成方法及系统与流程

摘要: 本发明涉及多模态人工智能,尤其涉及基于多模态强化学习的数控机床智能代码生成方法及系统。背景技术:1、现有数控机床编程主要依赖人工根据零件图纸编写g代码程序,这一...
基于多模态强化学习的数控机床智能代码生成方法及系统与流程

本发明涉及多模态人工智能,尤其涉及基于多模态强化学习的数控机床智能代码生成方法及系统。

背景技术:

1、现有数控机床编程主要依赖人工根据零件图纸编写g代码程序,这一过程不仅耗时长、效率低,而且高度依赖操作人员的经验水平,容易出现加工逻辑错误或代码不规范的情况,此外,传统方法通常难以将零件图中的几何特征、尺寸标注和空间关系与加工工序、刀具路径规划及g代码语法有效对应,导致生成的程序需要反复调试和修正,增加了生产成本和加工周期。

2、现有自动编程方法多依赖固定规则或简单模板匹配,缺乏对零件图复杂几何结构及加工语义的全面理解,难以应对多特征、多刀具和复杂加工路径的场景,同时,现有方法在跨模态信息融合方面能力有限,无法将零件图视觉信息与标注文本、尺寸参数及空间关系进行高精度对齐,也难以保证生成的数控代码在语法和逻辑上完全符合iso标准或机床厂商规范。

3、因此,如何实现从零件图输入到数控代码自动生成的闭环流程,同时保持几何特征解析精度、加工逻辑正确性及g代码规范性,是现有技术急需解决的问题,基于此,本领域亟需一种能够自动理解零件图特征、融合尺寸和空间信息,并生成符合加工规范的数控代码的智能方法,以提高数控编程效率、降低错误率,并适应复杂加工任务的需求。

技术实现思路

1、本发明提供了基于多模态强化学习的数控机床智能代码生成方法及系统。

2、基于多模态强化学习的数控机床智能代码生成方法,包括以下步骤:

3、获取待加工零件对应的零件图图像数据;

4、基于所述零件图图像数据执行格式解析、尺寸归一化及张量化处理;获取对应的零件图输入张量;

5、基于所述零件图输入张量输入加载有第一增量权重的多模态模型,通过视觉编码与跨模态语义映射获取对应的零件空间描述;

6、基于所述零件空间描述输入加载有第二增量权重的代码生成模型,通过上下文自回归推理获取对应的数控代码序列,输出适用于数控机床加工的目标g代码程序。

7、作为本方案的进一步技术方案,从本地存储、网络存储中读取预设格式的零件图图像文件,获取原始零件图图像数据;

8、对所述原始零件图图像数据执行格式解析,根据图像文件头信息识别图像格式,若为非标准格式则转换为标准位图格式,并校验图像完整性、分辨率及色彩模式,若为多页文档则提取包含零件主视图及尺寸标注的指定页。

9、作为本方案的进一步技术方案,对格式解析后的图像数据进行尺寸归一化,采用双线性插值方法,将图像统一缩放到预置的模型输入分辨率,其中宽度和高度分别归一化为w×h像素,并保持原始宽高比,不足部分以白色像素填充,归一化后的图像像素矩阵表示为:;其中,为原始零件图像像素矩阵,为归一化后的图像像素矩阵,为原始图像的宽度和高度,为输入要求的宽度和高度;

10、对尺寸归一化后的图像数据进行张量化处理,将像素值从[0,255]区间线性映射到[0,1]区间,按照要求的通道顺序即灰度排列,构建形状为(c, h, w)或(h, w, c)的张量,得到所述零件图输入张量。

11、作为本方案的进一步技术方案,加载预训练的多模态基座模型,并向其注入第一增量权重参数,所述第一增量权重以低秩矩阵形式叠加于基座模型的视觉编码器及跨模态注意力层,用于增强对零件图中几何轮廓、尺寸数值及位置关系的特征表达,注入增量权重后的模型权重表示为:;其中,为注入增量权重后的模型权重,为基座模型的原始权重矩阵,为第一增量权重矩阵。

12、作为本方案的进一步技术方案,将所述零件图输入张量送入加载有第一增量权重的多模态模型,首先由视觉编码器提取多尺度视觉特征,生成若干级特征图,其中每个特征图中的通道响应经第一增量权重调制后,强化对图纸中直线、圆弧和倒角几何结构以及尺寸标注文本区域的激活,经过增量权重调制后的特征图表示为:;其中,为第级视觉特征图,为经过增量权重调制后的特征图,为逐元素调制操作。

13、作为本方案的进一步技术方案,将视觉编码器输出的调制后特征图输入跨模态注意力层,跨模态注意力层结合第一增量权重对图文对齐能力进行增强,通过交叉注意力机制将视觉特征投影至文本嵌入空间,生成包含零件几何结构信息、尺寸标注数值及空间位置关系的中间语义表示,生成的中间语义表示为:

14、;其中,为文本嵌入空间向量,为交叉注意力函数,将视觉特征映射到文本语义空间,为生成的中间语义表示;

15、对所述中间语义表示进行结构化解码,输出所述零件空间描述,所述零件空间描述采用键值对列表或图结构的形式,明确记载各加工特征的类型、位置坐标、尺寸参数及其相互间的邻接或包含关系,零件空间描述表示为:;其中,为零件空间描述,为结构化解码函数。

16、作为本方案的进一步技术方案,加载自回归式的代码生成基座模型,并向其注入第二增量权重参数,所述第二增量权重以低秩矩阵形式叠加于基座模型的嵌入层、注意力层及输出头,用于增强加工语义中的工序逻辑、刀具路径规划及g代码语法规则到最终指令的映射生成能力,注入第二增量权重后的自回归式代码生成基座模型权重表示为:

17、;其中,为注入第二增量权重后的权重,为自回归式代码生成基座模型原始权重,为第二增量权重参数;

18、将所述零件空间描述作为上下文输入代码生成模型,首先对描述中的加工特征类型、位置坐标、尺寸参数及空间关系进行序列化编码,生成带有位置编码的输入令牌序列。

19、作为本方案的进一步技术方案,在加载有第二增量权重的模型内部,通过自回归推理逐个生成数控代码令牌:,其中,为生成的第个数控代码令牌,为自回归模型映射函数,为加载第二增量权重的模型参数,每一时间步基于已生成的令牌序列和输入上下文,预测下一个令牌的概率分布,其中第二增量权重对加工语义相关的令牌的生成概率进行高阶调制,以优先输出符合加工规范且与零件几何结构匹配的代码指令。

20、作为本方案的进一步技术方案,直至生成结束令牌,将生成的令牌序列解码为符合iso标准的g代码文本行,组合成完整的数控代码程序;

21、对所述数控代码程序进行语法校验和逻辑校验,校验通过后输出为目标g代码程序,所述目标g代码程序包含刀具运动指令、辅助功能指令、坐标设定指令以及循环指令,可直接导入数控机床进行零件加工。

22、基于多模态强化学习的数控机床智能代码生成系统,包括以下模块:

23、零件图处理模块,用于获取待加工零件对应的零件图图像数据,并对所述零件图图像数据执行格式解析、尺寸归一化及张量化处理,生成对应的零件图输入张量;

24、零件空间理解模块,用于将所述零件图输入张量输入加载有第一增量权重的多模态模型,通过视觉编码和跨模态语义映射获取零件空间描述,其中所述第一增量权重用于增强零件图中几何结构、尺寸标注及空间关系的语义解析能力;

25、数控代码生成模块,用于将所述零件空间描述作为上下文输入加载有第二增量权重的自回归代码生成模型,通过逐步自回归推理生成数控代码序列,并输出目标g代码程序,其中所述第二增量权重用于增强加工语义与数控代码之间的映射生成能力。

26、本发明的有益效果:

27、本发明,通过多模态基座模型结合第一增量权重,实现零件图像与尺寸标注文本的高精度对齐,将几何结构、尺寸参数及空间关系编码为结构化零件空间描述,突破了传统仅依赖规则或模板的局限,实现了对零件图复杂特征的自动理解和语义化表达,为后续数控代码生成提供准确上下文。

28、本发明,利用自回归式代码生成基座模型加载第二增量权重,在零件空间描述的上下文指导下逐步生成符合iso标准或机床厂商规范的数控代码,第二增量权重增强了模型对工序逻辑、刀具路径规划及g代码语法规则的映射能力,使生成的数控程序既精确对应零件几何特征,又具备加工逻辑正确性和语法规范性,显著提高自动化编程效率。