基于跨模态数据融合的数控机床操作意图识别方法及系统与流程

技术特征：
1.一种基于跨模态数据融合的数控机床操作意图识别方法，其特征在于，所述方法包括：获取操作人员的音频数据以及操作人员在操作数控机床时所产生的传感数据，其中，所述传感数据包括握力方向矢量以及压力数据；分别对所述音频数据与所述传感数据进行编码处理，得到所述音频数据所对应的第一特征向量以及所述传感数据所对应的第二特征向量；将所述第一特征向量与所述第二特征向量共同输入至预设的意图识别模型中，输出操作意图信息，所述操作意图信息反映的是对数控机床的操作意图。2.根据权利要求1所述的基于跨模态数据融合的数控机床操作意图识别方法，其特征在于，所述获取操作人员的音频数据以及操作人员在操作数控机床时所产生的传感数据，包括：唤醒预设的语音交互功能，并基于预设的语音采集装置实时采集所述操作人员的所述音频数据；基于预设的传感器对操作人员对于数控机床操作手柄的握力方向矢量与压力数据进行采集，得到所述传感数据。3.根据权利要求2所述的基于跨模态数据融合的数控机床操作意图识别方法，其特征在于，所述基于预设的传感器对操作人员对于数控机床操作手柄的握力方向矢量与压力数据进行采集，得到所述传感数据，包括：基于所述传感器对操作人员手部握住数控机床操作手柄的握力位置进行获取，并基于所述握力位置，获取所述握力位置处的握力数据；基于所述握力数据分析出所述握力方向矢量与所述压力数据，所述压力数据反映的是操作人员手部对数控机床操作手柄的压力。4.根据权利要求1所述的基于跨模态数据融合的数控机床操作意图识别方法，其特征在于，所述分别对所述音频数据与所述传感数据进行编码处理，得到所述音频数据所对应的第一特征向量以及所述传感数据所对应的第二特征向量，包括：对所述音频数据进行分段处理，得到若干音频片段，并基于若干所述音频片段对所述音频数据进行去噪处理，得到待编码音频数据，所述待编码音频数据为若干所述音频片段组成；对所述待编码音频数据进行拼接，并进行编码处理，得到所述第一特征向量，所述第一特征向量用于反映所述待编码音频数据中的语音特征；对所述传感数据进行编码处理，得到所述第二特征向量数，所述第二特征向量用于反映所述传感数据的力学特征。5.根据权利要求4所述的基于跨模态数据融合的数控机床操作意图识别方法，其特征在于，所述基于若干所述音频片段对所述音频数据进行去噪处理，得到待编码音频数据，包括：获取每个音频片段的频率数据，获取存在频率数据高于第一预设频率或者存在频率数据低于第二预设频率的音频片段；获取频率数据高于第一预设频率或者频率数据低于第二预设频率的音频片段的时间信息，并将所述时间信息所对应的片段删除，得到所述待编码音频数据。
6.根据权利要求4所述的基于跨模态数据融合的数控机床操作意图识别方法，其特征在于，所述基于若干所述音频片段对所述音频数据进行去噪处理，得到待编码音频数据，包括：获取若干所述音频片段中无语音内容的音频片段，并将所述无语音内容的音频片段删除，得到所述待编码音频数据。7.根据权利要求1所述的基于跨模态数据融合的数控机床操作意图识别方法，其特征在于，所述将所述第一特征向量与所述第二特征向量共同输入至预设的意图识别模型中，输出操作意图信息，包括：将所述第一特征向量与所述第二特征向量共同输入至预设的意图识别模型中，其中，所述意图识别模型用于基于输入的所述第一特征向量与所述第二特征向量分别输出对应的典型操作词语与操作动作；基于所述意图识别模型，确定所述第一特征向量所对应的典型操作词语，并确定所述典型操作词语对应的类别信息；基于所述意图识别模型，确定所述第二特征向量所对应的操作动作；获取所述典型操作词语所对应的第一权重，以及所述操作动作所对应的第二权重；基于所述典型操作词语、所述操作动作、所述第一权重以及所述第二权重，输出操作意图的概率；若所述操作意图的概率超过预设概率，则将所述操作意图与所述类别信息进行匹配，若匹配成功，则将所述操作意图作为所述操作意图信息输出。8.一种基于跨模态数据融合的数控机床操作意图识别系统，其特征在于，所述系统包括：数据获取模块，用于获取操作人员的音频数据以及操作人员在操作数控机床时所产生的传感数据，其中，所述传感数据包括握力方向矢量以及压力数据；编码处理模块，用于分别对所述音频数据与所述传感数据进行编码处理，得到所述音频数据所对应的第一特征向量以及所述传感数据所对应的第二特征向量；意图分析模块，用于将所述第一特征向量与所述第二特征向量共同输入至预设的意图识别模型中，输出操作意图信息，所述操作意图信息反映的是对数控机床的操作意图。9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于跨模态数据融合的数控机床操作意图识别程序，所述处理器执行所述基于跨模态数据融合的数控机床操作意图识别程序时，实现如权利要求1-7任一项所述的基于跨模态数据融合的数控机床操作意图识别方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于跨模态数据融合的数控机床操作意图识别程序，所述基于跨模态数据融合的数控机床操作意图识别程序被处理器执行时，实现如权利要求1-7任一项所述的基于跨模态数据融合的数控机床操作意图识别方法的步骤。

技术总结
本发明公开了基于跨模态数据融合的数控机床操作意图识别方法与系统，方法包括：获取操作人员的音频数据以及操作人员在操作数控机床时所产生的传感数据，其中，传感数据包括握力方向矢量以及压力数据；分别对音频数据与传感数据进行编码处理，得到音频数据所对应的第一特征向量以及传感数据所对应的第二特征向量；将第一特征向量与第二特征向量共同输入至预设的意图识别模型中，输出操作意图信息，操作意图信息反映的是对数控机床的操作意图。本发明可在操作人员对数控机床进行操作时，采集传感数据和音频数据，然后基于传感数据和音频数据确定出操作意图信息，不但实现了对操作意图信息的识别，而且也方便操作人员对数据机床的操作。床的操作。床的操作。


技术研发人员：吴承科 杨之乐 谭勇 郭媛君 刘祥飞 胡天宇 谭家娟
受保护的技术使用者：中科航迈数控软件（深圳）有限公司
技术研发日：2022.10.31
技术公布日：2022/11/29