多模态意图识别的语义对齐系统的制作方法
本发明涉及意图识别，具体为多模态意图识别的语义对齐系统。
背景技术：
1、多模态意图识别的语义对齐系统通过排斥感知调度、混合粒度计算和多视角融合，动态对齐多模态语义以实现准确、高效、可解释的意图识别，在申请号为202511720428.8发明专利中公开了“一种增强的多模态数据语义对齐方法及系统，包括步骤：对输入的图像和文本数据进行预处理和特征提取，得到图像特征矩阵和文本特征矩阵，并进行矩阵内积运算，得到跨模态的初始相似度矩阵；将初始相似度矩阵视为图结构的邻接矩阵，计算度矩阵，构建拉普拉斯矩阵；根据初始相似度矩阵、拉普拉斯矩阵，迭代计算得到传播并增强了深层关联关系的最终相似度矩阵；将最终相似度矩阵与批次内已知图文匹配关系进行比较，计算对比学习损失值，反向传播以迭代更新特征提取网络的参数，实现对跨模态特征的深度语义对齐。本发明有效缓解了多模态图像和文本高维特征空间的稀疏性问题，显著提升了模型的对齐精度”；
2、上述现有技术解决了难以捕捉到跨模态样本之间深层次的、非直接的语义关联等问题，但是在使用过程中，由于现有方法缺乏对模态间语义排斥的有效处理机制，当文本、视觉、音频三种模态表达不一致时，系统无法判断这种不一致是由于某一模态数据质量低下导致的内因排斥，还是用户真实表达的语义矛盾导致的外因排斥，这种混淆会导致系统做出错误的意图判断。
技术实现思路
1、本发明的目的在于提供多模态意图识别的语义对齐系统，以解决上述背景技术中提出的问题。
2、为实现上述目的，本发明提供如下技术方案：多模态意图识别的语义对齐系统，包括：
3、模态数据分析单元，用于接收多模态数据后，对其进行预处理，并提取各模态数据中的多粒度特征，从而计算出对应的排斥系数；
4、质量分数推算单元，用于统计预处理前的各模态数据，分析出对应的质量分数，按照排斥系数和质量分数判定出不同模态数据的排斥类型；
5、第一轮次确定单元，用于设置调度器状态参数后，获取当前轮次的主导模态，确定主导模态的粗粒度特征后，计算出当前轮次的隐状态向量、置信度和权重向量；
6、第二轮次确定单元，用于当进入第二轮次后，获取上一轮次的权重向量，根据权重向量确定当前质量分数，并分析出当前轮次主导模态的所需粒度特征，利用主导模态的所需粒度特征计算出当前轮次的隐状态向量和置信度；
7、第三轮次确定单元，用于接收前两轮次的置信度，按照置信度变化值确定当前主导模态的所需粒度特征，并输出所有轮次的隐状态向量；
8、意图识别单元，用于将所有隐状态向量融合后输入至分类器中，从而得到意图类型和置信度。
9、优选的，所述模态数据分析单元包括特征提取模块和排斥系数计算模块；
10、所述特征提取模块接收多模态数据，对其进行标准化操作，得到预处理后的模态数据，其中，，分别表示预处理前后的文本模态数据，分别表示预处理前后的视频模态数据，分别表示预处理前后的音频模态数据，利用多粒度特征提取器对依次进行处理，得到对应的多粒度特征，其中表示的多粒度特征，表示的多粒度特征，表示的多粒度特征；
11、所述排斥系数计算模块提取中的粗粒度特征后，选择，分别计算与之间的相似系数，其中，，利用分析出的排斥系数，其中，依次选择，确定出的排斥系数。
12、优选的，所述质量分数推算单元包括文本质量评估模块、视频质量评估模块、音频质量评估模块和排斥类型判定模块；
13、所述文本质量评估模块统计预处理前文本模态数据的长度值、特殊字符数量和通顺度，利用计算出的长度评分，其中，表示最优长度阈值，通过和分析出字符比例，其中，根据推算出的质量分数，其中，表示最大通顺度，表示的权重系数；
14、所述视频质量评估模块确定预处理前视频模态数据的灰度图，分析出灰度图的拉普拉斯方差、像素亮度标准差、最大亮度值和最小亮度值后，根据计算出对比度评分，其中，通过确定亮度方差评分，其中，表示最优亮度方差，表示控制参数，利用和推算出的质量分数，其中，其中表示拉普拉斯方差最大值，表示的权重系数；
15、所述音频质量评估模块提取预处理前音频模态数据的信噪比以及语音帧的占比，根据和推算出的质量分数，其中，表示的权重系数；
16、所述排斥类型判定模块设置排斥阈值和质量阈值，选取预处理前后的文本模态数据分别对应的排斥系数和质量分数，若，则判定当前类型为无排斥，若且，则判定当前类型为内因排斥，若且，则判定当前类型为外因排斥，依次选取和，从而输出对应的排斥类型。
17、优选的，所述第一轮次确定单元包括初始化配置模块和排斥类型获取模块；
18、所述初始化配置模块设置调度器状态参数，其中状态参数包括当前轮次、最小轮次、最大轮次、当前轮次主导模态、置信度历史记录 和主导模态历史记录后，将状态参数中的当前轮次和主导模态分别进行初始化；
19、所述排斥类型获取模块获取当前轮次的主导模态以及对应的排斥类型后，若排斥类型为外因排斥，则确定主导模态所需的粒度特征为粗粒度和中粒度特征，若类型不为外因排斥，则确定所需的粒度特征为粗粒度特征。
20、优选的，所述第一轮次确定单元还包括结果输出模块、置信度解析模块和置信度比较模块；
21、所述结果输出模块提取主导模态所需的粒度特征和其他模态的粗粒度特征后，以主导模态的粗粒度特征作为查询向量，第个其他模态的粗粒度特征作为键和值，按照和计算出权重向量，其中，表示缩放因子，表示归一化指数函数，利用和分析出查询结果，其中，表示层归一化函数，重复操作直至解析出所有其他模态对应的查询结果，将其融合，得到当前轮次的输出结果；
22、所述置信度解析模块将隐状态向量初始化为零向量后，将其与当前轮次的输出结果进行联合分析，得出当前隐状态向量，其中，表示遗忘因子，通过解析出当前轮次的置信度，其中，表示权重矩阵，表示偏置向量，表示意图类别数；
23、所述置信度比较模块设置安全阈值后，若当前轮次大于等于状态参数中的最小轮次且置信度大于安全阈值时，则直接输出预测意图类型，反之则进入下一轮循环。
24、优选的，所述第二轮次确定单元包括类型调整模块、模态选择模块、结果整合模块、增益系数计算模块和增益系数比较模块；
25、所述类型调整模块当进入第二轮次后，获取上一轮次的权重向量和各模态特征的质量分数后，对其计算，得到第一轮次后的质量分数，分析各模态的粗粒度特征与当前隐状态向量之间的相似系数，按照相似系数推算出各模态的排斥系数，利用排斥系数和质量分数确定第一轮后各模态数据的排斥类型；
26、所述模态选择模块扫描所有模态，若存在类型为外因排斥的模态，则从中选取排斥系数最大值对应的模态作为第二轮主导模态，反之则判断第一轮置信度是否低于约束阈值，若低于约束阈值，则直接指定模态作为主导模态，若不低于约束阈值，则排除所有类型为内因排斥的模态，从余下的模态中按序选择主导模态；
27、所述结果整合模块获取第二轮主导模态以及对应的排斥类型后，分析出主导模态所需的粒度特征，利用主导模态和其他模态的粗粒度特征，计算出当前轮次中的权重向量和初次输出结果，若主导模态所需的粒度特征中存在中粒度特征，则结合当前权重向量，识别出其他模态的关键区域后，通过主导模态的中粒度特征计算出局部输出结果，将初次输出结果与局部输出结果进行整合，得到当前轮次的输出结果；
28、所述增益系数计算模块利用上一轮次的隐状态向量和当前轮次的输出结果更新当前隐状态向量，并通过该值计算出第二轮次的置信度，使用和分析出当前轮次的增益系数，其中，表示维度对齐的权重矩阵，表示维度对齐的偏置项；
29、所述增益系数比较模块若置信度大于等于标准阈值，则强制终止，输出预测意图类型，若增益系数小于饱和阈值，同时置信度小于标准阈值且大于安全阈值，则直接输出预测意图类型，反之则进入下一轮循环。
30、优选的，所述第三轮次确定单元包括变化值分析模块、粒度特征分析模块和状态向量更新模块；
31、所述变化值分析模块当进入第三轮次后，设置标准间隔阈值和标准总阈值，接收第一轮次和第二轮次的置信度以及初始值，利用和计算出间隔变化值和总变化值，其中，，若且，则判定为置信度无提升，反之则判定为置信度存在提升；
32、所述粒度特征分析模块选取前两轮尚未担任主导的剩余模态作为本轮主导模态，扫描该模态的排斥类型，统计当前资源剩余量以及任务复杂度，若该模态存在外因冲突、置信度无提升且资源剩余量大于预设值，同时任务复杂度大于0.8，则确定主导模态所需的粒度特征为粗粒度、中粒度和细粒度特征，当该模态存在外因冲突时，若置信度无提升、资源剩余量不大于预设值、任务复杂度不大于0.8之中至少有一个成立，则确定主导模态所需的粒度特征为粗粒度和中粒度特征，若该模态不存在外因冲突，则确定主导模态所需的粒度特征为粗粒度特征；
33、所述状态向量更新模块利用主导模态所需粒度特征和其他模态的粗粒度特征计算得到当前轮次的输出结果，根据第二轮次的隐状态向量确定当前轮次的隐状态向量、置信度和增益系数后，由于第三轮已达到最大轮次，将强制终止循环，并输出所有轮次的隐状态向量。
34、优选的，所述意图识别单元包括状态向量融合模块和解释文本生成模块；
35、所述状态向量融合模块接收所有轮次的隐状态向量后，将所有向量映射至统一维度，选取经过映射的第个隐状态向量，确定出的权重系数，其中，均表示可学习参数，依次选取所有隐状态向量后，得到对应的权重系数，利用权重系数将所有轮次的隐状态向量进行融合，得到最终隐状态向量，将其输入至分类器中，输出意图类型和置信度；
36、所述解释文本生成模块接收各轮权重向量、主导模态、排斥类型和置信度后，根据权重向量确定各轮贡献比例，利用排斥类型定位关键矛盾，通过置信度变化值追溯关键轮次，并采用自然语言模板生成对应的解释文本。
37、与现有技术相比，本发明的有益效果是：
38、1、本发明通过计算排斥系数与质量分数，能够精准区分因数据质量低导致的内因排斥和因真实语义矛盾导致的外因排斥，优先选择存在外因排斥的模态作为主导进行循环查询，让真正的矛盾点优先得到关注，同时根据排斥类型动态调整状态和权重，当检测到外因冲突时，利用新信息主导状态更新，实现权重向量重置，避免被早期错误理解误导，使得后续多视角融合解码中能够生成更准确的意图判断；
39、2、本发明提取多粒度特征后，按需进行调度，第一轮仅用粗粒度特征进行快速初步理解，在第二轮检测到外因排斥时，触发粒度特征的按需提取，这种机制避免了为所有模态计算全部粒度的冗余开销，同时根据系统负载调整粒度启用策略，确保高负载时保持响应速度，利用各轮注意力权重、主导模态变化和置信度演化轨迹，生成自然语言的可解释性报告，这种透明的决策过程使管理人员能够定位错误原因，用户也能理解系统判断依据，为人机协同决策提供信任基础。