一种语音视觉融合方法及系统与流程
本发明属于工业缺陷检测,特别是涉及一种语音视觉融合方法及系统。
背景技术:
1、随着制造业智能化升级的深入推进,基于人机协作的工业零件视觉质检在精密制造领域得到广泛应用。在轴承、齿轮等精密零件的最终质检环节,质检员通常手持高倍工业相机对零件表面进行扫描,并同步口述观察到的微观缺陷类型与尺寸,由系统通过语音识别引擎自动将口述内容转换为文本,生成结构化质检报告;为了提高语音识别的准确率,现有技术方案通常采用基于深度学习的语音视觉融合方法,通过引入同步采集的零件显微图像作为辅助模态,对语音识别结果进行内容层面的验证与纠错。
2、但上述方法在工业车间强脉冲噪声场景下面临严重的性能衰退。车间内冲压、打磨等设备产生的突发性脉冲噪声,声压级高且频谱与语音高度重叠;现有串行融合模式中,语音识别引擎先独立解码生成候选文本,再由视觉模块校验。当脉冲噪声覆盖缺陷关键音节时,引擎可能产生高置信度的错误识别结果,后续视觉模块因接收到的文本已偏离真实口述,难以有效回溯修正,导致错误直接进入质检记录;这种先听后看的模式存在不可逆的错误累积问题,缺乏在语义生成前对语音信号结构完整性进行判定的能力;因此,我们提出一种语音视觉融合方法及系统。
技术实现思路
1、为解决上述技术问题,本发明是通过以下技术方案实现的:
2、本发明为一种语音视觉融合方法,包括以下步骤:
3、步骤s1:同步采集质检员口述缺陷的语音信号与当前检测区域的工业显微图像,并对所述工业显微图像进行预处理;
4、步骤s2:对所述语音信号进行分帧与频谱特征提取,基于滑动窗口内的频谱向量序列构建高维特征点云,生成表征语音拓扑结构演化的持续性图序列;
5、步骤s3:选取与当前语音滑动窗口时间中点同步的工业显微图像,提取具有尺度与旋转不变性的关键点及其描述子向量,基于所述描述子向量构建图像局部拓扑特征流形,生成表征当前视场微观纹理拓扑结构的持续性图;
6、步骤s4:基于稳定质检工况下语音频谱拓扑与图像纹理拓扑存在统计对应关系的特性,计算所述语音持续性图与所述图像持续性图之间的拓扑结构差异度量值,所述拓扑结构差异度量值表征语音拓扑分布相对图像拓扑分布的相关性偏离程度;所述拓扑结构差异度量值由当前语音信号的谐波噪声比和实时环境噪声声压级动态调节的敏感度权重加权得出,并将所述拓扑结构差异度量值作为拓扑异常感知信号;同时根据拓扑结构差异的空间分布生成拓扑异常图,所述拓扑异常图用于指示图像中与语音拓扑结构不一致的区域;
7、步骤s5:当所述拓扑异常感知信号小于预设阈值时,直接采纳语音识别引擎输出的候选文本序列作为缺陷描述;当所述拓扑异常感知信号大于或等于预设阈值时,屏蔽所述语音识别引擎的输出,激活视觉复核机制,由图像描述生成网络根据所述工业显微图像和拓扑异常图生成缺陷描述文本。
8、进一步地,所述步骤s1包括以下步骤:
9、步骤s11:通过固定于质检工位的麦克风阵列,以预设采样率持续采集质检员口述缺陷时的单通道语音信号,所述预设采样率不低于8khz;
10、步骤s12:通过与所述麦克风阵列保持硬件时钟同步的工业显微相机,以预设帧率连续拍摄轴承滚道表面图像,所述预设帧率在每秒15帧至每秒60帧之间;
11、步骤s13:对每一帧图像进行自动白平衡和直方图均衡化处理,以消除车间内荧光灯频闪造成的亮度波动;对所述语音信号通过一个截止频率在50hz至120hz范围内的高通滤波器去除低频机构振动干扰。
12、进一步地,所述步骤s2中包括以下步骤:
13、步骤s21:采用长度在20ms至40ms之间的分析窗口,以5ms至15ms的帧移对持续流入的语音信号进行分帧,计算每一帧信号的短时傅里叶变换得到线性频谱,再将所述线性频谱通过一组梅尔滤波器组滤波,得到多维梅尔频谱向量,所述梅尔滤波器组的数量在40至128之间;
14、步骤s22:采用滑动窗口覆盖连续多帧,所述连续多帧对应一个预设时长的上下文,将窗口内所述多维梅尔频谱向量构成的点集视作高维空间中的点云;
15、步骤s23:对梅尔频谱向量先进行主成分分析降维至10维以内,再采用稀疏vietoris-rips复形近似构建方法生成持续性图,给定距离阈值,当任意两点间欧氏距离满足时在两点间连边,当三个点两两相连则构成三角形,以此类推生成单纯复形;范围从0增至点云直径,记录复形拓扑特征的诞生与消亡信息,生成第个窗口的0维持续性图与1维持续性图,持续生成的持续性图序列构成描述语音拓扑结构演化的流形;将0维与1维持续性图按预设权重融合,得到统一的语音持续性图用于后续拓扑差异度量。
16、进一步地,所述步骤s3中包括以下步骤:
17、步骤s31:对相机采集到的当前帧图像,使用尺度不变特征变换算法提取具有尺度与旋转不变性的关键点,每个关键点由128维描述子向量表征;
18、步骤s32:仅保留图像中心预设比例区域内的关键点,所述预设比例范围为中心区域的30%至70%,对应于显微相机聚焦的滚道核心检测区,避免全局背景干扰;
19、步骤s33:对128维描述子向量进行降维处理后,采用近似持续同调算法计算持续性图,采用与步骤s23相同的vietoris-rips复形构建框架,计算第帧图像关键点云的0维持续性图与1维持续性图,视觉场景切换速度慢于语音帧率且图像内容在单帧内已包含足够局部结构信息,故每一帧生成独立拓扑快照,所述持续性图表征当前视场下缺陷区域微观纹理的固有拓扑结构。
20、步骤s34:将保留的128维描述子向量构成的点云视为局部拓扑空间内的点云,采用与步骤s23相同的vietoris-rips复形构建框架,计算第帧图像关键点云的0维持续性图与1维持续性图;所述第帧图像为与当前语音滑动窗口时间中点保持硬件时钟同步的图像帧;将0维与1维持续性图按预设权重融合,得到统一的图像持续性图用于后续拓扑差异度量;视觉场景切换速度慢于语音帧率且图像内容在单帧内已包含足够局部结构信息,故每一帧生成独立拓扑快照,所述持续性图表征当前视场下缺陷区域微观纹理的固有拓扑结构。
21、进一步地,所述步骤s4中,拓扑结构差异度量值的计算方式为:
22、取融合后统一的当前语音窗口持续性图与融合后统一的对应当前图像帧的持续性图,中包含个持续性点,中包含个持续性点,每个持续性点以诞生尺度为横坐标、消亡尺度为纵坐标映射至诞生-消亡二维平面;在语义内容层面之前,于拓扑结构层面捕捉因工业脉冲噪声导致的语音特征恶性畸变,以wasserstein距离为基础,以两点在诞生-消亡二维平面上的欧氏距离作为匹配代价函数,以每个持续性点仅参与一次匹配为约束条件,采用线性规划方法求解得到最优传输匹配关系,确定两个持续性图中点的对应关系;计算所有匹配点对的持续性值之差的绝对值的加权和,作为拓扑结构差异度量值,的大小直接反映语音频谱拓扑相对图像纹理拓扑的统计相关性偏离程度,数值越大表明语音信号受噪声污染越严重、稳定工况下的拓扑统计对应关系被破坏的程度越高;计算公式如下:
23、
24、式中,表示中第个点的持续性值,为该拓扑特征的消亡尺度,为该拓扑特征的诞生尺度,即该拓扑特征从诞生到消亡的寿命;表示在中经由最优传输匹配与中第个点相对应的点的持续性值;为作用于第对匹配点的敏感度调节权重。
25、进一步地,所述敏感度调节权重由当前语音信号的谐波噪声比和实时采集的环境噪声声压级动态联合确定,使得拓扑差异度量对工业现场剧烈变化的噪声环境具有自适应敏感性,降低或升高均会推高,从而放大噪声污染时刻的拓扑差异计算值;通过以下公式计算:
26、
27、式中,为sigmoid函数,将输入映射到(0,1)区间,当环境越嘈杂时值越接近1,使拓扑差异度量对微小畸变更为敏感;和是预先通过少量标准样本训练得到的缩放因子,用于平衡谐波噪声比和环境噪声声压级两个声学参量的影响量级,其中为正数,确保hnr降低时输入增大、权重升高。
28、进一步地,所述步骤s5中包括以下步骤:
29、步骤s51:将所述语音信号同步送入基于连接时序分类的语音识别引擎,获得候选文本序列及置信度得分,结合拓扑异常感知信号与语音识别置信度共同决策,当拓扑异常且置信度低于阈值时,触发视觉复核;
30、步骤s52:预设拓扑异常阈值与语音置信度阈值pth,所述阈值根据洁净环境下质检员口述标准样本的拓扑结构差异度量值统计分布确定,使得所述阈值能够区分语音信号正常波动与由噪声导致的恶性拓扑畸变;
31、步骤s53:当实时计算得到的拓扑结构差异度量值且语音识别置信度≥pth时,判定语音特征流形与当前图像纹理流形的拓扑结构一致,语音信号未发生影响结构的恶性畸变,直接采纳所述候选文本序列作为当前检测点的缺陷描述,存入质检报告;
32、步骤s54:当实时计算得到的拓扑结构差异度量值或语音识别置信度pth时,判定当前时刻语音信号受到严重噪声污染,语音流形结构已与视觉场景失配,屏蔽所述语音识别引擎的输出,激活预训练的图像描述生成网络,所述图像描述生成网络以当前显微图像和拓扑异常图作为联合输入,生成视觉驱动的缺陷描述文本。
33、进一步地,所述步骤s54中拓扑异常图的生成方式为:计算每个关键点对应的持续性点在最优传输匹配中的持续性值偏差与空间匹配距离的加权和,作为该点的局部持续性贡献值;根据关键点的像素坐标,将贡献值插值投影到整幅图像,得到拓扑异常热力图,所述热力图高亮显示图像中与语音拓扑结构最不一致的区域,所述图像描述生成网络聚焦于所述高亮区域进行文本生成。
34、一种语音视觉融合系统,包括多模态采集与处理模块、语音拓扑流形构建模块、图像拓扑流形构建模块、声学环境参数监测模块、拓扑差异度量与生成模块、语音识别模块、视觉复核与图像描述模块和决策融合与输出模块;
35、所述多模态采集与处理模块同步获取质检员口述语音与工业显微图像;包含麦克风阵列、工业显微相机及硬件时钟同步单元;预处理单元对图像执行自动白平衡和直方图均衡化,对语音信号通过高通滤波器去除低频振动干扰;所述多模态采集与处理模块的输出端分别连接语音拓扑流形构建模块、图像拓扑流形构建模块、声学环境参数监测模块的输入端;
36、所述语音拓扑流形构建模块用于接收预处理后的语音流,执行分帧、短时傅里叶变换及梅尔滤波,生成多维梅尔频谱向量序列;通过滑动窗口形成点云,采用vietoris-rips复形构建方法生成语音持续性图序列,表征语音拓扑结构的动态演化;
37、所述图像拓扑流形构建模块用于接收当前帧显微图像,利用尺度不变特征变换算法提取关键点及128维描述子;通过中心区域筛选保留核心检测区关键点,构建描述子点云,并采用与语音模块相同的复形构建方法生成图像持续性图,表征当前视场微观纹理的固有拓扑结构;
38、所述声学环境参数监测模块用于实时计算语音信号的谐波噪声比和采集环境噪声声压级,为后续动态权重调节提供输入;
39、所述拓扑差异度量与生成模块用于接收语音持续性图和图像持续性图,利用最优传输匹配计算加权wasserstein距离,得出拓扑结构差异度量值;权重由和动态调节;同时,拓扑差异度量与生成模块根据各关键点的局部持续性贡献值生成拓扑异常热力图,指示语音与视觉拓扑最不一致的区域;所述拓扑差异度量与生成模块的输入端分别连接语音拓扑流形构建模块、图像拓扑流形构建模块、声学环境参数监测模块的输出端;
40、所述语音识别模块负责独立于拓扑流形通道,同步接收语音流,通过连接时序分类模型产生候选缺陷描述文本及置信度得分;
41、所述视觉复核与图像描述模块用于在接收到拓扑异常触发信号时被激活;以当前显微图像和拓扑异常热力图作为输入,利用预训练的图像描述生成网络聚焦异常区域,生成纯视觉驱动的缺陷描述文本;
42、所述决策融合与输出模块用于比较拓扑差异度量值与预设阈值,生成控制信号;当时且语音识别置信度达标选择语音识别结果作为最终输出,否则屏蔽语音结果并选择视觉复核文本,最终将缺陷描述存入质检报告;所述决策融合与输出模块的输入端分别连接拓扑差异度量与生成模块、语音识别模块、视觉复核与图像描述模块的输出端。
43、本发明具有以下有益效果:
44、1、本发明通过在拓扑结构层面而非语义内容层面度量语音与视觉特征的一致性,对工业脉冲噪声干扰具有天然的抗性。语音信号内部的拓扑流形在受到突发强噪声冲击时会发生结构性断裂或空洞增生,这种畸变在持续性图上反应灵敏,远早于语音识别引擎的文本输出错误;因此,本发明能够在语音识别结果产生之前便捕获到特征质量的恶化,避免错误识别结果进入后续质检报告,实现了对噪声干扰的超前感知与阻断,提升了最终缺陷描述文本的可靠性。
45、2、本发明引入由谐波噪声比和环境噪声声压级自适应调节的敏感度权重,使拓扑结构差异度量具备了跟随现场噪声环境动态变化的能力。当车间处于相对安静时段时,权重自动降低,避免对正常语音波动过度敏感;当冲压机床等强噪声源爆发时,权重自动升高,放大拓扑畸变的检测灵敏度。这种自适应机制无需人工设定固定阈值或频繁重新校准,保证了算法在不同生产节拍和背景噪声条件下的稳定运行。
46、3、本发明视觉复核机制仅在检测到语音特征流形与图像纹理流形发生结构失配时才被激活,而非持续运行图像描述网络,大幅节约了计算资源。复核过程中利用拓扑异常图引导图像描述网络聚焦于显微图像中与语音拓扑结构最不一致的区域,使得生成的纯视觉缺陷描述具有明确的物理对应性和针对性,避免了整幅图像无差别描述引入的冗余信息或误判。这一按需激活的设计兼顾了实时性和准确性,适用于在线质检场景。
47、4、本发明相比传统的语音识别后文本纠错或注意力加权融合方案,本发明避开了对大规模噪声口语语料的依赖和跨模态语义对齐的复杂训练;语音流形与图像流形的构建基于无监督的持续同调分析,拓扑差异度量仅依赖实时提取的声学参数进行微调,整体方案在切换不同产品型号或缺陷类型时无需重新收集大量标注数据,具有较好的泛化能力和较低的迁移成本。
48、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com