基于轻量化Transformer的导盲设备盲道语义分割与跟踪方法与流程

本发明涉及智能导盲计算机视觉，更具体的说是涉及一种基于轻量化transformer的导盲设备盲道语义分割与跟踪方法。

背景技术：

1、全球视障人士超2.85亿，我国逾1700万，盲道是其独立出行的核心保障。但城市盲道普遍存在被占用、破损缺失等问题，传统盲杖感知范围有限，导盲犬成本高、数量少，无法满足普遍需求。基于计算机视觉的智能导盲设备成为解决视障人士出行难题的关键。

2、现有盲道语义分割技术从手工特征发展到卷积神经网络(cnn)，再到transformer。cnn受限于感受野，难以建模盲道长距离上下文；标准transformer虽全局建模能力强，但自注意力计算复杂度高，难以在便携导盲设备上实时运行。现有轻量化transformer多针对通用场景设计，未充分利用盲道专属特征，分割精度与实时性难以兼顾。

3、盲道跟踪方面，现有方法分为边界跟踪和检测跟踪两类，普遍存在分割与跟踪模块割裂、信息无法交互的问题，在盲道被遮挡或用户运动时跟踪稳定性差。

4、综上，现有技术存在精度与实时性、全局建模与计算效率、分割与跟踪割裂、通用模型与特定场景不匹配四大核心矛盾，无法同时满足便携导盲设备对高精度、端侧实时性、低功耗和高稳定性的要求。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种基于轻量化transformer的导盲设备盲道语义分割与跟踪方法，通过设计轻量化transformer分割架构、盲道专属特征增强模块与分割-跟踪闭环机制，实现盲道语义分割的高精度、端侧实时性，以及盲道跟踪的高稳定性，适配便携导盲设备的低功耗需求，为视障用户提供持续、可靠的行走指引。

2、为实现上述目的，本发明提供了如下技术方案：一种基于轻量化transformer的导盲设备盲道语义分割与跟踪方法，包括如下步骤：

3、步骤一，通过导盲设备内置的高清摄像头，采集路面图像，采集频率为15帧/秒；采集过程中，自动调整摄像头曝光参数，以适配强光、弱光不同光照场景；

4、步骤二，对采集到的图像进行基础预处理，去除噪声、均衡光照，保留盲道特征；

5、步骤三，构建mobile-former架构，融合深度可分离卷积与轻量化自注意力机制，实现盲道语义分割；

6、步骤四，对步骤三分割得到的盲道语义掩码进行特征增强，突出盲道轮廓，提升后续跟踪的稳定性；

7、步骤五，基于步骤四增强后的盲道掩码，采用卡尔曼滤波算法实现盲道的持续跟踪，以解决遮挡、抖动、盲道中断导致的跟踪丢失问题；

8、步骤六，构建分割-跟踪闭环机制，根据跟踪状态实时校准分割参数，同时将跟踪结果反馈给用户。

9、作为本发明的进一步改进，步骤二进行预处理的具体步骤如下：

10、步骤二一，尺寸归一化：将图像归一化至320×240尺寸，降低后续算法的计算开销，同时保证盲道区域的特征完整性；

11、步骤二二，轻量化高斯降噪：采用高斯滤波算法，去除图像中的高斯噪声，避免噪声对盲道特征提取的干扰，具体如下：

12、

13、其中，为高斯滤波核在坐标(x,y)处的取值，为高斯标准差，固定取值0.8，在保证降噪效果的同时，最大限度保留盲道边缘特征；

14、步骤二三，光照均衡：采用自适应直方图均衡化算法，调整图像亮度与对比度，解决光照不均导致的盲道特征模糊问题，确保不同光照场景下盲道分割的一致性。

15、作为本发明的进一步改进，步骤三构建mobile-former架构，融合深度可分离卷积与轻量化自注意力机制，实现盲道语义分割的具体步骤如下：

16、步骤三一，局部特征提取：采用深度可分离卷积，提取图像的局部特征，降低计算复杂度，具体如下：

17、

18、其中，为预处理后的图像特征图，为深度可分离卷积操作，为逐点卷积操作，表示特征融合；

19、步骤三二，轻量化自注意力计算：针对盲道特征的稀疏性，仅对关键特征区域进行自注意力计算，避免全图注意力的高计算开销，具体如下：

20、

21、其中，q、k、v分别为查询矩阵、键矩阵、值矩阵，为特征维度，m为盲道特征掩码；

22、步骤三四，特征融合与分割输出：将局部卷积特征与轻量化自注意力特征融合，输入至轻量化分割头，输出盲道与背景的二分类语义掩码，其中掩码值为1表示盲道区域，0表示背景区域。

23、作为本发明的进一步改进，步骤四中对步骤三分割得到的盲道语义掩码进行特征增强的具体步骤如下：

24、步骤四一，边缘强化：采用拉普拉斯算子，对盲道边缘进行锐化处理，增强盲道轮廓的辨识度，具体如下：

25、

26、其中，为分割后的盲道掩码像素值，为锐化系数（固定取值0.2），为拉普拉斯算子；

27、步骤四二，特征去噪：采用形态学开运算，去除分割掩码中的细小噪声点，保留盲道主体区域，确保跟踪目标的准确性。

28、作为本发明的进一步改进，步骤五基于步骤四增强后的盲道掩码，采用卡尔曼滤波算法实现盲道的持续跟踪的具体步骤如下：

29、步骤五一，跟踪状态初始化：根据分割得到的盲道掩码，提取盲道区域的外接矩形框，确定跟踪目标的初始状态，其中为矩形框中心坐标，为矩形框宽高，为跟踪目标的运动速度；

30、步骤五二，状态预测：通过卡尔曼滤波的状态方程，预测下一帧盲道的位置状态，具体如下：

31、

32、其中，为第k帧的预测状态，a为状态转移矩阵，为过程噪声；

33、步骤五三，状态更新：通过卡尔曼滤波的观测方程，结合当前帧的分割结果，更新跟踪状态，具体如下：

34、

35、

36、

37、

38、其中，为第k帧的观测状态，h为观测矩阵，为观测噪声，为卡尔曼增益，为状态协方差矩阵，i为单位矩阵；

39、步骤五四，遮挡处理：当盲道被遮即挡跟踪置信度＜0.6时，仅通过状态方程进行预测跟踪，保留跟踪状态；当遮挡解除即跟踪置信度≥0.6时，结合分割结果快速校准跟踪状态，避免跟踪丢失。

40、作为本发明的进一步改进，构建分割-跟踪闭环机制，根据跟踪状态实时校准分割参数，同时将跟踪结果反馈给用户的具体步骤如下：

41、步骤六一，跟踪置信度检测：计算跟踪结果与当前帧分割结果的重叠率，作为跟踪置信度，当置信度＜0.5时，判定为跟踪丢失，自动触发重分割流程，重新执行步骤三至步骤五，快速找回盲道目标；

42、步骤六二，分割参数校准：将跟踪得到的盲道运动趋势反馈至分割模块，动态调整分割头的权重的阈值，提升盲道运动方向上的分割精度；

43、步骤六三，结果反馈：将盲道的位置、跟踪状态通过骨传导语音+触觉震动双反馈方式传递给用户，确保视障用户清晰感知。

44、本发明具有如下有益效果

45、轻量化效果显著：模型参数量≤0.8m，相比传统transformer分割模型，参数量压缩90%以上，端侧推理延迟≤24ms，满足15帧/秒的实时处理需求，适配导盲设备端侧低功耗、实时性需求；

46、分割精度高、鲁棒性强：盲道分割准确率≥94.5%，其中磨损盲道分割准确率≥92%，遮挡盲道分割准确率≥89%，相比传统cnn分割算法，精度提升10%以上，可适配不同复杂场景；

47、跟踪稳定性好：采用分割-跟踪闭环机制，盲道跟踪丢失率≤1.8%，遮挡状态下可持续跟踪，恢复后快速校准，解决现有算法跟踪丢失率高的痛点；

48、低功耗适配性优：算法运行时，导盲设备功耗≤100mw，支持连续运行12小时以上，满足视障用户户外长时间出行的续航需求；

49、全端侧运行，隐私安全：所有图像数据、分割与跟踪结果均在导盲设备端侧采集、处理、存储，不上传云端，避免用户出行轨迹、场景信息等敏感数据泄露；

50、场景适配性广：可适配室内外盲道、磨损/褪色/断裂盲道、不同光照场景，同时适配不同类型的便携导盲设备，通用性强。