基于图像识别的智能导盲眼镜导航系统

本发明属于数据识别，具体涉及基于图像识别的智能导盲眼镜导航系统。

背景技术：

1、现有的基于图像识别的智能导盲系统通常采用双目摄像头或单目摄像头结合深度学习模型直接估计前方环境的深度信息，在获取到像素级深度图后，通过障碍物检测算法框选出障碍物的位置与边界。在获取到障碍物信息后，现有系统通常计算障碍物相对于使用者的距离和方位，并直接将该距离和方位转化为离散的语音播报指令，提示视障使用者向左或向右规避。

2、上述现有技术直接在像素级深度图上进行障碍物检测并输出离散的语音播报指令，视障使用者在通过盲道或上下台阶等需要连续空间结构认知的地形时，无法通过离散的语音指令建立对前方地形变化的连贯感知；同时，常规单目视觉深度估计在遇到纹理缺失的平坦路面时，由于缺乏特征匹配点，极易产生深度计算结果的漂移，这导致现有的导盲系统无法在复杂平面地形下提供结构化且连续的空间感知。

技术实现思路

1、本发明的目的在于提供基于图像识别的智能导盲眼镜导航系统，可以有效解决上述背景技术中的问题。

2、为实现上述目的，本发明采取的技术方案为：

3、基于图像识别的智能导盲眼镜导航系统，包括单目摄像头、惯性测量单元、单目深度估计网络、平面拟合模块、拓扑图构建模块、路径生成模块以及触觉映射模块；

4、所述单目摄像头与所述惯性测量单元同步采集环境时序图像数据与惯性测量数据；

5、所述单目深度估计网络接收连续的所述环境时序图像数据与所述惯性测量数据，通过位姿图优化输出局部稠密深度图；

6、所述平面拟合模块将所述局部稠密深度图转换为俯视深度投影图，从所述俯视深度投影图中提取高程突变边缘线与连通区域；

7、所述拓扑图构建模块以所述连通区域作为拓扑节点，以所述高程突变边缘线作为连接相邻拓扑节点的拓扑边，为所述拓扑节点标注包含可通行平面或台阶的节点属性，构建局部语义拓扑图；

8、所述路径生成模块在所述局部语义拓扑图中，以当前站立位置对应的拓扑节点作为起始节点，以避开所述高程突变边缘线为约束条件，搜索生成最短可通行路径；

9、所述触觉映射模块将所述最短可通行路径的相对偏航角与距离参数，转化为设置于眼镜镜腿处的线性排布的触觉反馈阵列中对应马达的振动频率与启停时序参数。

10、优选的，所述单目深度估计网络包括特征提取子网络、位姿预测子网络以及深度预测子网络；

11、所述特征提取子网络对连续的所述环境时序图像数据进行卷积处理，输出多尺度视觉特征图；

12、所述位姿预测子网络接收所述多尺度视觉特征图与所述惯性测量数据中的加速度及角速度数据，通过全连接层输出相机帧间的相对位姿变换矩阵；

13、所述深度预测子网络接收所述多尺度视觉特征图并输出初始深度图；

14、所述位姿图优化具体为：构建包含所述相对位姿变换矩阵的重投影误差项、包含所述初始深度图的光度一致性误差项以及包含所述惯性测量数据的预积分误差项的联合损失函数，通过非线性优化求解更新所述初始深度图，输出所述局部稠密深度图。

15、优选的，所述平面拟合模块包括网格化子模块与边缘区域提取子模块；

16、所述网格化子模块将所述局部稠密深度图中各个像素点的三维空间坐标沿竖直方向投影至水平网格平面，对落入同一水平网格单元内的三维空间坐标的深度值进行均值滤波，生成所述俯视深度投影图；

17、所述边缘区域提取子模块计算所述俯视深度投影图中每一个水平网格单元与相邻水平网格单元之间的深度差值，将所述深度差值大于预设深度阈值的两相邻水平网格单元的交界线标记为所述高程突变边缘线，将所述深度差值小于所述预设深度阈值且相互连通的多个水平网格单元聚合为所述连通区域。

18、优选的，所述拓扑图构建模块包括属性分类器与图关联构建器；

19、所述属性分类器提取所述连通区域内所有水平网格单元的深度方差值与平面法向量夹角，将所述深度方差值小于方差阈值且所述平面法向量夹角小于角度阈值的连通区域标注为可通行平面节点，将所述深度方差值大于所述方差阈值或所述平面法向量夹角大于所述角度阈值的连通区域标注为台阶节点；

20、所述图关联构建器遍历所有拓扑节点，当两个相邻拓扑节点之间存在至少一条所述高程突变边缘线时，在所述两个相邻拓扑节点之间建立一条拓扑边，并将所述高程突变边缘线的长度赋值给所述拓扑边作为边的权重。

21、优选的，所述路径生成模块包含目标节点确定子模块与约束搜索子模块；

22、所述目标节点确定子模块在所述局部语义拓扑图中，选取距离所述起始节点预设物理距离范围内、节点属性为可通行平面且未与任何高程突变边缘线相邻的拓扑节点作为目标节点；

23、所述约束搜索子模块采用改进的a星算法，将所述拓扑边的权重的倒数作为代价函数的移动代价值，在所述起始节点与所述目标节点之间进行搜索，当搜索路径中包含节点属性为台阶的拓扑节点时，对所述代价函数叠加惩罚代价值，输出累加代价值最小的拓扑节点序列作为所述最短可通行路径。

24、优选的，所述触觉反馈阵列包含沿所述眼镜镜腿长度方向等间距排布的多个振动马达；

25、所述触觉映射模块包含角度映射子模块与时序映射子模块；

26、所述角度映射子模块将所述相对偏航角划分为对应所述多个振动马达的多个角度区间，确定所述相对偏航角落入的目标角度区间，并提取所述目标角度区间对应的振动马达的标识符；

27、所述时序映射子模块根据所述距离参数计算导航持续时长，将所述导航持续时长按照等比例划分为与所述最短可通行路径包含的拓扑节点数量相等的多个时间片，依据所述最短可通行路径中拓扑节点的先后顺序，依次将所述多个时间片与所述振动马达的标识符组合，生成所述振动频率与所述启停时序参数。

28、优选的，所述特征提取子网络包含顺次连接的多个残差卷积块与特征金字塔网络；

29、所述多个残差卷积块对所述环境时序图像数据进行逐层卷积与下采样处理，输出不同空间分辨率的第一特征图、第二特征图与第三特征图；

30、所述特征金字塔网络对所述第二特征图进行上采样处理，将上采样处理后的第二特征图与所述第一特征图进行逐元素相加融合，输出第一尺度特征图，对所述第三特征图进行上采样处理，将上采样处理后的第三特征图与所述第二特征图进行逐元素相加融合，输出第二尺度特征图，所述第一尺度特征图与所述第二尺度特征图共同组成所述多尺度视觉特征图。

31、优选的，所述网格化子模块包含坐标转换器与深度聚合器；

32、所述坐标转换器根据所述单目摄像头的内参矩阵与外参矩阵，将所述局部稠密深度图中每一像素点的图像坐标与深度值解算为相机坐标系下的三维空间坐标，再通过预先标定的相机坐标系与水平网格平面坐标系之间的转换矩阵，将所述三维空间坐标投影至所述水平网格平面的二维坐标；

33、所述深度聚合器建立与所述水平网格平面坐标对应的二维矩阵，将投影至同一二维矩阵坐标位置的多个三维空间坐标对应的深度值存入队列，剔除所述队列中的最大深度值与最小深度值，对剩余深度值计算算术平均值，将所述算术平均值填入所述二维矩阵对应位置，生成所述俯视深度投影图。

34、优选的，所述约束搜索子模块采用的所述改进的a星算法包含启发式函数计算步骤与代价值更新步骤；

35、所述启发式函数计算步骤提取当前待扩展拓扑节点在所述水平网格平面中的二维坐标，计算所述二维坐标与所述目标节点在所述水平网格平面中的二维坐标之间的欧几里得距离，将所述欧几里得距离作为所述启发式函数的值；

36、所述代价值更新步骤在每次从待扩展节点集合中弹出代价值最小的拓扑节点时，获取所述拓扑节点相邻的所有拓扑边，将所述拓扑边的权重的倒数与所述启发式函数的值相加，若所述拓扑节点为台阶节点则进一步叠加所述惩罚代价值，将叠加后的结果作为新的代价值存入所述待扩展节点集合。

37、优选的，所述时序映射子模块包含时长分割器与驱动指令生成器；

38、所述时长分割器获取所述距离参数，将所述距离参数除以预设步速常量得到所述导航持续时长，将所述导航持续时长除以所述最短可通行路径中包含的拓扑节点序列的总数量，得到单个时间片的时长数值，按照所述拓扑节点序列的排序为每一个拓扑节点分配对应的时间片起始时刻与时间片结束时刻；

39、所述驱动指令生成器依据所述最短可通行路径中每一段拓扑边对应的目标角度区间，查询预先存储的角度区间与马达标识符映射表，获取对应的目标振动马达标识符，将所述目标振动马达标识符、所述时间片起始时刻、所述时间片结束时刻以及预设的固定振动频率填入指令帧格式，生成包含所述振动频率与所述启停时序参数的驱动指令序列。

40、与现有技术相比，本发明的有益效果在于：

41、1.本发明通过将单目摄像头与惯性测量单元采集的数据输入单目深度估计网络，利用位姿图优化输出局部稠密深度图，抑制了单目视觉在纹理缺失平面上产生深度估计漂移的现象。通过平面拟合模块将局部稠密深度图转换为俯视深度投影图并提取高程突变边缘线与连通区域，以连通区域作为拓扑节点、高程突变边缘线作为拓扑边构建局部语义拓扑图，将像素级的深度信息转化为结构化的拓扑图表达。路径生成模块在局部语义拓扑图中搜索生成最短可通行路径，并由触觉映射模块将路径的偏航角与距离参数转化为线性排布的触觉反馈阵列中对应马达的振动频率与启停时序参数，将离散的视觉识别结果转化为连续的触觉空间感知信号，解决了视障使用者无法建立连续空间结构认知的问题。

42、2.在深度估计阶段，通过构建包含重投影误差项、光度一致性误差项以及预积分误差项的联合损失函数进行非线性优化，约束了深度估计的解算过程。在平面拟合阶段，通过对投影至同一水平网格单元内的深度值进行均值滤波，并在提取边缘时计算相邻网格单元的深度差值，滤除了深度数据中的离散噪点。在拓扑图构建阶段，引入连通区域的深度方差值与平面法向量夹角作为节点属性分类依据，结合带惩罚代价值的搜索算法，避免了路径规划中跨越台阶的错误规划。在触觉映射阶段，通过将相对偏航角划分为对应多个振动马达的角度区间，并将导航持续时长按照拓扑节点数量划分为多个时间片依次分配，保证了触觉反馈信号与空间路径节点的对应关系。