一种红绿灯路口导盲方法及装置与流程

1.本发明属于人工智能技术领域，具体涉及一种红绿灯路口导盲方法及装置。


背景技术：

2.中国是全世界盲人最多的国家，约有500万盲人，占全世界盲人口的18％。就绝对数字而言，中国盲人数早已超过诸如丹麦、芬兰或挪威等国家的人口。而每年在中国约有45万人失明。中国卫生部也曾指出，人口的迅速老龄化，人口增长等因素造成了中国盲人数量的不断增加。与之相对的是中国现有的公共设施并没有充分考虑盲人群体的使用场景，例如红绿灯的设置等，这使得盲人在通过红绿灯路口时存在极大的不便甚至危险。
3.随着深度学习、计算机视觉、化学电池等技术的发展，一种可以长时间佩戴并且不会增加安全风险的可佩戴设备应运而生，最为常见的就是智能眼镜。这种设备不仅易收纳、易佩戴，而且较为美观实用。现有的智能眼镜一般使用红外测距模块进行距离测量，但是在过红绿灯路口的场景下，因为佩戴高度和遮挡问题，红外测距模块通常无法测定佩戴者与对面红绿灯的距离。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本发明提供一种红绿灯路口导盲方法及装置。
5.为了实现上述目的，本发明采用以下技术方案。
6.第一方面，本发明提供一种红绿灯路口导盲方法，包括在导盲装置中执行的以下步骤：
7.实时获取导盲装置前方的视频图像；利用识别模型检测所述图像中是否包括红绿灯，如果包括，输出所述红绿灯的状态以及红绿灯与导盲装置的距离；
8.如果检测到多组红绿灯，基于红绿灯与导盲装置的距离和红绿灯偏离图像视野中心的距离识别出一组目标红绿灯；如果只检测到一组红绿灯，所述红绿灯即为目标红绿灯；
9.通过语音模块实时播放与目标红绿灯相关的提醒信息。
10.进一步地，所述识别模型主要由多个基础卷积模块组成，采用一个主干网络对输入的视频图像进行特征提取，并基于提取的图像特征分别采取两种不同的算法，在两个输出端分别输出红绿灯检测结果和红绿灯与导盲装置的距离。
11.更进一步地，所述基础卷积模块采用将所有激活函数由relu替换为prelu后的mobilenetv2结构。
12.进一步地，所述识别模型的训练方法包括：
13.获取实际的红绿灯路口的视频图像；
14.对所述图像进行标注，包括红绿灯在所述图像中的位置信息、红绿灯颜色信息、像素级深度图信息；
15.构建训练数据集，利用所述训练数据集对所述识别模型进行训练。
16.进一步地，当检测到多组红绿灯时，目标红绿灯的识别方法包括：
17.对检测到的多组红绿灯按照它们与导盲装置的距离从小到大的顺序排序，选取排在最前面的n组红绿灯，n≥1；
18.分别计算所述n组红绿灯与图像视野中心的距离，所述距离最小的一组红绿灯即为目标红绿灯。
19.更进一步地，红绿灯与图像视野中心的距离的计算方法包括：
20.建立以图像左上角为原点、以过左上角的两条直角边分别为横轴和纵轴的直角坐标系；
21.根据红绿灯的左上角和右下角的坐标计算红绿灯中心的坐标：
22.x0＝(x1 x2)/2，y0＝(y1 y2)/2
23.式中，(x1,y1)、(x2,y2)、(x0,y0)分别为红绿灯的左上角、右下角和中心的坐标；
24.根据图像的长度和宽度得到图像视野中心的坐标：
25.x＝a/2，y＝b/2
26.式中，a、b分别为图像的长度和宽度，(x,y)为图像视野中心的坐标；
27.红绿灯与图像视野中心的距离为：
28.进一步地，所述识别模型还输出剩余时间。
29.第二方面，本发明提供一种红绿灯路口导盲装置，包括：
30.红绿灯检测模块，用于实时获取导盲装置前方的视频图像；利用识别模型检测所述图像中是否包括红绿灯，如果包括，输出所述红绿灯的状态以及红绿灯与导盲装置的距离；
31.目标红绿灯识别模块，用于如果检测到多组红绿灯，基于红绿灯与导盲装置的距离和红绿灯偏离图像视野中心的距离识别出一组目标红绿灯；如果只检测到一组红绿灯，所述红绿灯即为目标红绿灯；
32.信息提醒模块，用于通过语音模块实时播放与目标红绿灯相关的提醒信息。
33.进一步地，当检测到多组红绿灯时，目标红绿灯的识别方法包括：
34.对检测到的多组红绿灯按照它们与导盲装置的距离从小到大的顺序排序，选取排在最前面的n组红绿灯，n≥1；
35.分别计算所述n组红绿灯与图像视野中心的距离，所述距离最小的一组红绿灯即为目标红绿灯。
36.更进一步地，红绿灯与图像视野中心的距离的计算方法包括：
37.建立以图像左上角为原点、以过左上角的两条直角边分别为横轴和纵轴的直角坐标系；
38.根据红绿灯的左上角和右下角的坐标计算红绿灯中心的坐标：
39.x0＝(x1 x2)/2，y0＝(y1 y2)/2
40.式中，(x1,y1)、(x2,y2)、(x0,y0)分别为红绿灯的左上角、右下角和中心的坐标；
41.根据图像的长度和宽度得到图像视野中心的坐标：
42.x＝a/2，y＝b/2
43.式中，a、b分别为图像的长度和宽度，(x,y)为图像视野中心的坐标；
44.红绿灯与图像视野中心的距离为：
45.与现有技术相比，本发明具有以下有益效果。
46.本发明通过实时获取导盲装置前方的视频图像，利用识别模型检测所述图像中的红绿灯状态以及红绿灯与导盲装置的距离，如果检测到多组红绿灯，基于红绿灯与导盲装置的距离和红绿灯偏离图像视野中心的距离识别出一组目标红绿灯，通过语音模块实时播放与目标红绿灯相关的提醒信息，实现了红绿灯路口的自动导盲。本发明不但能够自动检测路口的红绿灯状态，自动计算红绿灯与导盲装置的距离，还能从检测到的多组红绿灯中识别出目标红绿灯，可以有效减少环境干扰，如汽车转向灯、广告牌和其他红绿灯等，提高红绿灯识别精度，为佩戴者提供更加稳定可靠的信息，从而增加佩戴者过红绿灯路口的安全性。
附图说明
47.图1为本发明实施例一种红绿灯路口导盲方法的流程图。
48.图2为识别模型的结构示意图示意图。
49.图3为尺度不变基础卷积模块的结构示意图。
50.图4为下采样基础卷积模块的结构示意图。
51.图5为本发明实施例一种红绿灯路口导盲装置的方框图。
具体实施方式
52.为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.图1为本发明实施例一种红绿灯路口导盲方法的流程图，包括在导盲装置中执行的以下步骤：
54.步骤101，实时获取导盲装置前方的视频图像；利用识别模型检测所述图像中是否包括红绿灯，如果包括，输出所述红绿灯的状态以及红绿灯与导盲装置的距离；
55.步骤102，如果检测到多组红绿灯，基于红绿灯与导盲装置的距离和红绿灯偏离图像视野中心的距离识别出一组目标红绿灯；如果只检测到一组红绿灯，所述红绿灯即为目标红绿灯；
56.步骤103，通过语音模块实时播放与目标红绿灯相关的提醒信息。
57.本实施例提供一种红绿灯路口导盲方法。所述方法由佩戴在使用者头上的导盲装置实现。所述导盲装置一般主要由摄像头、数据处理模块和语音模块组成。摄像头用于实时拍摄导盲装置前方的视频图像，并将所述视频图像输入到数据处理模块。数据处理模块是导盲装置的处理与控制中心，主要用于通过输出控制信号协调各模块的工作，并通过运行一定的算法实现路口的红绿灯检测以及距离计算等任务。语音模块是一个智能模块，用于实现与导盲装置佩戴者进行交互，比如在数据处理模块控制下实时播放导盲(航)提醒信息，接收佩戴者的语音指令等。
58.本实施例中，步骤101主要用于进行红绿灯检测。导盲装置佩戴者在行进过程中由导盲装置中的摄像头实时拍摄前方一定视野范围内的视频图像，并送入导盲装置中的数据处理模块。数据处理模块利用建立的识别模型通过对输入的视频图像进行处理，检测图像中是否包括红绿灯，如果包括红绿灯，根据红绿灯的颜色输出当前时刻红绿灯的状态：是红灯，还是绿灯(因黄灯时间较短，可输出黄灯状态，也可不输出(将黄灯归于红灯状态)；同时还输出红绿灯与导盲装置的距离。所述距离值既可使佩戴者及时了解与红绿灯的距离，还可用于后面步骤的目标红绿灯的识别。所述识别模型一般由深度卷积神经网络构成，利用采集的真实路口的红绿灯视频图像进行训练得到。
59.本实施例中，步骤102主要用于目标红绿灯识别。当导盲装置佩戴者来到红绿灯路口时，会有不同方向人行道上的红绿灯或机动车道上的红绿灯同时进入摄像头的视野范围，也就是说一帧图像中可能会检测到多组红绿灯，但只有一组红绿灯是将要走过的人行道上的红绿灯，称之为目标红绿灯。因此需要从检测到的多组红绿灯中识别出目标红绿灯，否则会导致出错。本实施例基于下面的特性进行目标红绿灯识别：不同的红绿灯与导盲装置的距离不同，一般所述距离越近越有可能是目标红绿灯；不同的红绿灯在图像中的位置不同，一般越靠近图像中心即视野中心的红绿灯越有可能是目标红绿灯。当然，也有可能只检测到一组红绿灯(特定的视角范围)，这种情况无需识别，检测到的一组红绿灯即为目标红绿灯。后面的实施例将给出一种具体的目标红绿灯的识别方法。
60.本实施例中，步骤103主要用于播放提醒信息。播放提醒信息由导盲装置中的语音模块实现，提醒信息主要包括与红绿灯有关的信息，比如，来到的路口是否有红绿灯；如果有红绿灯，与红绿灯的距离是多少，以及红绿灯的状态是红灯还是绿灯等，有时还可包括剩余时间信息。
61.本实施例不仅能自动检测路口红绿灯的状态，还能从检测到的多组红绿灯中识别出目标红绿灯，可以有效减少环境干扰，如汽车转向灯、广告牌和其他红绿灯等，提高红绿灯识别精度，为佩戴者提供更加稳定可靠的信息，从而增加佩戴者过红绿灯路口的安全性。
62.作为一可选实施例，所述识别模型主要由多个基础卷积模块组成，采用一个主干网络对输入的视频图像进行特征提取，并基于提取的图像特征分别采取两种不同的算法，在两个输出端分别输出红绿灯检测结果和红绿灯与导盲装置的距离。
63.本实施例给出了实现所述识别模型的一种网络结构。所述识别模型由多个基础卷积模块组成，其网络结构示意图如图2所示。图2中的箭头表示基础卷积模块，不同大小的矩形表示不同分辨率的特征图或者输入图像，图中的符号表示两个输入特征图进行拼接操作。本实施例采用一个公用的主干网络对输入的视频图像进行特征提取，基于提取的图像特征采用不同的算法使用不同“预测头”进行不同任务的预测即距离预测和红绿灯检测。这种网络结构有利于网络结构的轻量化。
64.作为一可选实施例，所述基础卷积模块采用将所有激活函数由relu替换为prelu后的mobilenet v2结构。
65.本实施例给出了所述基础卷积模块的一种技术方案。为了减少计算量，本实施例的基础卷积模块借鉴了mobilenet v2的设计思想，包括尺度不变基础卷积模块和下采样基础卷积模块。尺度不变基础卷积模块主要用于增加模型的深度，提取更丰富的特征，也可以增大感受野；下采样基础卷积模块主要是为了减少特征图的尺度，从而减少计算量，也具有
增大感受野的作用。本实施例的基础卷积模块与mobilenet v2不同的是，将所有激活函数由relu替换成了prelu。由于relu在自变量小于0时函数值为0，因此会损失部分特征信息；而prelu与relu不同的是自变量小于0时函数值不再为0(x《0时为ax)，因此，作此改进后可在尽量不增加计算量的前提下，保持特征信息的丰富性，增强特征的表达能力。改进的尺度不变基础卷积模块和下采样基础卷积模块的结构示意图分别如图3、4所示。尺度不变基础卷积模块接收一个输入特征图，通过逐点卷积模块(pointwise conv)，将特征图的通道数放大为原来的4倍，之后使用深度卷积模块(depthwise conv)维持该通道数，最后通过一个线性的逐点卷积模块将特征图的通道数恢复到原来的数量。而上述得到的特征图需要与捷径通道传递来的输入特征图进行逐元素的相加，最后经过prelu激活层，得到最终输出。下采样基础卷积模块与尺度不变基础卷积模块的不同之处在于，捷径通道上使用了步长为2的深度卷积模块，且主干上的深度卷积模块步长也为2，以此来实现下采样的目的。
66.作为一可选实施例，所述识别模型的训练方法包括：
67.步骤1011，获取实际的红绿灯路口的视频图像；
68.步骤1012，对所述图像进行标注，包括红绿灯在所述图像中的位置信息、红绿灯颜色信息、像素级深度图信息；
69.步骤1013，构建训练数据集，利用所述训练数据集对所述识别模型进行训练。
70.本实施例给出了识别模型的一种训练方法，由步骤1011～1013实现。
71.步骤1011主要用于获取红绿灯路口的视频图像。利用摄像头从实际场景中采集路口红绿灯图像，采集的图像最好能保证各种红绿灯状态图像的数量较为均衡，避免数据不平衡问题。
72.步骤1012主要用于对采集图像进行标注。标注内容包括红绿灯在所述图像中的位置信息、红绿灯颜色信息、像素级深度图信息等，还可能包括剩余时间信息。可采用公开算法对数据进行初步标注，并对其结果进行人工校验，保证标注速度和精度。若数据量太大，可使用半监督学习的方式对数据进行初步标注，即首先标注一小部分数据，使用这一部分数据对模型进行训练，之后对未标注的数据进行预测，选取预测置信度较高的样本加入已标注样本中，重复此过程，直至样本全部得到标注或者无法对未标注数据得到足够高的置信度，之后进行人工校验。这种方式可以大幅减少人工和时间消耗。
73.步骤1013主要用于构建训练数据集，并利用所述训练数据集对所述识别模型进行训练。对前面标注过的数据进行整理后便可得到训练数据集。实际中除了构建训练集，还要构建验证集和测试集。可将前面得到的数据按照80％-10％-10％的比例划分数据集，其中80％为训练集，10％为验证集，10％为测试集。划分数据集时需保证进行的是无放回的随机采样，这样才能确保训练集、验证集和测试集的分布一致。
74.作为一可选实施例，当检测到多组红绿灯时，目标红绿灯的识别方法包括：
75.步骤1021，对检测到的多组红绿灯按照它们与导盲装置的距离从小到大的顺序排序，选取排在最前面的n组红绿灯，n≥1；
76.步骤1022，分别计算所述n组红绿灯与图像视野中心的距离，所述距离最小的一组红绿灯即为目标红绿灯。
77.本实施例给出了目标红绿灯识别的一种技术方案。如前述，一般情况下红绿灯与导盲装置的距离越近越有可能是目标红绿灯，红绿灯在图像中的位置越靠近图像的视野中
心越有可能是目标红绿灯。本实施例就是根据这两个特性进行目标红绿灯识别的，具体由步骤1021、步骤1022实现。
78.步骤1021主要用于根据所述距离信息进行初步筛选。先对检测到的多组红绿灯按照它们与导盲装置的距离从小到大的顺序排序，选取排在最前面的n组红绿灯。由于人行道上的红绿灯与导盲装置的距离一般小于机动车道上的红绿灯与导盲装置的距离，因此根据距离信息筛选一般可滤除机动车道上的红绿灯。n的值根据经验选取，其大小与检测到红绿灯的数量m有关，一般m越大，n越大。由于m的值不固定，也可以根据m的实际值动态设定n。本实施例将n的最小值设为1，是考虑到m的值有时可能不大，实际应用中n的值一般不小于2才有意义，因为n＝1时步骤1022的意义就不大了。
79.步骤1022主要用于根据红绿灯在图像中的位置确定目标红绿灯。先计算经筛选后剩下的n组红绿灯在图像中与图像视野中心的距离，由于所述距离越小，红绿灯越接近图像视野中心，因此从中选出所述距离最小的红绿灯即可得到目标红绿灯。
80.值得说明的是，根据上述两个特性进行目标红绿灯识别的技术方案远不只本实施例一种，上面只是给出了一种较佳的实施例供本领域技术人员参考，并不排斥和否定其它可行的实施方式。
81.作为一可选实施例，红绿灯与图像视野中心的距离的计算方法包括：
82.建立以图像左上角为原点、以过左上角的两条直角边分别为横轴和纵轴的直角坐标系；
83.根据红绿灯的左上角和右下角的坐标计算红绿灯中心的坐标：
84.x0＝(x1 x2)/2，y0＝(y1 y2)/2
85.式中，(x1,y1)、(x2,y2)、(x0,y0)分别为红绿灯的左上角、右下角和中心的坐标；
86.根据图像的长度和宽度得到图像视野中心的坐标：
87.x＝a/2，y＝b/2
88.式中，a、b分别为图像的长度和宽度，(x,y)为图像视野中心的坐标；
89.红绿灯与图像视野中心的距离为：
90.本实施例给出了计算红绿灯与图像视野中心距离的一种技术方案。计算方法很简单，先建立坐标系，然后根据解析几何知识进行求解。具体计算方法如上，这里不再对计算过程展开详细说明。
91.作为一可选实施例，所述识别模型还输出剩余时间。
92.本实施例中，所述识别模型还输出红绿灯的时间信息。现有的红绿灯路口一般都有剩余时间显示功能，在识别模型训练时通过标注图像中的时间信息，便可使识别模型识别出剩余时间数据。通过语音模块实时播放剩余时间，可为导盲装置佩戴者带来更大的便利。
93.图5为本发明实施例一种红绿灯路口导盲装置的组成示意图，所述装置包括：
94.红绿灯检测模块11，用于实时获取导盲装置前方的视频图像；利用识别模型检测所述图像中是否包括红绿灯，如果包括，输出所述红绿灯的状态以及红绿灯与导盲装置的距离；
95.目标红绿灯识别模块12，用于如果检测到多组红绿灯，基于红绿灯与导盲装置的
距离和红绿灯偏离图像视野中心的距离识别出一组目标红绿灯；如果只检测到一组红绿灯，所述红绿灯即为目标红绿灯；
96.信息提醒模块13，用于通过语音模块实时播放与目标红绿灯相关的提醒信息。
97.本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。后面的实施例也是如此，均不再展开说明。
98.作为一可选实施例，当检测到多组红绿灯时，目标红绿灯的识别方法包括：
99.对检测到的多组红绿灯按照它们与导盲装置的距离从小到大的顺序排序，选取排在最前面的n组红绿灯，n≥1；
100.分别计算所述n组红绿灯与图像视野中心的距离，所述距离最小的一组红绿灯即为目标红绿灯。
101.作为一可选实施例，红绿灯与图像视野中心的距离的计算方法包括：
102.建立以图像左上角为原点、以过左上角的两条直角边分别为横轴和纵轴的直角坐标系；
103.根据红绿灯的左上角和右下角的坐标计算红绿灯中心的坐标：
104.x0＝(x1 x2)/2，y0＝(y1 y2)/2
105.式中，(x1,y1)、(x2,y2)、(x0,y0)分别为红绿灯的左上角、右下角和中心的坐标；
106.根据图像的长度和宽度得到图像视野中心的坐标：
107.x＝a/2，y＝b/2
108.式中，a、b分别为图像的长度和宽度，(x,y)为图像视野中心的坐标；
109.红绿灯与图像视野中心的距离为：
110.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。