一种基于改进YOLOv3的盲人避障装置及方法

一种基于改进yolov3的盲人避障装置及方法
技术领域
1.本发明涉及机器学习分类技术领域，具体涉及一种基于改进yolov3的盲人避障装置及方法。


背景技术：

2.据调查,目前我国约有1730万盲人,是世界上盲人最多的国家，且盲人人数每年都在增加。在日常生活中，80％以上的信息是通过视觉获得的，而盲人无法通过视觉来获取周围的环境信息，为其生活带来了诸多不便。目前，引导盲人出行的方式主要有3种：(1)传统的拐杖引导；(2)盲道引导；(3)导盲犬引导。传统的拐杖引导通过敲击地面告知盲人前方是否为可行路线，这种方式无法告知盲人周围障碍物的空间分布；若盲道被占用或损坏，盲人就无法利用盲道进行引导；而导盲犬的培训周期较长、成本较高。目前，我国盲人出行普遍使用的是拐杖引导，由于存在较多缺陷，已不能满足盲人的出行需求。


技术实现要素：

3.本发明的目的在于提供一种基于改进yolov3的盲人避障装置及方法，以提高对盲人前方障碍的识别效果和效率、提升盲人的出行体验。
4.为解决上述技术问题，本发明提供了一种技术方案：一种基于改进yolov3的盲人避障装置，包括云端和客户端；云端为服务器，客户端为用户设备，用户设备包括摄像模块、无线传输模块、语音播报模块以及控制模块，其中摄像模块、无线传输模块以及语音播报模块与控制模块电性连接。
5.按上述方案，摄像模块为ov7725摄像头。
6.按上述方案，无线传输模块为4g传输装置。
7.按上述方案，4g传输装置为ec200s无线通信模组。
8.按上述方案，控制模块包括stm32f103芯片。
9.一种利用上文所述的基于改进yolov3的盲人避障装置实现的基于改进yolov3的盲人避障方法，包括以下步骤：
10.s1、利用摄像模块获取盲人行走过程中的前方图片数据；
11.s2、利用无线传输模块将图片数据发送至服务器；
12.s3、服务器根据图片数据判断盲人前方是否存在障碍物，并向用户设备回传结果数据；
13.s4、用户设备通过无线传输模块接收结果数据，控制模块根据结果数据控制语音播报模块进行播报。
14.按上述方案，s2的具体过程为：在用户设备和客户端进行图片数据传输时，采用http定义两个accept请求头字段和两个content实体头字段；其中accept请求头字段将列举图片数据的所有类型；服务器接收图片数据后，将在相应的报文中采用content-type头字段向用户设备返回图片数据的真实类型。
15.按上述方案，s3中服务器采用yolov3网络模型对图片进行障碍物识别，具体过程为：
16.首先将所有图片缩放到一特定尺寸，随后将图片划分为s
×
s个网格，对每个网格进行针对落入网格中心目标的检测；
17.每个网格都将预测b个边界回归框和c个类别，每个边界回归框都会预测出：预测中心点坐标、边界回归框的宽高以及置信度；
18.随后利用非极大值抑制算法对重合率高于一设定值的边界回归框进行过滤，将置信度高于一设定值的边界回归框作为yolov3网络模型的输出。
19.按上述方案，yolov3网络模型利用二元交叉熵损失函数检测复杂场景中的目标类别。
20.按上述方案，yolov3网络模型采用coco数据集进行训练，并采用k-means算法对coco数据集中的真实框进行聚类得到先验框的尺寸，将不同尺寸的先验框与不同尺寸的特征图进行匹配；
21.yolov3网络模型的输出采用深度可分离卷积网络进行过滤，且在深度可分离卷积网络中的relu激活函数前加入批量归一化层。
22.本发明的有益效果是：通过客户端采取用户前方图像并传输至云端进行检测的方式对用户前方的障碍物进行识别，既保证了识别的准确性，又提升了检测效率。
23.进一步地，通过对传统yolov3检测算法进行改进，提高了检测速度和并解决了召回率较低的问题。
附图说明
24.图1是本发明一实施例的基于改进yolov3的盲人避障装置模块框架图；
25.图2是本发明一实施例的用户设备程序流程图；
26.图3是本发明一实施例的服务器程序流程图；
27.图4是yolov3网络结构示意图。
具体实施方式
28.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
29.参见图1，一种基于改进yolov3的盲人避障装置，包括云端和客户端；云端为服务器，客户端为用户设备，用户设备包括摄像模块、无线传输模块、语音播报模块以及控制模块，其中摄像模块、无线传输模块以及语音播报模块与控制模块电性连接。
30.进一步地，摄像模块为ov7725摄像头。
31.进一步地，无线传输模块为4g传输装置。
32.进一步地，4g传输装置为ec200s无线通信模组。
33.进一步地，控制模块包括stm32f103芯片。
34.参见图2、图3，一种利用上文所述的基于改进yolov3的盲人避障装置实现的基于
改进yolov3的盲人避障方法，包括以下步骤：
35.s1、利用摄像模块获取盲人行走过程中的前方图片数据；
36.s2、利用无线传输模块将图片数据发送至服务器；
37.s3、服务器根据图片数据判断盲人前方是否存在障碍物，并向用户设备回传结果数据；
38.s4、用户设备通过无线传输模块接收结果数据，控制模块根据结果数据控制语音播报模块进行播报。
39.进一步地，s2的具体过程为：在用户设备和客户端进行图片数据传输时，采用http定义两个accept请求头字段和两个content实体头字段；其中accept请求头字段将列举图片数据的所有类型；服务器接收图片数据后，将在相应的报文中采用content-type头字段向用户设备返回图片数据的真实类型。
40.进一步地，参见图4，s3中服务器采用yolov3网络模型对图片进行障碍物识别，具体过程为：
41.首先将所有图片缩放到特定尺寸(416
×
416)，随后将图片划分为s
×
s个网格，对每个网格进行针对落入网格中心目标的检测；
42.每个网格都将预测b个边界回归框和c个类别，每个边界回归框都会预测出：预测中心点坐标、边界回归框的宽高以及置信度；置信度通过下式计算：
[0043][0044]
其中，pr(object)表示边界回归框中存在目标的概率，若边界回归框中存在目标，则pr(object)＝1，反之则pr(object)＝0；为边界回归框和真实框的交并比，表示边界回归框位置的准确性；
[0045]
随后利用非极大值抑制算法对重合率高于一设定值的边界回归框进行过滤，将置信度高于一设定值的边界回归框作为yolov3网络模型的输出。
[0046]
进一步地，yolov3网络模型利用二元交叉熵损失函数检测复杂场景中的目标类别；二元交叉熵损失函数具体为：
[0047]
[0048]
其中λ为权重系数，λ
box
、λ
obj
、λ
noobj
、λ
class
分别表示边界回归框误差、目标置信度误差、无目标置信度误差。某一类置信度误差的占比；则代表网格单元i中存在目标，且第j个边界框预测值对该预测有效，反之t
x
、ty、tw、th分别表示真实框中心点的x坐标、y坐标、宽度和高度。
[0049]
进一步地，yolov3网络模型采用coco数据集进行训练，并采用k-means算法对coco数据集中的真实框进行聚类得到先验框的尺寸，将不同尺寸的先验框与不同尺寸的特征图进行匹配；具体如下：
[0050]
k-means算法对真实框进行聚类时，将某一个真实框的宽度和高度作为一个聚类中心，真实框到聚类中心的距离计算公式为：
[0051]
d＝1-iou[(xj,yj,wj,hj),(xj,yj,wi,hi)]
[0052]
其中，xj、yj分别表示真实框中心点的横纵坐标，wj、hj分别表示真实框的宽度和高度，wi、hi表示先验框的宽度和高度，同时也是聚类中心的横纵坐标；
[0053]
随后可得到(10
×
13)、(16
×
30)、(33
×
23)、(30
×
61)、(62
×
45)、(59
×
119)、(116
×
90)、(156
×
198)、(373
×
326)这9种尺寸的先验框；在13
×
13的特征图上应用(116
×
90)、(156
×
198)、(373
×
326)这3种较大的先验框，用于检测较大的物体；在26
×
26的特征图上应用(30
×
61)、(62
×
45)、(59
×
119)这3种尺寸的先验框，用于检测中等大小的物体；在52
×
52的特征图上应用(10
×
13)、(16
×
30)、(33
×
23)这3种较小的先验框，用于检测较小的物体；
[0054]
同时为提高对小目标物体的检测，增加104
×
104的特征检测层，以解决yolov3网络模型会丢失一些小目标物体信息的问题。
[0055]
yolov3网络模型的输出采用深度可分离卷积网络进行过滤，且在深度可分离卷积网络中的relu激活函数前加入批量归一化层；具体地，relu定义如下：
[0056][0057]
进一步地，s3和s4中的结果数据为yolov3网络模型最终输出的带有边界回归框的图片，边界回归框的中心点x坐标、中心点y坐标、边界框宽度、边界框高度4个参数的计算公式如下：
[0058]bx
＝σ(t
x
) c
x
[0059]by
＝σ(ty) cy[0060][0061][0062]
其中，t
x
、ty分别代表边界回归框中心点(x,y)的偏移量，σ()表示逻辑回归函数，具体选用sigmoid，该函数能将t
x
和ty压缩到0～1的范围内，确保最终得到的中心点坐标位于网格中心
[0063]
本实施例的盲人避障装置实验数据如下：
[0064]
表1测试数据
[0065][0066]
表2本实施例与传统方法比较表
[0067][0068]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。