一种足式机器人地形语义分割方法

1.本发明涉及环境感知领域，具体是指一种足式机器人地形语义分割方法。


背景技术：

2.随着机器人技术的迅速发展，机器人已经开始广泛的应用在人们的生产生活中。足式机器人运动灵活，具备良好的地形适应能力，能够在广阔环境、多种地形中行走，具有广阔的应用场景，被认为是科学探测、紧急搜救、物资运输、侦察巡逻等作业的最佳移动平台。
3.环境感知是足式机器人定位导航、路径规划、运动控制基础，环境理解能力是实现足式机器人自主作业的关键因素。为了支撑足式机器人在动态环境下自主作业，需要准确分割环境中的不同地形。
4.对环境中地形的语义理解将有力支撑足式机器人的路径规划与步态设计，因此须快速、准确地划分平地、斜坡、台阶等不同类型的地形，实现对环境中不同地形的快速、高精度语义分割。
5.papandreou等人提出一种基于编码-解码结构的语义分割网络，采用深度卷积神经网络编码，条件随机场解码，引入含深度可分离卷积的空间金字塔模块，提升语义分割算法的运行效率，但存在分割细节丢失、上下层语义信息关联性有限等问题，导致分割边缘精度不高；存在冗余数据等问题，导致地形分割速度不高。
6.虽然已经在道路分割、室内与布局语义分割等方面取得一些进展，但由于足式机器人行进时抖动严重，导致采集的图像模糊不清；室外环境中存在斜坡、台阶、坑洼等不同地形间边界模糊不清，导致现有语义分割方法难以对这些地形进行准确分割；足式机器人上处理器性能较低，语义分割速度不佳导致难以满足实时性要求。因此，如何构建卷积语义分割网络，实时、准确的识别地形种类并获取精确分割不同地形依然是面临的挑战。
7.基于此，本发明提供了一种足式机器人地形语义分割方法。


技术实现要素：

8.本发明目的在于提供一种足式机器人地形语义分割方法，通过足式机器人采集不同天气、不同时间的地形和行人数据作为训练集，训练卷积语义分割网络，将训练好的网络迁移到足式机器人上，提高足式机器人地形语义分割能力，支撑足式机器人在动态环境下自主作业。
9.本发明利用卷积语义分割网络、tensorrt推理引擎加速等原理设计一种足式机器人地形语义分割技术，使足式机器人可以快速、准确的分割不同地形，提高足式机器人环境理解能力。
10.本发明提出一种足式机器人环境感知技术，包括以下步骤：
11.步骤1：采集不同地形数据，对数据进行标注，针对数据中的模糊图像进行去模糊处理，构建训练数据集
12.步骤1.1：使用足式机器人拍摄不同天气、不同时段的地形图片数据，由于足式机器人行走过程中抖动严重，采集图片数据中模糊情况严重，因此采用卡尔曼滤波法去除数据噪声，得到清晰的图片数据
13.步骤1.2：标注得到的图片数据，具体标注方法如下：在图片中框选所需要标注的区域，标注不同地形(斜坡、台阶、平地)种类，将标注好的图片以4:1的比例分为训练集和测试集。
14.得到深度学习训练数据集之后，构建卷积语义分割网络。
15.步骤2：在服务器上使用步骤1中得到的数据集训练卷积语义分割网络，充分发挥网络的快速表征和识别能力，通过制定损失函数评价网络的语义分割效果，使用“端到端”的训练方法，得到训练好的神经网络参数。在高性能服务器上实现对不同地形的语义分割；
16.步骤2.1：设计卷积语义分割网络的损失函数f，综合考虑分类损失，定位损失以及掩码损失，以加权和的方式组成损失函数f以提高训练效果；
17.步骤2.2：使用步骤1中建立的训练数据集训练卷积语义分割网络，具体步骤如下：使用yolact网络模型，提取不同地形的特定语义信息，设获取全地形多尺度特征，计算所有种类地形的可能性，选择可能性最高的地形种类作为识别到的地形种类，实现不同地形的语义分割；
18.在步骤2中在服务器上训练得到卷积语义分割网络之后，考虑到足式机器人内处理器性能与服务器性能之间存在较大差异，训练好的神经网络在足式机器人的准确率和识别速度均与服务器上有较大差距，难以实际应用。为解决这个问题，通过tensorrt推理引擎将生成的网络转换为轻量级网络，将转换之后的网络迁移至四足机器人上，使足式机器人可以快速、准确的分割不同地形。
19.步骤3：将步骤2中得到的网络迁移至足式机器人上，以足式机器人上深度相机采集到的图像数据为神经网络输入，实时进行不同地形的实时语义分割；
20.步骤3.1：根据足式机器人内处理器的型号及gpu处理器型号，安装适配版本的tensorrt推理引擎。
21.步骤3.2：将步骤2中训练好的神经网络权重文件转换为tensorrt可以使用的权重文件，具体步骤如下：在足式机器人内处理器上，将步骤2中训练好的神经网络权重文件按照不同网络层的顺序建立一维数组，每一层网络中每个节点的参数按原网络中的顺序储存在该数组内，不同层的网络建立不同数组，以十六进制的形式写在文件内；
22.步骤3.3：使用tensorrt推理引擎构建和步骤2中构建的神经网络层数、神经元数、结构完全相同的神经网络，使用步骤2.1中得到的权重，在足式机器人上构建卷积语义分割网络；
23.步骤3.4：在足式机器人上使用深度相机得到的图像数据作为神经网络输入，输出实时分割好的地形语义信息。
24.基于卷积语义分割网络，结合tensorrt推理引擎，可以在足式机器人上实现准确、快速的不同地形语义分割。区别于现有技术，本发明对足式机器人上采集的真实图像数据进行去模糊处理，结合tensorrt推理引擎，大幅度提高了地形分割和的精度和速度，实现了足式机器人地形语义分割。
附图说明
25.构成本发明的一部分的说明书附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本发明的不当限定。
26.图1是本发明的整体系统流程图；
27.图2是本发明的整体系统框架图；
28.图3是本发明中足式机器人在环境中分割斜坡地形的示意图；
29.图4是本发明中足式机器人在环境中分割不同地形的示意图；
30.图5是本发明中足式机器人在山地环境中分割地形的示意图；
具体实施方式
31.以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。
32.本发明训练时所使用的服务器搭载intel(r)xeon(r)cpu e5-2620v4@2.10ghz
×
16，4核nvidia geforce gtx 2080显卡，内存为128gb，操作系统为ubuntu 16.04，采用python 3.6编程语言和pytorch深度学习框架实现。训练超参数为：批处理尺寸为2，训练代数为100，迭代次数为1600，梯度优化方法为自适应矩估计。
33.本发明使用的足式机器人为unitreea1四足机器人，搭载nvidiatx2处理器，realsensed455深度相机，该相机支持深度图像采集，获取图像最大帧率60fps，最大分辨率1080*1920。
34.本方法的优点在于可以准确、快速的在足式机器人上分割不同地形，具有较高的鲁棒性，地形分割准确率≥70％，识别速度≥30fps。
35.本方法使用卡尔曼滤波的方法去除由于足式机器人行走导致获取图像的抖动，具体方法如下首先对图像建立状态方程和观测方程状态方程：x(i,j)＝cx(i,j-1) dw(i,j)观测方程：y(i,j)＝ax(i,j) v(i,j)其中，x为输入的图片矩阵，x(i,j)输入的图像矩阵中横坐标为i纵坐标为j的一个点，a为输出矩阵，c为状态转移矩阵，使用单位矩阵，t表示矩阵的转置运算，w(i,j)，v(i,j)为过程噪声和观测噪声，使用高斯噪声建立矩阵。去模糊过程：去模糊过程：更新参数过程：
其中，为最优预测值，为最优滤波值，u(i,j)为系统输入，a为输出矩阵，c为转移矩阵，e＝[1,0,0,0]
t
，r,q分别为去模糊过程中的噪声与观测噪声的协方差矩阵，是预测方阵，是滤波方差矩阵，k(i,j)为卡尔曼滤波增益，y(i,j)为输出的图像。首先通过状态方程对输入图片进行建模，然后通过预测公式进行预测，在通过参数更新公式对预测公式中的参数进行迭代。迭代至两次计算中预测公式中的参数无变化，则输出最后的预估结果作为图片去模糊的结果。
[0036]
yolact(you only look at coefficients)为实时实例分割检测网络，，使用resnet101为骨干网络，共有101个卷积层，包括3*3卷积核的卷积层、1*1卷积核的卷积层和3*3的最大池化层，最后连接为1000维输出的全连接层并使用softmax进行分类，最终得到地形分类结果。
[0037]
本发明构建的卷积语义分割网络损失函数定义为v＝(v
x
,vy,vw,vh)l
cls
＝-log p
uu
l
mask
＝bce(m,m
gt
)其中为总损失，l
cls
为分类损失，l
box
为框回归损失，l
mask
为掩码损失，p为各类别的预测置信度，u为检测的类别，v为类别v的真有界框回归目标元组，其中v
x
为真有界框的横坐标，vy为真有界框的纵坐标，vw为真有界框的宽度像素值，vh为真有界框的高度像素值，tu为真实类别u的预测元组，为预测框的横坐标，为预测框的纵坐标，为预测框的宽度像素值，为预测框的高度像素值，log为取对数，m为组装掩码，为地面真值掩码，bce为二值交叉熵。
[0038]
训练yolact神经网络，使其总得迭代次数等于100次时视为神经网络已经收敛完成。
[0039]
为了使得本方法的解释更简单化，将上述的图文描述为一系列步骤，但是应该理解并理会，这些方法不受操作的次序所限制，因为按照一个或多个步骤进行实施，一些动作可按不同的顺序发生，但本领域技术人员可以理解其动作发生的原理。
[0040]
尽管方法已对本发明说明性的具体实施方式逐步进行了描述，以便于本技术领域的技术人员能够进行领会，但是本发明不仅限于具体实施方式的范围，本领域技术人员可以在权利要求的范围内做出各种变形或修改，只要各种变化在所附的权利要求限定和确定的本发明精神和范围内。