一种足式机器人地形语义分割方法

技术特征：
1.一种足式机器人地形语义分割方法，其特征在于，包括：步骤1：采集不同地形数据，对数据进行标注，针对数据中的模糊图像进行去模糊处理，构建训练数据集；步骤2：在服务器上使用数据集训练卷积语义分割网络，通过制定损失函数评价网络的语义分割效果，使用“端到端”的训练方法，得到训练好的神经网络参数；在服务器上实现对不同地形的语义分割；在步骤2中，具体包含以下步骤：步骤2.1：设计卷积语义分割神经网络的损失函数f，综合考虑分类损失，定位损失以及掩码损失，以加权和的方式组成损失函数f以提高训练效果，训练所使用的超参数种类，批处理尺寸为2，训练代数为100，迭代次数为1600，梯度优化方法为自适应矩估计；步骤2.2：使用步骤1中建立的训练数据集训练卷积语义分割网络，具体步骤如下：使用yolact网络模型，使用resnet101为骨干网络，共有101个卷积层，包括3*3卷积核的卷积层、1*1卷积核的卷积层和3*3的最大池化层，最后连接为1000维输出的全连接层并使用柔性最大值传输函数进行分类；通过yolact网络提取不同地形的特定语义信息，获取全地形多尺度特征，计算所有种类地形的可能性，选择可能性最高的地形种类作为识别到的地形种类，实现不同地形的语义分割；步骤3：将步骤2中得到的网络迁移至足式机器人上，以足式机器人上深度相机采集到的图像数据为神经网络输入，实时进行不同地形的语义分割和动态行人的识别；在步骤3中，具体包含以下步骤：步骤3.1：安装tensorrt推理引擎；步骤3.2：将步骤2中训练好的神经网络权重文件转换为tensorrt可以使用的权重文件，具体步骤如下：在足式机器人内处理器上，将步骤2中训练好的神经网络权重文件按照不同网络层的顺序建立一维数组，每一层网络中每个节点的参数按原网络中的顺序储存在该数组内，不同层的网络建立不同数组，以十六进制的形式写在文件内；步骤3.3：使用tensorrt推理引擎构建和步骤2中构建的神经网络层数、神经元数、结构完全相同的神经网络，使用步骤2.1中得到的权重，在足式机器人上构建卷积语义分割网络；步骤3.4：在足式机器人上使用深度相机得到的图像数据作为神经网络输入，输出实时分割好的地形语义信息。2.根据权利要求1所述的一种足式机器人地形语义分割方法，其特征在于：在步骤1中，具体包含以下步骤：步骤1.1：使用足式机器人拍摄不同天气、不同时段的地形图片数据，获取不同光照条件下的地形图片；采用卡尔曼滤波法去除数据噪声，具体做法为：对图像建立状态方程和观测方程：状态方程：x(i，j)＝cx(i，j-1) dw(i，j)观测方程：y(i，j)＝ax(i，j) v(i，j)其中，x为输入的图片矩阵，x(i，j)输入的图像矩阵中横坐标为i纵坐标为j的一个点，a
为输出矩阵，c为状态转移矩阵，使用单位矩阵，t表示矩阵的转置运算，w(i，j)，v(i，j)为过程噪声和观测噪声，使用高斯噪声建立矩阵；去模糊过程：去模糊过程：更新参数过程：更新参数过程：更新参数过程：其中，为最优预测值，为最优滤波值，u(i，j)为系统输入，a为输出矩阵，c为转移矩阵，e＝[1，0，0，0]
t
，r，q分别为去模糊过程中的噪声与观测噪声的协方差矩阵，是预测方阵，是滤波方差矩阵，k(i，j)为卡尔曼滤波增益，y(i，j)为输出的图像；首先通过状态方程对输入图片进行建模，然后通过预测公式进行预测，在通过参数更新公式对预测公式中的参数进行迭代；迭代至两次计算中预测公式中的参数无变化，则输出最后的预估结果作为图片去模糊的结果，得到清晰的图片数据；步骤1.2：标注得到的图片数据，具体标注方法如下：在图片中框选所需要标注的区域，标注不同地形种类，将标注好的图片分为训练集和测试集。

技术总结
本发明公开一种足式机器人地形语义分割方法。首先使用足式机器人拍摄不同天气、不同时段的地形和行人的图片，使用卡尔曼滤波去除由于足式机器人行进过程中抖动造成的图片模糊不清，在图片中标注不同地形作为训练集；其次，构建卷积语义分割网络，根据分类损失、定位损失以及分割损失设计损失函数，在高性能服务器上使用地形的训练集训练语义分割网络；最后，通过TensorRT推理引擎在足式机器人上构建与高性能服务器上结构相同的神经网络，将训练好的权重导入神经网络，使四足机器人快速准确的分割地形。本发明解决由于足式机器人行进时抖动严重，导致采集的图像模糊不清；足式机器人上处理器性能较低，语义分割速度不佳导致难以满足实时性要求等问题。以满足实时性要求等问题。


技术研发人员：曹政才 邵士博 张东 牟洪民 杜国锋 李俊年
受保护的技术使用者：北京化工大学
技术研发日：2022.11.07
技术公布日：2023/2/3