一种基于虚幻引擎的轨道障碍物检测仿真平台的构建方法与流程

技术特征：
1.一种基于虚幻引擎的轨道障碍物检测仿真平台的构建方法，其具体步骤如下：步骤1：在虚幻4中搭建环境，包括地形编辑，草木植被的覆盖，轨道列车模型的设计，光照条件的设计以及雨雾天气的设计；步骤1
‑
1：使用world machine插件编辑40*40公里范围的地形高度图，使用geoglyph库中的reflow宏脚本，然后连接到splat converter上保证splat map的正确权重；导出高度地图，保存为png格式，在虚幻引擎中打开landscape编辑器创建地貌，点击导入world machine生成的高度图；生成地貌后在landscape中再对地貌使用雕刻组件进行平滑、腐蚀等调整；最后给地貌添加合适的材质；步骤1
‑
2：在地貌上覆盖草木植被；使用speedtree辅助工具编辑草丛和树木的模型，将导出srt文件导入到虚幻引擎中，导入虚幻引擎中之后，材质已经和模型匹配完成；使用笔刷工具，对其大小范围、密度、z轴偏移量、法线等进行设置，之后就可以在地貌上刷上植被；步骤1
‑
3：设置光照和天气；虚拟场景中使用方向性光源与天空光源相结合的方式实现对真实光照条件的仿真，不同的天候会影响阳光散射条件，通过改变天空光源模拟不同天候下的光照条件；不同光照条件的变化主要体现在方向和强度的改变上，可通过改变方向性光源的方向、强度，微调天空光源的强度，模拟不同时间的光线条件；使用虚幻引擎中设置更加灵活的粒子发射器搭建粒子系统实现雨天、雾天和雪天效果，不同天候对应的云层和光照情况通过虚幻引擎蓝图系统实现自动调整；步骤1
‑
4：添加轨道和列车模型并控制；列车使用3dmax编辑轨道模型以及列车模型，并导入到虚幻引擎中；为车轮创建vehiclewheel蓝图并设置轮胎的宽、半径、旋转角度等；创建tiretype数据资源用于设定摩擦力；新建wheeledvehicle蓝图，并修改相关设定；对vehiclesetup这一栏参数进行设定；为列车创建动画蓝图将父类设置为vehicleaniminstance，并连接；之后在wheeledvehicle蓝图中，选择mesh，使用做好的动画蓝图；使用wheeledvehicle蓝图中的vehiclemovementcomponent组件控制列车；步骤2：添加仿真环境中的相机和激光雷达传感器，采集环境信息；激光雷达传感器和相机传感器使用airsim插件中提供的传感器；airsim是微软开发的仿真模拟器，可以作为插件直接用于虚幻引擎中；下载airsim源码并编译；将编译生成的plugin插件文件夹复制到虚幻工程下，打开创建的轨道列车环境的虚幻工程，将gamemode设置为airsimgamemode便可以运行插件中的传感器获得信息；利用虚幻引擎提供相机组件，直接添加到场景中，获取相机视角的图像；；步骤3：数据通讯搭建；将激光点云和图像数据进行格式转换，借助虚幻引擎官方提供的ros integration插件，通过socket建立windows系统到linux系统通讯，将windows系统上虚幻引擎处理好的传感器数据传输到ubuntu18.04系统的ros平台上，在ros中完成障碍物检测步骤4：仿真系统界面设计；使用虚幻引擎的umg uidesigner设计界面，并对控件创建蓝图，编写控制代码完成控件功能；设置添加启动按键，控制轨道列车运行启动和停止；设置添加天气模式按键，选择不同的光照和天气模式；设置添加激光雷达传感器按键，控制激光雷达点云数据的显示；设置添加相机传感器按键，控制相机图像数据显示；
设置障碍物添加按键，在轨道上生成不同形状的障碍物；步骤5：利用仿真数据进行障碍物检测；在ros中处理传感器数据，对原始数据进行预处理，使用相机传感器和激光雷传感器融合的方案，来检测轨道上的障碍物，算法流程如图6；步骤5
‑
1：使用pcl点云处理库读入激光雷达点云数据，对数据进行预处理；预处理方法为下采样滤波，可以在不损失环境信息的前提下，使用较少数据量；接着进行平面分割处理，采用ransac(随机抽样一致性)算法；最后使用点云聚类算法，平面分割将点云分成了两大类别，聚类将点云分成一个个目标集合；步骤5
‑
2：使用open cv图像处理库读入相机图像数据，对数据进行预处理；预处理的方法选择灰度变换和高斯变换；接着进行边缘检测使用canny算子检测；最后使用霍夫直线检测，然后将划分出来的点，进行线性拟合，绘制出轨道；步骤5
‑
3：对经过算法处理的点运河图像数据进行匹配融合；首先时间匹配，将传感器的每个采样时刻记录在统一的时间序列上；当激光雷达完成一次采样时，寻找与该时刻最邻近时刻的图像，做为匹配的一帧；空间匹配；根据相机的原理可以求得相机坐标系、图像坐标系和像素坐标系的转换矩阵；根据仿真场景中激光雷达和相机安装的位置可以得到激光雷达坐标系和相机坐标系的转换矩阵；将激光雷达坐标系里面激光点云的点的坐标投影到相机图像中，判断轨道线内是否有聚类出的点云块，来判别轨道上的障碍物。

技术总结
一种基于虚幻引擎的轨道障碍物检测仿真平台的构建方法，包括：搭建仿真环境、添加传感器、建立数据通讯、设计仿真系统界面、障碍物检测仿真；在虚幻引擎中搭建模拟真实轨道的物理环境的仿真场景；为轨道列车添加激光雷达传感器和相机传感器用以获取环境数据；通过插件建立起Windows系统和Linux系统的通讯，将虚幻引擎的仿真数据传输至Linux系统的ROS中进行障碍物检测算法的验证。本发明为轨道障碍物检测识别算法提供接近真实物理环境的仿真平台，有助于轨道障碍物检测算法普适性和可靠性的验证。证。证。


技术研发人员：禹鑫燚 崔朱帆 欧林林
受保护的技术使用者：浙江工业大学
技术研发日：2021.05.10
技术公布日：2021/10/11