一种基于U3D感知重构的远程驾驶安全增强系统的制作方法
本发明涉及自动驾驶与远程遥控驾驶,具体而言,涉及一种基于u3d感知重构的远程驾驶安全增强系统,适用于矿区、港口、园区、高速公路等场景的远程驾驶安全辅助与环境感知增强。
背景技术:
1、目前市场上的远程驾驶系统主要依赖传统纯视频远程驾驶方案。该系统仅依赖车载多路摄像头采集二维视频画面,通过视频流传输至远程驾驶舱进行显示,不包含任何激光雷达、毫米波雷达等三维感知数据的采集、融合与三维重构渲染环节,完全依靠驾驶员的二维视觉进行判断和操作。现有纯视频远程驾驶方案在复杂环境(如粉尘、雨雪等低能见度环境)或传感器遮挡情况下,单车智能感知容易失效,车载摄像头画面严重模糊,导致视觉感知失效。此外,纯二维视频缺乏深度信息,远程驾驶员难以精准判断空间距离,决策反应时间长,车辆行驶轨迹横向偏差大,容易因视觉盲区或画面延迟导致碰撞事故,无法提供无死角、低延迟的沉浸式驾驶视野。
技术实现思路
1、本发明要解决的技术问题是提供一种基于u3d感知重构的远程驾驶安全增强系统,以解决上述复杂环境下感知失效、缺乏三维深度信息以及远程驾驶安全性低的技术问题。
2、为解决以上述技术问题,本发明采用的技术方案是:一种基于u3d感知重构的远程驾驶安全增强系统,包括车端模块和远程驾驶舱端模块,所述车端模块,包括视频采集模块、感知数据采集模块、感知预处理模块和双流传输模块:所述视频采集模块和感知预处理模块分别与所述双流传输模块连接,所述感知预处理模块与感知数据采集模块连接;
3、所述远程驾驶舱端模块,包括数据接收模块、感知融合模块、unity3d重构渲染模块、动态视野配置模块、视频显示模块和同步与交互模块:所述双流传输模块通过通信链路与所述数据接收模块连接,所述数据接收模块分别与所述视频显示模块、感知融合模块连接,所述感知融合模块与所述unity3d重构渲染模块连接,所述unity3d重构渲染模块与所述动态视野配置模块连接,所述动态视野配置模块和所述视频显示模块均与所述同步与交互模块连接。
4、进一步的,所述视频采集模块与车载摄像头连接,所述视频采集模块负责通过车载摄像头采集车辆周围环境的视频画面,并将采集的视频数据以视频流形式发送至所述双流传输模块,作为远程驾驶的基础视觉信息来源。
5、进一步的,所述感知数据采集模块与激光雷达、毫米波雷达和超声波传感器连接,所述感知数据采集模块负责将原始感知数据传递至所述感知预处理模块,以在视频之外额外获取环境的三维感知信息。
6、进一步的,所述感知预处理模块负责对所述原始感知数据进行预处理,依据的算法包括激光雷达点云的降采样与特征提取算法、毫米波雷达目标列表的结构化封装算法以及超声波探测数据的距离标定算法,将原始传感器数据转化为轻量化的感知特征数据,并发送至所述双流传输模块。
7、进一步的,所述通信链路包括视频流、感知数据流,其中视频流采用h.264或h.265视频编码方式传输,感知数据流采用protobuf轻量化数据序列化格式传输感知特征数据,且两路数据流均携带时间戳信息用于远程端的时间同步。
8、进一步的,所述数据接收模块负责接收车端传来的视频流和感知数据流,进行解码与初步校验,将视频流分发至所述视频显示模块,将感知数据流分发至所述感知融合模块,并提取两路数据流的时间戳传递至所述同步与交互模块进行时间对齐。
9、进一步的,所述感知融合模块负责将接收到的感知数据流特征数据进行时空对齐与融合,构建统一的三维环境模型,依据的算法包括激光雷达点云的空间坐标变换与聚类算法、毫米波雷达目标与点云的关联匹配算法以及超声波探测区域的距离标注算法,并将包含障碍物的位置、尺寸、类别和运动状态信息的三维环境模型传递至所述unity3d重构渲染模块。
10、进一步的,所述unity3d重构渲染模块负责利用unity引擎将融合后的三维环境模型实时映射为可视化的三维场景,将感知数据中的障碍物映射为具有几何形状、颜色和纹理标识的三维对象,将道路边界和车道线映射为道路模型,将动态物体映射为带运动轨迹的三维实体,并与所述动态视野配置模块形成闭环。
11、进一步的,所述动态视野配置模块负责根据感知结果和驾驶场景动态调整unity3d视角,当检测到近距离障碍物、交叉路口或狭窄通道等特定场景时自动调整unity相机参数,包括视角位置、朝向、视场角和聚焦距离,并响应所述同步与交互模块传递的驾驶员手动视角切换请求。
12、进一步的,所述视频显示模块负责在远程驾驶舱显示器上显示车载摄像头传回的二维视频画面,与所述同步与交互模块协同确保视频画面与三维视野的时间同步和空间对应关系;所述同步与交互模块负责处理驾驶员的视角切换请求、三维视野缩放和障碍物信息查询等交互操作,将交互指令传递至所述动态视野配置模块。
13、有益效果:本发明通过上述区别特征组合形成了一套完整的远程驾驶安全增强闭环系统,提供无死角、低延迟的沉浸式三维驾驶视野,通过多源数据融合与三维重构,彻底解决了单车智能感知失效的问题,使远程驾驶员的决策反应时间大幅缩短,车辆行驶轨迹横向偏差显著降低,有效避免碰撞事故,大幅缩短了驾驶员平均接管反应时间,彻底突破了传统二维视频缺乏深度感知以及现有三维重建依赖静态地图且交互性差的技术瓶颈,显著提升了复杂场景下的距离判断准确率,全面提升远程驾驶的安全性和接管成功率。采用本发明提供的技术方案,与已知的公有技术相比,具有如下有益效果:
14、本发明通过双流并行传输及预处理,有效降低网络传输带宽压力,将点云数据量大幅压缩,同时保留边缘与角点等关键三维特征,保障数据在通信网络下的高效稳定传输。
15、本发明通过时空对齐与融合,消除多源传感器之间的空间坐标与时间误差,构建包含位置、距离、速度和类别的高精度统一三维环境模型,为后续渲染提供可靠的数据基础。
16、本发明通过三维环境重构渲染,将抽象的感知数据转化为直观的三维实体,结合渲染优化算法,确保大规模复杂场景下的画面帧率与流畅度,满足远程驾驶的实时性要求。
17、本发明通过动态视野配置与平滑切换,在狭窄弯道或近距离障碍物等特定场景下自动聚焦关键区域,同时通过平滑算法避免视角突变带来的视觉眩晕感,帮助驾驶员精准判断空间距离。
18、本发明通过全局同步与交互,确保二维视频画面与三维重构视野的严格时空对应,保障远程驾驶员的操作指令能够低延迟、高精度地传达至车端,实现人车协同的精准控制。
1.一种基于u3d感知重构的远程驾驶安全增强系统,包括车端模块和远程驾驶舱端模块,其特征在于,所述车端模块,包括视频采集模块、感知数据采集模块、感知预处理模块和双流传输模块:所述视频采集模块和感知预处理模块分别与所述双流传输模块连接,所述感知预处理模块与感知数据采集模块连接;
2.根据权利要求1所述的一种基于u3d感知重构的远程驾驶安全增强系统,其特征在于:所述视频采集模块与车载摄像头连接,所述视频采集模块负责通过车载摄像头采集车辆周围环境的视频画面,并将采集的视频数据以视频流形式发送至所述双流传输模块,作为远程驾驶的基础视觉信息来源。
3.根据权利要求1所述的一种基于u3d感知重构的远程驾驶安全增强系统,其特征在于:所述感知数据采集模块与激光雷达、毫米波雷达和超声波传感器连接,所述感知数据采集模块负责将原始感知数据传递至所述感知预处理模块,以在视频之外额外获取环境的三维感知信息。
4.根据权利要求1所述的一种基于u3d感知重构的远程驾驶安全增强系统,其特征在于:所述感知预处理模块负责对所述原始感知数据进行预处理,依据的算法包括激光雷达点云的降采样与特征提取算法、毫米波雷达目标列表的结构化封装算法以及超声波探测数据的距离标定算法,将原始传感器数据转化为轻量化的感知特征数据,并发送至所述双流传输模块。
5.根据权利要求1所述的一种基于u3d感知重构的远程驾驶安全增强系统,其特征在于:所述通信链路包括视频流、感知数据流,其中视频流采用h.264或h.265视频编码方式传输,感知数据流采用protobuf轻量化数据序列化格式传输感知特征数据,且两路数据流均携带时间戳信息用于远程端的时间同步。
6.根据权利要求5所述的一种基于u3d感知重构的远程驾驶安全增强系统,其特征在于:所述数据接收模块负责接收车端传来的视频流和感知数据流,进行解码与初步校验,将视频流分发至所述视频显示模块,将感知数据流分发至所述感知融合模块,并提取两路数据流的时间戳传递至所述同步与交互模块进行时间对齐。
7.根据权利要求1所述的一种基于u3d感知重构的远程驾驶安全增强系统,其特征在于:所述感知融合模块负责将接收到的感知数据流特征数据进行时空对齐与融合,构建统一的三维环境模型,依据的算法包括激光雷达点云的空间坐标变换与聚类算法、毫米波雷达目标与点云的关联匹配算法以及超声波探测区域的距离标注算法,并将包含障碍物的位置、尺寸、类别和运动状态信息的三维环境模型传递至所述unity3d重构渲染模块。
8.根据权利要求1所述的一种基于u3d感知重构的远程驾驶安全增强系统,其特征在于:所述unity3d重构渲染模块负责利用unity引擎将融合后的三维环境模型实时映射为可视化的三维场景,将感知数据中的障碍物映射为具有几何形状、颜色和纹理标识的三维对象,将道路边界和车道线映射为道路模型,将动态物体映射为带运动轨迹的三维实体,并与所述动态视野配置模块形成闭环。
9.根据权利要求1所述的一种基于u3d感知重构的远程驾驶安全增强系统,其特征在于:所述动态视野配置模块负责根据感知结果和驾驶场景动态调整unity3d视角,当检测到近距离障碍物、交叉路口或狭窄通道等特定场景时自动调整unity相机参数,包括视角位置、朝向、视场角和聚焦距离,并响应所述同步与交互模块传递的驾驶员手动视角切换请求。
10.根据权利要求1所述的一种基于u3d感知重构的远程驾驶安全增强系统,其特征在于:所述视频显示模块负责在远程驾驶舱显示器上显示车载摄像头传回的二维视频画面,与所述同步与交互模块协同确保视频画面与三维视野的时间同步和空间对应关系;所述同步与交互模块负责处理驾驶员的视角切换请求、三维视野缩放和障碍物信息查询等交互操作,将交互指令传递至所述动态视野配置模块。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com