一种双模态无GNSS信号地下车库无人小车巡逻管理系统及方法与流程
本发明涉及智慧停车、无人巡检与多传感器融合,具体为一种双模态无gnss信号地下车库无人小车巡逻管理系统及方法。
背景技术:
1、地下车库作为城市交通与建筑配套的核心设施,其规模与复杂度同步增长,传统管理模式已难以适配现代化需求。当前地下车库管理面临多重技术与运营瓶颈,具体体现在:
2、一方面,传统人工巡逻模式存在根本性缺陷:车位状态依赖人工记录与更新,信息滞后性显著,导致车主寻位效率低下、车位利用率不足;人工查询与统计耗时费力,管理员需逐区排查才能获取全局车位状态,且数据易因人为疏忽产生误差;长期运营中,人力成本占比超管理总成本的40%,规模化车库的管理压力尤为突出。
3、另一方面,地下车库的封闭环境对技术方案构成特殊挑战:gnss信号完全屏蔽,使得依赖卫星定位的导航系统彻底失效,现有替代方案中,单一里程计导航因累积误差(行驶100m误差≥1m)导致无人设备频繁偏离路线,无法完成精准巡逻;固定摄像头方案虽能实现局部车位识别,但覆盖范围受限:单摄像头仅能覆盖小部分车位,存在监控盲区,且难以适配车库结构调整(如车位重排需重新部署硬件),扩展性极差。
4、其次,现有技术方案的协同性不足加剧了管理困境:部分无人小车方案仅聚焦建图功能,缺乏与目标识别的联动,无法实时获取车位占用状态与车辆信息;单一视觉识别技术在地下车库复杂光照环境(白天与夜间光照强度差异极大,局部区域存在强光直射或完全无光场景)下,识别准确率骤降,难以支撑精准识别管理;而传统slam建图方案虽能解决无gnss环境的地图构建问题,但未与车位识别、车辆信息采集等功能结合,无法形成“建图-导航-识别-管理”的闭环。
5、此外,随着智慧停车需求的升级,用户对车位状态实时查询、车辆停放历史追溯、空闲车位查询等功能的需求日益迫切,传统方案因导航数据与识别数据分离存储、处理滞后(数据未达到实时更新),无法满足智能化管理要求。因此,亟需一种融合自主建图、精准识别与动态管理的一体化方案,解决传统模式效率低、数据滞后、协同性差等问题。
6、本发明结合slam技术在无gnss信号环境下实现自主建图,为无人小车地下导航提供基础;可见光目标识别技术则能精准采集车辆与地标信息并更新后端数据库,二者融合为双模态巡检系统,结合无人小车的移动性,可有效解决地下车库巡逻管理的核心难题。
技术实现思路
1、本发明的目的在于提供一种双模态无gnss信号地下车库无人小车巡逻管理系统及方法,以解决上述背景技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:
3、一种双模态无gnss信号地下车库无人小车巡逻管理系统,包括slam建图模块、可见光识别模块、中央处理模块、车库管理模块、无源rfid空间锚定模块与空间关联模块;
4、slam建图模块实时输出无人巡逻小车在世界坐标系下的位姿信息;
5、可见光识别模块用于识别地下车库内的车辆与相应车库地标;
6、空间关联模块接收slam建图模块的位姿信息与可见光识别模块的像素坐标,结合预标定的相机内参、相机-车体外参,通过像素到世界坐标反投影,将识别结果映射至地下车库统一世界坐标系;
7、中央处理模块接收位姿、目标识别及三维空间坐标数据,以毫秒级时间戳为唯一关联id,建立“车牌-地标-空间坐标-时间戳”的动态绑定关系;
8、车库管理模块存储车库数据并实时更新、维护数据库,根据管理员指令返回车库空闲车位号、车辆停放位置、具体车位与对应车牌号的实时信息;
9、无源rfid空间锚定模块包括若干个固定部署于地下车库设定位置的无源电子标签,无源电子标签作为地下车库全局统一世界坐标系的初始空间锚点,用于标定全局坐标系的坐标基准、初始对齐与slam建图模块累积漂移校正。
10、进一步地,所述可见光识别模块包括图像预处理单元、鲁棒特征增强子模块、车牌识别单元、车库地标识别单元,所述鲁棒特征增强子模块用于对预处理后的图像进行多尺度边缘增强、自适应对比度提升与频域去重影处理;
11、鲁棒特征增强子模块包括多尺度边缘感知单元、自适应对比度增强单元、频域去重影单元与交叉特征注意力融合单元,多尺度边缘感知单元采用多个不同膨胀率的膨胀卷积分支提取不同尺度的边缘特征,通过通道注意力机制自适应融合各尺度特征;自适应对比度增强单元基于四尺度retinex理论进行光照-反射分解,通过可学习γ参数实现非线性对比度增强;频域去重影单元通过快速傅里叶变换检测频域中的对称共轭峰值,采用可学习mask抑制重影频率分量;交叉特征注意力融合单元通过全局特征感知生成动态权重,对多条图像处理分支的输出进行自适应加权融合;
12、所述图像预处理单元具备低光照增强、图像去噪与去畸变功能,图像预处理单元完成处理后,将图像发送至鲁棒特征增强子模块进行特征增强,同时留存相机内参与畸变参数;所述鲁棒特征增强子模块输出增强后的特征图。
13、进一步地,所述空间关联模块的操作具体包括:
14、(1)深度获取:以slam建图模块输出的无人巡逻小车全局实时位姿为转换基准,结合激光雷达点云数据获取目标的深度信息;
15、(2)像素到相机坐标反投影:结合前述目标深度信息和相机内参矩阵,将目标在图像中的像素中心点坐标(u,v)反投影为相机坐标系下的三维点;
16、(3)相机到车体刚体变换:通过相机-车体外参矩阵将三维点从相机坐标系变换到车体坐标系;
17、(4)车体到世界刚体变换:通过slam建图模块输出的实时位姿将三维点从车体坐标系变换到地下车库全局世界坐标系。
18、进一步地,所述中央处理模块的操作具体包括:
19、时空关联数据同步与合并处理:空间关联模块输出的时空关联记录传输至中央处理模块后实时同步至主数据库服务,触发车位空间坐标数据库与车牌识别数据库的双向合并机制,以时间戳为基准,实时关联同一时刻下车位地标空间坐标与车牌空间坐标,建立“车位-车辆”的一一对应关系;同时补充parking_status表的landmark_detection_time、plate_detection_time与空间坐标字段,为后续计算车辆停靠时间与车位状态追溯提供数据支持;
20、每若干秒执行一次重复数据清理,基于空间坐标重合度与时间戳进行去重,并将有效绑定记录写入detection_history表;
21、提供数据库查询操作,支持通过地标id、车位空间坐标或车牌号码实时调取合并后的完整停车记录;
22、时间戳同步与跨服务对齐,以主服务毫秒级时间戳current_time为基准,同步子服务返回的地标检测时间、车牌检测时间与slam位姿输出时间。
23、进一步地,所述车库管理模块包括:
24、数据库核心管理单元,数据库核心管理单元初始化并维护garage_merged.db数据库,包含parking_status表和detection_history表,通过原子化操作确保多线程并发下的数据一致性;parking_status表预存每个车位地标对应的固定世界坐标区间,通过判断车牌世界坐标是否落入对应车位的坐标区间,完成车位与车辆的精准匹配;进一步实时同步空间关联模块输出的时空关联记录,基于时间戳与世界坐标关联地标与license_plate信息,动态更新is_occupied字段标记车位占用状态;
25、数据交互与指令响应单元,数据交互与指令响应单元提供多维度查询接口:支持通过地标id精准查询单个车位的实时状态,或批量返回所有车位的占用情况以生成空闲车位列表;通过车牌号追溯车辆停放记录,结合landmark_detection_time和plate_detection_time计算车辆实际停靠时长;
26、历史数据追溯与维护单元,历史数据追溯与维护单元自动存储最近若干条检测历史记录,包含地标/车牌识别结果、服务响应时间、识别状态的细节,用于故障排查与数据审计;其次结合子服务健康监控机制,当检测到识别异常时,在历史记录中标记异常状态。
27、进一步地,所述相机内参包含相机焦距、主点坐标与畸变系数,相机到车体的外参包含相机坐标系与车体坐标系之间的3×3旋转矩阵与3×1平移向量;空间关联模块的坐标变换包括像素到世界坐标反投影和刚体变换两部分:
28、(1)像素到相机坐标反投影:结合激光雷达获取的目标深度值z和预标定的相机内参矩阵k,将目标在图像中的像素中心点坐标(u,v)反投影为相机坐标系下的三维点;
29、(2)刚体变换:包括相机到车体的外参变换和车体到世界的位姿变换,均为三维坐标系之间的旋转和平移变换;
30、空间关联模块的坐标变换公式为:
31、,
32、式中:
33、pw=(xw,yw,zw)t为目标在地下车库全局世界坐标系下的三维坐标,上标t表示转置;
34、twb为slam建图模块输出的车体坐标系到世界坐标系的实时位姿变换矩阵;
35、tbc为预标定的相机坐标系到车体坐标系的外参矩阵;
36、z为激光雷达获取的目标深度值;
37、(u,v)为目标在图像中的像素中心点坐标。
38、本发明还提供一种双模态无gnss信号地下车库无人小车巡逻管理方法,通过如上所述的双模态无gnss信号地下车库无人小车巡逻管理系统实现,包括:
39、s1,进行硬件部署与全局坐标系标定,通过无源rfid电子标签标定地下车库全局统一世界坐标系,完成相机内参与相机-车体外参的精准标定,部署位置为地下车库现场;
40、s2,进行软件部署与环境配置;
41、s3,进行双模态数据采集与预处理,同步采集slam建图所需的激光雷达数据,以及可见光识别所需的图像数据;
42、s4,进行可见光目标识别与目标空间坐标解算,以slam建图模块输出的实时位姿为基准,将二维图像中的识别目标映射至全局世界坐标系,解算得到目标的三维空间坐标;
43、s5,进行中央数据处理与动态关联绑定,以毫秒级时间戳为唯一id,建立车牌与车位的空间坐标关联关系;
44、s6,进行车库管理与数据交互,基于空间坐标关联关系实现车位状态的动态更新与查询。
45、进一步地,所述s3包括:
46、s3.1,多源数据采集启动,包括:
47、s3.1.1,登录无人巡逻小车终端,启动360°rgb相机;
48、s3.1.2,无人巡逻小车按预设路径巡逻,相机采集图像,激光雷达采集点云数据,惯性导航单元采集姿态数据;
49、s3.1.3,图像数据通过网络传输至边缘节点,点云数据与姿态数据留存于小车嵌入式单元,用于slam定位更新;
50、s3.2,图像预处理执行,包括:
51、s3.2.1,图像缩放:边缘节点调用img_first_pre函数,对采集图像采用inter_area插值方法按比例缩放;
52、s3.2.2,高斯去噪:通过cv2.gaussianblur函数对缩放后图像进行去噪处理;
53、s3.2.3,灰度化与二值化:先将彩色图像转为灰度图,再采用otsu自适应阈值算法实现自动阈值分割,提升目标区域与背景的对比度;
54、s3.3,slam定位与地图更新;
55、s3.3.1,slam建图模块融合激光雷达点云与惯性导航数据,实时估计无人巡逻小车在地图中的位置与姿态;
56、s3.3.2,结合环境动态变化,实时优化地图精度,确保小车沿规划路线稳定巡逻,无偏离现象。
57、进一步地,所述s4包括:
58、s4.1,将预处理后的图像输入鲁棒特征增强子模块,依次进行多尺度边缘感知、自适应对比度增强与频域去重影处理,通过交叉特征注意力融合生成增强特征图;
59、s4.2,将增强特征图输入yolo系列模型,输出车牌边界框(x1,y1,x2,y2),筛选置信度vlabel≥μ的候选框,0.7≤μ≤1.0;
60、s4.3,裁剪车牌roi子图,输入视觉文本理解模型,提取车牌号,要求识别置信度vc≥ω,0.85≤ω≤1.0;
61、s4.4,将车牌roi子图转换至hsv空间,分别统计蓝色、绿色像素占比,根据蓝色、绿色像素占比判断车辆是油车还是电车;
62、s4.5,调用platedetectionmanager类,在若干秒时间窗口内统计车牌检测结果,累计有效票数vsum≥φ,则保留该车牌结果,删除重复数据,3≤φ≤20;
63、s4.6,将增强特征图输入yolo系列模型,输出地标边界框,筛选置信度varea≥ο的候选框,0.995≤ο≤1.0;
64、s4.7,裁剪地标roi子图,输入微调后的视觉文本理解模型,提取地标编号;
65、s4.8,调用landmarkanomalydetector类,记录最近若干个有效地标,计算新地标与历史平均值的偏差;当地标识别偏差值△m≤tdev,则判定为有效;当地标识别偏差值△m>tdev时标记为潜在异常,80≤tdev≤200。
66、进一步地,所述s5包括:
67、主服务为每帧图像生成毫秒级时间戳current_time,同步车牌检测时间plate_detection_time与地标检测时间landmark_detection_time;
68、以current_time作为唯一id,基于车牌与地标的世界坐标重合度,关联车牌与地标数据,建立“地标编号-车位固定空间坐标-车牌世界坐标-车牌号”的一一映射关系;
69、主服务每若干秒执行一次重复数据清理,基于若干秒时间窗口的投票去重算法:
70、,
71、式中,vweighted为加权票数,twin为时间窗口,i为指示函数,括号内条件成立时取值为1,不成立时取值为0;lt为第t次检测车牌号,w(t)是第t次检测的权重,lconsensus为共识车牌号,,其中,dist(·)为检测框之间的距离计算函数,distmax为预设检测框最大距离阈值;bt为第t次检测框,bavg为平均检测框,当加权票数vweighted≥3时保留结果;
72、调用clean_duplicate_data函数,删除重复检测记录,仅保留投票最优结果;
73、通过原子化操作更新parking_status表:当识别到有效车牌号且地标有效时,标记is_occupied=1,表示车位占用;当未识别到车牌号且地标有效时,标记is_occupied=0,表示车位空闲;
74、调用save_detection_history函数,将去重后的有效记录写入detection_history表,自动保留最近若干条记录,超期记录按时间戳降序归档。
75、与现有技术相比,本发明的有益效果是:
76、1)解决无gnss地下车库全局坐标基准统一难题:本发明以预先部署的无源rfid标签作为全局世界坐标系空间锚点,为slam建图、目标识别及车位管理提供唯一全局坐标基准,克服了现有技术多轮巡逻、多设备运行时坐标漂移、无法全局对齐的缺陷;全程定位误差≤0.05m,定位精度显著优于现有技术。
77、2)实现slam位姿与视觉识别深度融合,突破二者割裂瓶颈:本发明通过kalibr与fast-calib完成传感器精准标定,以slam实时位姿为基准,经像素到世界坐标反投影将二维识别结果精准映射至三维世界坐标,实现从图像识别到目标空间定位的技术跨越;车位与车牌匹配准确率≥99.9%,彻底解决相邻车位错配行业痛点,该融合方案并非本领域常规技术手段,现有技术无法轻易启示。
78、3)构建全维度动态关联车位管理机制,实现智能化闭环管理:本发明依托全局统一坐标系,建立车牌信息-空间位置-时间戳-车位状态动态绑定关系,车位状态更新依托空间坐标精准匹配,不再单纯依赖视觉识别结果,车位状态匹配准确率≥99.9%,从根源规避识别与车位位置错配问题;该多维度联动管理为空间坐标关联定制化机制,并非数据库常规功能,具备突出技术优势。
79、4)提出专门针对地下车库场景的鲁棒特征增强方案,突破yolo检测精度瓶颈:本发明首次将多尺度边缘感知、可学习retinex对比度增强与频域去重影有机融合,设计了端到端可训练的rfem模块,专门解决地下车库掉漆、重影、昏暗三大检测难题;相较于传统yolo直接检测方案,掉漆地标检测精度从0.52提升至0.79(+51.9%),重影场景检测精度从0.48提升至0.78(+62.5%),低光照检测精度从0.35提升至0.72(+105.7%),综合检测精度提升80.9%,为后续空间坐标解算与车位匹配提供了可靠基础;该模块轻量高效,无人小车专用版参数仅0.5m,推理时间≤15ms,完全满足边缘设备实时推理要求。
80、5)本发明形成全局坐标锚定-实时位姿解算-目标空间映射-动态关联绑定-智能车库管理完整技术闭环,各模块协同支撑,有效解决地下车库巡逻管理中定位精度低、车位识别错配、管理可靠性差等核心问题;车位状态更新延迟≤200ms,相较传统人工巡逻管理效率提升90%以上。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com